MVC架构: module, view, controller
三层架构：Controller, Service, Dao

项目规范

  1. Application 应用类必须继承 APP
  2. 创建业务对应三层架构的代码 Controller, Service, Dao
  3. 关联代码之间的关系
  4. 相关框架目录

common, bean, utils, controller, service, dao, application

scala 拾遗

控制抽象

将一段逻辑作为参数传入到一个方法。 使用控制抽象

  2. Breaks.breakable( )
  4. // breakable 的原码
  5. def breakable(op: => Unit) {
  6.     try {
  7.       op
  8.     } catch {
  9.       case ex: BreakControl =>
  10.         if (ex ne breakException) throw ex
  11.     }
  12.   }
  1. // 将逻辑代码传给 start
  2.   start{
  3.     val filePath = ParameterTool.fromArgs(args).get("filePath")
  4.     worldCountController.execute()
  5.   }
  7. // 定义 start() 
  8.   def start( op: => Unit) = {
  10.     try {
  11.       // 初始化 Flink
  12.       FlinkStreamEnv.init()
  13.       // 传入处理逻辑
  14.       op
  15.       // 处理完成后执行 flink
  16.       FlinkStreamEnv.execute()
  17.     } catch {
  18.       case e:Exception => e.printStackTrace()
  19.     }
  20.   }

ThreadLocal 操控线程中的内存

image.png

  1.   private val localEnv = new ThreadLocal[StreamExecutionEnvironment]
  3.   def init() = {
  4.     val env = StreamExecutionEnvironment.getExecutionEnvironment
  5.     env.setParallelism(1)
  7.     localEnv.set(env)
  9.     env
  10.   }
  12.   def get() = {
  13.     val env = localEnv.get()
  14.     if (env == null) {
  15.       init()
  16.     }
  17.     env
  18.   }

scala 中变量的灵活定义

1.获取命令行参数 传参:

ParameterTool.fromArgs(args).get("XXX")

image.png

  1.   def main(args: Array[String]): Unit = {
  3.     val host = ParameterTool.fromArgs(args).get("host")
  4.     val port = ParameterTool.fromArgs(args).get("port")
  5.     println(s"host:${host}, port:${port}")
  6.   }

2. 通过 隐式参数，隐式值

  1. // 隐式参数
  2. def readFile(implicit path:String) {
  3.     env.readTextFile(path)
  4. }
  5. // 隐式值
  7. 1. 在当前调用环境中 设置隐值
  8.   implicit val path = "/tmp/file.txt"
  9.   worldCountDAO.readTextFile
  11. 2. (在当前调用的目录)创建一个 Package Object 文件 <--  implicit val path = "/tmp/file.txt"

image.png

用户行为

字段名 数据类型 说明
userId Long 加密后的用户ID
itemId Long 加密后的商品ID
categoryId Int 加密后的商品所属类别ID
behavior String 用户行为类型，包括(‘pv’, ‘’buy, ‘cart’, ‘fav’)
timestamp Long 行为发生的时间戳，单位秒

需求1：实时热门商品统计

每隔5分钟输出最近1小时内点击量最多的商品Top10

为了方便使用，将 原始日志封装成脑样例类

需求2: 基于log的热门页面浏览统计

每隔5秒，输出最近10分钟内访问量最多的前 N个URL

字段名 ** **
ip String 访问的 IP
userId Long 访问的 user ID
eventTime Long 访问时间
method String 访问方法 GET/POST/PUT/DELETE
url String 访问的 url

去重 val set = mutable.Set[Long] , set.add(datas)

需求3: PV/UV 统计