1. Flink中的时间语义
• Event Time：事件创建的时间，它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。
• Ingestion Time：数据进入Flink的时间
• Processing Time：执行操作算子的本地系统时间，与机器相关，默认的时间属性就是 Processing Time。
哪种时间语义更重要
• 不同的时间语义有不同的应用场合
• 我们往往更关心事件时间（Event Time）
• 某些应用场合，不应该使用 Processing Time
• Event Time 可以从日志数据的时间戳（timestamp）中提取
➢ 2017-11-02 18:37:15.624 INFO Fail over to rm
事件时间有更大的延迟
在 Flink 的流式处理中，绝大部分的业务都会使用 eventTime，一般只在 eventTime 无法使用时，才会被迫使用 ProcessingTime 或者 IngestionTime。
乱序数据的影响
• 当 Flink 以 Event Time 模式处理数据流时，它会根据数据里的时间戳来处理基于时间的算子
• 由于网络、分布式等原因，会导致乱序数据的产生
• 乱序数据会让窗口计算不准确
2. 水位线（Watermark）
➢ 怎样避免乱序数据带来计算不正确？
➢ 遇到一个时间戳达到了窗口关闭时间，不应该立刻触发窗口计算，而是等待一段时间，等迟到的数据来了再关闭窗口
• Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发
• Watermark 是用于处理乱序事件的，而正确的处理乱序事件，通常用Watermark 机制结合 window来实现；
• 数据流中的 Watermark 用于表示 timestamp 小于 Watermark 的数据，都已经到达了，因此，window 的执行也是由 Watermark 触发的。
• watermark 用来让程序自己平衡延迟和结果正确性
- watermark先处理短时间内的乱序数据
- 先输出一个近似正确的结果，再等待一段时间，来一个数据更新一个
- 窗口关了，window特殊处理
watermark 的特点
• watermark 是一条特殊的数据记录
• watermark 必须单调递增，以确保任务的事件时间时钟在向前推进，而不是在后退
• watermark 与数据的时间戳相关
watermark 的传递
上游数据到下游传递要广播，以最小的分区watermark广播出去，推进事件时间
watermark 的引入
• Event Time 的使用一定要指定数据源中的时间戳
• 调用 assignTimestampAndWatermarks 方法，传入一个BoundedOutOfOrdernessTimestampExtractor，就可以指定 
• 对于排好序的数据，不需要延迟触发，可以只指定时间戳就行了
• Flink 暴露了 TimestampAssigner 接口供我们实现，使我们可以自定义如何从事件数据中抽取时间戳和生成watermark 
➢ MyAssigner 可以有两种类型，都继承自 TimestampAssigner
watermark 的设定
• 在 Flink 中，watermark 由应用程序开发人员生成，这通常需要对相应的领域有一定的了解
• 如果watermark设置的延迟太久，收到结果的速度可能就会很慢，解决办法是在水位线到达之前输出一个近似结果
• 而如果watermark到达得太早，则可能收到错误结果，不过 Flink 处理迟到数据的机制可以解决这个问题
若有收获，就点个赞吧
0 人点赞
