什么是 JFlink?
多种内置 SDK:Redis、ES、TiDB、HTTP、gRPC
Flink 的 Checkpoint 机制能够保证数据处理的 Exactly Once,在异常故障会有失败重试机制,并且状态能够恢复,从而保证数据处理的准确性。
保证端到端的 Exactly Once 靠的是 2PC(两阶段提交,参见 TwoPhaseCommitSinkFunction 类)
并不是所有的 Sink 都支持 2PC 协议
- 海量业务日志数据的实时格式化入库
- 基于海量数据的分析统计
- 实时TiDB/Kafka双流连接的支付链路分析
- 对通数据地图
- 时序数据