- 如何确定flink任务的合理并行度?
从业务要求开始,根据 workload 特性,做压力测试,层层解反压,为 Vertex 找到合理并行度和 chain strategy,然后倒推 TM 配置。聊了压测数据模型和真实生产的业务关系,如何解反压,如何应对 IO 密集和计算密集。
- flink任务如何实现端到端一致?
checkpoint 机制,端到端一致需要上下游配合,上游回放,下游幂等。
- kafka 如何实现端到端幂等?
两种实现,upsert mode 和 事务提交。
- state 的存储机制
主要是 rocksdb 读写放大优化,cache 优化。
外部state存储,内置和外置的区别是啥,为什么要这么做。
- 怎么解决毛刺和倾斜的
- Flink 支持 JobMaster 的 HA原理
