这部分的学习主要对应官网的 Learn Flink
部分,主要学习的就是 DataStream API
,即流处理相关的API。
初学流处理,我想提出两个方面的问题:
- 流是什么
- 怎么处理流?这和我处理一个文件有什么不同?
流是什么
流 的本质是一串数据,但是不同业务下的数据不能一概而论:
所以会将这些数据划分为有界流和无界流,前者就像955,每天的工作量是有边界的,打工仔们可以预知到下午5点下班,下班后就没活了;后者就像007,工作是无穷无尽的,无法预知何时能下班,下班?不存在的。
怎么处理
- 流处理,对有界数据的处理
- 批处理,对五届数据的处理