分析流计算框架的整体思路
流计算系统中最核心的几个要素:
- 首先是流的本质,也就是事件异步处理,并形成流水线;
- 然后是流的描述,也就是用DAG 拓扑结构描述流计算过程;
- 接着是流量控制,也就是反向压力,这是保证流计算系统稳定可靠运行的重要因素;
- 最后是流的状态,也就是流数据状态和流信息状态,这是流计算系统最关键的组件。
从以下五个方面来考察各种流计算平台。
- 系统架构,因为理解一个流计算平台的设计架构,是使用这个流计算平台的基础。
- 流的描述,包括用于描述流计算过程的 DAG 和相关的 API 接口。
- 流的处理,包括与流的处理过程相关的 API,以及是否支持反向压力等。
- 流的状态,包括前面我们强调的流数据状态和流信息状态。
- 消息处理可靠性,包括流计算系统对消息传递的保证如何。