传统架构与流处理架构对比

传统框架:使用中心数据库存储数据需要读写的数据,不经常更新的放在分布式系统里。
流处理架构:没有数据库储存全局数据,而是通过数据流的传输来完成任务。

Flink流处理架构

l 架构分为两层:消息传输层和流处理层。
l 消息传输层:采集数据,并传输给消费者。
流处理层:①数据在应用间的移动。②聚合处理事件。③维持应用程序的状态。
l Flink实际程序运行是无法独立完成的,必须要依赖消息传输层的组件配合。
l 消息传输层使用消息队列分配数据,流处理器订阅数据并处理。
第二章 流处理框架 - 图1

消息传输层的功能

  1. 充当缓冲区,保证消息能够重播。
    2. 将生产者与消费者解耦。即使消息立刻送达,消费者也不必立刻处理。
    第二章 流处理框架 - 图2