系统架构：
Flink 就是一个分布式的并行流处理系统。简单来说，它会由多个进程构成，这些进程一般会分布运行在不同的机器上。
对于这些分布式系统的经典问题，业内已有比较成熟的解决方案和服务。所以 Flink 并不会自己去处理所有的问题，而是利用了现有的集群架构和服务，这样它就可以把精力集中在核心工作——分布式数据流处理上了。
Flink 可以配置为独立（Standalone）集群运行，也可以方便地跟一些集群资源管理工具集成使用，比如 YARN、 Kubernetes 和 Mesos。 Flink 也不会自己去提供持久化的分布式存储，而是直接利用了已有的分布式文件系统（比如 HDFS）或者对象存储（比如 S3）。而对于高可用的配置， Flink 是依靠 Apache ZooKeeper 来完成的。
整体构成：
Flink运行时架构中，最重要的就是两大组件：作业管理器（JobManager）和任务管理器（TaskManager）。对于一个提交执行的作业，JobManager是真正意义的“管理者”负责管理调度，所以在不考虑高可用的情况下只能有一个；而TaskManager是“工作者”（Worker，follower），负责执行任务处理数据，所以可以有一个或者多个。
客户端：
其实客户端并不是处理系统的一部分，它只负责作业的提交。具体来说，就是调用程序的Main方法，将代码转换为“数据流图”（DataFlow Graph），并最终生成作业图（JobGraph），一并发给JobManager。提交之后，任务的执行其实跟客户端没有关系了；我们可以在客户端选择断开与JobManager的连接，也可以继续保持连接。我们在命令提交作业时，加上的 -d 参数，就是表示分离模式（detached mode），也就是断开连接。当然客户端可以随时连接到JobManager，获取当前作业的状态和状态执行结果，也可以发送请求取消作业。
JobManager和TaskManagers可以以不同的方式启动：
作为独立（Standalone）集群的进程，直接在机器上启动
在容器中启动
由资源管理平台调度启动，比如YARN，K8S
TaskManager启动之后，JobManager会与它建立连接，并将作业图（Job Graph）转换成可执行的“执行图”（ExecutionGraph）分发给可用的TaskManager，然后由TaskManager具体执行任务。
作业管理器（JobManager）
JobManager是一个Flink集群中任务管理和调度的核心，是控制应用执行的主进程。也就是说，每个应用都应该被唯一的 JobManager 所控制执行。 当然，在高可用（HA）的场景下， 可能会出现多个 JobManager；这时只有一个是正在运行的领导节点（leader），其他都是备用
节点（standby）。
JobManger 又包含 3 个不同的组件：
1. JobMaster ：
JobMaster 是 JobManager 中最核心的组件，负责处理单独的作业（Job）。所以 JobMaster和具体的 Job 是一一对应的，多个 Job 可以同时运行在一个 Flink 集群中, 每个 Job 都有一个自己的 JobMaster。需要注意在早期版本的 Flink 中，没有 JobMaster 的概念；而 JobManager的概念范围较小，实际指的就是现在所说的 JobMaster。
在作业提交时， JobMaster 会先接收到要执行的应用。这里所说“应用”一般是客户端提交来的，包括： Jar 包，数据流图（dataflow graph）和作业图（JobGraph）。
JobMaster 会把 JobGraph 转换成一个物理层面的数据流图，这个图被叫作“执行图”（ ExecutionGraph），它包含了所有可以并发执行的任务。 JobMaster 会向资源管理器（ResourceManager）发出请求，申请执行任务必要的资源。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的 TaskManager 上。而在运行过程中， JobMaster 会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。 执行任务所需的资源。
- 资源管理器（ResourceManager）
ResourceManager 主要负责资源的分配和管理，在 Flink 集群中只有一个。所谓“资源”，主要是指 TaskManager 的任务槽（task slots）。任务槽就是 Flink 集群中的资源调配单元，包含了机器用来执行计算的一组 CPU 和内存资源。每一个任务（Task）都需要分配到一个 slot 上执行。
这里注意要把 Flink 内置的 ResourceManager 和其他资源管理平台（比如 YARN）的ResourceManager 区分开 ，Flink 的 ResourceManager，针对不同的环境和资源管理平台（比如 Standalone 部署，或者YARN），有不同的具体实现。在 Standalone 部署时，因为 TaskManager 是单独启动的（没有Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新
TaskManager。
而在有资源管理平台时，就不受此限制。 当新的作业申请资源时， ResourceManager 会将有空闲槽位的 TaskManager 分配给 JobMaster。如果 ResourceManager 没有足够的任务槽，它还可以向资源提供平台发起会话，请求提供启动 TaskManager 进程的容器。另外，ResourceManager 还负责停掉空闲的 TaskManager，释放计算资源。
3. 分发器（Dispatcher） ， 可有可无
Dispatcher 主要负责提供一个 REST 接口，用来提交应用，并且负责为每一个新提交的作业启动一个新的 JobMaster 组件。 Dispatcher 也会启动一个 Web UI，用来方便地展示和监控作业执行的信息。 Dispatcher 在架构中并不是必需的，在不同的部署模式下可能会被忽略掉。
任务管理器（TaskManager）
TaskManager 是 Flink 中的工作进程，数据流的具体计算就是它来做的，所以也被称为“Worker”。 Flink 集群中必须至少有一个 TaskManager；当然由于分布式计算的考虑，通常会有多个 TaskManager 运行，每一个 TaskManager 都包含了一定数量的任务槽（task slots）。 Slot是资源调度的最小单位， slot 的数量限制了 TaskManager 能够并行处理的任务数量。
作业提交流程
不同的部署模式和资源管理平台 作业提交的流程会有所差异，但是一般作业的提交的过程分为几个步骤，我们先来看一个通过的流程
通用作业提交流程
上图中作业提交的过程具体如下：
（1）一般情况下，有客户端APP通过分发器提供的TESR接口或者WEBUI，将作业提交给JobManager。
（2）有分发器启动JobManager，并将作业（包含JobGraph）提交给JobMaster。
（3）JobMaster会将JobGraph解析为可执行的ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（Slot）。
（4）资源管理器判断当前是否有足够的可用资源；如果没有，启动新的TaskManager。
（5）TaskManager启动之后，向ResouceManager注册自己的可用任务槽（slots）。
（6）资源管理器通知TaskManager为新的作业提供slots。
（7）TaskManager连接到对应的JobMaster，提供slots。
（8）JobMaster将需要执行的任务分发给TaskManager。
（9）TaskManager执行任务，互相之间可以交换数据。
如果部署模式不同，或者集群环境不同（例如 Standalone、 YARN、 K8S 等），其中一些步骤可能会不同或被省略，也可能有些组件会运行在同一个 JVM 进程中。比如我们在上一章实践过的独立集群环境的会话模式，就是需要先启动集群，如果资源不够，只能等待资源释放，
而不会直接启动新的 TaskManager。
独立模式（ Standalone）
在独立模式下，只有会话模式和应用模式两种部署方式，单作业模式没有TaskManager直接在JobManager运行。两者整体来看流程是非常相似的；TaskManager都需要手动启动，所以当 ResourceManager 收到 JobMaster 的请求时，会直接要求 TaskManager 提供资源。而 JobMaster 的启动时间点，会话模式是预先启动，应用模式则是在作业提交时启动。 
我们发现除去第 4 步不会启动 TaskManager，而且直接向已有的 TaskManager 要求资源，其他步骤与上一节所讲抽象流程完全一致。
JobMaster向资源管理器要资源，提供可运行的slots，而资源管理器会直接要求TaskManager提供资源给JobMaster。然后TaskManager将资源slots提供给JobMaster，让其运行作业。
YARN集群
接下来我们再看一下有资源管理平台时，具体的提交流程。我们以 YARN 为例，分不同的部署模式来做具体说明。
1. 会话（Session）模式
在会话模式下，我们需要先启动一个 YARN session，这个会话会创建一个 Flink 集群。
这里只启动了 JobManager，而 TaskManager 可以根据需要动态地启动。在 JobManager 内部，由于还没有提交作业，所以只有 ResourceManager 和 Dispatcher 在运行。如上图；
接下来就是真正提交作业的流程，如图 4-5 所示：
（1）客户端通过 REST 接口，将作业提交给分发器。
（2）分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。
（3） JobMaster 向资源管理器请求资源（slots）。
（4）资源管理器向 YARN 的资源管理器请求 container 资源。
（5） YARN 启动新的 TaskManager 容器。
（6） TaskManager 启动之后，向 Flink 的资源管理器注册自己的可用任务槽。
（7）资源管理器通知 TaskManager 为新的作业提供 slots。
（8） TaskManager 连接到对应的 JobMaster，提供 slots。
（9） JobMaster 将需要执行的任务分发给 TaskManager，执行任务。
可见，整个流程除了请求资源时要“上报” YARN 的资源管理器，其他上面的抽象流程几乎完全一样。
单作业（Per-Job）模式
在单作业模式下， Flink 集群不会预先启动，而是在提交作业时，才启动新的 JobManager。
区别只在于 JobManager 的启动方式，以及省去了分发器。当第 2 步作业提交给JobMaster，之后的流程就与会话模式完全一样了
（1）客户端将作业提交给 YARN 的资源管理器，这一步中会同时将 Flink 的 Jar 包和配置上传到 HDFS，以便后续启动 Flink 相关组件的容器。
（2） YARN 的资源管理器分配 Container 资源，启动 Flink JobManager，并将作业提交给JobMaster。这里省略了 Dispatcher 组件。
（3） JobMaster 向资源管理器请求资源（slots）。
（4）资源管理器向 YARN 的资源管理器请求 container 资源。
（5） YARN 启动新的 TaskManager 容器。
（6） TaskManager 启动之后，向 Flink 的资源管理器注册自己的可用任务槽。
（7）资源管理器通知 TaskManager 为新的作业提供 slots。
（8） TaskManager 连接到对应的 JobMaster，提供 slots。
（9） JobMaster 将需要执行的任务分发给 TaskManager，执行任务。
3. 应用（Application）模式
应用模式与单作业模式的提交流程非常相似，只是初始提交给 YARN 资源管理器的不再是具体的作业，而是整个应用。一个应用中可能包含了多个作业，这些作业都将在 Flink 集群中启动各自对应的 JobMaster。
若有收获，就点个赞吧
0 人点赞
