官方文档

系统架构图

  • MasterServer

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处理。 MasterServer基于netty提供监听服务。

该服务内主要包含:

  • Distributed Quartz分布式调度组件，主要负责定时任务的启停操作，当quartz调起任务后，Master内部会有线程池具体负责处理任务的后续操作
  • MasterSchedulerService是一个扫描线程，定时扫描数据库中的 command 表，生成工作流实例，根据不同的命令类型进行不同的业务操作
  • WorkflowExecuteThread主要是负责DAG任务切分、任务提交、各种不同命令类型的逻辑处理，处理任务状态和工作流状态事件
  • EventExecuteService处理master负责的工作流实例所有的状态变化事件，使用线程池处理工作流的状态事件
  • StateWheelExecuteThread处理依赖任务和超时任务的定时状态更新
    • WorkerServer

WorkerServer也采用分布式无中心设计理念，支持自定义任务插件，主要负责任务的执行和提供日志服务。 WorkerServer服务启动时向Zookeeper注册临时节点，并维持心跳。

该服务包含：

  • WorkerManagerThread主要通过netty领取master发送过来的任务，并根据不同任务类型调用TaskExecuteThread对应执行器。
  • RetryReportTaskStatusThread主要通过netty向master汇报任务状态，如果汇报失败，会一直重试汇报
  • LoggerServer是一个日志服务，提供日志分片查看、刷新和下载等功能
    • Registry

注册中心，使用插件化实现，默认支持Zookeeper, 系统中的MasterServer和WorkerServer节点通过注册中心来进行集群管理和容错。另外系统还基于注册中心进行事件监听和分布式锁。

  • Alert

提供告警相关功能，仅支持单机服务。支持自定义告警插件。

  • API

API接口层，主要负责处理前端UI层的请求。该服务统一提供RESTful api向外部提供请求服务。 接口包括工作流的创建、定义、查询、修改、发布、下线、手工启动、停止、暂停、恢复、从该节点开始执行等等。

  • UI

系统的前端页面，提供系统的各种可视化操作界面，详见功能介绍部分。
image.png

启动流程活动图

image.png