1. 任务调度

  1. 一个完整的数据分析系统通常都是由大量任务单元组成：
    Shell 脚本程序，Java 程序，MapReduce 程序、Hive 脚本等
  2. 各任务单元之间存在时间先后及前后依赖关系
  3. 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行

02. 任务调度 - 图1

2. 常见工作流调度系统

  1. 简单的任务调度：直接使用 Linux 的 Crontab 来定义；
  2. 复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如 Ooize、Azkaban、
    Airflow、DolphinScheduler 等。