在Hadoop领域,常见的工作流调度器有Oozie,Azkaban,Cascading,Hamake等。
以上四种工作流调度器的关键特性比较:
| 特性 | Hamake | Oozie | Azkaban | Cascading |
|---|---|---|---|---|
| 工作流描述语言 | XML | XML(xPDL based) | text file with key/value pairs | Java API |
| 依赖机制 | data-driven | explicit | explicit | explicit |
| 是否要web容器 | No | Yes | Yes | No |
| 进度跟踪 | console/log message | web page | web page | Java API |
| 支持Hadoop job调度 | No | Yes | Yes | Yes |
| 运行模式 | command line utility | daemon | daemon | API |
| Pig支持 | Yes | Yes | Yes | Yes |
| 事件通知 | No | No | No | Yes |
| 是否需要安装 | No | Yes | Yes | No |
| 支持的Hadoop版本 | 0.18+ | 0.20+ | currently unknown | 0.18+ |
| 支持重试 | No | workflownode evel | Yes | Yes |
| 运行任意命令 | Yes | Yes | Yes | Yes |
| 支持Amazon EMR | Yes | No | currently unknown | Yes |
