1. Azkaban实战

2. Command 单一job案例

在 windows 环境，创建job描述文件，编辑内容如下

  1. #command.job
  2. type=command
  3. command=mkdir /opt/module/test_azkaban

将此文件打包成zip 不能带中文

04. Azkaban实战 - 图1

创建项目

04. Azkaban实战 - 图2

上传zip包

04. Azkaban实战 - 图3

执行

04. Azkaban实战 - 图4

04. Azkaban实战 - 图5

3. 多job工作流

创建有依赖关系的多个job描述

第一个job: foo.job

  1. #foo.job
  2. type=command
  3. command=mkdir /opt/module/az

第二个job:bar.job

  1. #bar.job
  2. type=command
  3. dependencies=foo
  4. command=touch /opt/module/az/test.txt

打包成zip包提交到azkaban中

04. Azkaban实战 - 图6

4. MapReduce

  1. #foo.job
  2. type=command
  3. command=yarn jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

注意jar包也要打包进zip中 一般我们使用自定义的mapreduce

上传执行

5. hive

hive.sql

  1. use default;
  2. drop table if exists aztest;
  3. drop table if exists azres;
  4. create external table aztest(id int,name string) row format delimited fields terminated by '\t'location '/student';
  5. load data inpath '/aztest/hiveinput' into table aztest;
  6. create table azres as select * from aztest;
  7. insert overwrite directory '/aztest/hiveoutput' select count(1) from aztest;

hive.job

#hive.job
type=command
command=hive -f 'hive.sql'

打包上传并执行