六、Azkaban

6.1、Azkaban介绍

Azkaban是由LinkedIn设计的一款用于Hadoop作业的批次执行调度器，Azkaban 通过作业相关性解决排序问题，并提供易于使用的 Web 用户界面来维护和跟踪你的工作流程。Azkaban 的设计主要考虑了可用性，它已经在 LinkedIn 运行了几年，并驱动了他们的许多 Hadoop 和数据仓库流程。
六-Azkaban - 图1

6.1.1、特性

1、兼容任何版本的Hadoop
2、提供了简单友好的界面UI
3、简单的web和http模式的工作流上传
4、提供了项目工作区
5、工作流调度
6、模块化和可插件供用户高级定义
7、提供了认证权限机制
8、追踪用户痕迹，提供了审计日志
9、通过邮件的方式提供了告警通知功能
10、任务失败重试机制
11、SLA警告和自动kill功能

6.2、Azkaban架构

六-Azkaban - 图2

6.2.1、Azkaban Web Server

Azkaban WebServer是整个Azkaban工作流系统的主要管理者，负责用户登录认证、负责project管理、定时执行工作流、跟踪工作流执行进度等一系列任务。

6.2.2、Azkaban Executor Server

负责具体的工作流的提交、执行，它们通过mysql数据库来协调任务的执行。

6.2.3、Mysql

关系型数据库（MySQL）：存储大部分执行流状态，AzkabanWebServer和AzkabanExecutorServer都需要访问数据库。

6.3、安装部署

下载地址：http://azkaban.github.io/downloads.html

6.3.1、环境准备

将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到主节点虚拟机/opt/software目录下

  • azkaban-web-server-2.5.0.tar.gz
  • azkaban-executor-server-2.5.0.tar.gz
  • azkaban-sql-script-2.5.0.tar.gz
  • mysql-libs.zip

    6.3.2、安装azkaban

    ```shell

    在/opt/module下创建azkaban目录

    mkdir /opt/module/azkaban

    解压缩包

    tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /opt/module/azkaban/ tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C /opt/module/azkaban/ tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C /opt/module/azkaban/

    重命名

    mv azkaban-web-2.5.0/ server mv azkaban-executor-2.5.0/ executor

脚本导入

mysql -uroot -p 密码 mysql> create database azkaban; mysql> use azkaban; mysql> source /opt/module/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;

  1. <a name="ixIwp"></a>
  2. ### 6.3.3、生成密钥对和证书
  3. Keytool是java数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。该命令通过以下几个参数来提供生成密钥功能
  5. - -keystore : 指定密钥库的名称及位置(产生的各类信息将存在.keystore文件中)
  6. - -genkey(或者-genkeypair):生成密钥对
  7. - -alias :为生成的密钥对指定别名，如果没有默认是mykey
  8. - -keyalg :指定密钥的算法 RSA/DSA 默认是DSA
  9. <a name="0x7Js"></a>
  10. #### 6.3.3.1、生成keystore的密码以及相对应的信息的密钥库
  11. ```shell
  12. keytool -keystore keystore -alias jetty -genkey -keyalg RSA
  13. 输入密钥库口令:  
  14. 再次输入新口令: 
  15. 您的名字与姓氏是什么?
  16.   [Unknown]:  
  17. 您的组织单位名称是什么?
  18.   [Unknown]:  
  19. 您的组织名称是什么?
  20.   [Unknown]:  
  21. 您所在的城市或区域名称是什么?
  22.   [Unknown]:  
  23. 您所在的省/市/自治区名称是什么?
  24.   [Unknown]:  
  25. 该单位的双字母国家/地区代码是什么?
  26.   [Unknown]:  
  27. CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown是否正确?
  28.   [否]:  y
  29. 输入 <jetty> 的密钥口令
  30.         (如果和密钥库口令相同, 按回车):  
  31. 再次输入新口令:

注意：密钥库的密码至少必须6个字符，可以是纯数字或者字母或者数字和字母的组合等等
密钥库的密码最好和 的密钥相同，方便记忆

6.3.3.2、将keystore拷贝到azkaban web服务器根目录中

  1. mv keystore /opt/module/azkaban/server/

6.3.4、时间同步

6.3.4.1、先配置服务器节点上的时区

  1. # 如果在/usr/share/zoneinfo/这个目录下不存在时区配置文件Asia/Shanghai，就要用 tzselect 生成。
  2. tzselect
  3.     Please identify a location so that time zone rules can be set correctly.
  4.     Please select a continent or ocean.
  5.      1) Africa
  6.      2) Americas
  7.      3) Antarctica
  8.      4) Arctic Ocean
  9.      5) Asia
  10.      6) Atlantic Ocean
  11.      7) Australia
  12.      8) Europe
  13.      9) Indian Ocean
  14.     10) Pacific Ocean
  15.     11) none - I want to specify the time zone using the Posix TZ format.
  16.     #? 5
  17.     Please select a country.
  18.      1) Afghanistan           18) Israel                35) Palestine
  19.      2) Armenia               19) Japan                 36) Philippines
  20.      3) Azerbaijan            20) Jordan                37) Qatar
  21.      4) Bahrain               21) Kazakhstan            38) Russia
  22.      5) Bangladesh            22) Korea (North)         39) Saudi Arabia
  23.      6) Bhutan                23) Korea (South)         40) Singapore
  24.      7) Brunei                24) Kuwait                41) Sri Lanka
  25.      8) Cambodia              25) Kyrgyzstan            42) Syria
  26.      9) China                 26) Laos                  43) Taiwan
  27.     10) Cyprus                27) Lebanon               44) Tajikistan
  28.     11) East Timor            28) Macau                 45) Thailand
  29.     12) Georgia               29) Malaysia              46) Turkmenistan
  30.     13) Hong Kong             30) Mongolia              47) United Arab Emirates
  31.     14) India                 31) Myanmar (Burma)       48) Uzbekistan
  32.     15) Indonesia             32) Nepal                 49) Vietnam
  33.     16) Iran                  33) Oman                  50) Yemen
  34.     17) Iraq                  34) Pakistan
  35.     #? 9
  36.     Please select one of the following time zone regions.
  37.     1) Beijing Time
  38.     2) Xinjiang Time
  39.     #? 1
  40.     The following information has been given:
  41.             China
  42.             Beijing Time
  43.     Therefore TZ='Asia/Shanghai' will be used.
  44.     Local time is now:      Thu Oct 18 16:24:23 CST 2018.
  45.     Universal Time is now:  Thu Oct 18 08:24:23 UTC 2018.
  46.     Is the above information OK?
  47.     1) Yes
  48.     2) No
  49.     #? 1
  50.     You can make this change permanent for yourself by appending the line
  51.             TZ='Asia/Shanghai'; export TZ
  52.     to the file '.profile' in your home directory; then log out and log in again.
  53.     Here is that TZ value again, this time on standard output so that you
  54.     can use the /usr/bin/tzselect command in shell scripts:
  55.     Asia/Shanghai
  57. # 拷贝该时区文件，覆盖系统本地时区配置
  58. cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

6.4、Azkaban配置

6.4.1、web服务器配置

6.4.1.1、 进入azkaban web服务器安装目录 conf目录，打开azkaban.properties文件

  1. vi /opt/module/azkaban/server/conf/azkaban.properties
  2. # 修改azkaban.properties文件
  3. #Azkaban Personalization Settings
  4. #服务器UI名称,用于服务器上方显示的名字
  5. azkaban.name=Test
  6. #描述
  7. azkaban.label=My Local Azkaban
  8. #UI颜色
  9. azkaban.color=#FF3601
  10. azkaban.default.servlet.path=/index
  11. #默认web server存放web文件的目录
  12. web.resource.dir=/opt/module/azkaban/server/web/
  13. #默认时区,已改为亚洲/上海 默认为美国
  14. default.timezone.id=Asia/Shanghai
  15. #Azkaban UserManager class
  16. user.manager.class=azkaban.user.XmlUserManager
  17. #用户权限管理默认类（绝对路径）
  18. user.manager.xml.file=/opt/module/azkaban/server/conf/azkaban-users.xml
  19. #Loader for projects
  20. #global配置文件所在位置（绝对路径）
  21. executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
  22. azkaban.project.dir=projects
  23. #数据库类型
  24. database.type=mysql
  25. #端口号
  26. mysql.port=3306
  27. #数据库连接IP
  28. mysql.host=hadoop102
  29. #数据库实例名
  30. mysql.database=azkaban
  31. #数据库用户名
  32. mysql.user=root
  33. #数据库密码
  34. mysql.password=000000
  35. #最大连接数
  36. mysql.numconnections=100
  37. # Velocity dev mode
  38. velocity.dev.mode=false
  39. # Azkaban Jetty server properties.
  40. # Jetty服务器属性.
  41. #最大线程数
  42. jetty.maxThreads=25
  43. #Jetty SSL端口
  44. jetty.ssl.port=8443
  45. #Jetty端口
  46. jetty.port=8081
  47. #SSL文件名（绝对路径）
  48. jetty.keystore=/opt/module/azkaban/server/keystore
  49. #SSL文件密码
  50. jetty.password=000000
  51. #Jetty主密码与keystore文件相同
  52. jetty.keypassword=000000
  53. #SSL文件名（绝对路径）
  54. jetty.truststore=/opt/module/azkaban/server/keystore
  55. #SSL文件密码
  56. jetty.trustpassword=000000
  57. # Azkaban Executor settings
  58. executor.port=12321
  59. # mail settings
  60. mail.sender=
  61. mail.host=
  62. job.failure.email=
  63. job.success.email=
  64. lockdown.create.projects=false
  65. cache.directory=cache

6.4.1.2、配置user权限

  1. # 3.web服务器用户配置 在azkaban web服务器安装目录 conf目录，按照如下配置修改azkaban-users.xml 文件，增加管理员用户。
  2. vi /opt/module/azkaban/server/conf/azkaban-users.xml    
  3. <azkaban-users>
  4.     <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
  5.     <user username="metrics" password="metrics" roles="metrics"/>
  6.     <user username="admin" password="admin" roles="admin,metrics"/>
  7.     <role name="admin" permissions="ADMIN" />
  8.     <role name="metrics" permissions="METRICS"/>
  9. </azkaban-users>

6.4.2、Executor角色服务器配置

  1. # 1.修改azkaban.properties
  2. vi /opt/module/azkaban/executor/conf/azkaban.properties    
  3. #Azkaban
  4. #时区
  5. default.timezone.id=Asia/Shanghai
  6. # Azkaban JobTypes Plugins
  7. #jobtype 插件所在位置
  8. azkaban.jobtype.plugin.dir=plugins/jobtypes
  9. #Loader for projects
  10. executor.global.properties=/opt/module/azkaban/executor/conf/global.properties
  11. azkaban.project.dir=projects
  12. database.type=mysql
  13. mysql.port=3306
  14. mysql.host=hadoop102
  15. mysql.database=azkaban
  16. mysql.user=root
  17. mysql.password=000000
  18. mysql.numconnections=100
  19. # Azkaban Executor settings
  20. #最大线程数
  21. executor.maxThreads=50
  22. #端口号(如修改,请与web服务中一致)
  23. executor.port=12321
  24. #线程数
  25. executor.flow.threads=30

6.5、服务启动

注意：先启动Executor,然后启动Web,避免Web Server会因为找不到executor而启动失败

6.5.1、启动Executor服务器

  1. /opt/module/azkaban/executor/bin/azkaban-executor-start.sh

6.5.2、启动Web服务器

  1. /opt/module/azkaban/serverbin/azkaban-web-start.sh

6.5.3、查看进程

  1.  jps
  2.  3601 AzkabanExecutorServer
  3.  5880 Jps
  4.  3661 AzkabanWebServer

6.5.4、访问Azkaban

启动完成后，在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443，即可访问azkaban服务了。在登录中输入刚才在azkaban-users.xml文件中新添加的户用名及密码，点击 login
六-Azkaban - 图3六-Azkaban - 图4

6.6、Azkaban实例

6.6.1、单一Job实例

6.6.1.1、创建Job描述文件

  1. # 1.创建job描述文件
  2. vim first.job
  3.     #first.job
  4.     type=command
  5.     command=echo 'this is my first job'

6.6.1.2、打包zip包

  1. # 2.将job资源文件打包成zip文件
  2. zip first.zip first.job

注意:目前，Azkaban上传的工作流文件只支持xxx.zip文件。zip应包含xxx.job运行作业所需的文件和任何文件（文件名后缀必须以.job结尾，否则无法识别）。作业名称在项目中必须是唯一的。

6.6.1.3、上传zip包

通过azkaban的web管理平台创建project并上传job的zip包.

6.6.1.3.1、创建project

六-Azkaban - 图5

6.6.1.3.2、上传zip包

六-Azkaban - 图6

6.6.1.3.3、启动执行job

六-Azkaban - 图7
点击执行工作流
六-Azkaban - 图8
点击继续
六-Azkaban - 图9
Job执行成功
六-Azkaban - 图10
查看Job日志
六-Azkaban - 图11

6.6.2、多Job工作流案例

6.6.2.1、创建job描述

  1. # 创建有依赖关系的多个job描述
  2. # 1.第一个job：start.job
  3. vim start.job
  4.     #start.job
  5.     type=command
  6.     command=touch /opt/module/kangkang.txt
  8. # 2.第二个job：step1.job依赖start.job
  9. vim step1.job
  10.     #step1.job
  11.     type=command
  12.     dependencies=start
  13.     command=echo "this is step1 job"
  15. # 3.第三个job：step2.job依赖start.job
  16. vim step2.job
  17.     #step2.job
  18.     type=command
  19.     dependencies=start
  20.     command=echo "this is step2 job"
  22. # 4.第四个job：finish.job依赖step1.job和step2.job
  23. vim finish.job
  24.     #finish.job
  25.     type=command
  26.     dependencies=step1,step2
  27.     command=echo "this is finish job"

6.6.2.2、打包zip

  1. zip jobs.zip start.job step1.job step2.job finish.job

在azkaban的web管理界面创建工程并上传zip包
六-Azkaban - 图12
启动工作流flow
六-Azkaban - 图13
查看结果
六-Azkaban - 图14

6.6.3、Java操作案例

6.6.3.1、代码开发

  1. import java.io.IOException;
  2. public class AzkabanTest {
  3.     public void run() throws IOException {
  4.         // 根据需求编写具体代码
  5.         FileOutputStream fos = new FileOutputStream("/opt/module/azkaban/output.txt");
  6.         fos.write("this is a java progress".getBytes());
  7.         fos.close();
  8.     }
  9.     public static void main(String[] args) throws IOException {
  10.         AzkabanTest azkabanTest = new AzkabanTest();
  11.         azkabanTest.run();
  12.     }
  13. }

6.6.3.2、打包

将Java程序打成Jar包，创建lib目录，将jar包放入lib内

  1.  mkdir lib
  2.  cd lib/

6.6.3.3、编写job文件

  1. vim azkabanJava.job
  2.     #azkabanJava.job
  3.     type=javaprocess
  4.     java.class=com.atguigu.azkaban.AzkabanTest
  5.     classpath=/opt/module/azkaban/lib/*

6.6.3.4、job文件打包zip

  1. zip azkabanJava.zip azkabanJava.job

6.6.3.5、zip包上传启动job

六-Azkaban - 图15

6.6.4、HDFS操作任务

6.6.4.1、创建job描述

  1. vim fs.job
  2.     #hdfs job
  3.     type=command
  4.     command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban

6.6.4.2、zip打包

  1. zip fs.zip fs.job

6.6.4.3、上传zip包、启动执行查看结果

六-Azkaban - 图16六-Azkaban - 图17

6.6.5、MapReduce案例

6.6.5.1、创建Job描述文件

  1. vim mapreduce.job
  2.     #mapreduce job
  3.     type=command
  4.     command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output

6.6.5.2、zip打包

  1. zip mapreduce.zip mapreduce.job

6.6.5.3、上传zip包启动job，查看结果

六-Azkaban - 图18六-Azkaban - 图19

6.6.6、Hive案例

6.6.6.1、创建Job描述文件和Hive脚本

  1. # 1.Hive脚本
  2. vim student.sql 
  3.       use default;
  4.     drop table student;
  5.     create table student(id int, name string)
  6.     row format delimited fields terminated by '\t';
  7.     load data local inpath '/opt/module/datas/student.txt' into table student;
  8.     insert overwrite local directory '/opt/module/datas/student'
  9.     row format delimited fields terminated by '\t'
  10.     select * from student;
  12.   vim hive.job
  13.         #hive job
  14.         type=command
  15.         command=/opt/module/hive/bin/hive -f /opt/module/azkaban/jobs/student.sql

6.6.6.2、zip打包

  1.  zip hive.zip hive.job

6.6.6.3、zip包上传启动job，查看结果