大家好，我是怀瑾握瑜，一只大数据萌新，家有两只吞金兽，嘉与嘉，上能code下能teach的全能奶爸如果您喜欢我的文章，可以[关注⭐]+[点赞👍]+[评论📃]，您的三连是我前进的动力，期待与您共同成长~

1 Azkaban介绍

Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。也可以用其代替crontab来对周期性任务进行调度，并且更为直观，可靠，同时提供了美观的可视化管理界面。
Azkaban由三部分构成：
1、Relational Database(Mysql)
azkaban将大多数状态信息都存于MySQL中,Azkaban Web Server 和 Azkaban Executor Server也需要访问DB。
2、Azkaban Web Server
提供了Web UI，是azkaban的主要管理者，包括 project 的管理，认证，调度，对工作流执行过程的监控等。
3、Azkaban Executor Server
调度工作流和任务，纪录工作流活任务的日志，之所以将AzkabanWebServer和AzkabanExecutorServer分开，主要是因为在某个任务流失败后，可以更方便的将重新执行。而且也更有利于Azkaban系统的升级

2 搭建前准备

2.1 安装整体流程描述

1、在mysql中创建azkaban相关的账号，库，表
2、将azkaban的建表脚本导入到数据库中
3、安装azkaban-executor- server
4、安装azkaban-web-server

2.2 安装版本说明

JDK：jdk1.8.0_77 64位
MySQL-5.6以上版本
db脚本：azkaban-db-0.1.0-SNAPSHOT.tar.gz
执行Server：azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
Web Server：azkaban-web-server-0.1.0-SNAPSHOT.tar.gz

2.3 资源下载地址

名称	地址
azkaban-db	azkaban-db-0.1.0-SNAPSHOT.tar.gz
azkaban-exec-server	azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz
azkaban-web-server	azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
JDK1.8	https://www.oracle.com/java/technologies/javase-jdk8-downloads.html

2.4 本次安装节点说明

本次部署
10.60.247.50 部署azkaban-web-server
10.60.247.193 部署azkaban-exec-server
10.60.247.187 部署azkaban-exec-server
10.60.247.213 为mysql 节点

3 搭建环境

3.1 安装前准备工作

3.1.1 检查java环境（所有节点）

[root@ecs-iov-sw-qdmid-uat-0001 flume]# java -version

3.1.2 检查是否有spark（exec节点）

[root@ecs-iov-sw-qdmid-uat-0003 ~]# spark-submit --version

3.2 导入azkaban-db相关脚本

将azkaban-db-0.1.0-SNAPSHOT.tar.gz上传到/app/src/azkaban

2. 解压azkaban-db-0.1.0-SNAPSHOT.tar.gz
```
[root@ecs-iov-sw-qdmid-uat-0001 ~]#  tar -zxvf azkaban-db-0.1.0-SNAPSHOT.tar.gz
```

其中create-all-sql-0.1.0-SNAPSHOT.sql 为所有建表语句的合计

执行建表语句

[hdfs@ecs-iov-sw-qdmid-uat-0001 bin]$ mysql -uazkaban -pAzkaban*123qwe! -h10.60.247.213
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'azkaban'@'%';
mysql> FLUSH PRIVILEGES;
mysql> CREATE DATABASE azkaban;
mysql> use azkaban;

mysql>source /app/src/azkaban/azkaban-db-0.1.0-SNAPSHOT/create-all-sql-0.1.0-SNAPSHOT.sql

mysql> show tables;

通过以上流程建表就成功了

3.3 安装azkaban-exec-server

将/app/azkaban目录赋值给hdfs用户，并切换到hdfs

[root@ecs-iov-sw-qdmid-uat-0002 app]# chown -R hdfs:hdfs azkaban/

2. 将azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz上传到提前规划的节点上，目录为/app/azkaban并将解压azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

[hdfs@ecs-iov-sw-qdmid-uat-0003 azkaban]# tar -zxvf azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz

3. 修改配置项conf目录下的配置文件azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Sea
azkaban.label=Beluga Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=19099
# Where the Azkaban web server is located
azkaban.webserver.url=http://10.60.247.50:19099
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=10.60.247.213
mysql.database=azkaban
mysql.user=azkaban
mysql.password=Azkaban*123qwe!
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
executor.props.resolve.overrideExisting.enabled=false

启动和关闭
调用启动和关闭脚本需要
启动节点

[hdfs@ecs-iov-sw-qdmid-uat-0002 azkaban-exec-server-0.1.0-SNAPSHOT]$ ./bin/start-exec.sh

现在节点已经启动了，但是改节点还是非活跃状态，需要执行一下语句

[hdfs@ecs-iov-sw-qdmid-uat-0002 azkaban-exec-server-0.1.0-SNAPSHOT]$ curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo

查询日志

关闭节点

[hdfs@ecs-iov-sw-qdmid-uat-0002 azkaban-exec-server-0.1.0-SNAPSHOT]$ ./bin/shutdown-exec.sh

3.4 安装azkaban-web-server

/app/azkaban目录赋值给hdfs用户，并切换到hdfs用户
```
[root@ecs-iov-sw-qdmid-uat-0002 app]# chown -R hdfs:hdfs azkaban/
```
2. 将azkaban-web-server-0.1.0-SNAPSHOT.tar.gz上传到提前规划的节点上，目录为/app/azkaban并将解压azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
```
[hdfs@ecs-iov-sw-qdmid-uat-0001 azkaban]# tar -zxvf azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
```
生成密钥
生成安全认证秘钥：Azkaban对于安全管理做得非常好，通过SLA、jetty等实现安全访问
```
[hdfs@ecs-iov-sw-qdmid-uat-0001 azkaban-web-server-0.1.0-SNAPSHOT]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
```
Keystore 文件位置
修改配置项conf目录下的配置文件azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Sea
azkaban.label=BelugaAzkaban
# Azkaban Personalization Settings
azkaban.name=Sea
azkaban.label=BelugaAzkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=19099
#指定keystore文件的位置
jetty.keystore=/app/soft/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.password=123456
jetty.keypassword=123456
#指定keystore文件的位置
jetty.truststore=/app/soft/azkaban-web-server-0.1.0-SNAPSHOT/keystore
#keystore中的密码
jetty.trustpassword=123456
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
mysql.host=10.60.247.213
mysql.database=azkaban
mysql.user=azkaban
mysql.password=Azkaban*123qwe!
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

启动和关闭
执行启动脚本

[hdfs@ecs-iov-sw-qdmid-uat-0001 azkaban-web-server-0.1.0-SNAPSHOT]$ ./bin/start-web.sh

执行关闭脚本

[hdfs@ecs-iov-sw-qdmid-uat-0001 azkaban-web-server-0.1.0-SNAPSHOT]$ ./bin/shutdown-web.sh

结束语

如果您喜欢我的文章，可以[关注⭐]+[点赞👍]+[评论📃]，您的三连是我前进的动力，期待与您共同成长~ 可关注企鹅号【怀瑾握瑜的嘉与嘉】，获取资源下载方式

【大数据】环境安装

5. Azkaban 安装文档