资源规划

组件 LTSR003 LTSR005 LTSR006 LTSR007 LTSR008
OS centos7.6 centos7.6 centos7.6 centos7.6 centos7.6
JDK jvm jvm jvm jvm jvm
Zookeeper N.A QuorumPeerMain QuorumPeerMain QuorumPeerMain N.A
Kafka N.A kafka kafka/kafka-eagle kafka N.A

安装介质

版本：kafka-eagle-bin-1.4.7.tar.gz.gz
下载：http://download.kafka-eagle.org

环境准备

安装JDK

参考：《 CentOS7.6-安装JDK-1.8.221 》

安装ZooKeeper

  1.    参考：《[CentOS7.6-安装ZooKeeper-3.4.10](https://www.yuque.com/polaris-docs/test/centos-setup-zookeeper)》

安装MySQL

参考：《CentOS7.6-安装MySQL-5.7.30》

安装Kafka

参考：《CentOS7.6-安装Kafka-0.11.0.3》

安装Kafka Eagle

解压缩

cd ~/software/
#wget https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.7.tar.gz
#tar -zxvf v1.4.7.tar.gz -C ~/modules/
tar -zxvf kafka-eagle-bin-1.4.7.tar.gz.gz -C ~/modules/
cd ~/modules/kafka-eagle-bin-1.4.7/
tar -zxvf kafka-eagle-web-1.4.7-bin.tar.gz -C ~/modules/
rm -rf ~/modules/kafka-eagle-bin-1.4.7/

环境配置

设置环境变量，配置JAVA_HOME和本应用的KE_HOME

vi ~/.bashrc

配置如下：

export KE_HOME=/home/bigdata/modules/kafka-eagle-web-1.4.7
export PATH=$KE_HOME/bin:$PATH

生效配置：

source ~/.bashrc

进入kafka-eagle的conf目录下修改配置文件，配置基础配置：

vi ~/modules/kafka-eagle-web-1.4.7/conf/system-config.properties

修改下列配置：

# kafka集群配置
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.0.15:2181,192.168.0.16:2181,192.168.0.17:2181

# offset存储配置
cluster1.kafka.eagle.offset.storage=kafka

# 注释或删除以下一行配置
cluster2.kafka.eagle.offset.storage=zk

# 删除topic时需要使用的Token
kafka.eagle.topic.token=polaris

kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false

# jdbc配置
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.0.11:3306/eagle?createDatabaseIfNotExist=true&useSSL=false
kafka.eagle.username=root
kafka.eagle.password=123456

开启Kafka JMX监控

修改Kafka各节点JMX启动配置，开启监控功能：

vi ~/modules/kafka_2.11-0.11.0.3/bin/kafka-server-start.sh

配置如下：

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then 
    export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70" 
    export JMX_PORT="9999" 
fi

分发脚本：

cd ~/modules/kafka_2.11-0.11.0.3/bin
scp -r kafka-server-start.sh bigdata@LTSR005:~/modules/kafka_2.11-0.11.0.3/bin/
scp -r kafka-server-start.sh bigdata@LTSR007:~/modules/kafka_2.11-0.11.0.3/bin/

分发完成后，请重新启动Kafka集群。

验证Kafka Eagle

cd ~/modules/kafka-eagle-web-1.4.7/bin
chmod 755 ke.sh
./ke.sh start
./ke.sh stop
./ke.sh status

WebUI入口：http://LTSR006:8048/ke
默认账户口令：admin/123456