下载解压

Kafka 安装包官方下载地址：http://kafka.apache.org/downloads ，本用例下载的版本为 2.2.0，下载命令：

  1. # 下载
  2. wget https://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgz
  3. # 解压
  4. tar -xzf kafka_2.12-2.4.1.tgz -C /opt/module/kafka-2.4.1

这里 j 解释一下 kafka 安装包的命名规则：以 kafka_2.12-2.2.0.tgz 为例，前面的 2.12 代表 Scala 的版本号（Kafka 采用 Scala 语言进行开发），后面的 2.2.0 则代表 Kafka 的版本号。

拷贝配置文件

进入解压目录的 config 目录下 ，拷贝五份配置文件：

  1. cp server.properties server-1.properties
  2. cp server.properties server-2.properties
  3. cp server.properties server-3.properties
  4. cp server.properties server-4.properties
  5. cp server.properties server-5.properties

修改配置

分别修改五份配置文件中的部分配置，如下：

server-1.properties：

  1. # The id of the broker. 集群中每个节点的唯一标识
  2. broker.id=0
  3. # 监听地址
  4. listeners=PLAINTEXT://node01:9092
  5. # 数据的存储位置
  6. log.dirs=/data/kafka/logs/00
  7. # Zookeeper连接地址
  8. zookeeper.connect=node01:2181,node02:2181,node03:2181,node04:2181,node05:2181

server-2.properties：

  1. broker.id=1
  2. listeners=PLAINTEXT://node02:9092
  3. log.dirs=/data/kafka/logs/01
  4. zookeeper.connect=node01:2181,node02:2181,node03:2181,node04:2181,node05:2181

server-3.properties：

  1. broker.id=2
  2. listeners=PLAINTEXT://node03:9092
  3. log.dirs=/data/kafka/logs/02
  4. zookeeper.connect=node01:2181,node02:2181,node03:2181,node04:2181,node05:2181

这里需要说明的是 log.dirs 指的是数据日志的存储位置，确切的说，就是分区数据的存储位置，而不是程序运行日志的位置。程序运行日志的位置是通过同一目录下的 log4j.properties 进行配置的。

启动集群

分别指定不同配置文件，启动五个 Kafka 节点。启动后可以使用 jps 查看进程，此时应该有五个 zookeeper 进程和五个 kafka 进程。
后台运行，加上参数 -daemon 

  1. ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server-1.properties

其他节点分别是server-2.properties，server-3.properties，server-4.properties，server-5.properties

创建测试主题

创建测试主题：

  1. bin/kafka-topics.sh --create --bootstrap-server hadoop001:9092 \
  2.                     --replication-factor 3 \
  3.                     --partitions 1 --topic my-replicated-topic

创建后可以使用以下命令查看创建的主题信息：

  1. bin/kafka-topics.sh --describe --bootstrap-server node01:9092 --topic my-replicated-topic

可以看到分区 0 的有 0,1,2 三个副本，且三个副本都是可用副本，都在 ISR(in-sync Replica 同步副本) 列表中，其中 1 为首领副本，此时代表集群已经搭建成功。