配置过程

1. 下载 kafka 安装包到 /opt/software(略)

2. 将其解压到 /opt/module 修改文件名为 kafka

Screen Shot 2021-01-15 at 16.02.35.png

3. 修改配置文件 config/server.properties

  1. cd /opt/module/kafka/config
  2. vim server.properties

Screen Shot 2021-01-15 at 16.04.15.png
Screen Shot 2021-01-15 at 16.04.02.pngScreen Shot 2021-01-15 at 16.03.46.png

主要配置说明

  1. #broker 的全局唯一编号，不能重复
  2. broker.id=0
  4. #删除 topic 功能使能
  5. delete.topic.enable=true 
  7. #处理网络请求的线程数量
  8. num.network.threads=3 
  10. #用来处理磁盘 IO 的现成数量
  11. num.io.threads=8 
  13. #发送套接字的缓冲区大小
  14. socket.send.buffer.bytes=102400 
  16. #接收套接字的缓冲区大小
  17. socket.receive.buffer.bytes=102400 
  19. #请求套接字的缓冲区大小
  20. socket.request.max.bytes=104857600 
  22. #kafka 运行日志存放的路径
  23. log.dirs=/opt/module/kafka/logs
  25. #topic 在当前 broker 上的分区个数 
  26. num.partitions=1
  28. #用来恢复和清理 data 下数据的线程数量
  29. num.recovery.threads.per.data.dir=1
  31. #segment 文件保留的最长时间，超时将被删除
  32. log.retention.hours=168
  34. #配置连接 Zookeeper 集群地址
  35. zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

4. 配置环境变量

  1. vim /etc/profile
  3. # 增加以下内容
  4. #KAFKA_HOME
  5. export KAFKA_HOME=/opt/module/kafka
  6. export PATH=$PATH:$KAFKA_HOME/bin
  8. source /etc/profile

Screen Shot 2021-01-15 at 16.07.09.png

5. 分发安装包

  1. cd /opt/module
  2. xsync kafka/

注意：分发之后记得配置其他机器的环境变量

6. 在分发的机器中配置 server.properties

分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties中的 broker.id=1、broker.id=2

注意：broker.id 不得重复

7. 启动与关闭 kafka 集群

  • 启动之前先启动 zookeeper
    1. [root@hadoop-node1 kafka]# bin/kafka-server-start.sh config/server.properties
    2. [root@hadoop-node2 kafka]# bin/kafka-server-start.sh config/server.properties
    3. [root@hadoop-node2 kafka]# bin/kafka-server-start.sh config/server.properties
    1. [root@hadoop-node1 kafka]# bin/kafka-server-stop.sh stop
    2. [root@hadoop-node2 kafka]# bin/kafka-server-stop.sh stop
    3. [root@hadoop-node2 kafka]# bin/kafka-server-stop.sh stop