1 单机模式

下载 官网 http://kafka.apache.org/downloads

1.1 准备环境

  • java 1.8
  • zookeeper 3.5.6
  • kafka 2.4.0

本人因为安装了Elasticsearch 7.4.0 ，所以选择了ES自带的jdk，下篇博客里有讲这些。
https://blog.csdn.net/qq_41520636/article/details/115916766
如果想要使用原生jdk安装，那么可以参照下篇博客
https://blog.csdn.net/qq_41520636/article/details/111878044
然后直接搜索 JDK1.8配置 即可查阅。
zookeeper的安装参照
https://blog.csdn.net/qq_41520636/article/details/114959972
直接搜索 zookeeper的安装 即可查阅。
不过，kafka里面内置了zookeeper，也可以不用再去安装zookeeper。
后面集群模式下，最好安装hadoop，使用大数据来构建接收数据。

1.2 Apache Kafka安装

上传到本机linux上，而后解压

  1. tar -zxvf kafka_2.11-2.4.0.tgz -C /opt

下面你可以有几种选择，一种是在host文件，修改主机名和ip，然后使用主机名修改下面的配置；另一种方式直接使用ip修改配置，两者选一种即可。

  1. # 进入配置目录
  2. cd /opt/kafka_2.11-2.4.0/config
  3. # 修改配置
  4. vim server.properties
  5. # ===========================================
  6. # 经纪人id，该属性必须唯一，用于配置集群
  7. broker.id=0
  8. # 监听地址，PLAINTEXT://ip地址:9092（9092默认端口）
  9. listeners=PLAINTEXT://192.168.135.145:9092
  10. # log地址，不要使用默认的/tmp/kafka-logs/地址，启动会报错
  11. log.dirs=/tmp/kafka-logs-0/
  12. # zookeeper连接地址，默认本地即可，这里如果是集群模式，需要配置多个zookeeper
  13. zookeeper.connect=localhost:2181
  14. # zookeeper连接超时秒数
  15. zookeeper.connection.timeout.ms=6000
  16. # 无须重启即可删除主题
  17. delete.topic.enable=true
  18. # 设置了listeners其实可以不用设置host.name
  19. host.name=192.168.135.145

2 修改环境变量

  1. vim /etc/profile
  2. # kafka配置
  3. export KAFKA_HOME=/opt/kafka_2.11-2.4.0
  4. export PATH=$KAFKA_HOME/bin:$PATH
  5. source /etc/profile

这样可以不用跳转到目标目录下，才能启动命令。

2.1 启动命令-前台启动

  1. kafka-server-start.sh config/server.properties

2.2 停止命令-前台启动

  1. kafka-server-stop.sh config/server.properties

2.3 启动命令-后台启动

  1. nohup kafka-server-start.sh config/server.properties &

后台启动后，ctrl+c无法关闭。

3 压力测试

  1. kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100  --producer-props bootstrap.servers=localhost:9092

3.1 查看kafka启动进程

输入 jps 命令查看，QuorumPeerMain是zookeeper守护线程。

  1. [root@localhost config]# jps
  2. 38786 QuorumPeerMain
  3. 22562 Kafka
  4. 56121 Jps