Apache Kafka是一个开放源代码的分布式事件流平台，成千上万的公司使用它来实现高性能数据管道，流分析，数据集成和关键任务应用程序。 官方地址: http://kafka.apache.org/

安装以及部署

二进制安装

  1. # 下载kafka 
  2. wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz

Docker 安装

  1. # 很遗恨目前kafka还没有官方维护的镜像
  2. # 但是有一个非常不错的个人维护的kafka镜像
  4. # 获取zookeeper
  5. docker pull wurstmeister/zookeeper:3.4.6
  7. # 获取kafka
  8. docker pull wurstmeister/kafka:2.13-2.6.0
  10. # 启动zookeeper
  11. docker run -d --name zookeeper -p 2181:2181 --network host -v /etc/localtime:/etc/localtime wurstmeister/zookeeper:3.4.6
  13. # 运行kafka
  14. docker run  -d --name kafka -p 9092:9092 --network host -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=127.0.0.1:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://127.0.0.1:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka:2.13-2.6.0

Kafka 客户端

Mac 版本客户端

offsetexplorer.dmg
image.png

Kafka 入门

创建主题

—zookeeper 的配置 —replication-factor 复制因子 —partitions 分区数量 —topic 主题名称

  1. # 创建主题
  2. kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test