kafaka安装

windows11 安装kafka

1. 安装zookeeper

首先需要安装JDK

https://www.oracle.com/java/technologies/downloads/
下载安装完成后 添加下面两个系统环境变量
JAVA_HOME: D:\Java\jdk1.8.0_291 (jdk的安装路径)
Path: 增加 %JAVA_HOME%\BIN;
添加完成后在CMD中执行 java -version检测配置是否成功
注意: JDK的路径中不允许有空格,否则zookeeper会启动失败。

安装zookeeper

运行kafka之前需要先运行zookeeper
http://zookeeper.apache.org/releases.html
zookeeper安装好后 把zoo_sample.cfg重命名成zoo.cfg
zoo.cfg 中dataDir的值改成“./zookeeper-3.4.13/data”
添加系统环境变量 ZOOKEEPER_HOME: E:\apache-zookeeper-3.7.0 (zookeeper目录)
Path: 在现有的值后面添加 %ZOOKEEPER_HOME%\bin
zoo.cfg新增一行audit.enable=true
添加完成后再CMD中执行 zkserver

2 . 安装kafka

http://kafka.apache.org/downloads.html

概念

Kafka 最新: 定义:Kafka是一个开源的分布式事件流平台(Event Streaming
Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用

基础架构图

image.png
(1 )Producer :消息生产者,就是向 Kafka broker发消息的客户端。
(2 )Consumer :消息消费者,向 Kafka broker 取消息的客户端。
(3 )Consumer Group (CG ):消费者组,由多个 consumer组成。 消费者组内每个消
费者负责消费不同分区的数据,一个分区只能由一个 组内 消费者消费;消费者组之间互不
影响。所有的消费者都属于某个消费者组,即 消费者组是逻辑上的一个订阅者。
(4 )Broker :一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个
broker可以容纳多个 topic。
(5 )Topic: :可以理解为一个队列, 生产者和消费者面向的都是一个 topic。
(6 )Partition :为了实现扩展性,一个非常大的 topic 可以分布到多个 broker(即服
务器)上,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列。
(7 )Replica :副本。一个 topic 的每个分区都有若干个副本,一个 Leader 和若干个
Follower。
(8 )Leader :每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数
据的对象都是 Leader。
(9 )Follower :每个分区多个副本中的“从”,实时从 Leader 中同步数据,保持和
Leader 数据的同步。Leader 发生故障时,某个 Follower 会成为新的 Leader。