Producer

⽣产者创建消息. 该⻆⾊将消息发布到Kafka的topic中. broker接收到⽣产者发送的消息后, broker将该消息追加到当前⽤于追加数据的 Segment ⽂件中.
⼀般情况下, ⼀个消息会被发布到⼀个特定的主题上.
默认情况下通过轮询把消息均衡地分布到主题的所有分区上.
在某些情况下, ⽣产者会把消息直接写到指定的分区. 这通常是通过消息键和分区器来实现的, 分区器为键
⽣成⼀个散列值, 并将其映射到指定的分区上. 这样可以保证包含同⼀个键的消息会被写到同⼀个分区上.
⽣产者也可以使⽤⾃定义的分区器, 根据不同的业务规则将消息映射到分区.

Consumer

消费者读取消息.
消费者订阅⼀个或多个主题, 并按照消息⽣成的顺序读取它们.
消费者通过检查消息的偏移量来区分已经读取过的消息. 偏移量是另⼀种元数据, 它是⼀个不断递增的整数
值, 在创建消息时, Kafka 会把它添加到消息⾥. 在给定的分区⾥, 每个消息的偏移量都是唯⼀的. 消费者
把每个分区最后读取的消息偏移量保存在Zookeeper 或Kafka 上, 如果消费者关闭或重启, 它的读取状态不
会丢失.
消费者是消费组的⼀部分. 群组保证每个分区只能被⼀个消费者使⽤.
如果⼀个消费者失效, 消费组⾥的其他消费者可以接管失效消费者的⼯作, 再平衡, 分区重新分配.
image.png

Broker

⼀个独立的Kafka 服务器被称为broker.
broker 为消费者提供服务, 对读取分区的请求作出响应, 返回已经提交到磁盘上的消息.
如果某topic有N个partition, 集群有N个broker, 那么每个broker存储该topic的⼀个partition.
如果某topic有N个partition, 集群有(N+M)个broker, 那么其中有N个broker存储该topic的⼀个partition,
剩下的M个broker不存储该topic的partition数据.
如果某topic有N个partition, 集群中broker数⽬少于N个, 那么⼀个broker存储该topic的⼀个或多个partition. 在实际⽣产环境中, 尽量避免这种情况的发⽣, 这种情况容易导致Kafka集群数据不均衡.
broker 是集群的组成部分. 每个集群都有⼀个broker 同时充当了集群控制器的⻆⾊(⾃动从集群的活跃成员中选举出来).
控制器负责管理⼯作, 包括将分区分配给broker 和监控broker.
在集群中, ⼀个分区从属于⼀个broker, 该broker 被称为分区的⾸领.
image.png

Topic

每条发布到Kafka集群的消息都有⼀个类别, 这个类别被称为Topic.
物理上不同Topic的消息分开存储.
主题就好⽐数据库的表, 尤其是分库分表之后的逻辑表.

Partition

主题可以被分为若⼲个分区, ⼀个分区就是⼀个提交⽇志.
消息以追加的⽅式写⼊分区, 然后以先⼊先出的顺序读取.
⽆法在整个主题范围内保证消息的顺序, 但可以保证消息在单个分区内的顺序.
Kafka 通过分区来实现数据冗余和伸缩性.
在需要严格保证消息的消费顺序的场景下, 需要将partition数⽬设为1.
image.png

Replicas

Kafka 使⽤主题来组织数据, 每个主题被分为若⼲个分区, 每个分区有多个副本. 那些副本被保存在broker 上, 每个broker 可以保存成百上千个属于不同主题和分区的副本.
副本有以下两种类型：
⾸领副本: 每个分区都有⼀个⾸领副本. 为了保证⼀致性, 所有⽣产者请求和消费者请求都会经过这个副本.
跟随者副本: ⾸领以外的副本都是跟随者副本. 跟随者副本不处理来⾃客户端的请求, 它们唯⼀的任务就是从⾸领那⾥复制消息, 保持与⾸领⼀致的状态. 如果⾸领发⽣崩溃, 其中的⼀个跟随者会被提升为新⾸领.

Offset

⽣产者Offset

消息写⼊的时候, 每⼀个分区都有⼀个Offset, 这个Offset就是⽣产者的Offset, 同时也是这个分区的最新最⼤的Offset.
有些时候没有指定某⼀个分区的Offset, 这个⼯作kafka帮我们完成.
image.png

消费者Offset

这是某⼀个分区的Offset情况, ⽣产者写⼊的Offset是最新最⼤的值是12, ⽽当Consumer A进⾏消费时, 从0开始消费, ⼀直消费到了9, 消费者的Offset就记录在9, Consumer B就纪录在了11. 等下⼀次他们再来消费时, 他们可以选择接着上⼀次的位置消费, 当然也可以选择从头消费, 或者跳到最近的记录并从”现在”开始消费.
image.png

副本

Kafka 通过副本保证⾼可⽤. 副本分为⾸领副本 (Leader) 和跟随者副本 (Follower).
跟随者副本包括同步副本和不同步副本, 在发⽣⾸领副本切换的时候, 只有同步副本可以切换为⾸领副本.

AR

分区中的所有副本统称为AR(Assigned Repllicas). AR=ISR+OSR

ISR

所有与 Leader 副本保持⼀定程度同步的副本 (包括Leader) 组成 ISR (In-Sync Replicas), ISR 集合是 AR 集合中的⼀个⼦集. 消息会先发送到 Leader 副本, 然后 Follower 副本才能从 Leader 副本中拉取消息进⾏同步, 同步期间内 Follower 副本相对于 Leader 副本⽽⾔会有⼀定程度的滞后. 前⾯所说的 “⼀定程度” 是指可以忍受的滞后范围, 这个范围可以通过参数进⾏配置.

OSR

与 Leader 副本同步滞后过多的副本 (不包括 Leader) 副本, 组成 OSR (Out-Sync Relipcas). 在正常情况下, 所有
的 Follower 副本都应该与 Leader 副本保持⼀定程度的同步, 即 AR=ISR, OSR 集合为空.

HW

HW 是 High Watermak 的缩写, 俗称高水位, 它表示了⼀个特定消息的偏移量 (Offset), 消费之只能拉取到这
个 Offset 之前的消息

LEO

LEO 是 Log End Offset 的缩写, 它表示了当前⽇志⽂件中下⼀条待写⼊消息的 Offset.
image.png