消费者组的概念

  • 一个topic 可以被多个消费者组消费
  • 一个topic 有多个分区，每个分区，只能由一个消费者组的一个消费者消费
  • 但是一个消费者组的一个消费者，可以消费一个topic的多个分区
  • 一般来说我们建议 消费者 数量 和 分区 数量是一致的
  • 消费者和分区的对应关系，如何确定-> rebalance 过程
  • Kafka消费组(consumer group)

  • kafka 消费者详解

  • 在Kafka中实现消费的方式是将日志中的分区划分到每一个消费者实例上，以便在任何时间，每个实例都是分区唯一的消费者。维护消费组中的消费关系由Kafka协议动态处理。如果新的实例加入组，他们将从组中其他成员处接管一些 partition 分区;如果一个实例消失，拥有的分区将被分发到剩余的实例。

  • Kafka 只保证分区内的记录是有序的，而不保证主题中不同分区的顺序。每个 partition 分区按照key值排序足以满足大多数应用程序的需求。但如果你需要总记录在所有记录的上面，可使用仅有一个分区的主题来实现，这意味着每个消费者组只有一个消费者进程。
  • http://ifeve.com/kafka-1/ 《KAFKA官方文档》入门指南
  • 每个消息记录包含一个键，一个值和时间戳。
  • Kafka集群保留所有发布的记录，不管这个记录有没有被消费过，Kafka提供可配置的保留策略去删除旧数据(还有一种策略根据分区大小删除数据)。例如，如果将保留策略设置为两天，在记录公布后两天，它可用于消费，之后它将被丢弃以腾出空间。
  • Kafka的性能跟存储的数据量的大小无关， 所以将数据存储很长一段时间是没有问题的。

轮询算法( round-robin)

ISR AR的概念

分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。
消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。前面所说的“一定程度”是指可以忍受的滞后范围，这个范围可以通过参数进行配置。与leader副本同步滞后过多的副本（不包括leader）副本，组成OSR(Out-Sync Relipcas),由此可见：AR=ISR+OSR。

在正常情况下，所有的follower副本都应该与leader副本保持一定程度的同步，即AR=ISR,OSR集合为空。

Leader副本负责维护和跟踪ISR集合中所有的follower副本的滞后状态，当follower副本落后太多或者失效时，leader副本会吧它从ISR集合中剔除。如果OSR集合中follower副本“追上”了Leader副本，之后再ISR集合中的副本才有资格被选举为leader，而在OSR集合中的副本则没有机会（这个原则可以通过修改对应的参数配置来改变）

kafka中的ISR、AR又代表什么？ISR伸缩又是什么？

zookeeper 结构

image.png

脑裂

Controller 脑裂问题

kafka高吞吐量的原因

  • 读写文件依赖OS文件系统的页缓存，而不是在JVM内部缓存数据，利用OS来缓存，内存利用率高
  • sendfile技术（零拷贝），避免了传统网络IO四步流程
  • 支持End-to-End的压缩
  • 顺序IO以及常量时间get、put消息
  • Partition 可以很好的横向扩展和提供高并发处理