https://blog.csdn.net/weixin_42507474/article/details/121054782

1、什么是Apache Kafka?

Apache Kafka是由Apache开发的一种发布订阅消息系统，它是一个分布式的、分区的和重复的日志服务。

2、什么是传统的消息传递方法?

传统的消息传递方法包括两种：

  • 排队：在队列中，一组用户可以从服务器中读取消息，每条消息都发送给其中一个人。

  • 发布-订阅：在这个模型中，消息被广播给所有的用户。

    3、Kafka相对传统技术有什么优势?

    Apache Kafka与传统的消息传递技术相比优势之处在于：
    快速:单一的Kafka代理可以处理成千上万的客户端，每秒处理数兆字节的读写操作。
    可伸缩:在一组机器上对数据进行分区和简化，以支持更大的数据
    持久:消息是持久性的，并在集群中进行复制，以防止数据丢失。
    设计:它提供了容错保证和持久性

    4、在Kafka中broker的意义是什么?

    在Kafka集群中，broker术语用于引用服务器。

    5、Kafka服务器能接收到的最大信息是多少?

    Kafka服务器可以接收到的消息的最大大小是1000000字节。

    6、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?

    Zookeeper是一个开放源码的、高性能的协调服务，它用于Kafka的分布式应用。
    不，不可能越过Zookeeper，直接联系Kafka broker。一旦Zookeeper停止工作，它就不能服务客户端请求。

  • Zookeeper主要用于在集群中不同节点之间进行通信

  • 在Kafka中，它被用于提交偏移量，因此如果节点在任何情况下都失败了，它都可以从之前提交的偏移量中获取

  • 除此之外，它还执行其他活动，如: leader检测、分布式同步、配置管理、识别新节点何时离开或连接、集群、节点实时状态等等。

    7、解释Kafka的用户如何消费信息?

    在Kafka中传递消息是通过使用sendfile API完成的。它支持将字节从套接口转移到磁盘，通过内核空间保存副本，并在内核用户之间调用内核。

    8、解释如何提高远程用户的吞吐量?

    如果用户位于与broker不同的数据中心，则可能需要调优套接口缓冲区大小，以对长网络延迟进行摊销。

    9、解释一下，在数据制作过程中，你如何能从Kafka得到准确的信息?

    在数据中，为了精确地获得Kafka的消息，你必须遵循两件事: 在数据消耗期间避免重复，在数据生产过程中避免重复。
    这里有两种方法，可以在数据生成时准确地获得一个语义:

  • 每个分区使用一个单独的写入器，每当你发现一个网络错误，检查该分区中的最后一条消息，以查看您的最后一次写入是否成功

  • 在消息中包含一个主键(UUID或其他)，并在用户中进行反复制

    10、解释如何减少ISR中的扰动?broker什么时候离开ISR?

    ISR是一组与leaders完全同步的消息副本，也就是说ISR中包含了所有提交的消息。ISR应该总是包含所有的副本，直到出现真正的故障。如果一个副本从leader中脱离出来，将会从ISR中删除。

    11、Kafka为什么需要复制?

    Kafka的信息复制确保了任何已发布的消息不会丢失，并且可以在机器错误、程序错误或更常见些的软件升级中使用。

    12、如果副本在ISR中停留了很长时间表明什么?

    如果一个副本在ISR中保留了很长一段时间，那么它就表明，跟踪器无法像在leader收集数据那样快速地获取数据。

    13、请说明如果首选的副本不在ISR中会发生什么?

    如果首选的副本不在ISR中，控制器将无法将leadership转移到首选的副本。

    14、有可能在生产后发生消息偏移吗?

    在大多数队列系统中，作为生产者的类无法做到这一点，它的作用是触发并忘记消息。broker将完成剩下的工作，比如使用id进行适当的元数据处理、偏移量等。
    作为消息的用户，你可以从Kafka broker中获得补偿。如果你注视SimpleConsumer类，你会注意到它会获取包括偏移量作为列表的MultiFetchResponse对象。此外，当你对Kafka消息进行迭代时，你会拥有包括偏移量和消息发送的MessageAndOffset对象。

    15 kafka的leader选举过程

    最简单最直观的方案是，集群中第一个启动的broker会通过在zookeeper中创建临时节点/controller成为leader，所有Follower对此节点注册监听，当leader宕机时，此时ISR里的所有Follower都尝试创建该节点，而创建成功者（Zookeeper保证只有一个能创建成功）即是新的Leader，其它Replica即为Follower。

    Kafka partition leader的选举

    由controller执行：

  • 从Zookeeper中读取当前分区的所有ISR(in-sync replicas)集合

  • 调用配置的分区选择算法选择分区的leader

    16. kafka如何实现高吞吐量？

    1. 顺序读写：kafka的消息是不断追加到文件中的，不需要硬盘磁头的寻道时间
    1. 零拷贝：把所有的消息放到一个文件中，当消费者需要数据的时候直接将文件发送给消费者
    1. 分区：kafka中的topic的内容被分为多个partition存在，每个partition又被分为多个segment存在，所以每 次操作都是针对一小部分操作，轻便，增加了并行操作的能力。
    1. 批量发送：producer发送消息的时候，可以将消息存在本地，等消息条数到了固定值再发送到kafka
    1. 数据压缩：Producer可以通过对消息进行gzip或snappy格式压缩，减少了传输的数据量，减轻了对网络传输的压力。

      17. 数据可靠性保证

      1.生产者发送数据到topic partition的可靠性保证

      为了保证producer发送数据到指定的topic，topic的每个partition收到producer发送的数据后都会向producer发送ack（确认收到），如果producer收到ack，就进行下一轮发送，否则重新发送数据。

      1.topic partition存储数据的可靠性保证

      (1) 副本数据同步策略
      半数以上完成，发送ack 需要2n+1个副本
      全部完成同步发送ack 需要n+1个副本

(2) ISR
leader维护一个动态的ISR，即与leader保持同步的follower集合。当ISR里面的flower完成数据同步，leader就会给producer发送ack。如果有flower长时间不同步数据，踢出ISR，时间阈值由参数设定。
leader挂掉后从ISR选举。

（3）ack应答级别

  • 0 （At Most Once）: 最低延迟，partition的leader收到消息没写入磁盘就返回ack，

可以保证数据不重复，但是不能保证数据不丢失。若leader故障可能丢失数据。

  • 1: partition的leader落盘成功后发送ack，若flower同步数据之前leader故障，可能丢失数据。

  • -1 （At Least Once）: partition的leader和flower全部落盘成功后发送ack。

可以保证数据不丢失，但是不能保证数据不重复（若flowader同步完成后，发送ack之前leader故障，会造成数据重复）

Exactly Once语义

幂等性。所谓的幂等性就是指Producer不论向Server发送多少次重复数据，Server端都只会持久化一条。幂等性结合At Least Once语义，就构成了Kafka的Exactly Once语义。即：At Least Once + 幂等性 = Exactly Once

18. Kafka消息积压问题

https://cloud.tencent.com/developer/article/1839608

19.Kafka 数据推送失败怎么处理

kafka数据推送失败，如果是生产者推送kafka数据失败，有可能是网络端口问题，配置网络ip的域名映射，
防火墙问题可以做防火墙策略，还有配置的ip和端口是否正确，还要确定kafka是否启动服务。
kafka推送数据到其他系统，可以使用flume以及消费者来做

20.Kafka 数据重复怎么处理

原因1：强行kill线程，导致消费后的数据，offset没有提交（消费系统宕机、重启等）。
原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset没提交，下次重启会重复消费。
**解决方法：设置offset自动提交为false
整合了Spring配置的修改如下配置
spring配置：spring.kafka.consumer.enable-auto-commit=false
API配置：

  1. Properties props = new Properties(); 
  2. props.put("bootstrap.servers", "localhost:9092"); 
  3. props.put("group.id", "test"); 
  4. props.put("enable.auto.commit", "false");

重发问题解决办法：至少发一次+去重操作（幂等性）
去重问题：消息可以使用唯一id标识

如何保证消息的顺序性：

一、实现原理

Kafka只保证单个分区内的消息有序, 所以要想保证消息的顺序性, 只能一个topic, 一个partition, 一个consumer。
(1) 当生产端是异步发送时，此时有消息发送失败，比如你异步发送了1，2，3消息，2消息发送异常重试发送，这时候顺序就乱了；
(2) 当Broker宕机出现问题，此时生产端有可能会把顺序消息发送到不同的分区，这时会发生短暂消息顺序不一致的现象。
https://mp.weixin.qq.com/s/b_2OZkTIViA4IbfsfwwbxA

二、乱序的情况

2.1 生产者

发送者失败重试。

2.2 broker

1、多Partition情况

原理：消息在不同的Partition是不能保证有序的，只有一个Partition内的消息是有序的。
解决方式：指定key，比如订单id，那么对应的数据一定会写到同一个partition。

2、broken宕机

Leader和Follower切换。

2.3 消费者

多线程消费MQ会导致数据乱掉。
解决方式：(1) 一个partition只被一个消费者消费；(2) 每个线程对应1个内存队列，根据每条数据的key做hash取模，把相同id的数据分配到同1个队列。