数据丢失问题

生产者

在生产者端，发送消息给MQ，可能由于网络等原因丢失

Kafka 丢掉消息

原因：kafka 某个 broker 宕机，然后重新选举 partition 的 leader时，此时其他的 follower 刚好还有一些数据没有同步，结果此时 leader挂了，然后选举某个 follower成 leader之后，就丢掉了之前leader里未同步的数据。

例子：kafka的leader机器宕机，将 follower 切换为 leader之后，发现数据丢了

解决方案：（保证 kafka broker端在 leader发生故障，或者leader切换时，数据不会丢）

• 给 topic设置 replication.factor ，这个值必须大于 1，保证每个 partition 必须至少有 2 个副本
• 在 kafka 服务端设置 min.insync.replicas 参数，这个值必须大于 1，这个是要求一个leader至少感知到有至少一个follower还跟自己保持联系，没掉队，这样才能确保 leader挂了还有一个follower，保证至少一个 follower能和leader保持正常的数据同步。
• 在 producer 端设置 acks =all，这个是要求每条数据，必须是写入所有 replica 之后，才能认为是写成功了。否则会生产者会一直重试，此时设置 retries = MAX（很大的重试的值）,要求一旦写入失败，就卡在这里（避免消息丢失）

按 2 的方案设置了 ack =all，一定不会丢。它会要求 leader 接收到消息，所有的 follower 都同步 到了消息之后，才认为本次写成功。如果没满足这个条件，生产者会无限次重试 。

消费端弄丢数据

原因：消费者消费到那条消息后，自动提交了 offset，kafka以为你已经消费好了这条消息，结果消费者挂了，这条消息就丢了。

例子：消费者消费到数据后写到一个内存 queue里缓存下，消息自动提交 offset，重启了系统，结果会导致内存 queue 里还没来得及处理的数据丢失。
解决方法：kafka会自动提交 offset，那么只要关闭自动提交 offset，在处理完之后自己手动提交，可以保证数据不会丢。但是此时确实还是会重复消费，比如刚好处理完，还没提交 offset，结果自己挂了，此时肯定会重复消费一次 ，做好幂等即可。

重复消费

每条消息都有一个 offset 代表 了这个消息的顺序的序号，按照数据进入 kafka的顺序，kafka会给每条数据分配一个 offset,代表了这个是数据的序号，消费者从 kafka去消费的时候，按照这个顺序去消费，消费者会去提交 offset，就是告诉 kafka已经消费到 offset=153这条数据了 ；zk里面就记录了消费者当前消费到了 offset =几的那条消息；假如此时消费者系统被重启，重启之后，消费者会找kafka，让kafka把上次我消费到的那个地方后面的数据继续给我传递过来。

重复消息原因：（主要发生在消费者重启后）

消费者不是说消费完一条数据就立马提交 offset的，而是定时定期提交一次 offset。消费者如果再准备提交 offset，但是还没提交 offset的时候，消费者进程重启了，那么此时已经消费过的消息的 offset并没有提交，kafka也就不知道你已经消费了 offset= 153那条数据，这个时候kafka会给你发offset=152,153,154的数据，此时 offset = 152,153的消息重复消费了