12道高频rabbitmq题

1、什么是rabbitmq

采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需要确保提供方存在,实现了服务之间的高度解耦。就像伟人虽然去世了,但是并不影响他们的事迹和著作流传于世。


2、为什么要使用rabbitmq

  1. 在分布式系统下具备异步,削峰,负载均衡等一系列高级功能;
  2. 拥有持久化的机制,进程消息,队列中的信息也可以保存下来。
  3. 实现消费者和生产者之间的解耦。
  4. 对于高并发场景下,利用消息队列可以使得同步访问变为串行访问达到一定量的限流,利于数据库的操作。
  5. 可以使用消息队列达到异步下单的效果,排队中,后台进行逻辑下单。

3、使用rabbitmq的场景

  1. 服务间异步通信
  2. 顺序消费
  3. 定时任务
  4. 请求削峰


    4、如何确保消息正确地发送至RabbitMQ? 如何确保消息接收方消费了消息?

  5. 发送方确认模式:

    1. 将信道设置成 confirm 模式(发送方确认模式),则所有在信道上发布的消息都会被指派一个唯一的 ID。一旦消息被投递到目的队列后,或者消息被写入磁盘后(可持久化的消息),信道会发送一个确认给生产者(包含消息唯一 ID)。如果 RabbitMQ 发生内部错误从而导致消息丢失,会发送一条 nack(notacknowledged,未确认)消息。发送方确认模式是异步的,生产者应用程序在等待确认的同时,可以继续发送消息。当确认消息到达生产者应用程序,生产者应用程序的回调方法就会被触发来处理确认消息。
  6. 接收方确认机制

    1. 消费者接收每一条消息后都必须进行确认(消息接收和消息确认是两个不同操作)。只有消费者确认了消息,RabbitMQ 才能安全地把消息从队列中删除。这里并没有用到超时机制,RabbitMQ 仅通过 Consumer 的连接中断来确认是否需要重新发送消息。也就是说,只要连接不中断,RabbitMQ 给了 Consumer 足够长的时间来处理消息。保证数据的最终一致性;下面罗列几种特殊情况
      1. 如果消费者接收到消息,在确认之前断开了连接或取消订阅,RabbitMQ 会认为消息没有被分发,然后重新分发给下一个订阅的消费者。(可能存在消息重复消费的隐患,需要去重)
      2. 如果消费者接收到消息却没有确认消息,连接也未断开,则 RabbitMQ 认为该消费者繁忙,将不会给该消费者分发更多的消息。


        5、如何避免消息重复投递或重复消费?

        在消息生产时,MQ 内部针对每条生产者发送的消息生成一个 inner-msg-id,作为去重的依据(消息投递失败并重传),避免重复的消息进入队列;
        在消息消费时,要求消息体中必须要有一个 bizId(对于同一业务全局唯一,如支付 ID、订单 ID、帖子 ID 等)作为去重的依据,避免同一条消息被重复消费。


        6、消息基于什么传输?

        由于 TCP 连接的创建和销毁开销较大,且并发数受系统资源限制,会造成性能瓶颈。RabbitMQ 使用信道的方式来传输数据。
        信道是建立在真实的 TCP 连接内的虚拟连接,且每条 TCP 连接上的信道数量没有限制。


        7、消息如何分发?

        若该队列至少有一个消费者订阅,消息将以循环(round-robin)的方式发送给消费者。一个一个来挨个发。
        每条消息只会分发给一个订阅的消费者(前提是消费者能够正常处理消息并进行确认)。
        通过路由可实现多消费的功能


        8、消息怎么路由?

        消息提供方->路由->一至多个队列
        消息发布到交换器时,消息将拥有一个路由键(routing key),在消息创建时设定。通过队列路由键,可以把队列绑定到交换器上。
        消息到达交换器后,RabbitMQ 会将消息的路由键与队列的路由键进行匹配(针对不同的交换器有不同的路由规则);
        常用的交换器主要分为一下三种
        fanout:如果交换器收到消息,将会广播到所有绑定的队列上
        direct:如果路由键完全匹配,消息就被投递到相应的队列
        topic:可以使来自不同源头的消息能够到达同一个队列。使用 topic 交换器时,可以使用通配符


        9、如何确保消息不丢失?

        消息持久化,当然前提是队列必须持久化RabbitMQ 确保持久性消息能从服务器重启中恢复的方式是,将它们写入磁盘上的一个持久化日志文件,当发布一条持久性消息到持久交换器上时,Rabbit 会在消息提交到日志文件后才发送响应。
        一旦消费者从持久队列中消费了一条持久化消息,RabbitMQ 会在持久化日志中把这条消息标记为等待垃圾收集。
        如果持久化消息在被消费之前 RabbitMQ 重启,那么 Rabbit 会自动重建交换器和队列(以及绑定),并重新发布持久化日志文件中的消息到合适的队列。


        10、使用RabbitMQ有什么好处?

        1、服务间高度解耦(挂了也不耽误我)
        2、异步通信性能高
        3、流量削峰


        11、RabbitMQ的集群

        镜像集群模式你创建的 queue,无论元数据还是 queue 里的消息都会存在于多个实例上,然后每次你写消息到 queue 的时候,都会自动把消息到多个实例的 queue 里进行消息同步。
        好处在于,你任何一个机器宕机了,没事儿,别的机器都可以用。
        坏处在于,性能开销很大


        12、mq的缺点

  7. 系统变得复杂(要处理消息重复发送消费问题、消息丢失问题等等)

  8. 降低系统可用性:mq有挂掉的可能,如果mq挂掉会对整个系统有影响
  9. 一致性问题:如果一个消息是发送给多个消费者的

如何保证消息消费顺序性

为什么要保证消费顺序?
消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。
例如,业务上产生三条消息,分别是对数据的增加、修改、删除,而如果没有保证顺序消费,结果可能是删除、修改、增加,本来数据最终要删除、结果变成增加。
出现顺序错乱的场景

  1. 一个queue,有多个consumer去消费,这样就会造成顺序的错误,consumer从MQ里面读取数据是有序的,但是每个consumer的执行时间是不固定的,无法保证先读到消息的consumer一定先完成操作,这样就会出现消息并没有按照顺序执行,造成数据顺序错误。
    1. image.png
    2. 这种情况怎么解决?
      1. 创建多个队列,使用关键值哈希等操作(要确保需要顺序执行的消息有相同的特征,比如消息体里面有一个顺序执行标志。),将具有先后顺序的消息发送到同一个queue里面,由同一个消费者接收。这样可以保证顺序执行。
  2. 一个queue对应一个consumer,但是consumer里面进行了多线程消费,这样也会造成消息消费顺序错误。消息是顺序读取得,但是不同线程可能工作内容不一致,导致没有按照读取得顺序执行

    1. image.png
    2. 这种情况怎么解决?是一个队列对应一个消费者,但是消费者有多线程
      1. 消费者接收到消息之后不直接消费消息,而是将需要顺序执行的消息保存在一个内存队列中,指定某一个线程来消费这个队列里面的消息。

        项目中哪里用到了rabbitmq

  3. 延时队列:延时操作,完成用户超时订单信息的获取,每次订单生成时都会生成一个消息进入一个配置了超时时间的队列,超时时间就是订单过期时间,每个超时的信息会被发送到一个死信队列当中,订单微服务监听死信队列,根据消息中的订单号关闭支付,取消订单,回滚库存。

  4. 使用微信支付,当用户支付后,微信服务器通过回调地址返回支付状态信息给支付微服务,支付微服务通过rabbitmq将消息发送给订单微服务,订单微服务根据支付状态进行操作