面试题:

如何确保RabbitMQ消息的可靠性?

1.开启生产者确认机制,确保生产者的消息能到达队列
2.开启持久化功能,确保消息未消费前在队列中不会丢失
3.开启消费者确认机制为auto,由spring确认消息处理成功后完成ack
4.开启消费者失败重试机制,并设置MessageRecoverer,多次重试失败后将消息投递到异常交换机,交由人工处理

延迟消息问题

高可用问题:

1.普通集群:不能保证高可用
2.镜像集群:主从架构,可以有一个主节点,多个从节点,主节点宕机,从节点升级成主节点,保证高可用。缺点:一致性比较弱
3.3.8版本后出现仲裁队列,本质上还是主从,搭建简单,增加了Raft协议算法,加强了一致性

如何解决消息堆积问题:

1.增加更多消费者,提高消费者速度
2.在消费者内开启线程池加快消息处理速度
3.扩大队列容积,提高堆积上限

消息可靠性问题:

消息从生产者发送到交换机(exchange),再到队列(queue),再到消费者,有哪些可能性会导致消息丢失?

1.发送时丢失:

  1. - 生产者发送的消息未送达交换机
  2. - 消息到达交换机后未到达队列中

2.MQ宕机,队列讲消息丢失
3.消费者接受的消息后未消费就宕机

针对这些问题,RabbitMQ分别给出了解决方案:

  - 生产者确认机制
     - publisher-confirm,发送者确认:
        - 消息成功投递到交换机,返回ack
        - 消息未投递到交换机,返回nack
        - 消息发送过程中出现异常,没有收到回执
     - publisher-return,发送者回执:
        - 消息投递到交换机了,但是没有路由到队列。返回ACK,及路由失败原因。 
  - mq持久化(消息持久化):MQ中交换机、队列、消息都可以设置内存存储或持久化到硬盘
     - 交换机持久化:
        - @Bean

public DirectExchange simpleExchange(){
// 三个参数:交换机名称、是否持久化、当没有queue与其绑定时是否自动删除
return new DirectExchange(“simple.direct”, true, false);
}

     - 队列持久化:
        -     @Bean

public Queue simpleQueue(){<br />_        //false: 表示非持久化, 默认为true_<br />        return new Queue("simple.queue",true);<br />    }

     - 消息持久化,SpringAMQP中的消息默认是持久的,可以通过MessageProperties中的DeliveryMode来指定的:
        - Message build = MessageBuilder._withBody_(message.getBytes(StandardCharsets._UTF_8_))<br />                _//NON_PERSISTENT表示非持久化<br />        _.setDeliveryMode(MessageDeliveryMode._PERSISTENT_) <br />        .build();
  - 消费者确认机制
     - RabbitMQ支持消费者确认机制,即:消费者处理消息后可以向MQ发送ack回执,MQ收到ack回执后才会删除该消息。而SpringAMQP则允许配置三种确认模式:
        - manual:手动ack,需要在业务代码结束后,调用api发送ack。
        - auto:自动ack,由spring监测listener代码是否出现异常,没有异常则返回ack;抛出异常则返回nack
        - none:关闭ack,MQ假定消费者获取消息后会成功处理,因此消息投递后立即删除。
     - 配置方式是修改消费者yml文件,添加下面配置
        - spring:
           - rabbitmq:
              - listener:
                 - simple:
                    - prefetch: 1
                    -     #none:关闭ack;manual:手动ack;auto:自动ack
                    - acknowledge-mode: none 
  - 失败重试机制
     - 当消费者出现异常后,消息会不断重新入队列,再重新发送给消费者,然后再次异常无限循环
        - 配置方式是修改消费者yml文件,添加下面配置
     - spring:
        - rabbitmq:
           - listener:
              - simple:
                 -  retry:
                    - enabled: true # 开启消费者失败重试
                    - initial-interval: 1000ms # 初识的失败等待时长为1秒
                    - # 失败的等待时长倍数,下次等待时长 = multiplier * last-interval
                    - multiplier: 1
                    - max-attempts: 3 # 最大重试次数
                    -  # true无状态;false有状态。如果业务中包含事务,这里改为false
                    - stateless: true
     - 在开启重试模式后,重试次数耗尽,如果消息依然失败,则需要有MessageRecoverer接口来处理,它包含三种不同的实现:
        - RejectAndDontRequeueRecoverer:重试耗尽后,直接reject,丢弃消息。默认就是这种方式
        - ImmediateRequeueMessageRecoverer:重试耗尽后,返回nack,消息重新入队
        - RepublishMessageRecoverer:重试耗尽后,将失败消息投递到指定的交换机

死信交换机

初识死信交换机

当一个队列中的消息满足下列情况之一时,可以成为死信
1.消费者使用basic.reject或basic.nack声明消费失败,并且消息的requeue参数设置为false
2.消息是一个过期消息,超时无人消费
3.要投递的队列消息堆积满了,最早的消息可能成为死信
如果该队列配置了dead-letter-exchange属性,指定了一个交换机,那么队列中的死信就会投递到这个交换机中,而这个交换机称为死信交换机。

什么样的消息会成为死信?

1.消息被消费者reject或者返回nack
2.消息超时未消费
3.队列满了

如何给队列绑定死信交换机?

1.给队列设置dead-letter-exchange属性,指定一个交换机
2.给队列设置dead-letter-routing-key属性,设置死信交换机与死信队列的RoutingKey

TTL

TTL,也就是Time-To-Live。如果一个队列中的消息TTL结束仍未消费,则会变为死信,ttl超时分为两种情况:
1.消息所在的队列设置了存活时间
2.消息本身设置了存活时间

消息超时的两种方式是?

1.给队列设置ttl属性,进入队列后超过ttl时间的消息变为死信
2.给消息设置ttl属性,队列接收到消息超过ttl时间后变为死信
3.两者共存时,以时间短的ttl为准

如何实现发送一个消息20秒后消费者才收到消息?

1.给消息的目标队列指定死信交换机
2.消费者监听与死信交换机绑定的队列
3.发送消息时给消息设置ttl为20秒

延迟队列

利用TTL结合死信交换机,我们实现了消息发出后,消费者延迟收到消息的效果。这种消息模式就称为延迟队列模式

延迟队列的使用场景包括:
延迟发送短信
用户下单,如果用户在15分组内未支付,则自动取消
预约工作会议,20分钟后自动通知所有参会人员

延迟队列插件的使用步骤包括哪些?

1.声明一个交换机,添加delayed属性为true
2.发送消息时,添加x-delay头,值为超时时间

惰性队列

消息堆积问题

当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。最早接收到的消息,可能就会成为死信,会被丢弃,这就是消息堆积问题

解决消息堆积有三种思路:

1.增加更多消费者,提高消费者速度
2.在消费者内开启线程池加快消息处理速度
3.扩大队列容积,提高堆积上限

惰性队列的特征:

1.接收到消息后直接存入磁盘而非内存
2.消费者要消费消息时才会从磁盘中读取并加载到内存
3.支持数百万条的消息存储

惰性队列的优点有哪些?

1.基于磁盘存储,消息上限高
2.没有间歇性的page-out,性能比较稳定

惰性队列的缺点有哪些?

1.基于磁盘存储,消息时效性会降低
2.性能受限于磁盘的IO

MQ集群

集群分类:RabbitMQ的是基于Erlang语言编写,而Erlang又是一个面向并发的语言,天然支持集群模式。RabbitMQ的集群有两种模式:

普通集群:是一种分布式集群,将队列分散到集群的各个节点,从而提高整个集群的并发能力
镜像集群:是一种主从集群,普通集群的基础上,添加了主从备份功能,提高集群的数据可用性。
镜像集群虽然支持主从,但主从同步并不是强一致的,某些情况下可能有数据丢失的风险。因此在RabbitMQ的3.8版本以后,推出了新的功能:仲裁队列来代替镜像集群,底层采用Raft协议确保主从的数据一致性。

普通集群:也叫标准集群,具备以下特征:

1.会在集群的各个节点间共享部分数据,包括:交换机、队列元信息。不包含队列中的消息。
2.当访问集群某节点时,如果队列不在该节点,会从数据所在节点传递到当前节点并返回
3.队列所在节点宕机,队列中的消息就会丢失

镜像集群:本质是主从模式,具备以下特征:

1.交换机、队列、队列中的消息会在各个mq的镜像节点之间同步备份
2.创建队列的节点被称为该队列的主节点,备份到的其他节点叫做该队列的镜像节点
3.所有操作都是主节点完成,然后同步给镜像节点
4.主节点宕机后,镜像节点会替代成新的主节点

仲裁队列:仲裁队列是3.8版本后才有的新功能,用来替代镜像队列,具备以下特征:

1.与镜像队列一样,都是主从模式,支持主从数据同步
2.使用非常简单,没有复杂的配置
3.主从同步基于Raft协议,强一致