一、MQ简介
- 1、使用场景
- 2、概述
二、 RabbitMQ概念
- 1、RabbitMQ简介：
- 2、核心概念
三、Docker安装RabbitMQ
四、RabbitMQ运行机制
五、RabbitMQ整合
六、RabbitMQ消息确认机制-可靠抵达
七、RabbitMQ延时队列（实现定时任务）
八、消息丢失、积压、重复等解决方案
九、MQ对比

一、MQ简介

1、使用场景

1.1 异步处理

1.2 应用解耦

1.3 流量控制

2、概述

大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力
2. 消息服务中两个重要概念：
消息代理（message broker）和目的地（destination）
当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地。
3. 消息队列主要有两种形式的目的地
1. 队列（queue）：点对点消息通信（point-to-point）
2. 主题（topic）：发布（publish）/订阅（subscribe）消息通信
4. 点对点式：
• 消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获取消息内容，消息读取后被移出队列
• 消息只有唯一的发送者和接受者，但并不是说只能有一个接收者
5. 发布订阅式：
• 发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个主题，那么就会在消息到达时同时收到消息
6. JMS （Java Message Service） JAVA消息服务：
• 基于JVM消息代理的规范。 ActiveMQ、 HornetMQ是JMS实现
7. AMQP（Advanced Message Queuing Protocol）
• 高级消息队列协议，也是一个消息代理的规范，兼容JMS
• RabbitMQ是AMQP的实现
Spring支持
1. spring-jms提供了对JMS的支持
2. spring-rabbit提供了对AMQP的支持
3. 需要ConnectionFactory的实现来连接消息代理
4. 提供JmsTemplate、RabbitTemplate来发送消息
5. @JmsListener（JMS）、@RabbitListener（AMQP）注解在方法上监听消息代理发布的消息
6. @EnableJms、@EnableRabbit开启支持
Spring Boot自动配置
1. JmsAutoConfiguration
2. RabbitAutoConfiguration
市面的MQ产品ActiveMQ、RabbitMQ、RocketMQ、Kafka

二、 RabbitMQ概念

1、RabbitMQ简介：

RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。

2、核心概念

2.1 Message：消息

消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可Publisher消息的生产者，也是一个向交换器发布消息的客户端应用程序。

2.2 Exchange：交换器

用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型：direct(默认)、fanout、topic、和headers，不同类型的Exchange转发消息的策略有所区别

2.3 Queue：消息队列

消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。

2.4 Binding：绑定

绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。
Exchange和Queue的绑定可以是多对多的关系。

2.5 Connection：网络连接

网络连接，比如一个TCP连接。

2.6 Channel：信道

信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁TCP都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP连接。

2.7 Consumer：消费者

消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。

2.8 Virtual Host：虚拟主机

虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的vhost是/ 。

2.9 Broker：服务器实体

表示消息队列服务器实体

三、Docker安装RabbitMQ

docker run -d —name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management

4369, 25672 (Erlang发现&集群端口)
5672, 5671 (AMQP端口)
15672 (web管理后台端口)
61613, 61614 (STOMP协议端口)
1883, 8883 (MQTT协议端口)
https://www.rabbitmq.com/networking.html

四、RabbitMQ运行机制

AMQP 中的消息路由
AMQP 中消息的路由过程和 Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了 Exchange 和Binding的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding 决定交换器的消息应该发送到那个队列。

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键，headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型：

1、direct类型交换器

消息中的路由键（routing key）如果和Binding中的 binding key 一致，交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发routingkey 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发“dog.guard”等等。它是完全匹配、单播的模式。

2、fanout类型交换器

每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。不区分路由键，将消息发送给所有绑定的队列
fanout 类型转发消息是最快的。

3、topic 交换器

topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“”。#匹配0个或多个单词，匹配一个单词。

五、RabbitMQ整合

1、引入场景启动器

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

1.1、引入amqp后RabbitAutoConfiguration就会自动生效
1.2、给容器中自动配置了RabbitTemplate、AmqpAdmin、CachingConnectionFactory（连接工厂）、RabbitMessagingTemplate
所有的属性都是以spring.rabbitmq开头，默认配置在RabbitProperties文件
@ConfigurationProperties(prefix = “spring.rabbitmq”)
public class RabbitProperties

2、application.yml配置

2.1、给配置文件中配置spring.rabbitmq开头的信息

spring.rabbitmq.host=192.168.195.128
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/

2.2、主启动类添加@EnableRabbit注解

@EnableFeignClients(basePackages = "com.atguigu.gulimall.order.feign")
@EnableRedisHttpSession
@EnableRabbit
@EnableDiscoveryClient    //开启服务注册发现功能
@MapperScan("com.atguigu.gulimall.order.dao")
@SpringBootApplication
public class GulimallOrderApplication {
    public static void main(String[] args) {
        SpringApplication.run(GulimallOrderApplication.class, args);
    }
}

3、测试RabbitMQ

3.1 AmqpAdmin：管理组件

用于创建Exchange、Queue、Binding

3.2 RabbitTemplate：消息发送处理组件

1）普通类型数据

2）对象类型的数据

@Configuration
public class MyRabbitConfig {
    @Autowired
    RabbitTemplate rabbitTemplate;
    /**
     * 消息类型转换器：使用JSON序列化机制，进行消息转换
     * @return
     */
    @Bean
    public MessageConverter messageConverter() {
        return new Jackson2JsonMessageConverter();
    }
}

3.3 @RabbitListener监听消息的方法可以有三种参数（不分数量，顺序）

• Object content, Message message, Channel channel

1）发送10条消息

2）订单服务启动多个；同一个消息，只能有一个客户端收到

3）只有一个消息完全处理完，方法运行结束，我们才可以接收到下一个消息

4）监听消息：使用@RabbitListener，主启动类必须有@EnableRabbit
@RabbitListener：类+方法上（监听哪些队列即可）
@RabbitHandler：标在方法上（重载区分不同的消息）

/**
 * 发送消息
 */
public void sendMq(){
    for (int i = 0; i < 10; i++){
        if (i%2 == 0){
            OrderReturnApplyEntity orderReturnApplyEntity = new OrderReturnApplyEntity();
            orderReturnApplyEntity.setId(1L);
            orderReturnApplyEntity.setCreateTime(new Date());
            orderReturnApplyEntity.setReturnName("哈哈哈");
            // 配置MyRabbitConfig，让发送的对象类型的消息，可以是一个json
            rabbitTemplate.convertAndSend("hello-java-exchange","hello.java", orderReturnApplyEntity, new CorrelationData(UUID.randomUUID().toString()));
        }else {
            OrderEntity entity = new OrderEntity();
            entity.setOrderSn(UUID.randomUUID().toString());
            rabbitTemplate.convertAndSend("hello-java-exchange","hello.java",entity, new CorrelationData(UUID.randomUUID().toString()));
        }
    }
}

@RabbitListener(queues = {"hello-java-queue"})
public class Test01 {
    /**
     * queues：声明需要监听的所有队列
     * org.springframework.amqp.core.Message
     * @param message
     * 参数可以写以下内容
     * 1、Message message：原生消息详细信息。消息头 + 消息体
     * 2、T<发送的消息类型> OrderReturnApplyEntity content。spring可以自动转换为发送的类型
     * 3、Channel channel 当前传输数据的通道。一个客户端只会建立一条连接，所有的数据都在通道内传输
     *
     * Queue：可以很多人都来监听。只要收到消息，队列删除消息，而且只能有一个收到此消息
     * 场景：
     *       1）、订单服务启动多个；同一个消息，只能有一个客户端收到
     *       2）、只有一个消息完全处理完，方法运行结束，我们才可以接收到下一个消息
     */
    // @RabbitListener(queues = {"hello-java-queue"})
    @RabbitHandler
    public void receiverMessage(Message message, OrderReturnApplyEntity content,
                                Channel channel) throws InterruptedException {
        // 消息体
        byte[] body = message.getBody();
        // 消息头属性信息
        MessageProperties properties = message.getMessageProperties();
        System.out.println("接收到消息...内容:" + content);
        // Thread.sleep(3000);
        System.out.println("消息处理完成=》"+content.getReturnName());
    }
    // 方法重载，接收不同类型的消息体
    @RabbitHandler
    public void receiverMessage(OrderEntity orderEntity){
        System.out.println("接收到消息...内容:" + orderEntity);
    }
}

六、RabbitMQ消息确认机制-可靠抵达

保证消息不丢失，可靠抵达，可以使用事务消息，性能下降250倍，为此引入确认机制
• publisher confirmCallback：确认模式
• publisher returnCallback，未投递到queue：退回模式
• consumer：ack机制，让服务端Broke知道哪些消息都被消费者正确接收。如果消费者正确接收消息，则在队列中删除消息；若消费者没有正确接收消息，则消息重新投递

1、可靠抵达-ConfirmCallback

• spring.rabbitmq.publisher-confirms = true
• 在创建 connectionFactory 的时候设置 PublisherConfirms(true) 选项，开启 confirmcallback 。
• CorrelationData：用来表示当前消息唯一性。
• 消息只要被 broker 接收到就会执行 confirmCallback，如果是 cluster 模式，需要所有 broker 接收到才会调用 confirmCallback。
• 被 broker接收到只能表示 message 已经到达服务器，并不能保证消息一定会被投递到目标 queue 里。所以需要用到接下来的returnCallback 。
消息 —> Broker服务端，执行ConfirmCallback确认抵达

# 开启发送端确认
spring.rabbitmq.publisher-confirms=true（过时）
spring.rabbitmq.publisher-confirm-type=correlated（正确使用）

2、可靠抵达-ReturnCallback

• spring.rabbitmq.publisher-returns = true
• spring.rabbitmq.template.mandatory = true
• confrim模式只能保证消息到达 broker，不能保证消息准确投递到目标 queue 里。在有些业务场景下，我们需要保证消息一定要投递到目标 queue 里，此时就需要用到return退回模式。
• 这样如果未能投递到目标 queue 里将调用 returnCallback，可以记录下详细到投递数据，定期的巡检或者自动纠错都需要这些数据。

# 开启发送端消息抵达队列的确认
spring.rabbitmq.publisher-returns=true
# 只要抵达队列，以异步发送优先回调我们这个returnconfirm
spring.rabbitmq.template.mandatory=true

3、可靠抵达-Ack消息确认机制

3.1 消费者获取到消息，成功处理，可以回复Ack给Broker
• basic.ack用于肯定确认；broker将移除此消息
• basic.nack用于否定确认；可以指定broker是否丢弃此消息，可以批量
• basic.reject用于否定确认；同上，但不能批量

3.2 默认自动ack，只要消息接收到，客户端会自动确认，服务端就会移除这个消息
1）问题：客户端收到很多消息，都自动回复给服务器ack（都已收货），若只有一个消息处理成功后客户端宕机了。此时服务端也会将其他消息移除，发送消息丢失现象
2）queue无消费者，消息依然会被存储，直到消费者消费
3）消费者收到消息，默认会自动ack。但是如果无法确定此消息是否被处理完成，或者成功处理。

3.3 开启手动ack模式

# 手动ack消息
spring.rabbitmq.listener.simple.acknowledge-mode=manual

1）消费者手动确认模式。只要我们没有明确告诉MQ，货物被签收，没有ACK，消息就一直unacked状态
2）即使Consumer宕机。消息不会丢失，会重新变为Ready，下一次有新的Consumer连接进来就发给他
3）消息处理成功，ack()，接受下一个消息，此消息broker就会移除
4）消息处理失败，nack()/reject()，重新发送给其他人进行处理，或者容错处理后ack
5）消息一直没有调用ack/nack方法， broker认为此消息正在被处理，不会投递给别人，此时客户端断开，消息不会被broker移除，会投递给别人

七、RabbitMQ延时队列（实现定时任务）

1、基本使用

1.1 场景

比如未付款订单，超过一定时间后，系统自动取消订单并释放占有物品。

1.2 常用解决方案

spring的 schedule 定时任务轮询数据库

1.3 缺点

消耗系统内存、增加了数据库的压力、存在较大的时间误差

1.4 解决

rabbitmq的消息TTL和死信Exchange结合

2、消息的TTL（Time To Live）

2.1 消息的TTL就是消息的存活时间。
2.2 RabbitMQ可以对队列和消息分别设置TTL。

对队列设置就是队列没有消费者连着的保留时间，也可以对每一个单独的消息做单独的设置。超过了这个时间，我们认为这个消息就死了，称之为死信。
如果队列设置了，消息也设置了，那么会取小的。所以一个消息如果被路由到不同的队列中，这个消息死亡的时间有可能不一样（不同的队列设置）。这里单讲单个消息的TTL，因为它才是实现延迟任务的关键。可以通过设置消息的expiration字段或者x-message-ttl属性来设置时间，两者是一样的效果。

3、Dead Letter Exchanges（DLX）
3.1 一个消息在满足如下条件下，会进死信路由，记住这里是路由而不是队列，一个路由可以对应很多队列（什么是死信）
一个消息被Consumer拒收了，并且reject方法的参数里requeue是false。也就是说不会被再次放在队列里，被其他消费者使用（basic.reject/ basic.nack）requeue=false
上面的消息的TTL到了，消息过期了。
队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上

3.2 Dead Letter Exchange其实就是一种普通的exchange，和创建其他exchange没有两样。只是在某一个设置Dead Letter Exchange的队列中有消息过期了，会自动触发消息的转发，发送到Dead Letter Exchange中去
3.3 我们既可以控制消息在一段时间后变成死信，又可以控制变成死信的消息被路由到某一个指定的交换机，结合二者，其实就可以实现一个延时队列
3.4 手动ack&异常消息统一放在一个队列处理建议的两种方式

catch异常后，手动发送到指定队列，然后使用channel给rabbitmq确认消息已消费
给Queue绑定死信队列，使用nack（requque为false）确认消息消费失败

4、延时队列实现-1

06：RabbitMQ - 图31

5、延时队列实现-2

06：RabbitMQ - 图32
06：RabbitMQ - 图33
图片.png

6、SpringBoot中使用延时队列

1、Queue、 Exchange、 Binding可以@Bean进去
2、监听消息的方法可以有三种参数（不分数量，顺序）
Object content, Message message, Channel channel
3、channel可以用来拒绝消息，否则自动ack

八、消息丢失、积压、重复等解决方案

1、如何保证消息可靠性-消息丢失

1.1 消息发送出去，由于网络问题没有抵达服务器

做好容错方法（try-catch），发送消息可能会网络失败，失败后要有重试机制，可记录到数据库，采用定期扫描重发的方式
做好日志记录，每个消息状态是否都被服务器收到都应该记录
做好定期重发，如果消息没有发送成功，定期去数据库扫描未成功的消息进行重发

1.2 消息抵达Broker，Broker要将消息写入磁盘（持久化）才算成功。此时Broker尚未持久化完成，宕机

publisher也必须加入确认回调机制，确认成功的消息，修改数据库消息状态。

1.3 自动ACK的状态下。消费者收到消息，但没来得及消息然后宕机

一定开启手动ACK，消费成功才移除，失败或者没来得及处理就noAck并重新入队

1.4 总结：
1）做好消息确认机制（pulisher、consumer【手动ack】）
2）每个发送的消息都在数据库做好记录。定期将失败的消息再次发送一遍

2、如何保证消息可靠性-消息重复

2.1 消息消费成功，事务已经提交，ack时，机器宕机。导致没有ack成功，Broker的消息重新由unack变为
ready，并发送给其他消费者
2.2 消息消费失败，由于重试机制，自动又将消息发送出去
2.3 成功消费，ack时宕机，消息由unack变为ready，Broker又重新发送

消费者的业务消费接口应该设计为幂等性的（判断状态）。比如扣库存有工作单的状态标志
使用防重表（redis/mysql），发送消息每一个都有业务的唯一标识，处理过就不用处理
rabbitMQ的每一个消息都有redelivered字段，可以获取是否是被重新投递过来的，而不是第一次投递过来的

3、如何保证消息可靠性-消息积压
3.1 消费者宕机积压
3.2 消费者消费能力不足积压
3.3 发送者发送流量太大
上线更多的消费者，进行正常消费
上线专门的队列消费服务，将消息先批量取出来，记录数据库，离线慢慢处理
九、MQ对比

• ActiveMQ、 RabbitMQ、 RocketMQ、 Kafka
mq对比.jpg

06：RabbitMQ