七、RabbitMQ 中的 TTL

TTL 是什么呢?TTL 是 RabbitMQ 中一个消息或者队列的属性,表明一条消息或者该队列中的所有消息的最大存活时间,单位是毫秒。

换句话说,如果一条消息设置了 TTL 属性或者进入了设置TTL 属性的队列,那么这条消息如果在 TTL 设置的时间内没有被消费,则会成为”死信”。

如果同时配置了队列的TTL 和消息的 TTL,那么较小的那个值将会被使用,有两种方式设置 TTL。

1、队列设置TTL

在创建队列的时候设置队列的“x-message-ttl”属性

4_延时队列 - 图1

2、消息设置TTL

是针对每条消息设置TTL

4_延时队列 - 图2

3、两者的区别

如果设置了队列的 TTL 属性,那么一旦消息过期,就会被队列丢弃(如果配置了死信队列被丢到死信队列中),
而第二种方式,消息即使过期,也不一定会被马上丢弃,因为消息是否过期是在即将投递到消费者之前判定的,如果当前队列有严重的消息积压情况,则已过期的消息也许还能存活较长时间;

另外,还需要注意的一点是,

  • 如果不设置 TTL,表示消息永远不会过期,
  • 如果将 TTL 设置为 0,则表示除非此时可以直接投递该消息到消费者,否则该消息将会被丢弃。

    八、死信队列

    1、死信的概念

先从概念解释上搞清楚这个定义,死信,顾名思义就是无法被消费的消息,字面意思可以这样理解,

一般来说,producer 将消息投递到 broker 或者直接到queue 里了,consumer 从 queue 取出消息 进行消费,但某些时候由于特定的原因导致 queue 中的某些消息无法被消费,这样的消息如果没有后续的处理,就变成了死信,有死信自然就有了死信队列。

应用场景:

为了保证订单业务的消息数据不丢失,需要使用到 RabbitMQ 的死信队列机制,当消息消费发生异常时,将消息投入死信队列中。

还有比如说:用户在商城下单成功并点击去支付后在指定时间未支付时自动失效

2、死信的来源

  • 消息 TTL 过期
    TTL是Time To Live的缩写, 也就是生存时间

  • 队列达到最大长度
    队列满了,无法再添加数据到 mq 中

  • 消息被拒绝
    (basic.reject 或 basic.nack) 并且 requeue=false.

requeue 设置为 false 代表拒绝重新入队 该队列如果配置了死信交换机将发送到死信队列中

3、死信实战

4_延时队列 - 图3

死信之消息TTl 过期

消费者 C1 代码:

  1. package com.atguigu.rabbitmq.eight;
  2. import com.atguigu.rabbitmq.utils.RabbitMqUtils;
  3. import com.rabbitmq.client.BuiltinExchangeType;
  4. import com.rabbitmq.client.Channel;
  5. import com.rabbitmq.client.DeliverCallback;
  6. import java.util.HashMap;
  7. import java.util.Map;
  8. /**
  9. * @author: like
  10. * @Date: 2021/07/19 7:10
  11. */
  12. public class Consumer01 {
  13. //普通交换机的名称
  14. public static final String NORMAL_EXCHANGE = "normal_exchange";
  15. //死信交换机的名称
  16. public static final String DEAD_EXCHANGE = "dead_exchange";
  17. //普通队列的名称
  18. public static final String NORMAL_QUEUE = "normal_queue";
  19. //死信队列的名称
  20. public static final String DEAD_QUEUE = "dead_queue";
  21. public static void main(String[] args) throws Exception {
  22. Channel channel = RabbitMqUtils.getChannel();
  23. //声明死信和普通交换机 类型为direct
  24. channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
  25. channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
  26. /**
  27. * 声明一个死信队列
  28. * 1、队列名称
  29. * 2、队列里面的消息是否持久化(磁盘) 默认情况消息存储在内存中
  30. * 3、该队列是否只供一个消费者进行消费 是否进行消息共享,true可以多个消费者消费 false:只能一个消费者消费
  31. * 4、是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true自动删除 false不自动删除
  32. * 5、其他参数
  33. */
  34. channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
  35. //绑定死信的交换机与死信的队列
  36. channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "lisi");
  37. /**
  38. * 声明一个普通队列
  39. * 1、队列名称
  40. * 2、队列里面的消息是否持久化(磁盘) 默认情况消息存储在内存中
  41. * 3、该队列是否只供一个消费者进行消费 是否进行消息共享,true可以多个消费者消费 false:只能一个消费者消费
  42. * 4、是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true自动删除 false不自动删除
  43. * 5、其他参数
  44. */
  45. Map<String, Object> arguments = new HashMap<>();
  46. //过期时间
  47. // arguments.put("x-message-ttl",10000);
  48. //正常队列设置死信交换机
  49. arguments.put("x-dead-letter-exchange", DEAD_EXCHANGE);
  50. //设置死信RoutingKey
  51. arguments.put("x-dead-letter-routing-key", "lisi");
  52. channel.queueDeclare(NORMAL_QUEUE, false, false, false, arguments);
  53. //绑定普通的交换机与普通的队列
  54. channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "zhangsan");
  55. System.out.println("等待接收消息........... ");
  56. //接收消息
  57. DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  58. System.out.println("Consumer01接收到的消息是:" + new String(delivery.getBody(), "UTF-8"));
  59. };
  60. //取消消费的一个回调接口 如在消费的时候队列被删除掉了
  61. CancelCallback cancelCallback = consumerTag -> {
  62. System.out.println("消费消息被中断");
  63. };
  64. /**
  65. * 消费者消费消息
  66. * 1、消费哪个队列
  67. * 2、消费成功之后是否要自动应答 true 自动应答 false 手动应答
  68. * 3、消费者未成功消费的回调
  69. * 4、消费者取消消费的回调
  70. */
  71. channel.basicConsume(NORMAL_QUEUE, true, deliverCallback, cancelCallback);
  72. }
  73. }

生产者代码

  1. package com.atguigu.rabbitmq.eight;
  2. import com.atguigu.rabbitmq.utils.RabbitMqUtils;
  3. import com.rabbitmq.client.AMQP;
  4. import com.rabbitmq.client.BuiltinExchangeType;
  5. import com.rabbitmq.client.Channel;
  6. /**
  7. * @author: like
  8. * @Date: 2021/07/19 7:37
  9. */
  10. public class Producer {
  11. //普通交换机的名称
  12. public static final String NORMAL_EXCHANGE = "normal_exchange";
  13. public static void main(String[] args) throws Exception {
  14. Channel channel = RabbitMqUtils.getChannel();
  15. //声明普通交换机 类型为direct
  16. channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
  17. //死信消息 设置 TTL时间 10000ms
  18. AMQP.BasicProperties properties = new AMQP.BasicProperties()
  19. .builder()
  20. .expiration("10000")
  21. .build();
  22. for (int i = 1; i <11; i++) {
  23. String message = "info"+i;
  24. /**
  25. * 发送一个消息
  26. * 1、发送到哪个交换机
  27. * 2、路由的Key值是哪个 本次是队列的名称
  28. * 3、其他参数信息
  29. * 4、发送消息的消息体
  30. */
  31. channel.basicPublish(NORMAL_EXCHANGE,"zhangsan",properties,message.getBytes());
  32. System.out.println("生产者发送消息:" + message);
  33. }
  34. }
  35. }

启动 C1 ,之后关闭C1,模拟其接收不到消息。再启动 Producer

4_延时队列 - 图4

消费者 C2 代码:(以上步骤完成后,启动 C2 消费者,它消费死信队列里面的消息)

  1. package com.atguigu.rabbitmq.eight;
  2. import com.atguigu.rabbitmq.utils.RabbitMqUtils;
  3. import com.rabbitmq.client.Channel;
  4. import com.rabbitmq.client.DeliverCallback;
  5. /**
  6. * @author: like
  7. * @Date: 2021/07/19 7:10
  8. */
  9. public class Consumer02 {
  10. //死信交换机的名称
  11. public static final String DEAD_EXCHANGE = "dead_exchange";
  12. //死信队列的名称
  13. public static final String DEAD_QUEUE = "dead_queue";
  14. public static void main(String[] args) throws Exception {
  15. Channel channel = RabbitMqUtils.getChannel();
  16. // //声明交换机
  17. // channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
  18. // //声明队列
  19. // channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
  20. // channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "lisi");
  21. System.out.println("等待接收死信消息........... ");
  22. //接收消息
  23. DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  24. System.out.println("Consumer02接收到的消息是:" + new String(delivery.getBody(), "UTF-8"));
  25. };
  26. //取消消费的一个回调接口 如在消费的时候队列被删除掉了
  27. CancelCallback cancelCallback = consumerTag -> {
  28. System.out.println("消费消息被中断");
  29. };
  30. /**
  31. * 消费者消费消息
  32. * 1、消费哪个队列
  33. * 2、消费成功之后是否要自动应答 true 自动应答 false 手动应答
  34. * 3、消费者未成功消费的回调
  35. * 4、消费者取消消费的回调
  36. */
  37. channel.basicConsume(DEAD_QUEUE, true, deliverCallback, cancelCallback);
  38. }
  39. }

4_延时队列 - 图5

死信之队列达到最大长度

1、消息生产者代码去掉 TTL 属性

4_延时队列 - 图6

2、C1 消费者修改以下代码(启动之后关闭该消费者 模拟其接收不到消息)

4_延时队列 - 图7

  1. //设置正常队列的长度限制,例如发10个,4个则为死信
  2. params.put("x-max-length",6);

注意此时需要把原先队列删除 因为参数改变了

3、C2 消费者代码不变(启动 C2 消费者)

4_延时队列 - 图8

死信之消息被拒

1、消息生产者代码

  1. public class Producer {
  2. //普通交换机的名称
  3. public static final String NORMAL_EXCHANGE = "normal_exchange";
  4. public static void main(String[] args) throws Exception {
  5. Channel channel = RabbitMqUtils.getChannel();
  6. //声明交换机
  7. channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
  8. for (int i = 1; i <11; i++) {
  9. String message = "info"+i;
  10. /**
  11. * 发送一个消息
  12. * 1、发送到哪个交换机
  13. * 2、路由的Key值是哪个
  14. * 3、其他参数信息
  15. * 4、发送消息的消息体
  16. */
  17. channel.basicPublish(NORMAL_EXCHANGE,"zhangsan",null,message.getBytes());
  18. System.out.println("生产者发送消息:" + message);
  19. }
  20. }
  21. }

2、C1 消费者代码(启动之后关闭该消费者 模拟其接收不到消息)

拒收消息 “info5”

  1. public class Consumer01 {
  2. //普通交换机的名称
  3. public static final String NORMAL_EXCHANGE = "normal_exchange";
  4. //死信交换机的名称
  5. public static final String DEAD_EXCHANGE = "dead_exchange";
  6. //普通队列的名称
  7. public static final String NORMAL_QUEUE = "normal_queue";
  8. //死信队列的名称
  9. public static final String DEAD_QUEUE = "dead_queue";
  10. public static void main(String[] args) throws Exception {
  11. Channel channel = RabbitMqUtils.getChannel();
  12. //声明死信和普通交换机 类型为direct
  13. channel.exchangeDeclare(NORMAL_EXCHANGE, BuiltinExchangeType.DIRECT);
  14. channel.exchangeDeclare(DEAD_EXCHANGE, BuiltinExchangeType.DIRECT);
  15. /**
  16. * 声明一个死信队列
  17. * 1、队列名称
  18. * 2、队列里面的消息是否持久化(磁盘) 默认情况消息存储在内存中
  19. * 3、该队列是否只供一个消费者进行消费 是否进行消息共享,true可以多个消费者消费 false:只能一个消费者消费
  20. * 4、是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true自动删除 false不自动删除
  21. * 5、其他参数
  22. */
  23. channel.queueDeclare(DEAD_QUEUE, false, false, false, null);
  24. //绑定死信的交换机与死信的队列
  25. channel.queueBind(DEAD_QUEUE, DEAD_EXCHANGE, "lisi");
  26. /**
  27. * 声明一个普通队列
  28. * 1、队列名称
  29. * 2、队列里面的消息是否持久化(磁盘) 默认情况消息存储在内存中
  30. * 3、该队列是否只供一个消费者进行消费 是否进行消息共享,true可以多个消费者消费 false:只能一个消费者消费
  31. * 4、是否自动删除 最后一个消费者端开连接以后 该队列是否自动删除 true自动删除 false不自动删除
  32. * 5、其他参数
  33. */
  34. Map<String, Object> arguments = new HashMap<>();
  35. //正常队列设置死信交换机
  36. arguments.put("x-dead-letter-exchange", DEAD_EXCHANGE);
  37. //设置死信RoutingKey
  38. arguments.put("x-dead-letter-routing-key", "lisi");
  39. channel.queueDeclare(NORMAL_QUEUE, false, false, false, arguments);
  40. //绑定普通的交换机与普通的队列
  41. channel.queueBind(NORMAL_QUEUE, NORMAL_EXCHANGE, "zhangsan");
  42. System.out.println("等待接收消息........... ");
  43. //接收消息
  44. DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  45. String message = new String(delivery.getBody(), "UTF-8");
  46. if(message.equalsIgnoreCase("info5")){
  47. System.out.println("Consumer01拒绝接收到的消息是:" +message );
  48. //requeue 设置为 false 代表拒绝重新入队 该队列如果配置了死信交换机将发送到死信队列中
  49. channel.basicReject(delivery.getEnvelope().getDeliveryTag(),false);
  50. }else{
  51. System.out.println("Consumer01接收到的消息是:" +message );
  52. channel.basicAck(delivery.getEnvelope().getDeliveryTag(),false);
  53. }
  54. };
  55. //取消消费的一个回调接口 如在消费的时候队列被删除掉了
  56. CancelCallback cancelCallback = consumerTag -> {
  57. System.out.println("消费消息被中断");
  58. };
  59. /**
  60. * 消费者消费消息
  61. * 1、消费哪个队列
  62. * 2、消费成功之后是否要自动应答 true 自动应答 false 手动应答
  63. * 3、消费者未成功消费的回调
  64. * 4、消费者取消消费的回调
  65. */
  66. channel.basicConsume(NORMAL_QUEUE, false, deliverCallback, cancelCallback);
  67. }
  68. }

4_延时队列 - 图9

3、C2 消费者代码不变

启动消费者 1 然后再启动消费者 2

4_延时队列 - 图10

九、延迟队列

前一小节我们介绍了死信队列,又介绍了 TTL,至此利用 RabbitMQ 实现延时队列的两大要素已经集齐,接下来只需要将它们进行融合,再加入一点点调味料,延时队列就可以新鲜出炉了。

想想看,延时队列,不就是想要消息延迟多久被处理吗,TTL 则刚好能让消息在延迟多久之后成为死信,另一方面,成为死信的消息都会被投递到死信队列里,这样只需要消费者一直消费死信队列里的消息就完事了,因为里面的消息都是希望被立即处理的消息。

1、延迟队列概念:

延时队列,队列内部是有序的,最重要的特性就现在它的延时属性上,延时队列中的元素是希望 在指定时间到了以后或之前取出和处理,

简单来说,延时队列就是用来存放需要在指定时间被处理的 元素的队列。

2、延迟队列使用场景:

  1. 订单在十分钟之内未支付则自动取消

  2. 新创建的店铺,如果在十天内都没有上传过商品,则自动发送消息提醒。

  3. 用户注册成功后,如果三天内没有登陆则进行短信提醒。

  4. 用户发起退款,如果三天内没有得到处理则通知相关运营人员。

  5. 预定会议后,需要在预定的时间点前十分钟通知各个与会人员参加会议

这些场景都有一个特点,需要在某个事件发生之后或者之前的指定时间点完成某一项任务,如: 发生订单生成事件,在十分钟之后检查该订单支付状态,然后将未支付的订单进行关闭;看起来似乎使用定时任务,一直轮询数据,每秒查一次,取出需要被处理的数据,然后处理不就完事了吗?

如果数据量比较少,确实可以这样做,比如:对于“如果账单一周内未支付则进行自动结算”这样的需求, 如果对于时间不是严格限制,而是宽松意义上的一周,那么每天晚上跑个定时任务检查一下所有未支付的账单,确实也是一个可行的方案。

但对于数据量比较大,并且时效性较强的场景,如:“订单十分钟内未支付则关闭“,短期内未支付的订单数据可能会有很多,活动期间甚至会达到百万甚至千万级别,对这么庞大的数据量仍旧使用轮询的方式显然是不可取的,很可能在一秒内无法完成所有订单的检查,同时会给数据库带来很大压力,无法满足业务要求而且性能低下。

4_延时队列 - 图11

3、整合 springboot

创建一个空项目

image.png

pom.xml添加依赖

  1. <dependencies>
  2. <dependency>
  3. <groupId>org.springframework.boot</groupId>
  4. <artifactId>spring-boot-starter</artifactId>
  5. </dependency>
  6. <!--RabbitMQ 依赖-->
  7. <dependency>
  8. <groupId>org.springframework.boot</groupId>
  9. <artifactId>spring-boot-starter-amqp</artifactId>
  10. </dependency>
  11. <dependency>
  12. <groupId>org.springframework.boot</groupId>
  13. <artifactId>spring-boot-starter-web</artifactId>
  14. </dependency>
  15. <dependency>
  16. <groupId>org.springframework.boot</groupId>
  17. <artifactId>spring-boot-starter-test</artifactId>
  18. <scope>test</scope>
  19. </dependency>
  20. <dependency>
  21. <groupId>com.alibaba</groupId>
  22. <artifactId>fastjson</artifactId>
  23. <version>1.2.47</version>
  24. </dependency>
  25. <dependency>
  26. <groupId>org.projectlombok</groupId>
  27. <artifactId>lombok</artifactId>
  28. </dependency>
  29. <!--swagger-->
  30. <dependency>
  31. <groupId>io.springfox</groupId>
  32. <artifactId>springfox-swagger2</artifactId>
  33. <version>3.0.0</version>
  34. </dependency>
  35. <dependency>
  36. <groupId>io.springfox</groupId>
  37. <artifactId>springfox-swagger-ui</artifactId>
  38. <version>3.0.0</version>
  39. </dependency>
  40. <!--RabbitMQ 测试依赖-->
  41. <dependency>
  42. <groupId>org.springframework.amqp</groupId>
  43. <artifactId>spring-rabbit-test</artifactId>
  44. <scope>test</scope>
  45. </dependency>
  46. </dependencies>

application.properties配置文件

  1. spring.rabbitmq.host=*.*.*.*
  2. spring.rabbitmq.port=5672
  3. spring.rabbitmq.username=admin
  4. spring.rabbitmq.password=123456

添加Swagger 配置类

  1. package com.atguigu.rabbitmq.springbootrabbitmq.config;
  2. import org.springframework.context.annotation.Bean;
  3. import org.springframework.context.annotation.Configuration;
  4. import springfox.documentation.builders.ApiInfoBuilder;
  5. import springfox.documentation.service.ApiInfo;
  6. import springfox.documentation.spi.DocumentationType;
  7. import springfox.documentation.spring.web.plugins.Docket;
  8. import springfox.documentation.swagger2.annotations.EnableSwagger2;
  9. import springfox.documentation.service.Contact;
  10. @Configuration
  11. @EnableSwagger2
  12. public class SwaggerConfig {
  13. @Bean
  14. public Docket webApiConfig() {
  15. return new Docket(DocumentationType.SWAGGER_2)
  16. .groupName("webApi")
  17. .apiInfo(webApiInfo())
  18. .select()
  19. .build();
  20. }
  21. private ApiInfo webApiInfo() {
  22. return new ApiInfoBuilder()
  23. .title("rabbitmq 接口文档")
  24. .description("本文档描述了 rabbitmq 微服务接口定义")
  25. .version("1.0")
  26. .contact(new Contact("like", "http://like.com", "test@qq.com"))
  27. .build();
  28. }
  29. }

4、延时队列 TTL

代码架构图

创建两个队列 QA 和 QB,两者队列 TTL 分别设置为 10S 和 40S,然后再创建一个交换机 X 和死信交换机 Y,它们的类型都是direct,创建一个死信队列 QD,它们的绑定关系如下:

4_延时队列 - 图13

原先配置队列信息,写在了生产者和消费者代码中,现在可写在配置类中,生产者只发消息,消费者只接受消息

配置文件类

  1. package com.atguigu.rabbitmq.springbootrabbitmq.config;
  2. import org.springframework.amqp.core.*;
  3. import org.springframework.beans.factory.annotation.Qualifier;
  4. import org.springframework.context.annotation.Bean;
  5. import org.springframework.context.annotation.Configuration;
  6. import java.util.HashMap;
  7. import java.util.Map;
  8. /***
  9. * @description: TTL队列 配置文件类代码
  10. * @author like
  11. * @date: 2021/7/19 19:31
  12. */
  13. @Configuration
  14. public class TtlQueueConfig {
  15. //普通交换机的名称
  16. public static final String X_EXCHANGE = "X";
  17. //普通队列的名称
  18. public static final String QUEUE_A = "QA";
  19. public static final String QUEUE_B = "QB";
  20. //死信交换机的名称
  21. public static final String Y_DEAD_LETTER_EXCHANGE = "Y";
  22. //死信队列的名称
  23. public static final String DEAD_LETTER_QUEUE = "QD";
  24. //声明xExchange
  25. @Bean("xExchange")
  26. public DirectExchange xExchange() {
  27. return new DirectExchange(X_EXCHANGE);
  28. }
  29. //声明yExchange
  30. @Bean("yExchange")
  31. public DirectExchange yExchange() {
  32. return new DirectExchange(Y_DEAD_LETTER_EXCHANGE);
  33. }
  34. //声明普通队列A TTL 为 10s 并绑定到对应的死信交换机
  35. @Bean("queueA")
  36. public Queue queueA() {
  37. Map<String, Object> arguments = new HashMap<>(3);
  38. //设置死信交换机
  39. arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
  40. //设置死信RoutingKey
  41. arguments.put("x-dead-letter-routing-key", "YD");
  42. //设置TTL
  43. arguments.put("x-message-ttl", 10000);
  44. return QueueBuilder.durable(QUEUE_A).withArguments(arguments).build();
  45. }
  46. // 声明队列 A 绑定 X 交换机
  47. @Bean
  48. public Binding queueABindIngX(@Qualifier("queueA") Queue queueA, @Qualifier("xExchange") DirectExchange xExchange) {
  49. return BindingBuilder.bind(queueA).to(xExchange).with("XA");
  50. }
  51. //声明普通队列B TTL 为 40s 并绑定到对应的死信交换机
  52. @Bean("queueB")
  53. public Queue queueB() {
  54. Map<String, Object> arguments = new HashMap<>(3);
  55. //设置死信交换机
  56. arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
  57. //设置死信RoutingKey
  58. arguments.put("x-dead-letter-routing-key", "YD");
  59. //设置TTL
  60. arguments.put("x-message-ttl", 40000);
  61. return QueueBuilder.durable(QUEUE_B).withArguments(arguments).build();
  62. }
  63. //声明队列 B 绑定 X 交换机
  64. @Bean
  65. public Binding queueBBindIngX(@Qualifier("queueB") Queue queueB, @Qualifier("xExchange") DirectExchange xExchange) {
  66. return BindingBuilder.bind(queueB).to(xExchange).with("XB");
  67. }
  68. //声明死信队列
  69. @Bean("queueD")
  70. public Queue queueD() {
  71. return QueueBuilder.durable(DEAD_LETTER_QUEUE).build();
  72. }
  73. //声明死信队列 QD 绑定关系
  74. @Bean
  75. public Binding queueDBindIngY(@Qualifier("queueD") Queue queueD, @Qualifier("yExchange") DirectExchange yExchange) {
  76. return BindingBuilder.bind(queueD).to(yExchange).with("YD");
  77. }
  78. }

消息生产者

  1. package com.atguigu.rabbitmq.springbootrabbitmq.controller;
  2. import lombok.extern.slf4j.Slf4j;
  3. import org.springframework.amqp.rabbit.core.RabbitTemplate;
  4. import org.springframework.beans.factory.annotation.Autowired;
  5. import org.springframework.web.bind.annotation.GetMapping;
  6. import org.springframework.web.bind.annotation.PathVariable;
  7. import org.springframework.web.bind.annotation.RequestMapping;
  8. import org.springframework.web.bind.annotation.RestController;
  9. import java.util.Date;
  10. /***
  11. * @description: 发送延迟消息
  12. * @author like
  13. * @date: 2021/7/19 20:09
  14. */
  15. @Slf4j
  16. @RestController
  17. @RequestMapping("/ttl")
  18. public class SendMsgController {
  19. @Autowired
  20. private RabbitTemplate rabbitTemplate;
  21. //开始发消息
  22. @GetMapping("/sendMsg/{message}")
  23. public void sendMsg(@PathVariable String message) {
  24. log.info("当前时间:{},发送一条信息给两个TTL队列:{}", new Date().toString(), message);
  25. rabbitTemplate.convertAndSend("X","XA","消息来自TTL为10s的队列:"+message);
  26. rabbitTemplate.convertAndSend("X","XB","消息来自TTL为40s的队列:"+message);
  27. }
  28. }

消息消费者

  1. package com.atguigu.rabbitmq.springbootrabbitmq.consumer;
  2. import com.rabbitmq.client.Channel;
  3. import lombok.extern.slf4j.Slf4j;
  4. import org.springframework.amqp.core.Message;
  5. import org.springframework.amqp.rabbit.annotation.RabbitListener;
  6. import org.springframework.stereotype.Component;
  7. import java.util.Date;
  8. /***
  9. * @description: 队列TTL 消费者
  10. * @author like
  11. * @date: 2021/7/19 20:16
  12. */
  13. @Slf4j
  14. @Component
  15. public class DeadLetterQueueConsumer {
  16. //接收消息
  17. @RabbitListener(queues = "QD")
  18. public void receiveD(Message message, Channel channel) throws Exception {
  19. String msg = new String(message.getBody());
  20. log.info("当前时间:{},收到死信队列的消息:{}", new Date().toString(), msg);
  21. }
  22. }

发起一个请求 http://localhost:8080/ttl/sendMsg/嘻嘻嘻

4_延时队列 - 图14

第一条消息在 10S 后变成了死信消息,然后被消费者消费掉,第二条消息在 40S 之后变成了死信消息, 然后被消费掉,这样一个延时队列就打造完成了。

不过,如果这样使用的话,岂不是每增加一个新的时间需求,就要新增一个队列,这里只有 10S 和 40S 两个时间选项,如果需要一个小时后处理,那么就需要增加TTL 为一个小时的队列,如果是预定会议室然后提前通知这样的场景,岂不是要增加无数个队列才能满足需求?

5、延时队列TTL优化

代码架构图

在这里新增了一个队列 QC,绑定关系如下,该队列不设置TTL 时间

4_延时队列 - 图15

配置文件类

  1. @Configuration
  2. public class MsgTtlQueueConfig {
  3. public static final String Y_DEAD_LETTER_EXCHANGE = "Y";
  4. public static final String QUEUE_C = "QC";
  5. //声明QC队列 并绑定到对应的死信交换机
  6. @Bean("queueC")
  7. public Queue queueC() {
  8. Map<String, Object> arguments = new HashMap<>(3);
  9. //设置死信交换机
  10. arguments.put("x-dead-letter-exchange", Y_DEAD_LETTER_EXCHANGE);
  11. //设置死信RoutingKey
  12. arguments.put("x-dead-letter-routing-key", "YD");
  13. return QueueBuilder.durable(QUEUE_C).withArguments(arguments).build();
  14. }
  15. //声明QC队列 绑定 X 交换机
  16. @Bean
  17. public Binding queueCBindingX(@Qualifier("queueC") Queue queueC,
  18. @Qualifier("xExchange") DirectExchange xExchange){
  19. return BindingBuilder.bind(queueC).to(xExchange).with("XC");
  20. }
  21. }

生产者代码

  1. /**
  2. * 延时队列优化
  3. * @param message 消息
  4. * @param ttlTime 延时的毫秒
  5. */
  6. @GetMapping("/sendExpirationMsg/{message}/{ttlTime}")
  7. public void sendMsg(@PathVariable String message, @PathVariable String ttlTime) {
  8. log.info("当前时间:{},发送一条时长{}毫秒TTL信息给队列QC:{}", new Date().toString(), ttlTime, message);
  9. rabbitTemplate.convertAndSend("X", "XC", message, msg -> {
  10. //设置发送消息的 延迟时长
  11. msg.getMessageProperties().setExpiration(ttlTime);
  12. return msg;
  13. });
  14. }

发起请求

http://localhost:8080/ttl/sendExpirationMsg/你好1/20000

http://localhost:8080/ttl/sendExpirationMsg/你好2/2000

4_延时队列 - 图16

看起来似乎没什么问题,但是在最开始的时候,就介绍过如果使用在消息属性上设置 TTL 的方式,消息可能并不会按时“死亡“。

因为 RabbitMQ 只会检查第一个消息是否过期,如果过期则丢到死信队列, 如果第一个消息的延时时长很长,而第二个消息的延时时长很短,第二个消息并不会优先得到执行

这也就是为什么第二个延时2秒,却后执行。

6、Rabbitmq 插件实现延迟队列

上文中提到的问题,确实是一个问题,如果不能实现在消息粒度上的 TTL,并使其在设置的TTL 时间及时死亡,就无法设计成一个通用的延时队列。

那如何解决呢,接下来我们就去解决该问题。

安装延时队列插件

可去官网下载 rabbitmq_delayed_message_exchange 插件,解压放置到 RabbitMQ 的插件目录。

进入 RabbitMQ 的安装目录下的 plugins目录,

  1. /usr/lib/rabbitmq/lib/rabbitmq_server-3.8.8/plugins

执行下面命令让该插件生效,然后重启 RabbitMQ

  1. rabbitmq-plugins enable rabbitmq_delayed_message_exchange

4_延时队列 - 图17

4_延时队列 - 图18

4_延时队列 - 图19

4_延时队列 - 图20

代码架构图

在这里新增了一个队列delayed.queue,一个自定义交换机 delayed.exchange,绑定关系如下:

4_延时队列 - 图21

配置文件类

在我们自定义的交换机中,这是一种新的交换类型,该类型消息支持延迟投递机制

消息传递后并不会立即投递到目标队列中,而是存储在 mnesia(一个分布式数据系统)表中,当达到投递时间时,才投递到目标队列中。

  1. package com.atguigu.rabbitmq.springbootrabbitmq.config;
  2. import org.springframework.amqp.core.Binding;
  3. import org.springframework.amqp.core.BindingBuilder;
  4. import org.springframework.amqp.core.CustomExchange;
  5. import org.springframework.amqp.core.Queue;
  6. import org.springframework.beans.factory.annotation.Qualifier;
  7. import org.springframework.context.annotation.Bean;
  8. import org.springframework.context.annotation.Configuration;
  9. import java.util.HashMap;
  10. import java.util.Map;
  11. /**
  12. * @author: like
  13. * @Date: 2021/07/20 0:03
  14. */
  15. @Configuration
  16. public class DelayedQueueConfig {
  17. //交换机
  18. public static final String DELAYED_EXCHANGE_NAME = "delayed.exchange";
  19. //队列
  20. public static final String DELAYED_QUEUE_NAME = "delayed.queue";
  21. //routingKey
  22. public static final String DELAYED_ROUTING_KEY = "delayed.routingKey";
  23. //声明交换机 基于插件的
  24. @Bean
  25. public CustomExchange delayedExchange() {
  26. Map<String, Object> arguments = new HashMap<>();
  27. arguments.put("x-delayed-type", "direct");
  28. /*
  29. * 1、交换机的名称
  30. * 2、交换机的类型
  31. * 3、是否需要持久化
  32. * 4、是否需要自动删除
  33. * 5、其他的参数
  34. */
  35. return new CustomExchange(DELAYED_EXCHANGE_NAME,
  36. "x-delayed-message",
  37. true,
  38. false,
  39. arguments);
  40. }
  41. @Bean
  42. public Queue delayedQueue() {
  43. return new Queue(DELAYED_QUEUE_NAME);
  44. }
  45. //绑定
  46. @Bean
  47. public Binding bindingDelayedQueue(@Qualifier("delayedQueue") Queue delayedQueue,
  48. @Qualifier("delayedExchange") CustomExchange delayedExchange) {
  49. return BindingBuilder.bind(delayedQueue).to(delayedExchange).with(DELAYED_ROUTING_KEY).noargs();
  50. }
  51. }

生产者代码

  1. //开始发消息 消息 TTL
  2. @GetMapping("/sendDelayMsg/{message}/{delayTime}")
  3. public void sendMsg(@PathVariable String message, @PathVariable Integer delayTime) {
  4. log.info(" 当前时间: {}, 发送一条时长{}毫秒的信息给延迟队列delayed.queue:{}", new Date(), delayTime, message);
  5. rabbitTemplate.convertAndSend(
  6. DelayedQueueConfig.DELAYED_EXCHANGE_NAME,
  7. DelayedQueueConfig.DELAYED_ROUTING_KEY,
  8. message,
  9. correlationData -> {
  10. //发送消息的时候 延迟时长
  11. correlationData.getMessageProperties().setDelay(delayTime);
  12. return correlationData;
  13. });
  14. }

消费者代码

  1. package com.atguigu.rabbitmq.springbootrabbitmq.consumer;
  2. import com.atguigu.rabbitmq.springbootrabbitmq.config.DelayedQueueConfig;
  3. import lombok.extern.slf4j.Slf4j;
  4. import org.springframework.amqp.core.Message;
  5. import org.springframework.amqp.rabbit.annotation.RabbitListener;
  6. import org.springframework.stereotype.Component;
  7. import java.util.Date;
  8. /*
  9. * 消费者 - 基于插件的延时队列
  10. * @author: like
  11. * @Date: 2021/07/20 0:28
  12. */
  13. @Slf4j
  14. @Component
  15. public class DelayQueueConsumer {
  16. //监听消息
  17. @RabbitListener(queues = DelayedQueueConfig.DELAYED_QUEUE_NAME)
  18. public void receiveDelayedQueue(Message message) {
  19. String msg = new String(message.getBody());
  20. log.info("当前时间:{},收到延时队列的消息:{}", new Date().toString(), msg);
  21. }
  22. }

发送请求:

4_延时队列 - 图22

第二个消息被先消费掉了,符合预期

7、总结

延时队列在需要延时处理的场景下非常有用,使用 RabbitMQ 来实现延时队列可以很好的利用 RabbitMQ 的特性,

如:消息可靠发送、消息可靠投递、死信队列来保障消息至少被消费一次以及未被正确处理的消息不会被丢弃。

另外,通过 RabbitMQ 集群的特性,可以很好的解决单点故障问题,不会因为 单个节点挂掉导致延时队列不可用或者消息丢失。

当然,延时队列还有很多其它选择,比如利用 Java 的 DelayQueue,利用 Redis 的 zset,利用 Quartz 或者利用 kafka 的时间轮,这些方式各有特点,看需要适用的场景