title: 用户指引 date: 2017/12/29

categories: 文档翻译

为什么是RocketMQ

动机

在早期阶段，我们在ActiveMQ 5.x(早于5.3)的基础上构建我们的分布式消息中间件。我们的跨国业务使用它来实现异步通信、检索、社交网络活动流、数据管道，甚至在交易过程中也在使用。随着我们的交易业务量增加，来自消息集群的压力与日俱增，亟需解决。

为什么是RocketMQ

根据我们的研究，随着使用中的队列越来越长、虚拟主题越来越多，ActiveMQ的IO模型会到达一个瓶颈。我们尽力地试图通过节流、断路器或者降级这些手段来解决这个问题，但是都没有很好的效果。因此，我们开始注意到当时非常流行的消息解决方案，Kafka。不走运的是，Kafka并不能满足我们的需求，尤其是在低延迟和高可用这两点上，点击链接进一步了解细节。

在这样的情况下，我们决定写一个全新的消息引擎来处理这一类用途更广泛的使用案例，囊括范围从传统的发布/订阅情景到高流量实时零差错交易系统。我们相信这个解决方案能带来好处，所以我们非常愿意把这个项目向社区开源。今时今日，已经有超过100家企业在他们的业务里采用开源版本的RocketMQ。我们也在阿里云平台发布了一个基于RocketMQ的商业版PaaS产品。

下面这张表格对比了RocketMQ、ActiveMQ和Kafaka(Apache里最受欢迎的基于java的消息解决方案)

RocketMQ vs. ActiveMQ vs. Kafka

(译者注：markdown要完整实现这个表格比较复杂，暂且搁置，延后处理)

快速开始

快速开始指引由详细的命令组成，告诉你如何在本机配置RocketMQ消息投递系统并且收发消息。

前期必要的准备

以下软件必须安装：

  1. 64位操作系统，linux/Unit/Mac（推荐）；
  2. 64位JDK，1.8+；
  3. Maven 3.2.x
  4. Git

克隆代码仓库和构建程序

  1.   > git clone -b develop https://github.com/apache/rocketmq.git
  2.   > cd rocketmq
  3.   > mvn -Prelease-all -DskipTests clean install -U
  4.   > cd distribution/target/apache-rocketmq

(译者注：命令集合无需翻译。下同。)

启动Name Server

  1.   > nohup sh bin/mqnamesrv &
  2.   > tail -f ~/logs/rocketmqlogs/namesrv.log
  3.   The Name Server boot success...

启动Broker

  1.   > nohup sh bin/mqbroker -n localhost:9876 &
  2.   > tail -f ~/logs/rocketmqlogs/broker.log
  3.   The broker[%s, 172.30.30.233:10911] boot success...

发送和接收消息

在发送或接收消息之前，我们需要通知客户端name servers的位置。RocketMQ提供多种实现方式。为简单起见，我们现在展示环境变量NAMESRV_ADDR的用法

  1.  > export NAMESRV_ADDR=localhost:9876
  2.  > sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
  3.  SendResult [sendStatus=SEND_OK, msgId= ...
  5.  > sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
  6.  ConsumeMessageThread_%d Receive New Messages: [MessageExt...

关闭所有服务器

  1. > sh bin/mqshutdown broker
  2. The mqbroker(36695) is running...
  3. Send shutdown request to mqbroker(36695) OK
  5. > sh bin/mqshutdown namesrv
  6. The mqnamesrv(36664) is running...
  7. Send shutdown request to mqnamesrv(36664) OK

简单示例

简单的消息示例

使用RocketMQ发送消息的3种方法：可靠同步发送、可靠异步发送和单向发送

This page exemplifies these three message-sending ways. Checkout the notes along with the example to figure out which way to use for your specific use case.

本页文档展示这3种消息发送方式。检出这些带有注释的示例代码，可以让你知道每一个用例对应哪一种发送方式。

可靠同步发送

应用：可靠同步发送在众多场景中被使用，例如重要的通知消息、短信通知、短信营销系统，等等。

  1. public class SyncProducer {
  2.     public static void main(String[] args) throws Exception {
  3.         //Instantiate with a producer group name.
  4.         DefaultMQProducer producer = new
  5.             DefaultMQProducer("please_rename_unique_group_name");
  6.         //Launch the instance.
  7.         producer.start();
  8.         for (int i = 0; i < 100; i++) {
  9.             //Create a message instance, specifying topic, tag and message body.
  10.             Message msg = new Message("TopicTest" /* Topic */,
  11.                 "TagA" /* Tag */,
  12.                 ("Hello RocketMQ " +
  13.                     i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
  14.             );
  15.             //Call send message to deliver message to one of brokers.
  16.             SendResult sendResult = producer.send(msg);
  17.             System.out.printf("%s%n", sendResult);
  18.         }
  19.         //Shut down once the producer instance is not longer in use.
  20.         producer.shutdown();
  21.     }
  22. }

可靠异步发送

应用：异步发送通常被用于对响应时间敏感的业务场景

  1. public class AsyncProducer {
  2.     public static void main(String[] args) throws Exception {
  3.         //Instantiate with a producer group name.
  4.         DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
  5.         //Launch the instance.
  6.         producer.start();
  7.         producer.setRetryTimesWhenSendAsyncFailed(0);
  8.         for (int i = 0; i < 100; i++) {
  9.                 final int index = i;
  10.                 //Create a message instance, specifying topic, tag and message body.
  11.                 Message msg = new Message("TopicTest",
  12.                     "TagA",
  13.                     "OrderID188",
  14.                     "Hello world".getBytes(RemotingHelper.DEFAULT_CHARSET));
  15.                 producer.send(msg, new SendCallback() {
  16.                     @Override
  17.                     public void onSuccess(SendResult sendResult) {
  18.                         System.out.printf("%-10d OK %s %n", index,
  19.                             sendResult.getMsgId());
  20.                     }
  21.                     @Override
  22.                     public void onException(Throwable e) {
  23.                         System.out.printf("%-10d Exception %s %n", index, e);
  24.                         e.printStackTrace();
  25.                     }
  26.                 });
  27.         }
  28.         //Shut down once the producer instance is not longer in use.
  29.         producer.shutdown();
  30.     }
  31. }

单向发送

应用：单向发送用于要求一定可靠性的场景，例如日志收集。

  1. public class OnewayProducer {
  2.     public static void main(String[] args) throws Exception{
  3.         //Instantiate with a producer group name.
  4.         DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
  5.         //Launch the instance.
  6.         producer.start();
  7.         for (int i = 0; i < 100; i++) {
  8.             //Create a message instance, specifying topic, tag and message body.
  9.             Message msg = new Message("TopicTest" /* Topic */,
  10.                 "TagA" /* Tag */,
  11.                 ("Hello RocketMQ " +
  12.                     i).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
  13.             );
  14.             //Call send message to deliver message to one of brokers.
  15.             producer.sendOneway(msg);
  17.         }
  18.         //Shut down once the producer instance is not longer in use.
  19.         producer.shutdown();
  20.     }
  21. }

顺序消息示例

顺序消息

RocketMQ提供使用先进先出算法的顺序消息实现。

以下示例展示了如何发送/接收全局顺序消息和分区顺序消息。

发送消息示例代码

  1. public class OrderedProducer {
  2.     public static void main(String[] args) throws Exception {
  3.         //Instantiate with a producer group name.
  4.         MQProducer producer = new DefaultMQProducer("example_group_name");
  5.         //Launch the instance.
  6.         producer.start();
  7.         String[] tags = new String[] {"TagA", "TagB", "TagC", "TagD", "TagE"};
  8.         for (int i = 0; i < 100; i++) {
  9.             int orderId = i % 10;
  10.             //Create a message instance, specifying topic, tag and message body.
  11.             Message msg = new Message("TopicTestjjj", tags[i % tags.length], "KEY" + i,
  12.                     ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
  13.             SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
  14.             @Override
  15.             public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
  16.                 Integer id = (Integer) arg;
  17.                 int index = id % mqs.size();
  18.                 return mqs.get(index);
  19.             }
  20.             }, orderId);
  22.             System.out.printf("%s%n", sendResult);
  23.         }
  24.         //server shutdown
  25.         producer.shutdown();
  26.     }
  27. }

订阅消息示例代码

  1. public class OrderedConsumer {
  2.     public static void main(String[] args) throws Exception {
  3.         DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group_name");
  5.         consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
  7.         consumer.subscribe("TopicTest", "TagA || TagC || TagD");
  9.         consumer.registerMessageListener(new MessageListenerOrderly() {
  11.             AtomicLong consumeTimes = new AtomicLong(0);
  12.             @Override
  13.             public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs,
  14.                                                        ConsumeOrderlyContext context) {
  15.                 context.setAutoCommit(false);
  16.                 System.out.printf(Thread.currentThread().getName() + " Receive New Messages: " + msgs + "%n");
  17.                 this.consumeTimes.incrementAndGet();
  18.                 if ((this.consumeTimes.get() % 2) == 0) {
  19.                     return ConsumeOrderlyStatus.SUCCESS;
  20.                 } else if ((this.consumeTimes.get() % 3) == 0) {
  21.                     return ConsumeOrderlyStatus.ROLLBACK;
  22.                 } else if ((this.consumeTimes.get() % 4) == 0) {
  23.                     return ConsumeOrderlyStatus.COMMIT;
  24.                 } else if ((this.consumeTimes.get() % 5) == 0) {
  25.                     context.setSuspendCurrentQueueTimeMillis(3000);
  26.                     return ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT;
  27.                 }
  28.                 return ConsumeOrderlyStatus.SUCCESS;
  30.             }
  31.         });
  33.         consumer.start();
  35.         System.out.printf("Consumer Started.%n");
  36.     }
  37. }

广播示例

什么是广播

广播就是向一个主题的所有订阅者发送同一条消息。如果你想让一个主题的所有订阅者收到消息，广播是一个很好的选择。

生产者示例

  1. public class BroadcastProducer {
  2.     public static void main(String[] args) throws Exception {
  3.         DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");
  4.         producer.start();
  6.         for (int i = 0; i < 100; i++){
  7.             Message msg = new Message("TopicTest",
  8.                 "TagA",
  9.                 "OrderID188",
  10.                 "Hello world".getBytes(RemotingHelper.DEFAULT_CHARSET));
  11.             SendResult sendResult = producer.send(msg);
  12.             System.out.printf("%s%n", sendResult);
  13.         }
  14.         producer.shutdown();
  15.     }
  16. }

消费者示例

  1. public class BroadcastConsumer {
  2.     public static void main(String[] args) throws Exception {
  3.         DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group_name");
  5.         consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
  7.         //set to broadcast mode
  8.         consumer.setMessageModel(MessageModel.BROADCASTING);
  10.         consumer.subscribe("TopicTest", "TagA || TagC || TagD");
  12.         consumer.registerMessageListener(new MessageListenerConcurrently() {
  14.             @Override
  15.             public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
  16.                 ConsumeConcurrentlyContext context) {
  17.                 System.out.printf(Thread.currentThread().getName() + " Receive New Messages: " + msgs + "%n");
  18.                 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
  19.             }
  20.         });
  22.         consumer.start();
  23.         System.out.printf("Broadcast Consumer Started.%n");
  24.     }
  25. }

延时消息示例

什么是延时消息？

延时消息提供了一种不同于普通消息的实现形式——它们只会在设定的时限到了之后才被递送出去。

应用

  1. 启动消费者，等待即将接收的订阅消息

    1. import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
    2. import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
    3. import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
    4. import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
    5. import org.apache.rocketmq.common.message.MessageExt;
    6. import java.util.List;
    8. public class ScheduledMessageConsumer {
    10.   public static void main(String[] args) throws Exception {
    11.       // Instantiate message consumer
    12.       DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampleConsumer");
    13.       // Subscribe topics
    14.       consumer.subscribe("TestTopic", "*");
    15.       // Register message listener
    16.       consumer.registerMessageListener(new MessageListenerConcurrently() {
    17.           @Override
    18.           public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> messages, ConsumeConcurrentlyContext context) {
    19.               for (MessageExt message : messages) {
    20.                   // Print approximate delay time period
    21.                   System.out.println("Receive message[msgId=" + message.getMsgId() + "] "
    22.                           + (System.currentTimeMillis() - message.getStoreTimestamp()) + "ms later");
    23.               }
    24.               return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    25.           }
    26.       });
    27.       // Launch consumer
    28.       consumer.start();
    29.   }
    30. }

  2. 发送延时消息

    1. import org.apache.rocketmq.client.producer.DefaultMQProducer;
    2. import org.apache.rocketmq.common.message.Message;
    4. public class ScheduledMessageProducer {
    6.   public static void main(String[] args) throws Exception {
    7.       // Instantiate a producer to send scheduled messages
    8.       DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
    9.       // Launch producer
    10.       producer.start();
    11.       int totalMessagesToSend = 100;
    12.       for (int i = 0; i < totalMessagesToSend; i++) {
    13.           Message message = new Message("TestTopic", ("Hello scheduled message " + i).getBytes());
    14.           // This message will be delivered to consumer 10 seconds later.
    15.           message.setDelayTimeLevel(3);
    16.           // Send the message
    17.           producer.send(message);
    18.       }
    20.       // Shutdown producer after use.
    21.       producer.shutdown();
    22.   }
    24. }

  3. 验证 你应该会在消息被存储之后10秒钟看到它们被消费。

批量消息示例

为什么要采用批量消息？

批量发送消息可以提升投递小内存消息时的性能。

使用限制

同一批消息必须满足以下条件：相同的主题、相同的waitStoreMsgOK变量设置，而且都不支持延时发送

另外，一个批量消息的大小最好不要大于1MiB。

如何使用批量消息

如果你一次发送的消息总大小不超过1MB，使用批量消息就很简单

  1. String topic = "BatchTest";
  2. List<Message> messages = new ArrayList<>();
  3. messages.add(new Message(topic, "TagA", "OrderID001", "Hello world 0".getBytes()));
  4. messages.add(new Message(topic, "TagA", "OrderID002", "Hello world 1".getBytes()));
  5. messages.add(new Message(topic, "TagA", "OrderID003", "Hello world 2".getBytes()));
  6. try {
  7.     producer.send(messages);
  8. } catch (Exception e) {
  9.     e.printStackTrace();
  10.     //handle the error
  11. }

切分后用List保存

只有在你发送大内存批量消息而且不确定是否达到大小限制（1MiB）的时候，才会变得复杂。

这时候，你应该把它们切分，然后用List保存

  1. public class ListSplitter implements Iterator<List<Message>> {
  2.     private final int SIZE_LIMIT = 1000 * 1000;
  3.     private final List<Message> messages;
  4.     private int currIndex;
  5.     public ListSplitter(List<Message> messages) {
  6.             this.messages = messages;
  7.     }
  8.     @Override public boolean hasNext() {
  9.         return currIndex < messages.size();
  10.     }
  11.     @Override public List<Message> next() {
  12.         int nextIndex = currIndex;
  13.         int totalSize = 0;
  14.         for (; nextIndex < messages.size(); nextIndex++) {
  15.             Message message = messages.get(nextIndex);
  16.             int tmpSize = message.getTopic().length() + message.getBody().length;
  17.             Map<String, String> properties = message.getProperties();
  18.             for (Map.Entry<String, String> entry : properties.entrySet()) {
  19.                 tmpSize += entry.getKey().length() + entry.getValue().length();
  20.             }
  21.             tmpSize = tmpSize + 20; //for log overhead
  22.             if (tmpSize > SIZE_LIMIT) {
  23.                 //it is unexpected that single message exceeds the SIZE_LIMIT
  24.                 //here just let it go, otherwise it will block the splitting process
  25.                 if (nextIndex - currIndex == 0) {
  26.                    //if the next sublist has no element, add this one and then break, otherwise just break
  27.                    nextIndex++;  
  28.                 }
  29.                 break;
  30.             }
  31.             if (tmpSize + totalSize > SIZE_LIMIT) {
  32.                 break;
  33.             } else {
  34.                 totalSize += tmpSize;
  35.             }
  37.         }
  38.         List<Message> subList = messages.subList(currIndex, nextIndex);
  39.         currIndex = nextIndex;
  40.         return subList;
  41.     }
  42. }
  43. //then you could split the large list into small ones:
  44. ListSplitter splitter = new ListSplitter(messages);
  45. while (splitter.hasNext()) {
  46.    try {
  47.        List<Message>  listItem = splitter.next();
  48.        producer.send(listItem);
  49.    } catch (Exception e) {
  50.        e.printStackTrace();
  51.        //handle the error
  52.    }
  53. }

消息过滤器示例

在大多数情况下，标签是一种帮助你选择所需消息的简单有用的设计。例如：

  1. DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("CID_EXAMPLE");
  2. consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");

该消费者会接收含有TAGA、TAGB或TAGC标签的消息。但是，因为有一条消息只能打一个标签的限制，在复杂的场景下可能会失效。在这种情况下，你可以用SQL表达式来过滤消息。

规则

根据你在发送消息时设定的属性，SQL特性可以做相应的运算。遵循RocketMQ预设的语法，你可以实现一些有趣的逻辑。这里有一个例子： 将文字转为图片

语法

RocketMQ只预设了一些基本的语法来支持这个特性。你也可以很容易地扩展它。

  1. Numeric comparison, like >, >=, <, <=, BETWEEN, =;
  2. Character comparison, like =, <>, IN;
  3. IS NULL or IS NOT NULL;
  4. Logical AND, OR, NOT;

以下是基本类型：

  1. Numeric, like 123, 3.1415;
  2. Character, like ‘abc’, must be made with single quotes;
  3. NULL, special constant;
  4. Boolean, TRUE or FALSE;

使用限制

只有push类型的消费者可以通过SQL92标准的语句来筛选消息。接口如下：

  1. public void subscribe(final String topic, final MessageSelector messageSelector)

生产者示例

在发送消息时，你可以使用putUserProperty()方法为消息设置属性。

  1. DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
  2. producer.start();
  4. Message msg = new Message("TopicTest",
  5.     tag,
  6.     ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
  7. );
  8. // Set some properties.
  9. msg.putUserProperty("a", String.valueOf(i));
  11. SendResult sendResult = producer.send(msg);
  13. producer.shutdown();

消费者示例

在消费消息时，使用MessageSelector.bySql()方法和遵循SQL92标准的语句来筛选消息

  1. DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
  3. // only subsribe messages have property a, also a >=0 and a <= 3
  4. consumer.subscribe("TopicTest", MessageSelector.bySql("a between 0 and 3");
  6. consumer.registerMessageListener(new MessageListenerConcurrently() {
  7.     @Override
  8.     public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
  9.         return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
  10.     }
  11. });
  12. consumer.start();

日志插件管理示例

RocketMQ日志插件管理提供了log4j插件、log4j2插件和logback插件，都可以在业务中使用，以下是如何设置的示例，

log4j

log4j配置文件如下.

  1. log4j.appender.mq=org.apache.rocketmq.logappender.log4j.RocketmqLog4jAppender
  2. log4j.appender.mq.Tag=yourTag
  3. log4j.appender.mq.Topic=yourLogTopic
  4. log4j.appender.mq.ProducerGroup=yourLogGroup
  5. log4j.appender.mq.NameServerAddress=yourRocketmqNameserverAddress
  6. log4j.appender.mq.layout=org.apache.log4j.PatternLayout
  7. log4j.appender.mq.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-4r [%t] (%F:%L) %-5p

使用xml文件配置log4j时，如下配置并添加一个异步插件：

  1. <appender name="mqAppender1" class="org.apache.rocketmq.logappender.log4j.RocketmqLog4jAppender">
  2.     <param name="Tag" value="yourTag" />
  3.     <param name="Topic" value="yourLogTopic" />
  4.     <param name="ProducerGroup" value="yourLogGroup" />
  5.     <param name="NameServerAddress" value="yourRocketmqNameserverAddress"/>
  6.     <layout class="org.apache.log4j.PatternLayout">
  7.         <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss}-%p %t %c - %m%n" />
  8.     </layout>
  9. </appender>
  11. <appender name="mqAsyncAppender1" class="org.apache.log4j.AsyncAppender">
  12.     <param name="BufferSize" value="1024" />
  13.     <param name="Blocking" value="false" />
  14.     <appender-ref ref="mqAppender1"/>
  15. </appender>

log4j2

log4j2配置如下。如果你希望隐藏，就配置一个异步插件作为引用。【译者注：有问题】

  1. <RocketMQ name="rocketmqAppender" producerGroup="yourLogGroup" nameServerAddress="yourRocketmqNameserverAddress"
  2.      topic="yourLogTopic" tag="yourTag">
  3.     <PatternLayout pattern="%d [%p] hahahah %c %m%n"/>
  4. </RocketMQ>

logback

使用logback，异步插件也是必需的。 

  1. <appender name="mqAppender1" class="org.apache.rocketmq.logappender.logback.RocketmqLogbackAppender">
  2.     <tag>yourTag</tag>
  3.     <topic>yourLogTopic</topic>
  4.     <producerGroup>yourLogGroup</producerGroup>
  5.     <nameServerAddress>yourRocketmqNameserverAddress</nameServerAddress>
  6.     <layout>
  7.         <pattern>%date %p %t - %m%n</pattern>
  8.     </layout>
  9. </appender>
  11. <appender name="mqAsyncAppender1" class="ch.qos.logback.classic.AsyncAppender">
  12.     <queueSize>1024</queueSize>
  13.     <discardingThreshold>80</discardingThreshold>
  14.     <maxFlushTime>2000</maxFlushTime>
  15.     <neverBlock>true</neverBlock>
  16.     <appender-ref ref="mqAppender1"/>
  17. </appender>

OpenMessaging兼容示例

OpenMessaging力图建立行业准则和消息分发、流计算领域标准，为金融、电子商务、物联网和大数据领域提供通用框架。设计原则包括，面向云、简单易用、灵活度高、独立于编程语言，以及能在分布式异构环境中使用。这些标准的一致性将会使得开发一款跨所有主流平台和操作系统的异构消息分发应用成为可能。

RocketMQ提供了关于OpenMessaging 0.1.0-alpha版本的部分实现，以下例子展示了如何按照OpenMessaging规范接入RocketMQ.

OMSProducer

下面这个例子展示了如何向RocketMQ broker用同步、异步、单向发送的方式发送消息。

  1. public class OMSProducer {
  2.     public static void main(String[] args) {
  3.         final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
  4.             .getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
  6.         final Producer producer = messagingAccessPoint.createProducer();
  8.         messagingAccessPoint.startup();
  9.         System.out.printf("MessagingAccessPoint startup OK%n");
  11.         producer.startup();
  12.         System.out.printf("Producer startup OK%n");
  14.         {
  15.             Message message = producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8")));
  16.             SendResult sendResult = producer.send(message);
  17.             System.out.printf("Send sync message OK, msgId: %s%n", sendResult.messageId());
  18.         }
  20.         {
  21.             final Promise<SendResult> result = producer.sendAsync(producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8"))));
  22.             result.addListener(new PromiseListener<SendResult>() {
  23.                 @Override
  24.                 public void operationCompleted(Promise<SendResult> promise) {
  25.                     System.out.printf("Send async message OK, msgId: %s%n", promise.get().messageId());
  26.                 }
  28.                 @Override
  29.                 public void operationFailed(Promise<SendResult> promise) {
  30.                     System.out.printf("Send async message Failed, error: %s%n", promise.getThrowable().getMessage());
  31.                 }
  32.             });
  33.         }
  35.         {
  36.             producer.sendOneway(producer.createBytesMessageToTopic("OMS_HELLO_TOPIC", "OMS_HELLO_BODY".getBytes(Charset.forName("UTF-8"))));
  37.             System.out.printf("Send oneway message OK%n");
  38.         }
  40.         producer.shutdown();
  41.         messagingAccessPoint.shutdown();
  42.     }
  43. }

OMSPullConsumer

使用OMS PullConsumer从特定队列中拉取消息。

  1. public class OMSPullConsumer {
  2.     public static void main(String[] args) {
  3.         final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
  4.             .getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
  6.         final PullConsumer consumer = messagingAccessPoint.createPullConsumer("OMS_HELLO_TOPIC",
  7.             OMS.newKeyValue().put(NonStandardKeys.CONSUMER_GROUP, "OMS_CONSUMER"));
  9.         messagingAccessPoint.startup();
  10.         System.out.printf("MessagingAccessPoint startup OK%n");
  12.         consumer.startup();
  13.         System.out.printf("Consumer startup OK%n");
  15.         Message message = consumer.poll();
  16.         if (message != null) {
  17.             String msgId = message.headers().getString(MessageHeader.MESSAGE_ID);
  18.             System.out.printf("Received one message: %s%n", msgId);
  19.             consumer.ack(msgId);
  20.         }
  22.         consumer.shutdown();
  23.         messagingAccessPoint.shutdown();
  24.     }
  25. }

OMSPushConsumer

把OMS PushConsumer和某一个特定的队列绑定在一起，通过MessageListener消费消息。

  1. public class OMSPushConsumer {
  2.     public static void main(String[] args) {
  3.         final MessagingAccessPoint messagingAccessPoint = MessagingAccessPointFactory
  4.             .getMessagingAccessPoint("openmessaging:rocketmq://IP1:9876,IP2:9876/namespace");
  6.         final PushConsumer consumer = messagingAccessPoint.
  7.             createPushConsumer(OMS.newKeyValue().put(NonStandardKeys.CONSUMER_GROUP, "OMS_CONSUMER"));
  9.         messagingAccessPoint.startup();
  10.         System.out.printf("MessagingAccessPoint startup OK%n");
  12.         Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
  13.             @Override
  14.             public void run() {
  15.                 consumer.shutdown();
  16.                 messagingAccessPoint.shutdown();
  17.             }
  18.         }));
  20.         consumer.attachQueue("OMS_HELLO_TOPIC", new MessageListener() {
  21.             @Override
  22.             public void onMessage(final Message message, final ReceivedMessageContext context) {
  23.                 System.out.printf("Received one message: %s%n", message.headers().getString(MessageHeader.MESSAGE_ID));
  24.                 context.ack();
  25.             }
  26.         });
  28.     }
  29. }

常见问题

以下是一般情况下关于RocketMQ项目的常见问题。

一般问题

  1. 为什么我们要开发RocketMQ项目，而不是选择其他的产品？ 请参考《为什么是RocketMQ》。

  2. 如果要使用RocketMQ，我必须安装其他的软件吗，例如Zookeeper？ 不需要。RocketMQ可以独立运行。

使用问题

  1. 新建消费者ID从哪里开始消费消息？

    1. 如果消息是该主题在3天之内发送的，那么消费者会从保存在服务端的第一条消息开始消费。
    2. 如果消息是主题在3天之前发送的，那么消费者会从保存在服务端的最后一条消息开始消费，换句话来说，从消息队列的队尾开始。
    3. 如果消费者重启，那么它会从重启前最后一个消费位置开始。

  2. 如果消费失败，要如何重新消费消息？

    1. 集群消费模式。如果一条消息消费失败，消费业务逻辑代码会返回Action.ReconsumerLater、NULL或者抛出一个异常，将会重新尝试消费，尝试次数最多可达16次。在此之后，如果还是消费失败，这条消息将会被丢弃。
    2. 广播消费模式。广播消费仍然会确保一条消息至少被消费一次，但是不提供重新发送选项。

  3. 如果发生消费失败，要如何查询消费失败的消息？

    1. 根据时间使用主题查询，你可以查询到在一段时间内消费失败的消息。
    2. 使用主题和消息ID可以准确查询到该消息。
    3. 使用主题和消息键可以准确地查询同一类有相同消息键的消息。

  4. 消息送达是否有且仅有一次？ RocketMQ确保所有的消息至少送达一次。在绝大多数情况下，消息不会重复。

  5. 如何添加一个新boker？

    1. 启动一个新的boker，然后在相应的name servers所在的list上注册。
    2. 默认情况下，只有内部系统主题和消费者群组会自动被创建。如果你想在新节点上使用你自己的业务主题和消费者群组，请从已有的broker上复制它们。RocketMQ提供了Admin管理工具和命令行来满足这些需求。

配置相关问题

以下回答都是基于默认值不变的情况，默认值可以通过修改配置文件进行更改。

  1. 消息会在服务器上保存多久？ 存储的消息会最多保存3天，如果3天之后还没有被消费则会被删除。

  2. 消息体的大小限制是？ 通常是256KB。

  3. 如何设置消费者线程的数量？ 启动消费者服务时，设置ConsumeThreadNums属性，举例如下：

    1. consumer.setConsumeThreadMin(20);
    2. consumer.setConsumeThreadMax(20);

错误

  1. 如果你启动一个生产者服务或消费者服务时失败了，错误提示是生产者群组重复或消费者群组重复，要如何处理？ 原因：使用相同的生产者、消费者群组在同一个JVM初始化多个生产者/消费者示例可能会导致客户端启动失败。 解决方法：确保一个JVM对应一个生产者/消费者群组只启动一个生产者/消费者实例。

  2. 如果在广播模式，消费者在开始加载JSON文件时失败，要如何处理？ 原因：Fastjson的版本太低，以至于无法允许广播消费者加载offsets.json文件，导致该消费者启动失败。损坏的fastjson文件也会导致同样的问题。 解决方法：Fastjson的版本要升级到rocketmq客户端依赖版本，以确保本地offsets.json文件可以被正常加载。默认条件下offsets.json文件存放位置是/home/{user}/.rocketmq_offsets。或者检查一下fastjson是否完整。

  3. broker崩溃有什么影响？ Master崩溃 如果你有另外一个broker集合可用，那么消息就可以不再发送到这个已经崩溃的boker集合。目前，消息仍然可以被发送到原来的主题。消息仍然可以通过slaves被消费。

部分salve崩溃 只要还有另外一个正在运作的slave，就不会对发送消息有任何影响。消费消息也不会受到影响，除非消费者群组设置了优先消费该slave的消息。默认情况下，消费者群组优先消费来自master的消息。

所有slaves崩溃 发送消息到master不会有任何影响，但是，如果master设置了SYNC_MASTER，那么生产者将会收到一个SLAVE_NOT_AVAILABLE的提醒，提醒说该消息未能发送到任意一个slaves。消费消息也不会受到影响，除非消费者群组设置了优先消费该slave的消息。默认情况下，消费者群组优先消费来自master的消息。

  1. 生产者报告“没有主题路由信息”，如何判断哪里出了问题？ 这种问题会发生在当你尝试发送消息到一个主题而这个主题的路由信息对该生产者不可用的时候。
    1. 确定生产者可以连接到name server，而且能够从该处获取路由元信息。
    2. 确定name servers的确保存了主题的路由元信息。通过使用admin工具或者web控制台，你可以根据topicRoute查询name server的路由元信息。
    3. 确定你的brokers正在发送heartbeats给同一list上的name servers，而且你的生产者正在跟它们连接着。
    4. 确定该主题的权限是6(rw-)，或者至少是2(-w-).

如果你找不到这个主题，那就通过admin工具命令updateTopic或者web控制台在一个boker上创建它。