date: 2020-06-07title: RocketMQ学习（2）——组件 #标题
tags: RocketMQ #标签
categories: MQ # 分类

RocketMQ服务端的组件有三个：nameserver，broker，filterserver（可选，部署于和broker同一台机器）。
RocketMQ学习（2）——组件 - 图1

Name Server

Name Server是RocketMQ的寻址服务。用于把broker的路由信息做聚合。用户依靠Name server决定去获取对应topic的路由信息，从而决定对哪些Broker做连接。

  • name server是一个几乎无状态的节点，name server之间采取share-nothing的设计，互不通信。
  • 对于一个name server集群列表，客户端连接name server的时候，只会选择随机连接一个节点，以做到负载均衡。
  • name server所有状态都从broker上报而来，本身不存储任何状态，所有数据均在内存。
  • 如果中途所有name server全都挂了，影响到路由信息的更新，不会影响和broker的通信。

Broker

Broker是处理消息存储，转发等处理的服务器。

  • broker以group分开，每个group只允许一个master，若干个slave。
  • 只有master才能进行读写操作，slave不允许。
  • slave从master中同步数据。同步策略取决于master的配置，可以采用同步双写，异步复制两种。
  • 客户端消费可以从master和slave消费。默认情况下，消费者都从master消费，在master挂掉后，客户端由于从name server中感知到broker挂机，就会从slave消费。
  • broker向所有的name server节点建立长连接，注册topic信息。

filter server（可选）

RocketMQ可以允许消费者上传一个java类给filter server进行过滤。

  • filter server只能起在broker所在的机器。
  • 可以有若干个filter server进程
  • 拉取消息的时候，消息先经过filter server，filter server靠上传的java类过滤消息后才推给consumer消费。
  • 客户端完全可以消费消息的时候做过滤，不需要filter server。
  • filter server存在的目的是用broker的cpu资源换取网卡资源。因为broker的瓶颈往往在网卡，而且cpu资源很闲，在客户端过滤会导致无需使用的消息在占用网卡资源。
  • 使用java class上传作为过滤表达式是一个双刃剑——一方面方便了应用的过滤操作且节省网卡资源，另一方面也带来了服务器端的安全风险。这就需要应用来保证过滤代码安全————例如：在过滤程序里尽可能不做申请大内存，创建线程等操作，避免broker服务器资源泄露。