MQTT 基础知识点

1. MQTT简介

MQTT（Message Queuing Telemetry Transport，消息队列遥测传输协议），是一种基于发布/订阅（publish/subscribe）模式的”轻量级”通讯协议，该协议构建于TCP/IP协议上，由IBM在1999年发布。MQTT最大优点在于，可以以极少的代码和有限的带宽，为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议，使其在物联网、小型设备、移动应用等方面有较广泛的应用。

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的，这些特点使它适用范围非常广泛。在很多情况下，包括受限的环境中，如：机器与机器（M2M）通信和物联网（IoT）。其在，通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。

2. 设计规范

由于物联网的环境是非常特别的，所以MQTT遵循以下设计原则：

1. 精简，不添加可有可无的功能；
2. 发布/订阅（Pub/Sub）模式，方便消息在传感器之间传递；
3. 允许用户动态创建主题，零运维成本；
4. 把传输量降到最低以提高传输效率；
5. 把低带宽、高延迟、不稳定的网络等因素考虑在内；
6. 支持连续的会话控制；
7. 理解客户端计算能力可能很低；
8. 提供服务质量管理；
9. 假设数据不可知，不强求传输数据的类型与格式，保持灵活性。

3. 主要特性

MQTT协议工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议，它具有以下主要的几项特性：

1. 使用发布/订阅消息模式，提供一对多的消息发布，解除应用程序耦合：这一点很类似于XMPP，但是MQTT的信息冗余远小于XMPP，,因为XMPP使用XML格式文本来传递数据。
2. 对负载内容屏蔽的消息传输。
3. 使用TCP/IP提供网络连接：主流的MQTT是基于TCP连接进行数据推送的，但是同样有基于UDP的版本，叫做MQTT-SN。这两种版本由于基于不同的连接方式，优缺点自然也就各有不同了。
4. 有三种消息发布服务质量：
   • “至多一次”，消息发布完全依赖底层TCP/IP网络。会发生消息丢失或重复。这一级别可用于如下情况，环境传感器数据，丢失一次读记录无所谓，因为不久后还会有第二次发送。这一种方式主要普通APP的推送，倘若你的智能设备在消息推送时未联网，推送过去没收到，再次联网也就收不到了。
   • “至少一次”，确保消息到达，但消息重复可能会发生。
   • “只有一次”，确保消息到达一次。在一些要求比较严格的计费系统中，可以使用此级别。在计费系统中，消息重复或丢失会导致不正确的结果。这种最高质量的消息发布服务还可以用于即时通讯类的APP的推送，确保用户收到且只会收到一次。
5. 小型传输，开销很小（固定长度的头部是2字节），协议交换最小化，以降低网络流量：这就是为什么在介绍里说它非常适合”在物联网领域，传感器与服务器的通信，信息的收集”，要知道嵌入式设备的运算能力和带宽都相对薄弱，使用这种协议来传递消息再适合不过了。
6. 使用Last Will和Testament特性通知有关各方客户端异常中断的机制：
   • Last Will：即遗言机制，用于通知同一主题下的其他设备发送遗言的设备已经断开了连接。
   • Testament：遗嘱机制，功能类似于Last Will。

4. MQTT协议原理

4.1 MQTT协议实现方式

实现MQTT协议需要客户端和服务器端通讯完成，在通讯过程中，MQTT协议中有三种身份：发布者（Publish）、代理（Broker）（服务器）、订阅者（Subscribe）。其中，消息的发布者和订阅者都是客户端，消息代理是服务器，消息发布者可以同时是订阅者。

MQTT传输的消息分为：主题（Topic）和负载（payload）两部分：

1. Topic，可以理解为消息的类型，订阅者订阅（Subscribe）后，就会收到该主题的消息内容（payload）；
2. payload，可以理解为消息的内容，是指订阅者具体要使用的内容。

4.2 网络传输与应用消息

MQTT会构建底层网络传输：它将建立客户端到服务器的连接，提供两者之间的一个有序的、无损的、基于字节流的双向传输。

当应用数据通过MQTT网络发送时，MQTT会把与之相关的服务质量（QoS）和主题名（Topic）相关连。

4.3 MQTT客户端

一个使用MQTT协议的应用程序或者设备，它总是建立到服务器的网络连接。客户端可以：

1. 发布其他客户端可能会订阅的信息；
2. 订阅其它客户端发布的消息；
3. 退订或删除应用程序的消息；
4. 断开与服务器连接。

4.4 MQTT服务器

MQTT服务器以称为”消息代理”（Broker），可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间，它可以：

1. 接受来自客户的网络连接；
2. 接受客户发布的应用信息；
3. 处理来自客户端的订阅和退订请求；
4. 向订阅的客户转发应用程序消息。

4.5 MQTT协议中的订阅、主题、会话

1. 订阅（Subscription）：订阅包含主题筛选器（Topic Filter）和最大服务质量（QoS）。订阅会与一个会话（Session）关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。
2. 会话（Session）：每个客户端与服务器建立连接后就是一个会话，客户端和服务器之间有状态交互。会话存在于一个网络之间，也可能在客户端和服务器之间跨越多个连续的网络连接。
3. 主题名（Topic Name）：连接到一个应用程序消息的标签，该标签与服务器的订阅相匹配。服务器会将消息发送给订阅所匹配标签的每个客户端。
4. 主题筛选器（Topic Filter）：一个对主题名通配符筛选器，在订阅表达式中使用，表示订阅所匹配到的多个主题。
5. 负载（Payload）：消息订阅者所具体接收的内容。

4.6 MQTT协议中的方法

MQTT协议中定义了一些方法（也被称为动作），来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据，这取决于服务器的实现。通常来说，资源指服务器上的文件或输出。主要方法有：

1. Connect：等待与服务器建立连接。
2. Disconnect：等待MQTT客户端完成所做的工作，并与服务器断开TCP/IP会话。
3. Subscribe：等待完成订阅。
4. UnSubscribe：等待服务器取消客户端的一个或多个topics订阅。
5. Publish：MQTT客户端发送消息请求，发送完成后返回应用程序线程。

5. MQTT协议数据包结构

在MQTT协议中，一个MQTT数据包由：固定头（Fixed header）、可变头（Variable header）、消息体（payload）三部分构成。MQTT数据包结构如下：

1. 固定头（Fixed header）。存在于所有MQTT数据包中，表示数据包类型及数据包的分组类标识。
2. 可变头（Variable header）。存在于部分MQTT数据包中，数据包类型决定了可变头是否存在及其具体内容。
3. 消息体（Payload）。存在于部分MQTT数据包中，表示客户端收到的具体内容。

5.1 MQTT固定头

固定头存在于所有MQTT数据包中，其结构如下：

5.1.1 MQTT数据包类型

位置：byte 1，bits 7~4

相当于一个4位的无符号值，类型如下：

5.1.2 标识位

位置：byte 1, bits 3-0。

在不使用标识位的消息类型中，标识位被做为保留位。如果收到无效的标志时，接收端必须关闭网络连接：

• DUP：发布消息的副本。用来在保证消息的可靠传输，如果设置为 1，则在下面的变长中增加MessageId，并且需要回复确认，以保证消息传输完成，但不能用于检测消息重复发送。
• QoS：发布消息的服务质量，即：保证消息传递的次数
  • 00：最多一次，即：<=1
  • 01：至少一次，即：>=1
  • 10：一次，即：=1
  • 11：预留
• RETAIN： 发布保留标识，表示服务器要保留这次推送的信息，如果有新的订阅者出现，就把这消息推送给它，如果设有那么推送至当前订阅者后释放。

5.1.3 剩余长度

位置：byte 2（从byte 2，最大可至byte 5）

该字段表示当前消息的剩余内容的字节数，包括可变头部和有效载荷的数据。

该字段自己的字节数是根据可变头部和有效载荷的长度不一样而变化的。该可变长度编码方案以下：每一个字节的低7位（7-0位）编码剩余长度的数据，第8位表示后面是否还有编码剩余长度的字节。即每一个字节编码128个值和一个“延续位”。因此只用一个字节时，最大只可表示127字节的长度。

举例以下，十进制数字64只需用1个字节来编码，即0x40。 十进制数字321（=65 + 2x128）则须要用2个字节来编码，其中第1个字节为1100 0001，该字节的低7位表示65，第8位表示后面还有字节；第2个字节为0000 0010，表示2x128。

协议限制该字段最大为4个字节，这容许应用程序发送的最大消息长度为268435455（256MB），即0xFF，0xFF，0xFF，0x7F。

下表给出了增长该字段的字节数时相应可表示的剩余长度值：

5.2 MQTT可变头

MQTT数据包中包含一个可变头，它驻位于固定的头和负载之间。可变头的内容因数据包类型而不同，较常的应用是做为包的标识：

很多类型数据包中都包括一个2字节的数据包标识字段，这些类型的包有：PUBLISH (QoS > 0)、PUBACK、PUBREC、PUBREL、PUBCOMP、SUBSCRIBE、SUBACK、UNSUBSCRIBE、UNSUBACK

5.3 Payload 消息体

Payload消息体位MQTT数据包的第三部分，CONNECT、SUBSCRIBE、SUBACK、UNSUBSCRIBE四种类型的消息 有消息体：

• CONNECT：消息体内容主要是：客户端的ClientID、订阅的Topic、Message以及用户名和密码。
• SUBSCRIBE：消息体内容是一系列的要订阅的主题以及QoS。
• SUBACK：消息体内容是服务器对于SUBSCRIBE所申请的主题及QoS进行确认和回复。
• UNSUBSCRIBE：消息体内容是要订阅的主题。

6. 发布/订阅模式

6.1 模式简介

发布/订阅模式（也称为pub / sub）提供了传统客户端-服务器体系结构的替代方法。在客户端服务器模型中，客户端直接与端点进行通信。发布/ 订阅模型将发送消息的客户端（发布者）与接收消息的客户端（订阅者）分离。发布者和订阅者从不彼此直接联系。实际上，他们甚至不知道另一个存在。它们之间的连接由第三个组件（代理）处理。代理的工作是过滤所有传入消息，并将其正确分发给订户。因此，让我们更深入地研究pub / sub的一些常规方面（我们将在稍后讨论MQTT的具体细节）。

MQTT发布/订阅架构如下：

pub / sub的最重要方面是消息的发布者与收件人（订阅者）的分离。这种解耦具有几个方面：

• 空间解耦：发布者和订阅者不需要彼此了解（例如，无需交换IP地址和端口）。
• 时间解耦：发布者和订阅者不需要同时运行。
• 同步解耦：发布或接收期间，两个组件的操作都不需要中断。

总之，发布/订阅模型删除了消息的发布者与接收者/订阅者之间的直接通信。代理的过滤活动使控制哪个客户端/订户接收哪个消息成为可能。去耦具有三个维度：空间，时间和同步。

6.2 可扩展性

发布/订阅的伸缩性优于传统的客户端-服务器方法。这是因为代理上的操作可以高度并行化，并且可以以事件驱动的方式处理消息。消息缓存和消息的智能路由通常是提高可伸缩性的决定性因素。尽管如此，扩展到数百万个连接还是一个挑战。集群代理节点可以使用负载平衡器将负载分配到更多单独的服务器上，从而实现如此高的连接水平。（该主题超出了本文的讨论范围，我们将在另一篇文章中介绍）。

6.3 邮件过滤

1. 基于主题的过滤
   此过滤基于每条消息的主题或主题。接收客户向代理订阅感兴趣的主题。从那时起，代理确保接收方的客户端获取发布到订阅主题的所有消息。通常，主题是具有分层结构的字符串，可以根据有限数量的表达式进行过滤。
2. 基于内容的过滤
   在基于内容的过滤中，代理根据特定的内容过滤器语言过滤邮件。接收客户端订阅他们感兴趣的消息的过滤查询。该方法的一个重要缺点是必须事先知道消息的内容，并且不能对其进行加密或轻易更改。
3. 基于类型的过滤
   当使用面向对象的语言时，基于消息（事件）的类型/类的过滤是一种常见的做法。例如，订户可以收听所有消息，这些消息的类型为Exception或任何子类型。

当然，发布/订阅并不是每种用例的答案。使用此模型之前，需要考虑一些事项。发布者和订阅者之间的脱钩是pub / sub中的关键，这本身就带来了一些挑战。例如，需要事先了解发布数据的结构。对于基于主题的筛选，发布者和订阅者都需要知道要使用哪些主题。要记住的另一件事是消息传递。发布者不能假定有人正在听发送的消息。在某些情况下，可能没有订户阅读特定的消息。

6.4 MQTT中的发布/订阅

MQTT体现了我们提到的pub / sub的所有方面：

1. MQTT在空间上解耦发布者和订阅者。要发布或接收消息，发布者和订阅者只需要知道代理的主机名/ IP和端口即可。
2. MQTT按时间解耦。尽管大多数MQTT用例都几乎实时地传递消息，但是如果需要，代理可以为不在线的客户端存储消息。（必须满足两个条件来存储消息：客户端已与持久会话建立连接，并订阅了服务质量大于0的主题）。
3. MQTT异步工作。因为大多数客户端库都是异步工作的，并且基于回调或类似模型，所以在等待消息或发布消息时不会阻塞任务。在某些使用情况下，同步是理想的并且是可能的。为了等待特定消息，某些库具有同步API。但是流程通常是异步的。

应该提到的另一件事是MQTT在客户端特别容易使用。大多数发布/订阅系统在代理方面具有逻辑，但是当使用客户端库时，MQTT实际上是发布/订阅的本质，这使得它成为小型且受约束的设备的轻量级协议。

MQTT使用基于主题的消息过滤。每个消息都包含一个主题（主题），代理可以使用该主题来确定预订客户端是否收到该消息。如果需要，您还可以使用MQTT代理和我们的自定义插件系统来设置基于内容的过滤。

6.5 与消息队列的区别

消息队列存储消息，直到被消耗为止。 使用消息队列时，每个传入消息都存储在队列中，直到客户端（通常称为使用者）将其接收到为止。如果没有客户端接收该消息，则该消息将停留在队列中并等待被使用。在消息队列中，任何客户端都无法处理消息，如果没有人订阅主题，就如同MQTT中的消息一样。

一条消息仅由一个客户端使用。 另一个很大的区别是，在传统的消息队列中，一条消息只能由一个使用者处理。负载在队列的所有使用者之间分配。在MQTT中，行为恰好相反：订阅该主题的每个订户都会收到消息。

队列被命名并且必须显式创建 队列比主题要严格得多。在使用队列之前，必须使用单独的命令显式创建队列。只有在命名和创建队列之后，才可以发布或使用消息。相反，MQTT主题非常灵活，可以即时创建。