Ref: https://pdai.tech/md/db/nosql-redis/db-redis-x-sentinel.html

哨兵机制（Redis Sentinel）

Redis Sentinel，即 Redis 哨兵，在 Redis 2.8 版本开始引入。哨兵的核心功能是主节点的自动故障转移。
下图是一个典型的哨兵集群监控的逻辑图：
image.png
哨兵实现了什么功能呢？下面是 Redis 官方文档的描述：

  • 监控（Monitoring）：哨兵会不断地检查主节点和从节点是否运作正常。
  • 自动故障转移（Automatic failover）：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从节点升级为新的主节点，并让其他从节点改为复制新的主节点。
  • 配置提供者（Configuration provider）：客户端在初始化时，通过连接哨兵来获得当前 Redis 服务的主节点地址。
  • 通知（Notification）：哨兵可以将故障转移的结果发送给客户端。

其中，监控和自动故障转移功能，使得哨兵可以及时发现主节点故障并完成转移；而配置提供者和通知功能，则需要在与客户端的交互中才能体现。

哨兵集群的组建

上图中哨兵集群是如何组建的呢？哨兵实例之间可以相互发现，要归功于 Redis 提供的 pub/sub 机制，也就是发布 / 订阅机制。
在主从集群中，主库上有一个名为 sentinel:hello 的频道，不同哨兵就是通过它来相互发现，实现互相通信的。在下图中，哨兵 1 把自己的 IP（172.16.19.3）和端口（26579）发布到sentinel:hello 频道上，哨兵 2 和 3 订阅了该频道。那么此时，哨兵 2 和 3 就可以从这个频道直接获取哨兵 1 的 IP 地址和端口号。然后，哨兵 2、3 可以和哨兵 1 建立网络连接。
image.png
通过这个方式，哨兵 2 和 3 也可以建立网络连接，这样一来，哨兵集群就形成了。它们相互间可以通过网络连接进行通信，比如说对主库有没有下线这件事儿进行判断和协商。

哨兵监控 Redis 库

哨兵监控什么呢？怎么监控呢？
这是由哨兵向主库发送 INFO 命令来完成的。就像下图所示，哨兵 2 给主库发送 INFO 命令，主库接受到这个命令后，就会把从库列表返回给哨兵。接着，哨兵就可以根据从库列表中的连接信息，和每个从库建立连接，并在这个连接上持续地对从库进行监控。哨兵 1 和 3 可以通过相同的方法和从库建立连接。
image.png

主库下线的判定

哨兵如何判断主库已经下线了呢？
首先要理解两个概念：主观下线和客观下线

  • 主观下线：任何一个哨兵都是可以监控探测，并作出 Redis 节点下线的判断；
  • 客观下线：由哨兵集群共同决定 Redis 节点是否下线；

当某个哨兵（如下图中的哨兵 2）判断主库 “主观下线” 后，就会给其他哨兵发送 is-master-down-by-addr 命令。接着，其他哨兵会根据自己和主库的连接情况，做出 Y 或 N 的响应，Y 相当于赞成票，N 相当于反对票。
image.png
如果赞成票数（这里是 2）是大于等于哨兵配置文件中的 quorum 配置项（比如这里如果是 quorum=2）, 则可以判定主库客观下线了。

哨兵集群的选举

判断完主库下线后，由哪个哨兵节点来执行主从切换呢？这里就需要哨兵集群的选举机制了。

  • 为什么必然会出现选举 / 共识机制？

为了避免哨兵的单点情况发生，所以需要一个哨兵的分布式集群。作为分布式集群，必然涉及共识问题（即选举问题）；同时故障的转移和通知都只需要一个主的哨兵节点就可以了。

  • 哨兵的选举机制是什么样的？

哨兵的选举机制其实很简单，就是一个 Raft 选举算法： 选举的票数大于等于 num (sentinels)/2+1 时，将成为领导者，如果没有超过，继续选举

  • 任何一个想成为 Leader 的哨兵，要满足两个条件：
    • 第一，拿到半数以上的赞成票；
    • 第二，拿到的票数同时还需要大于等于哨兵配置文件中的 quorum 值。

以 3 个哨兵为例，假设此时的 quorum 设置为 2，那么，任何一个想成为 Leader 的哨兵只要拿到 2 张赞成票，就可以了。

更进一步理解

这里很多人会搞混 判定客观下线 和 是否能够主从切换（用到选举机制） 两个概念，我们再看一个例子。
Redis 1 主 4 从，5 个哨兵，哨兵配置 quorum 为 2，如果 3 个哨兵故障，当主库宕机时，哨兵能否判断主库 “客观下线”？能否自动切换？
经过实际测试：
1、哨兵集群可以判定主库 “主观下线”。由于 quorum=2，所以当一个哨兵判断主库 “主观下线” 后，询问另外一个哨兵后也会得到同样的结果，2 个哨兵都判定 “主观下线”，达到了 quorum 的值，因此，哨兵集群可以判定主库为 “客观下线”。
2、但哨兵不能完成主从切换。哨兵标记主库 “客观下线后”，在选举 “哨兵领导者” 时，一个哨兵必须拿到超过多数的选票 (5/2+1=3 票)。但目前只有 2 个哨兵活着，无论怎么投票，一个哨兵最多只能拿到 2 票，永远无法达到 N/2+1 选票的结果。

新主库的选出

主库既然判定客观下线了，那么如何从剩余的从库中选择一个新的主库呢？

  • 过滤掉不健康的（下线或断线），没有回复过哨兵 ping 响应的从节点
  • 选择 salve-priority 从节点优先级最高（redis.conf）的
  • 选择复制偏移量最大，指复制最完整的从节点

image.png

故障的转移

新的主库选择出来后，就可以开始进行故障的转移了。
假设根据我们一开始的图：（我们假设：判断主库客观下线了，同时选出 sentinel 3 是哨兵 leader）
image.png
故障转移流程如下：
image.png

  • 将 slave-1 脱离原从节点（PS: 5.0 中应该是 replicaof no one)，升级主节点，
  • 将从节点 slave-2 指向新的主节点
  • 通知客户端主节点已更换
  • 将原主节点（oldMaster）变成从节点，指向新的主节点

转移之后
image.png