复制集replica sets

image.png
复制集是由一组拥有相同数据集的mongod实例所组成的集群，它是2台及两台以上的服务器组成，以及复制集成员包括Primary主节点，secondary从节点和投票节点。复制集提供了数据的冗余备份，并在多个服务器上存储数据副本，提供了数据的可用性，保证数据的安全性。

复制集的作用

  • 高可用
    • 防止设备故障
    • 提供自动failover功能
  • 灾难恢复：当故障发生时，可以从其它节点恢复
  • 功能隔离：可以唉备节点上执行读操作，减少主节点的压力

复制集集群架构原理

一个复制集中Primary节点上能够完成读写操作,Secondary节点仅能用于读操作。Primary节点需要记录所有改变数据库状态的操作,这些记录保存在 oplog 中,这个文件存储在 local 数据库,各个Secondary节点通过此 oplog 来复制数据并应用于本地,保持本地的数据与主节点的一致。oplog 具有幂等性,即无论执行几次其结果一致,这个比 mysql 的二进制日志更好用。
oplog的组成结构

  1. {
  2.     "ts" : Timestamp(1446011584, 2),
  3.     "h" : NumberLong("1687359108795812092"),
  4.     "v" : 2,
  5.     "op" : "i",
  6.     "ns" : "test.nosql",
  7.     "o" : { "_id" : ObjectId("563062c0b085733f34ab4129"), "name" : "mongodb",
  8.     "score" : "10"}
  9. }
  10. ts：操作时间，当前timestamp + 计数器，计数器每秒都被重置
  11. h：操作的全局唯一标识
  12. v：oplog版本信息
  13. op：操作类型
  14.     i：插入操作
  15.     u：更新操作
  16.     d：删除操作
  17.     c：执行命令（如createDatabase，dropDatabase）
  18. n：空操作，特殊用途
  19. ns：操作针对的集合
  20. o：操作内容
  21. o2：更新查询条件,仅update操作包含该字段

MongoDB的Primary节点选举基于心跳触发。一个复制集N个节点中的任意两个节点维持心跳，每个节点维护其他N-1个节点的状态。
image.png
心跳检测：
整个集群需要保持一定的通信才能知道哪些节点活着哪些节点挂掉。mongodb节点会向副本集中的其他节点每2秒就会发送一次pings包，如果其他节点在10秒钟之内没有返回就标示为不能访问。每个节点内部都会维护一个状态映射表，表明当前每个节点是什么角色、日志时间戳等关键信息。如果主节点发现自己无法与大部分节点通讯则把自己降级为secondary只读节点。
主节点选举触发的时机：

  • 第一次初始化一个复制集
  • Secondary节点权重比Primary节点高时，发起替换选举
  • Secondary节点发现集群中没有Primary时，发起选举
  • Primary节点不能访问到大部分(Majority)成员时主动降级

当触发选举时,Secondary节点尝试将自身选举为Primary。主节点选举是一个二阶段过程+多数派协议。

  • 第一阶段:

检测自身是否有被选举的资格 如果符合资格会向其它节点发起本节点是否有选举资格的FreshnessCheck,进行同僚仲裁

  • 第二阶段:

发起者向集群中存活节点发送Elect(选举)请求，仲裁者收到请求的节点会执行一系列合法性检查，如果检查通过，则仲裁者(一个复制集中最多50个节点 其中只有7个具有投票权)给发起者投一票。pv0通过30秒选举锁防止一次选举中两次投票。pv1使用了terms(一个单调递增的选举计数器)来防止在一次选举中投两次票的情况。

  • 多数派协议:

发起者如果获得超过半数的投票，则选举通过，自身成为Primary节点。获得低于半数选票的原因，除了常见的网络问题外，相同优先级的节点同时通过第一阶段的同僚仲裁并进入第二阶段也是一个原因。因此，当选票不足时，会sleep[0,1]秒内的随机时间，之后再次尝试选举。