分布式缓存 - Redis 分片集群 - 《微服务》

搭建分片集群
集群伸缩
- 添加一个节点到集群
- 删除集群中的一个节点
故障转移
- 测试故障转移
- 数据迁移
Redis Template 访问分片集群

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

海量数据存储问题
高并发写的问题

使用分片集群可以解决上述问题，分片集群特征：

集群中有多个 master，每个 master 保存不同数据
每个 master 都可以有多个 slave 节点
master 之间通过 ping 监测彼此健康状态
客户端请求可以访问集群任意节点，最终都会被转发到正确节点

Redis 分片集群 - 图1

搭建分片集群

集群结构

分片集群需要的节点数量较多，这里我们搭建一个最小的分片集群，包含 3 个 master 节点，每个 master 包含一个 slave 节点

这里我们会在同一台虚拟机中开启 6 个 redis 实例，模拟分片集群，信息如下：

IP	PORT	角色
public-ip	7001	master
public-ip	7002	master
public-ip	7003	master
public-ip	8001	slave
public-ip	8002	slave
public-ip	8003	slave

准备实例和配置

删除之前的 7001、7002、7003 这几个目录，重新创建出 7001、7002、7003、8001、8002、8003 目录：

# 进入/tmp目录
cd /redis
# 删除旧的，避免配置干扰
rm -rf 7001 7002 7003
# 创建目录
mkdir 7001 7002 7003 8001 8002 8003

在 /redis 下准备一个新的 redis.conf 文件，内容如下：

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /develop/redis/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /develop/redis/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 81.70.151.52
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /develop/redis/6379/run.log

将这个文件拷贝到每个目录下：

# 执行拷贝
echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

修改每个目录下的 redis.conf，将其中的 6379 修改为与所在目录一致：

# 修改配置文件
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

启动

因为已经配置了后台启动模式，所以可以直接启动服务：

# 一键启动所有服务
printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

通过 ps 查看状态：

ps -ef | grep redis

如果要关闭所有进程，可以执行命令：

ps -ef | grep redis | awk '{print $2}' | xargs kill

或者（推荐这种方式）：

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

创建集群

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

我们需要执行命令来创建集群，在 Redis 5.0 之前创建集群比较麻烦，5.0 之后集群管理命令都集成到了redis-cli 中。

我们使用的是 Redis 6.2.4 版本，集群管理以及集成到了 redis-cli 中，格式如下：

redis-cli --cluster create --cluster-replicas 1 81.70.151.52:7001 81.70.151.52:7002 81.70.151.52:7003 81.70.151.52:8001 81.70.151.52:8002 81.70.151.52:8003

命令说明：

redis-cli --cluster 或者 ./redis-trib.rb：代表集群操作命令
create：代表是创建集群
--replicas 1 或者 --cluster-replicas 1 ：指定集群中每个 master 的副本个数为1，此时 节点总数 ÷ (replicas + 1) 得到的就是 master 的数量。因此节点列表中的前 n 个就是 master，其它节点都是 slave 节点，随机分配到不同 master

运行后的结果：

Redis 分片集群 - 图2

这里输入 yes，则集群开始创建。

注意，如果出现 Waiting for the cluster to join 问题，说明这里需要开放端口，端口号为 1700x 和 1800x。参考链接

通过命令可以查看集群状态：

redis-cli -p 7001 cluster nodes

Redis 分片集群 - 图3

散列插槽

Redis 会把每一个 master 节点映射到 0~16383 共 16384 个插槽（hash slot）上，查看集群信息时就能看到。

数据 key 不是与节点绑定，而是与插槽绑定。redis 会根据 key 的有效部分计算插槽值，分两种情况：

key 中包含 {}，且 {} 中至少包含 1 个字符，{} 中的部分是有效部分
key 中不包含 {}，整个 key 都是有效部分

例如：

key 是 num，那么就根据 num 计算
key 是 {halo}num，则根据 halo 计算。
计算方式是利用 CRC16 算法得到一个 hash 值，然后对 16384 取余，得到的结果就是 slot 值。

使用 redis-cli -c -p 7001 测试

Redis 分片集群 - 图4

Redis 如何判断某个 key 应该在哪个实例？

将 16384 个插槽分配到不同的实例
根据 key 的有效部分计算哈希值，对 16384 取余
余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个 Redis 实例？

这一类数据使用相同的有效部分，例如 key 都以 {typeId} 为前缀

Redis 为什么设置 16384 个槽。CRC16 算法产生的 hash 值有 16bit，该算法可以产生 216 = 65536 个值。换句话说，值是分布在 0 到 65535 之间。那作者在做 mod 运算的时候，为什么不 mod 65536，而选择 mod 16384？

如果槽位为 65536，发送心跳信息的消息头达 8k，发送的心跳包过于庞大。在消息头中，最占空间的是 myslots[CLUSTER_SLOTS/8]。当槽位为 65536 时，这块的大小是： 65536÷8÷1024=8kb 因为每秒钟，Redis 节点需要发送一定数量的 ping 消息作为心跳包，如果槽位为 65536，这个 ping 消息的消息头太大了，浪费带宽。16384 块的大小是：16384÷8÷1024=2kb
Redis 的集群主节点数量基本不可能超过1000个。集群节点越多，心跳包的消息体内携带的数据越多。如果节点过 1000 个，也会导致网络拥堵。因此 Redis 作者，不建议 redis cluster 节点数量超过 1000 个。那么，对于节点数在 1000 以内的 redis cluster 集群，16384 个槽位够用了。没有必要拓展到 65536 个。
槽位越小，节点少的情况下，压缩比高。
集群伸缩
添加一个节点到集群
redis-cli --cluster 提供了很多操作集群的命令，可以通过 redis-cli --cluster help 进行查看

比如，添加节点的命令：

add-node       new_host:new_port existing_host:existing_port
               --cluster-slave
               --cluster-master-id <arg>

案例：向集群中添加一个新的 master 节点，并向其中存储 num = 10

需求：

启动一个新的 redis 实例，端口为 7004
添加 7004 到之前的集群，并作为一个 master 节点
给 7004 节点分配插槽，使得 num 这个 key 可以存储到 7004 实例

mkdir 7004
cp redis.conf 7004
sed -i s/6379/7004/g 7004/redis.conf
redis-server 7004/redis.conf
ps -ef | grep redis

redis-cli --cluster add-node 81.70.151.52:7004 81.70.151.52:7001
redis-cli -p 7001 cluster nodes

记得设置放行防火墙的 7004 和 17004 端口

redis-cli --cluster reshard 81.70.151.52:7001

Redis 分片集群 - 图5

redis-cli -p 7001 cluster nodes

Redis 分片集群 - 图6

删除集群中的一个节点

需求：删除 7004 节点

首先移动插槽

redis-cli --cluster reshard 81.70.151.52:7004

然后删除

redis-cli --cluster del-node 81.70.151.52:7004 a163eeb5bca08ecb1df92b4835c388a73d2a6ea3
redis-cli -p 7001 cluster nodes

故障转移

测试故障转移

watch redis-cli -p 7001 cluster nodes

redis-cli -p 7002 shutdown
redis-server 7002/redis.conf

当集群中有一个 master 宕机会发生什么呢？

首先是该实例与其它实例失去连接
然后是疑似宕机
最后是确定下线，自动提升一个 slave 为新的 master

数据迁移

利用 cluster failover 命令可以手动让集群中的某个 master 宕机，切换到执行 cluster failover 命令的这个 slave 节点，实现无感知的数据迁移。其流程如下：

Redis 分片集群 - 图7

手动的 failover 支持三种不同模式：

缺省：默认的流程，如图 1~6 步
force：省略了对 offset 的一致性校验
takeover：直接执行第 5 步，忽略数据一致性、忽略 master 状态和其它 master 的意见

redis-cli -p 7002
> cluster failover

Redis Template 访问分片集群

Redis Template 底层同样基于 lettuce 实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

引入 redis 的 starter 依赖
配置分片集群地址
配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
  redis:
    cluster:
      nodes: # 指定分片集群的每一个节点信息
        - redis:7001
        - redis:7002
        - redis:7003
        - redis:8001
        - redis:8002
        - redis:8003

Redis 分片集群