一、简介

1. 什么是主从复制

Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构,Redis主从复制可以根据是否是全量分为全量同步和增量同步
主机数据更新后根据配置和策略,自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主
image.png
**

2. 作用

  • 能实现读写分离,减轻主服务器的压力实现性能拓展
  • 容灾快速恢复

二、配置主从复制

1. 普通方式实现主从复制

1. 实现步骤

拷贝多个redis.conf文件include(写绝对路径)
开启daemonize yes
Pid文件名字pidfile
指定端口port
Log文件名字
dump.rdb名字dbfilename
Appendonly 关掉或者换名字

新建redis6379.conf,填写以下内容

include /myredis/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb
image.png

新建redis6380.conf,填写以下内容

image.png

新建redis6381.conf,填写以下内容

image.png

slave-priority 10
设置从机的优先级,值越小,优先级越高,用于选举主机时使用。默认100

启动三台redis服务器

image.png

查看系统进程,看看三台服务器是否启动

image.png

查看三台主机运行情况

info replication
打印主从复制的相关信息
image.png

配从(库)不配主(库)

slaveof <ip><port>
成为某个实例的从服务器
1、在6380和6381上执行: slaveof 127.0.0.1 6379
image.png

2、在主机上写,在从机上可以读取数据
在从机上写数据报错
image.png

3、主机挂掉,重启就行,一切如初
4、从机重启需重设:slaveof 127.0.0.1 6379
可以将配置增加到文件中。永久生效
image.png

2. 一主二仆

切入点问题?slave1、slave2是从头开始复制还是从切入点开始复制?比如从k4进来,那之前的k1,k2,k3是否也可以复制?
从机是否可以写?set可否?
主机shutdown后情况如何?从机是上位还是原地待命?
主机又回来了后,主机新增记录,从机还能否顺利复制?
其中一台从机down后情况如何?依照原有它能跟上大部队吗?
image.png

3. 薪火相传

上一个Slave可以是下一个slave的Master,Slave同样可以接收其他 slaves的连接和同步请求,那么该slave作为了链条中下一个的master,可以有效减轻master的写压力,去中心化降低风险。
用 slaveof
中途变更转向:会清除之前的数据,重新建立拷贝最新的
风险是一旦某个slave宕机,后面的slave都没法备份
主机挂了,从机还是从机,无法写数据了
image.png
image.png

4. 反客为主

当一个master宕机后,后面的slave可以立刻升为master,其后面的slave不用做任何修改。
slaveof no one 将从机变为主机
image.png

5. 复制原理

  1. Slave启动成功连接到master后会发送一个sync命令
  2. Master接到命令启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令, 在后台进程执行完毕之后,master将传送整个数据文件到slave,以完成一次完全同步
  3. 全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。
  4. 增量复制:Master继续将新的所有收集到的修改命令依次传给slave,完成同步
  5. 但是只要是重新连接master,一次完全同步(全量复制)将被自动执行

image.png

2. Docker实现主从复制

1. 配置主从复制

redis.conf

  1. protected-mode no
  2. daemonize no
  3. requirepass [password]
  4. masterauth [password]

创建两个Redis容器(一主一从)

docker run -d -p 6379:6379 --name redis-1 -v /home/docker/redis/redis.conf:/etc/redis/redis.conf -v /home/docker/redis/node-1/data:/data redis:6.2.1 redis-server /etc/redis/redis.conf --appendonly yes
docker run -d -p 6380:6379 --name redis-2 -v /home/docker/redis/redis.conf:/etc/redis/redis.conf -v /home/docker/redis/node-2/data:/data redis:6.2.1 redis-server /etc/redis/redis.conf --appendonly yes

配置主从关系

docker exec -it redis-2 redis-cli -c
slaveof 172.17.0.4 6379

2. 哨兵模式(sentinel)

1. 是什么

反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库
image.png

2. 实现步骤

sentinel.conf

sentinel monitor redis-master 172.17.0.4 6379 1
sentinel down-after-milliseconds redis-master 3000
sentinel parallel-syncs redis-master 1
sentinel auth-pass redis-master Gmf2373271519...
sentinel failover-timeout redis-master 180000
  • sentinel monitor:指当前监控主节点,最后的“1”代表当主服务器宕机后至少需要一个sentinel服务投票同意
  • sentinel down-after-milliseconds:如果当前主服务器超过设定的时间没有回复,则判断主服务器不可用
  • sentinel parallel-syncs:限制从服务器向新的主服务器发起复制的个数。若发起复制的从服务器过多,那么可能会造成主服务器阻塞。若发起复制的从服务器过少,可能会造成数据在复制期间不一致的情况。

  • sentinel failover-timeout:故障转移的时间
  • sentinel auth-pass redis-master:设置主机访问密码

创建哨兵容器

docker run -d -p 6382:6379 -v /home/docker/redis/sentinel.conf:/sentinel.conf -v /home/docker/redis/redis.conf:/etc/redis/redis.conf --name redis-sentinel redis:6.2.1

启动哨兵

# 进入容器后执行
redis-sentinel /sentinel.conf

3. 当主机宕机,从机中选举新的主机

哪个从机会被选举为主机呢?根据 redis.conf 优先级别:replica-priority 原主机重启后会变为从机。

4. 故障恢复

image.png

  • 优先级在redis.conf中默认:slave-priority 100,值越小优先级越高
  • 偏移量是指获得原主机数据最全的
  • 每个redis实例启动后都会随机生成一个40位的runid


5. 测试

# 查看主机配置情况
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker exec -it redis-1 redis-cli -c -a Gmf2373271519...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=172.17.0.3,port=6379,state=online,offset=0,lag=1
master_failover_state:no-failover
master_replid:f19de131f0e79f9277735362949fa9171ef2fa21
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
127.0.0.1:6379> exit

# 模拟主机宕机
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker stop redis-1
redis-1

# 查看从机情况,此时已经变为主机
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker exec -it redis-2 redis-cli -c -a Gmf2373271519...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_failover_state:no-failover
master_replid:389384dceb4a4f3766a229baae1b421b03dc174a
master_replid2:f19de131f0e79f9277735362949fa9171ef2fa21
master_repl_offset:8067
second_repl_offset:4431
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:8067
127.0.0.1:6379> exit

# 重新启动旧主机
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker start redis-1
redis-1

# 发现旧主机已经变为从机,并且主机为之前的从机redis-2
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker exec -it redis-1 redis-cli -c -a Gmf2373271519...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> info replication
# Replication
role:slave
master_host:172.17.0.3
master_port:6379
master_link_status:up
master_last_io_seconds_ago:1
master_sync_in_progress:0
slave_repl_offset:136732
slave_priority:100
slave_read_only:1
connected_slaves:0
master_failover_state:no-failover
master_replid:389384dceb4a4f3766a229baae1b421b03dc174a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:136732
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:56996
repl_backlog_histlen:79737
127.0.0.1:6379> exit

# 再查看redis-2的情况发现已经变为主机,并且带有一个从机
[root@iZwz9hmxhr8nh72bwa5lbxZ ~]# docker exec -it redis-2 redis-cli -c -a Gmf2373271519...
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=172.17.0.4,port=6379,state=online,offset=57296,lag=1
master_failover_state:no-failover
master_replid:389384dceb4a4f3766a229baae1b421b03dc174a
master_replid2:f19de131f0e79f9277735362949fa9171ef2fa21
master_repl_offset:57449
second_repl_offset:4431
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:57449
127.0.0.1:6379> exit