RDB

在指定的时间间隔内将内存中的数据集快照写入磁盘，也就是Snapshot快照，它恢复时是将快照文件直接读到内存里

RDB持久化流程

备份执行过程

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失(部分数据没达到持久化的基本数量时，redis挂机了，就会造成数据丢失)

Fork
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据（变量、环境变量、程序计数等）数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程
在Linux程序中，fork()会产生一个和父进程完全相同的子进程，但子进程在此后多会exec系统调用，出于效率考虑，Linux中引入了”写时复制技术“,一般情况父进程和子进程会共用同一段物理内存，只有进程空间的各段的内容要发生变化时，才会将父进程的内容复制一份给子进程。

dump.rdb文件

在redis.conf中配置文件名称，默认为dump.rdb；默认在启动项当前目录下生成

产生快照的情况

  • save 指令：会阻塞当前Redis服务器，执⾏save命令期间，Redis不能处理其他命令，直到RDB过程完成为⽌。(默认配置是关闭的)
  • bgsave指令：Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。可以通过lastsave 命令获取最后一次成功执行快照的时间
  • 配置文件来完成，配置触发 Redis的 RDB 持久化条件
  • 主从架构，从服务器同步数据的时候，会发送sync执⾏同步 操作，master主服务器就会执⾏bgsave

优势

  • RDB⽂件紧凑，全量备份，适合⽤于进⾏备份和灾难恢复
  • 在恢复⼤数据集时的速度⽐ AOF 的恢复速度要快
  • 对数据完整性和一致性要求不高更适合使用
  • 节省磁盘空间，⽣成的是⼀个紧凑压缩的⼆进制⽂件

劣势

  • Fork的时候，内存中的数据被克隆了一份，大致2倍的膨胀性需要考虑
  • 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能
  • 在快照持久化期间修改的数据不会被保存，可能丢失数据

RDB持久化配置

stop-writes-on-bgsave-error
当Redis无法写入磁盘的话，直接关掉Redis的写操作。推荐yes

rdbcompression 压缩文件
对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会采用LZF算法进行压缩。如果不想消耗CPU来进行压缩的话，可以设置为关闭此功能。推荐yes

rdbchecksum 检查完整性
在存储快照后，还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能.推荐yes

RDB备份恢复

先查询rdb文件的目录.将*.rdb的文件拷贝

  1. cp dump.rdb dump2.rdb

rdb的恢复

  • 先备份dump.rdb文件
  • 关闭Redis；删除原dump.rdb备份文件
  • 重命名备份文件，启动Redis, 备份数据会直接加载

AOF

以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来，只许追加文件但不可以改写文件；redis 重启时就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作

AOF持久化流程

  • 客户端的请求写命令会被append追加到AOF缓冲区内；
  • AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；
  • AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；
  • Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的

优势

  • 备份机制更稳健，丢失数据概率更低。通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
  • 可读的日志文本，通过操作AOF稳健，可以处理误操作。

劣势

  • 比起RDB占用更多的磁盘空间。
  • 恢复备份速度要慢。
  • 每次读写都同步的话，有一定的性能压力。
  • 存在个别Bug，造成恢复不能。

AOF默认不开启

  • 可以在redis.conf中配置文件名称，默认为 appendonly.aof ;
  • AOF文件的保存路径，同RDB的路径一致
  • AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

AOF启动/修复/恢复

AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

1 正常恢复

  • 将有数据的aof文件复制一份保存到对应目录
  • 恢复：重启redis然后重新加载

2 异常恢复

  • 如遇到AOF文件损坏，通过 redis-check-aof—fix appendonly.aof 进行恢复
  • 备份被写坏的AOF文件
  • 恢复：重启redis，然后重新加载

AOF同步频率设置

appendfsync always：始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好
appendfsync everysec：每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失。
appendfsync no：redis不主动进行同步，把同步时机交给操作系统。

Rewrite压缩

AOF采用文件追加方式，文件会越来越大为避免出现此种情况，新增了重写机制, 当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩， 只保留可以恢复数据的最小指令集
AOF的重写降低了文件占用空间，更小的AOF文件可以更快的被Redis加载
手动重写：bgrewriteaof
AOF文件持续增长而过大时，会fork出一条新进程来将文件重写;Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
image.png
auto-aof-rewrite-percentage：设置重写的基准值，文件达到100%时开始重写（文件是原来重写后文件的2倍时触发）
auto-aof-rewrite-min-size：设置重写的基准值，最小文件64MB。达到这个值开始重写

Redis4.0后开始的rewrite⽀持混合模式

rdb和aof⼀起⽤，用rdb持久化的⽅式来操作将⼆进制内容覆盖到aof⽂件中,rdb是⼆进制，所以很⼩
有写⼊的话还是继续append追加到⽂件原始命令，等下次⽂件过⼤的时候再次rewrite。默认是开启状态

好处

  • 混合持久化结合了RDB持久化 和 AOF 持久化的优点,采取了rdb的⽂件⼩易于灾难恢复

  • 同时结合AOF，增量的数据以AOF⽅式保存了，数据更少的丢失

    坏处

  • 前部分是RDB格式，是⼆进制，所以阅读性较差

数据恢复

数据恢复先看是否存在aof⽂件，若存在则先按照aof⽂件恢复，aof⽐rdb全，且aof⽂件也rewrite成rdb⼆进制 格式 若aof不存在，则才会查找rdb是否存在

总结

  • 如果对数据不敏感（允许数据部分丢失），可以选单独用RDB。
  • 不建议单独用 AOF，因为可能会出现Bug。
  • 如果只是做纯内存缓存，可以都不用