1、Redis介绍

Redis缓存服务 - 基础（一） - 图1

Redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对(key-value)存储数据库。从2015年6月开始，Redis的开发由Redis Labs赞助，而2013年5月至2015年6月期间，其开发由Pivotal赞助。在2013年5月之前，其开发由VMware赞助。根据月度排行网站DB-Engines.com的数据显示，Redis是最流行的键值对存储数据库。

Redis缓存服务 - 基础（一） - 图2

  • 数据来源:https://db-engines.com/en/rankingRedis
  • 采用内存(In-Memory)数据集(DataSet)。
  • 支持多种数据类型，支持字符串(string)、列表(list)、集合(set)、散列(hash)、有序集合(zset)五种数据类型
  • 运行于大多数POSIX系统，如Linux、*BSD、OSX等。
  • Redis作者: Salvatore Sanfilippo
  • 作者GitHUB: https://github.com/antirez/redis

1.1 Redis软件获取和帮助

1.2 Redis特性

  • 高速读写，数据类型丰富
  • 支持持久化，多种内存分配及回收策略
  • 支持弱事务，消息队列、消息订阅
  • 支持高可用，支持分布式分片集群

1.3 企业缓存数据库解决方案对比

1、Memcached

  • 优点：高性能读写、单一数据类型、支持客户端式分布式集群、一致性hash多核结构、多线程读写性能高。
  • 缺点：无持久化、节点故障可能出现缓存穿透、分布式需要客户端实现、跨房数据同步困难、架构扩容复杂度高

2、Redis

  • 优点：高性能读写、多数据类型支持、数据持久化、高可用架构、支持自定义虚拟内存、支持分布式分片集群、单线程读写性能极高
  • 缺点：多线程读写较Memcached慢

3、Tair

  • 官方网站：http://tair.taobao.org
  • 优点：高性能读写、支持三种存储引擎(ddb、rdb、ldb)、支持高可用、支持分布式分片集群、支撑了几乎所有淘宝业务的缓存。
  • 缺点：单机情况下，读写性能较其他两种产品较慢。

Redis缓存服务 - 基础（一） - 图3

Redis缓存服务 - 基础（一） - 图4

Redis缓存服务 - 基础（一） - 图5

Redis缓存服务 - 基础（一） - 图6

1.4 Redis应用场景

  • 数据高速缓存,web会话缓存(Session Cache)
  • 排行榜应用
  • 消息队列,发布订阅
  • 附录- Redis的企业应用

Redis缓存服务 - 基础（一） - 图7

2、Redis基本部署

2.1 YUM安装最新版本Redis

  1. 安装redis-rpm源
  1. yum install http://rpms .famillecollet.com/enterprise/remi-release-7.rpm
  1. 安装Redis
  1. yum --enablerepo=remi install redis
  1. 开机自启
  1. systemctl enable redis
  1. 设置redis.com

允许远程登录: bind 127.0.0.1改为bind 0.0.0.0(可选)

  1. vim /etc/redis.conf

2.2 编译安装最新版本Redis

1、编译安装Redis

  1. wget http://download.redis.io/releases/redis-5.0.5.tar.gz
  2. tar -zxvf redis-5.0.5.tar.gz -C /usr/local
  3. yum install gcc -y # gcc -v查看，如果没有需要安装
  4. cd /usr/local/redis-5.0.5
  6. make MALLOC=lib
  7. cd src && make all
  8. make install

2、启动redis服务

  1. # src目录下
  2. ./redis-server 
  4. # 查看版本
  5. ./redis-cli --version
  6. ./redis-server --version

3、配置启动数据库

  1. 开启Redis服务守护进程
  1. # 以./redis-server启动方式，需要一直打开窗口，不能进行其他操作，不太方便，以后台进程方式启动 
  2. # 默认安装好的配置文件并不在这目录下,需要找到复制到该目录下 daemonize no 改为daemonize yes
  3. vim /usr/local/redis-5.0.5/redis.conf
  5. #以守护进程运行
  6. ./redis-server /usr/local/redis-5.0.5/redis.conf
  1. 关闭redis进程
  1. kill -9 <PID>

2.3 设置系统进程启动Redis

1、编辑redis配置文件

  1. #先编辑配置文件,然后在把配置文件拷贝到/etc/redis下
  2. $ vi /usr/local/redis-5.0.5/redis.conf
  3. # 将bind 127.0.0.1注释掉，否则数据库只有本机能够使用或者修改为
  4. #bind 127.0.0.1
  5. bind 0.0.0.0
  6. #将no改为yes，使数据库能够以后台守护进程运行
  7. daemonize yes
  8. #把保护模式的yes改为no，否则会阻止远程访问
  9. protected-mode no
  10. #打开注释,设置密码
  11. requirepass redis
  13. $ cp ./redis-5.0.5/redis.conf /etc/redis/

2、添加redis系统启动

  1. #开机自启动，将redis的启动脚本复制一份放到/etc/init.d目录下
  2. $ cp /usr/local/redis-5.0.5/utils/redis_init_script /etc/init.d/redis
  3. $ vi /etc/init.d/redis
  4. #将conf的变量修改下，否则读不到配置文件
  5. CONF="/usr/local/redis-5.0.5/redis.conf"
  7. $ cd /etc/init.d
  8. $ chkconfig redis on
  10. #通过systemctl管理redis
  11. $ systemctl start redis
  12. $ systemctl status redis

推荐使用systemd服务管理

  1. $ vi /usr/local/redis-5.0.5/utils/redis_init_script
  2. #将conf的变量修改下，否则读不到配置文件
  3. CONF="/usr/local/redis-5.0.5/redis.conf"
  4. $ vi /usr/lib/systemd/system/redis.service
  5. [Unit]
  6. Description=redis-server
  7. After=network.target
  9. [Service]
  10. Type=forking
  11. ExecStart=/usr/local/redis-5.0.5/src/redis-server /usr/local/redis-5.0.5/redis.conf
  12. ExecReload=/bin/kill -HUP $MAINPID
  13. KillMode=process
  14. Restart=on-failure
  15. PrivateTmp=true
  17. [Install]
  18. WantedBy=multi-user.target

3、Redis多实例配置

注意:本次多实例配置基于单实例配置完成后

  1. 创建程序目录
  1. mkdir lapplication/redis -p
  2. cd /application/redis/
  1. 修改配置文件
  1. $ cd redis
  2. $ vim install-redis.sh
  3. #!/bin/bash
  4. for i in 0 1 2 3
  5.     do
  6.         #创建多实例(端口命名)目录
  7.         mkdir -p 638$i
  8.         #复制启动程序到各实例
  9.         \cp /usr/local/redis-5.0.5/src/redis-server /application/redis/638$i/
  10.     #复制配置文件。注意:此处基于单实例配置完成
  11.         \cp /usr/local/redis-5.0.5/redis.conf /application/redis/638$i/
  12.     #修改程序存储目录
  13.         sed -i "/dir/s#.*#dir /application/redis/638$i/#g" /application/redis/638$i/redis.conf
  14.         #修改其他端口信息
  15.         sed -i "s#6379#638$i#g" /application/redis/638$i/redis.conf
  16.     #允许远程连接redis
  17.         sed -i '/protected-mode/s#yes#no#g' /application/redis/638$i/redis.conf
  18.     done
  1. 启动实例
  1. $ cd redis
  2. $ vim start-redis.sh
  3. #!/bin/bash
  4. for i in 0 1 2 3
  5.     do
  6.         /application/redis/638$i/redis-server /application/redis/638$i/redis.conf
  7.   done
  1. # 关闭实例
  2. $ vi stop-redis.sh
  3. #!/bin/bash
  4. for i in 0 1 2 3
  5.     do
  6.         /usr/local/redis-5.0.5/src/redis-cli -p 638$i shutdown -a redis
  7.   done
  • -p：端口
  • -a：密码
  1. 连接redis
  1. redis-cli -h <IP> -p 6379

4、redis.conf配置说明

  1. 是否后台运行
  1. daemonize yes/no
  1. 默认端口
  1. port 6379
  1. AOF日志是否打开（持久化方式）
  1. appendonly no/yes
  1. 日志文件位置
  1. logfile /var/log/redis. log
  1. RDB持久化数据文件
  1. dbfilename dump.rdb
  1. 指定IP进行监听
  1. bind 10.0.0.51 ip2 ip3 ip4
  1. 禁止protected-mode
  1. protected-mode yes/no    (保护模式，是否只允许本地访问)
  1. 增加requirepass {password}
  1. requirepass root
  1. 在redis-cli中使用
  1. auth {password} 进行认证

5、在线变更配置

  1. 获取当前配置
  1. config set *
  1. 变更运行配置
  1. config set loglevel "notice"
  1. 修改密码为空
  1. 192.168.6.20:6379> config set requirepass ""
  2. 192.168.6.20:6379> exit
  3. 192.168.6.20:6379> config get dir
  4. 1) "dir"
  5. 2) "/usr/local/redis/data"

3、Redis持久化

3.1 持久化策略

redis提供了两种不同级别的持久化方式:—种是RDB，另一种是AOF。

1、RDB持久化（默认开启）

可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot)。

2、AOF持久化

记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。AOF文件中的命令全部以Redis协议的格式来保存，新命令会被追加到文件的末尾。

Redis还可以在后台对AOF文件进行重写(rewrite)，使得AOF文件的体积不会超出保存数据集状态所需的实际大小。Redis还可以同时使用AOF持久化和RDB持久化。在这种情况下，当Redis重启时，它会优先使用AOF文件来还原数据集，因为AOF文件保存的数据集通常比RDB文件所保存的数据集更完整。

你甚至可以关闭持久化功能，让数据只在服务器运行时存在。

3.2 RDB持久化

1、RDB的优点

  • RDB是一个非常紧凑(compact)的文件，它保存了Redis 在某个时间点上的数据集。这种文件非常适合用于进行备份︰比如说，你可以在最近的24小时内，每小时备份一次RDB文件，并且在每个月的每一天，也备份一个RDB文件。这样的话，即使遇上问题，也可以随时将数据集还原到不同的版本。
  • RDB非常适用于灾难恢复(disaster recovery)︰它只有一个文件，并且内容都非常紧凑，可以（在加密后)将它传送到别的数据中心,或者亚马逊S3中。
  • RDB可以最大化Redis 的性能:父进程在保存RDB文件时唯一要做的就是fork出一个子进程，然后这个子进程就会处理接下来的所有保存工作，父进程无须执行任何磁盘I/O操作。
  • RDB在恢复大数据集时的速度比AOF的恢复速度要快。

2、RDB的缺点

  • 如果你需要尽量避免在服务器故障时丢失数据，那么RDB不适合你。
  • 虽然Redis 允许你设置不同的保存点(save point)来控制保存RDB文件的频率，但是，因为RDB文件需要保存整个数据集的状态，所以它并不是一个轻松的操作。因此你可能会至少5分钟才保存一次RDB文件。在这种情况下，一旦发生故障停机，你就可能会丢失好几分钟的数据。
  • 每次保存RDB的时候，Redis 都要fork()出一个子进程，并由子进程来进行实际的持久化工作。在数据集比较庞大时，fork()可能会非常耗时，造成服务器在某某毫秒内停止处理客户端;如果数据集非常巨大，并且CPU时间非常紧张的话，那么这种停止时间甚至可能会长达整整一秒。虽然AOF重写也需要进行fork)，但无论AOF重写的执行间隔有多长，数据的耐久性都不会有任何损失。

3.3 AOF持久化

1、AOF的优点

  • 使用AOF 会让你的Redis 更加耐久:你可以使用不同的fsync策略:无fsync,每秒fsync,每次写的时候fsync.使用默认的每秒fsync策略,Redis的性能依然很好(fsync是由后台线程进行处理的,主线程会尽力处理客户端请求)一旦出现故障，你最多丢失1秒的数据.
  • Redis可以在AOF文件体积变得过大时，自动地在后台对AOF进行重写:重写后的新AOF文件包含了恢复当前数据集所需的最小命令集合。整个重写操作是绝对安全的，因为Redis在创建新AOF文件的过程中，会继续将命令追加到现有的AOF文件里面，即使重写过程中发生停机，现有的AOF文件也不会丢失。
  • 一旦新AOF文件创建完毕，Redis就会从旧AOF文件切换到新AOF文件，并开始对新AOF文件进行追加操作。
  • AOF文件有序地保存了对数据库执行的所有写入操作，这些写入操作以Redis协议的格式保存，因此AOF文件的内容非常容易被人读懂，对文件进行分析(parse)也很轻松。导出(export)AOF文件也非常简单︰举个例子，如果你不小心执行了FLUSHALL命令，但只要AOF文件未被重写，那么只要停止服务器,移除AOF文件末尾的FLUSHALL 命令，并重启Redis ,就可以将数据集恢复到FLUSHALL执行之前的状态。

2、AOF的缺点

  • 对于相同的数据集来说，AOF文件的体积通常要大于RDB文件的体积。根据所使用的fsync策略，AOF的速度可能会慢于RDB。
  • 在一般情况下，每秒fsync的性能依然非常高，而关闭fsync可以让AOF的速度和RDB一样快，即使在高负荷之下也是如此。不过在处理巨大的写入载入时，RDB可以提供更有保证的最大延迟时间(latency)。
  • AOF在过去曾经发生过这样的bug∶因为个别命令的原因，导致AOF文件在重新载入时，无法将数据集恢复成保存时的原样。(举个例子，阻塞命令BRPOPLPUSH就曾经引起过这样的bug。〉测试套件里为这种情况添加了测试:它们会自动生成随机的、复杂的数据集，并通过重新载入这些数据来确保一切正常。虽然这种bug在AOF文件中并不常见，但是对比来说, RDB几乎是不可能出现这种 bug 的。

3.4 如何选择使用那种持久化方法

  • 一般来说，如果想达到足以媲美PostgreSQL的数据安全性，你应该同时使用两种持久化功能。
  • 如果你非常关心你的数据，但仍然可以承受数分钟以内的数据丢失，那么你可以只使用RDB持久化。
  • 有很多用户都只使用AOF持久化，但我们并不推荐这种方式:因为定时生成RDB快照(snapshot)非常便于进行数据库备份，并且RDB恢复数据集的速度也要比AOF恢复的速度要快，除此之外，使用RDB还可以避免之前提到的AOF程序的bug。
  • Note:因为以上提到的种种原因，未来redis可能会将AOF和RDB整合成单个持久化模型（这是一个长期计划)。

3.5 RDN快照实现持久化

在默认情况下，Redis将数据库快照保存在名字为dump.rdb的二进制文件中。你可以对Redis进行设置，让它在“N秒内数据集至少有M个改动”这一条件被满足时，自动保存一次数据集。

你也可以通过调用SAVE或者BGSAVE，手动让Redis进行数据集保存操作。

比如说，以下设置会让Redis在满足”60秒内有至少有1000个键被改动”这一条件时，自动保存一次数据集:save 60 1000

这种持久化方式被称为快照snapshotting.

当Redis需要保存dump.rdb文件时，服务器执行以下操作:
1、Redis 调用forks.同时拥有父进程和子进程。

2、子进程将数据集写入到一个临时RDB文件中。

3、当子进程完成对新RDB文件的写入时，Redis 用新 RDB文件替换原来的 RDB文件，并删除旧的RDB文件。这种工作方式使得 Redis可以从写时复制(copy-on-write)机制中获益。

3.6 AOF持久化

只进行追加操作的文件(append-only file，AOF)

快照功能并不是非常耐久︰如果Redis 因为某些原因而造成故障停机，那么服务器将丢失最近写入、且仍未保存到快照中的那些数据。尽管对于某些程序来说，数据的耐久性并不是最重要的考虑因素，但是对于那些追求完全耐久能力的程序员来说，快照功能就不太适用了。

从1.1版本开始，Redis 增加了一种完全耐久的持久化方式:AOF持久化。

你可以通过修改配置文件来打开AOF功能：appendonly yes

从现在开始，每当Redis 执行一个改变数据集的命令式(比如SET)，这个命令就会被追加到AOF文件的末尾。这样的话，当redis重新启动时，程序就可以通过重新执行AOF文件中的命令来达到重建数据集的目的

3.7 AOF日志重写

因为AOF的运作方式是不断地将命令追加到文件的末尾，所以随着写入命令的不断增加,AOF文件的体积也会变得越来越大。

举个例子，如果你对一个计数器调用了100次INCR，那么仅仅是为了保存这个计数器的当前值，AOF文件就需要使用100条记录(entry)。然而在实际上，只使用一条SET命令已经足以保存计数器的当前值了，其余99条记录实际上都是多余的。

为了处理这种情况， Redis支持一种有趣的特性:可以在不打断服务客户端的情况下，对AOF文件进行重建(rebuild)。执行BGREWRITEAOF命令，Redis将生成一个新的AOF文件，这个文件包含重建当前数据集所需的最少命令。Redis 2.2需要自己手动执行BGREWRITEAOF命令.

3.8 AOF有多耐用？

你可以配置Redis多久才将数据fsync 到磁盘一次。有三种方式:

1、每次有新命令追加到AOF文件时就执行一次 fsync :非常慢，也非常安全

2、每秒fsync一次︰足够快(和使用RDB持久化差不多)，并且在故障时只会丢失1秒钟的数据。

3、从不fsync∶将数据交给操作系统来处理。更快，也更不安全的选择。

推荐（并且也是默认）的措施为每秒fsync一次，这种 fsync策略可以兼顾速度和安全性。

3.9 如果AOF文件损坏怎么办？

服务器可能在程序正在对AOF文件进行写入时停机，如果停机造成了AOF文件出错〈corrupt) , 那么Redis在重启时会拒绝载入这个AOF文件，从而确保数据的一致性不会被破坏。当发生这种情况时，可以用以下方法来修复出错的AOF文件:

  • 为现有的AOF文件创建一个备份。
  • 使用Redis附带的redis-check-aof程序，对原来的AOF文件进行修复: $ redis-check-aof -fix
  • 使用diff -u对比修复后的AOF文件和原始AOF文件的备份，查看两个文件之间的不同之处。(可选)
  • 重启Redis 服务器，等待服务器载入修复后的AOF 文件，并进行数据恢复。

3.10 AOF和RDB之间的相互作用

  • 在版本号大于等于2.4的Redis 中，BGSAVE执行的过程中，不可以执行BGREWRITEAOF。
  • 反过来说，在BGREWRITEAOF执行的过程中，也不可以执行BGSAVE。这可以防止两个Redis后台进程同时对磁盘进行大量的I/O操作。
  • 如果BGSAVE 正在执行，并且用户显示地调用BGREWRITEAOF命令，那么服务器将向用户回复一个OK状态，并告知用户，BGREWRITEAOF已经被预定执行:一旦BGSAVE执行完毕,BGREWRITEAOF就会正式开始。
  • 当Redis启动时，如果RDB持久化和AOF持久化都被打开了，那么程序会优先使用AOF文件来恢复数据集,因为AOF文件所保存的数据通常是最完整的。

3.11 备份redis数据

Redis对于数据备份是非常友好的，因为你可以在服务器运行的时候对RDB文件进行复制:

RDB 文件一旦被创建，就不会进行任何修改。当服务器要创建一个新的RDB文件时，它先将文件的内容保存在一个临时文件里面，当临时文件写入完毕时，程序才使用rename(2)原子地用临时文件替换原来的RDB文件。

这也就是说，无论何时，复制RDB文件都是绝对安全的。

  • 创建一个定期任务(cron job) ,每小时将一个RDB文件备份到一个文件夹，并且每天将一个RDB文件备份到另一个文件夹。
  • 确保快照的备份都带有相应的日期和时间信息，每次执行定期任务脚本时，使用find 命令来删除过期的快照︰比如说，你可以保留最近48小时内的每小时快照，还可以保留最近一两个月的每日快照。
  • 至少每天一次，将RDB备份到你的数据中心之外，或者至少是备份到你运行Redis服务器的物理机器之外。

3.12 RDB持久化配置

1、RDB持久化基本配置

  1. 修改配置文件
  1. save 900 1
  2. save 300 10
  3. save 60 10000

以上配置表示：

  • 900秒(15分钟)内有1个更改
  • 300秒(5分钟)内有10个更改
  • 60秒内有10000个更改
  • 当达到以上定义的配置时间时，就将内存数据持久化到磁盘。

2、RDB持久化高级配置

  1. stop-writes-on-bgsave-error yes
  2. rdbcompression yes
  3. rdbchecksum yes
  4. dbfilename dump.rdb
  5. dir ./clsn/redis/data/6379

以上配置表示：

  • 后台备份进程出错时，主进程停不停止写入?主进程不停止容易造成数据不一致
  • 导出的rdb文件是否压缩如果rdb的大小很大的话建议这么做
  • 导入rbd恢复时数据时，要不要检验rdb的完整性验证版本是不是一致
  • 导出来的rdb文件名
  • rdb的放置路径

3.13 AOF持久化配置

1、AOF持久化基本配置

  1. appendonly yes/no
  2. appendfsync always
  3. appendfsync everysec
  4. appendfsync no

以上配置表示：

  • 是否打开aof日志功能
  • 每1个命令,都立即同步到aof
  • 每秒写1次
  • 写入工作交给操作系统,由操作系统判断缓冲区大小,统一写入到aof.

2、AOF持久化高级配置

  1. no-appendfsync-on-rewrite yes/no
  2. auto-aof-rewrite-percentage 100
  3. auto-aof-rewrite-min-size 64mb

以上配置表示：

  • 正在导出rdb快照的过程中,要不要停止同步aof
  • aof文件大小比起上次重写时的大小,增长率100%时重写,缺点:业务开始的时候，会重复重写多次
  • aof文件,至少超过64M时,重写

3.14 RDB到AOF切换

在Redis 2.2或以上版本，可以在不重启的情况下，从 RDB切换到AOF:

1、为最新的dump.rdb文件创建一个备份。

2、将备份放到一个安全的地方。

3、执行以下两条命令:

  1. redis-cli config set appendonly yes
  2. redis-cli config set save ""

4、确保写命令会被正确地追加到AOF文件的末尾。

执行说明

执行的第一条命令开启了AOF功能: Redis会阻塞直到初始AOF文件创建完成为止，之后Redis 会继续处理命令请求，并开始将写入命令追加到AOF文件末尾。

执行的第二条命令用于关闭RDB功能。这一步是可选的，如果你愿意的话，也可以同时使用RDB和AOF这两种持久化功能。

注意：别忘了在redis.conf 中打开AOF功能!否则的话，服务器重启之后，之前通过CONFIG SET设置的配置不会生效，程序会按原来的配置来启动服务器。