说说你对Redis的了解?

首先Redis是基于C语言编写的，而且是内存中的数据库，读写速度很快。在项目中也经常会使用Redis，一般会用来做缓存、或者分布式锁，也可以来设计消息队列，同时还支持事务 、持久化、Lua 脚本、多种集群方案。

Redis与 Memcached 的区别是什么？

现在公司一般都是用 Redis 来实现缓存，而且 Redis 自身也越来越强大了！不过，了解 Redis 和 Memcached 的区别和共同点，有助于我们在做相应的技术选型的时候，能够做到有理有据！
共同点 ：

  1. 都是基于内存的数据库，一般都用来当做缓存使用。
  2. 都有过期策略。
  3. 两者的性能都非常高。

区别 ：

  1. Redis 支持更丰富的数据类型（支持更复杂的应用场景）。Redis 不仅仅支持简单的 k/v 类型的数据，同时还提供 list，set，zset，hash 等数据结构的存储。Memcached 只支持最简单的 k/v 数据类型。
  2. Redis 支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用,而 Memcached 把数据全部存在内存之中。
  3. Memcached 是多线程，非阻塞 IO 复用的网络模型；Redis 使用单线程的多路 IO 复用模型。 （Redis 6.0 引入了多线程 IO ）
  4. Memcached 过期数据的删除策略只用了惰性删除，而 Redis 同时使用了惰性删除与定期删除。
  1. Redis 有灾难恢复机制。 因为可以把缓存中的数据持久化到磁盘上。
  2. Redis 在服务器内存使用完之后，可以将不用的数据放到磁盘上。但是，Memcached 在服务器内存使用完之后，就会直接报异常。
  3. Memcached 没有原生的集群模式，需要依靠客户端来实现往集群中分片写入数据；但是 Redis 目前是原生支持 cluster 模式的。
  4. Redis 支持发布订阅模型、Lua 脚本、事务等功能，而 Memcached 不支持。并且，Redis 支持更多的编程语言。

    Redis有哪些优缺点

    优点
  • 读写性能优异， Redis能读的速度是110000次/s，写的速度是81000次/s。
  • 支持数据持久化，支持AOF和RDB两种持久化方式。
  • 数据结构丰富，除了支持string类型的value外还支持hash、set、zset、list等数据结构。
  • 支持主从复制，主机会自动将数据同步到从机，可以进行读写分离。
  • 支持事务，Redis的所有操作都是原子性的，同时Redis还支持对几个操作合并后的原子性执行。

缺点

  • 数据库容量受到物理内存的限制，不能用作海量数据的高性能读写，因此Redis适合的场景主要局限在较小数据量的高性能操作和运算上。
  • Redis 较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题，运维人员在系统上线时必须确保有足够的空间，这对资源造成了很大的浪费。
  • Redis 不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。
  • 主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，降低了系统的可用性。

    为什么要用 Redis /为什么要用缓存

    主要从“高性能”和“高并发”这两点来看待这个问题。
    高性能
    假如用户第一次访问数据库中的某些数据。这个过程会比较慢，因为是从硬盘上读取的。再将该用户访问的数据存在缓存中，这样下一次再访问这些数据的时候就可以直接从缓存中获取了。操作缓存就是直接操作内存，所以速度相当快。如果数据库中的对应数据改变的之后，同步改变缓存中相应的数据即可！
    高并发
    直接操作缓存能够承受的请求是远远大于直接访问数据库的，所以我们可以考虑把数据库中的部分数据转移到缓存中去，这样用户的一部分请求会直接到缓存这里而不用经过数据库。

    Redis有哪些数据类型？

    常见的有五种基本数据类型和三种特殊数据类型，
    基本数据结构：String、 list、set、zset和hash
    三种特殊数据类型：位图(bitmaps) 、计数器(hyperloglogs)和地理空间(geospatial indexes)
    String：一般常用在需要计数的场景，比如用户的访问次数、热点文章的点赞转发数量等。
    list：发布与订阅或者说消息队列、慢查询。
    hash：系统中对象数据的存储。
    set：需要存放的数据不能重复以及需要获取多个数据源交集和并集等场景。
    zset：需要对数据根据某个权重进行排序的场景。比如在直播系统中，实时排行信息包含直播间在线用户列表，各种礼物排行榜，弹幕消息（可以理解为按消息维度的消息排行榜）等信息。

    什么是Redis持久化？

    持久化就是把内存的数据写到磁盘中去，防止服务宕机了内存数据丢失。
    Redis 提供两种持久化机制 RDB（默认） 和 AOF 机制:
    RDB持久化：是Redis DataBase缩写，快照
    RDB是Redis默认的持久化方式。按照一定的时间间隔将内存的数据以快照的形式保存到硬盘中，对应产生的数据文件为dump.rdb。通过配置文件中的save参数来定义快照的周期。
    Redis - 图1
    工作流程
  1. redis根据配置尝试去生成rdb快照文件
  2. redis主进程fork一个子进程出来
  3. 子进程尝试将内存中的数据dump到临时的rdb快照文件中
  4. 完成rdb快照文件的生成之后，覆盖旧的快照文件

优点

  1. 只有一个文件 dump.rdb，方便持久化，容灾性好。
  2. 性能最大化，fork 子进程来完成写操作，让主进程继续处理命令，保证了 redis 的高性能
  3. 数据集大时，比 AOF 的启动效率更高。

缺点

  1. 数据安全性低。RDB 是间隔一段时间进行持久化，如果持久化之间 redis 发生故障，会发生数据丢失。

AOF持久化：Append Only File缩写
将Redis执行的每条写命令记录到单独的aof日志文件中，当重启Redis服务时，会从持久化的日志文件中恢复数据。
当两种方式同时开启时，数据恢复时，Redis会优先选择AOF恢复。
Redis - 图2
工作流程

  1. 所有的写入命令会追加到AOF缓冲中。
  2. AOF缓冲区根据对应的策略向硬盘做同步操作。
  3. 随着AOF文件越来越大，需要定期对AOF文件进行重写，达到压缩的目的。
  4. 当Redis服务器重启时，可以加载AOF文件进行数据恢复。

优点

  1. 数据安全，可以配置每进行一次命令操作就记录到 aof 文件中一次。
  2. 通过 append 模式写文件，即使中途服务器宕机，可以通过 redis-check-aof 工具解决数据一致性问题。

缺点

  1. AOF 文件比 RDB 文件大，且恢复速度慢。
  2. 数据集大时，比 rdb 启动效率低。

    AOF和RDB如何选择？

  • 数据不能丢失时，内存快照和 AOF 的混合使⽤是⼀个很好的选择；
  • 如果允许分钟级别的数据丢失，可以只使⽤ RDB；
  • 如果只⽤ AOF，优先使⽤ everysec 的配置选项，因为它在可靠性和性能之间取了⼀个平衡。

    详细聊聊AOF模式？

    AOF中记录的是Redis的收到的写命令，这些命令以⽂本的形式保存。
    AOF是先写后记录⽇志，可以避免出现记录错误命令的情况。
    命令执⾏后才记录⽇志，所以不会阻塞当前的写操作。
    AOF的存在的问题？
    由于是先写后记录，如果刚写完没来及记录宕机了，数据就会有丢失的风险。
    AOF 避免了对当前命令的阻塞，但由于AOF⽇志也是在主线程中执⾏，写⼊磁盘时，给磁盘的写压⼒很大，导致写磁盘很慢，影响后续的操作。
    如何避免AOF写磁盘的风险？
    AOF模式提供了三种写回的策略，在 AOF 配置项 appendfsync 的三个可选值。

    Always，同步写回：每个写命令执⾏完，⽴马同步地将⽇志写回磁盘； Everysec，每秒写回：每个写命令执⾏完，只是先把⽇志写到 AOF ⽂件的内存缓冲区，每隔⼀秒把缓冲区中的内容写⼊磁盘； No，操作系统控制的写回：每个写命令执⾏完，只是先把⽇志写到 AOF ⽂件的内存缓冲区，由操作系统决定何时将缓冲区内容写回磁盘。 三种策略各有优缺点， 根据系统对⾼性能和⾼可靠性的要求，来选择使⽤哪种写回策略了 。

日志文件太大怎么办？
为了解决AOF⽂件体积不断增⼤的问题，⽤户可以向Redis发送BGREWRITEAOF命令，该命令会移除AOF⽂件中冗余的命令来重写AOF⽂件，使AOF⽇志变的尽可能的⼩。【BGREWRITEAOF的⼯作原理和BGSAVE创建快照的⼯作原理相似，Redis会创建⼀个⼦进程，然后由子进程负责对AOF⽂件进⾏重写。】

详细聊聊RDB模式？

所谓内存快照，就是指内存中的数据在某⼀个时刻的状态记录。 即使宕机，快照⽂件也不会丢失，数据的可靠性也就得到了保证。
生成快照的方式有哪些?
Redis 提供了两个命令来⽣成 RDB ⽂件，分别是 save 和 bgsave。
save：在主线程中执行，会导致阻塞；
bgsave：创建⼀个⼦进程，专门⽤于写⼊ RDB ⽂件，避免了主线程的阻塞，这也是Redis RDB ⽂件⽣成的默认配置。

Redis 4.0 对于持久化机制做了什么优化？

Redis 4.0 开始支持 RDB 和 AOF 的混合持久化（默认关闭，可以通过配置项 aof-use-rdb-preamble 开启）。
如果把混合持久化打开，AOF 重写的时候就直接把 RDB 的内容写到 AOF 文件开头。这样做的好处是可以结合 RDB 和 AOF 的优点, 快速加载同时避免丢失过多的数据。当然缺点也是有的， AOF 里面的 RDB 部分是压缩格式不再是 AOF 格式，可读性较差。

Redis的过期键的删除策略

果假设你设置了一批 key 只能存活 1 分钟，那么 1 分钟后，Redis 是怎么对这批 key 进行删除的呢？
常用的过期数据的删除策略就两个:

  1. 惰性删除 ：只会在取出 key 的时候才对数据进行过期检查。这样对 CPU 最友好，但是可能会造成太多过期 key 没有被删除。
  2. 定期删除 ： 每隔一段时间抽取一批 key 执行删除过期 key 操作。并且，Redis 底层会通过限制删除操作执行的时长和频率来减少删除操作对 CPU 时间的影响。

定期删除对内存更加友好，惰性删除对 CPU 更加友好。两者各有千秋，所以 Redis 采用的是 定期删除+惰性/懒汉式删除 。
但是，仅仅通过给 key 设置过期时间还是有问题的。因为还是可能存在定期删除和惰性删除漏掉了很多过期 key 的情况。这样就导致大量过期 key 堆积在内存里，然后就 Out of memory 了。
怎么解决这个问题呢？答案就是：Redis 内存淘汰机制。

Redis 内存淘汰机制了解么？

redis的内存淘汰策略是指在Redis服务器用于缓存的内存不足时，怎么处理需要新写入且需要申请额外空间的数据。
全局的键空间选择性移除

  • allkeys-lru（常用）：当内存不足以容纳新写入数据时，在全局键空间中，移除最近最少使用的key。
  • allkeys-random：当内存不足以容纳新写入数据时，在全局键空间中，随机移除某个key。
  • noeviction：当内存不足以容纳新写入数据时，新写入操作会报错。

设置过期时间的键空间选择性移除

  • volatile-lru（常用）：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，移除最近最少使用的key。
  • volatile-random：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，随机移除某个key。
  • volatile-ttl：当内存不足以容纳新写入数据时，在设置了过期时间的键空间中，有更早过期时间的key优先移除。

4.0 版本后增加以下两种：

  1. volatile-lfu（least frequently used）：从已设置过期时间的数据集（server.db[i].expires）中挑选最不经常使用的数据淘汰
  2. allkeys-lfu（least frequently used）：当内存不足以容纳新写入数据时，在键空间中，移除最不经常使用的 key

注意
Redis的内存淘汰策略的选取并不会影响过期的key的处理。内存淘汰策略用于处理内存不足时的需要申请额外空间的数据；过期策略用于处理过期的缓存数据。

Redis线程模型

Redis基于Reactor模型开发了网络事件处理器，这个处理器被称为文件事件处理器（file event handler）。它的组成结构为4部分：多个套接字、IO多路复用程序、文件事件分派器、事件处理器。因为文件事件分派器队列的消费是单线程的，所以Redis才叫单线程模型。
Redis - 图3

  • 文件事件处理器使用 I/O 多路复用（multiplexing）程序来同时监听多个套接字， 并根据套接字目前执行的任务来为套接字关联对应的事件处理器。
  • 当被监听的套接字准备好执行连接应答（accept）、读取（read）、写入（write）、关闭（close）等操作时，与操作相对应的文件事件就会产生， 这时文件事件分派器就会分派套接字给对应的事件处理器来处理这些事件。

虽然文件事件处理器以单线程方式运行， 但通过使用 I/O 多路复用程序来监听多个套接字， 文件事件处理器既实现了高性能的网络通信模型， 又可以很好地与 redis 服务器中其他同样以单线程方式运行的模块进行对接， 这保持了 Redis 内部单线程设计的简单性。

Redis6.0 之前为什么不使用多线程？

  1. 单线程编程容易并且更容易维护；
  2. Redis 的性能瓶颈不在 CPU ，主要在内存和网络；

  3. 多线程就会存在死锁、线程上下文切换等问题，甚至会影响性能。

    Redis6.0 之后为何引入了多线程？

    Redis6.0 引入多线程主要是为了提高网络 IO 读写性能，因为这个算是 Redis 中的一个性能瓶颈（Redis 的瓶颈主要受限于内存和网络）。

    如何使用 Redis 事务？

    Redis 可以通过 MULTI，EXEC，DISCARD 和 WATCH 等命令来实现事务(transaction)功能。
    这个过程是这样的：

  4. 开始事务（MULTI）。

  5. 命令入队(批量操作 Redis 的命令，先进先出（FIFO）的顺序执行)。
  6. 执行事务(EXEC)。
  7. 可以通过 DISCAR 命令取消一个事务，它会清空事务队列中保存的所有命令。
  8. WATCH 命令用于监听指定的键，当调用 EXEC 命令执行事务时，如果一个被 WATCH 命令监视的键被修改的话，整个事务都不会执行，直接返回失败。

    Redis 支持原子性吗？

    事务是逻辑上的一组操作，要么都执行，要么都不执行。Redis 事务不是严格意义上的事务，只是用于帮助用户在一个步骤中执行多个命令。单个 Redis 命令的执行是原子性的，但 Redis 没有在事务上增加任何维持原子性的机制，所以 Redis 事务的执行并不是原子性的。
    Redis 事务可以理解为一个打包的批量执行脚本，redis 事务不保证原子性，且没有回滚，中间某条命令执行失败，前面已执行的命令不回滚，后续的指令继续执行。
    Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证：
  • 批量操作在发送 EXEC 命令前被放入队列缓存。
  • 收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，前面已执行的命令不回滚，后续的命令继续执行。
  • 事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。

在传统的关系式数据库中，常常用 ACID 性质来检验事务功能的安全性。Redis 事务保证了其中的一致性（C）和隔离性（I），但并不保证原子性（A）和持久性（D）。

哨兵模式

Redis - 图4
哨兵的介绍
sentinel，中文名是哨兵。哨兵是 redis 集群机构中非常重要的一个组件，主要有以下功能：

  • 集群监控：负责监控 redis master 和 slave 进程是否正常工作。
  • 消息通知：如果某个 redis 实例有故障，那么哨兵负责发送消息作为报警通知给管理员。
  • 故障转移：如果 master node 挂掉了，会自动转移到 slave node 上。
  • 配置中心：如果故障转移发生了，通知 client 客户端新的 master 地址。

哨兵用于实现 redis 集群的高可用，本身也是分布式的，作为一个哨兵集群去运行，互相协同工作。
哨兵的核心知识

  • 哨兵至少需要 3 个实例，来保证自己的健壮性。
  • 哨兵 + redis 主从的部署架构，是不保证数据零丢失的，只能保证 redis 集群的高可用性。

  • 对于哨兵 + redis 主从这种复杂的部署架构，尽量在测试环境和生产环境，都进行充足的测试和演练。

    Redis为什么要采用主从库？

    虽然AOF和RDB避免了Redis宕机后的数据丢失问题，但是在数据恢复期间会影响其他的Redis数据操作请求。为了避免影响其他操作， Redis 的做法是增加副本冗余量(Redis集群)，将⼀份数据同时保存在多个实例上。
    Redis 提供了主从库模式，以保证数据副本的⼀致，主从库之间采⽤的是读写分离的⽅式。

  • 读操作：主库、从库都可以接收；

  • 写操作：⾸先到主库执⾏，然后，主库将写操作同步给从库。

    Redis 主从复制的原理

    复制过程
    复制的过程步骤如下：
  1. 从节点执行 slaveof 命令
  2. 从节点只是保存了 slaveof 命令中主节点的信息，并没有立即发起复制
  3. 从节点内部的定时任务发现有主节点的信息，开始使用 socket 连接主节点
  4. 连接建立成功后，发送 ping 命令，希望得到 pong 命令响应，否则会进行重连
  5. 如果主节点设置了权限，那么就需要进行权限验证；如果验证失败，复制终止。
  6. 权限验证通过后，进行数据同步，这是耗时最长的操作，主节点将把所有的数据全部发送给从节点。

  7. 当主节点把当前的数据同步给从节点后，便完成了复制的建立流程。接下来，主节点就会持续的把写命令发送给从节点，保证主从数据一致性。Redis - 图5

    Redis实现分布式锁

    先拿setnx来争抢锁，抢到之后，再用expire给锁加一个过期时间防止锁忘记了释放。
    如果在setnx之后执行expire之前进程意外crash或者要重启维护了，那会怎么样？
    set指令有非常复杂的参数，这个应该是可以同时把setnx和expire合成一条指令来用的！

    Redis bigkey

    简单来说，如果一个 key 对应的 value 所占用的内存比较大，那这个 key 就可以看作是 bigkey。
    解决方法：
    1、使用 Redis 自带的 —bigkeys 参数来查找。
    这个命令会扫描(Scan) Redis 中的所有 key ，会对 Redis 的性能有一点影响。并且，这种方式只能找出每种数据结构 top 1 bigkey（占用内存最大的 string 数据类型，包含元素最多的复合数据类型）。
    2、分析 RDB 文件
    通过分析 RDB 文件来找出 big key。这种方案的前提是你的 Redis 采用的是 RDB 持久化。

    大量 key 集中过期问题

    我在上面提到过：对于过期 key，Redis 采用的是 定期删除+惰性/懒汉式删除 策略。
    定期删除执行过程中，如果突然遇到大量过期 key 的话，客户端请求必须等待定期清理过期 key 任务线程执行完成，因为这个这个定期任务线程是在 Redis 主线程中执行的。这就导致客户端请求没办法被及时处理，响应速度会比较慢。
    如何解决呢？下面是两种常见的方法：

  8. 给 key 设置随机过期时间。

  9. 开启 lazy-free（惰性删除/延迟释放） 。lazy-free 特性是 Redis 4.0 开始引入的，指的是让 Redis 采用异步方式延迟释放 key 使用的内存，将该操作交给单独的子线程处理，避免阻塞主线程。

个人建议不管是否开启 lazy-free，我们都尽量给 key 设置随机过期时间。

缓存雪崩

缓存雪崩是指缓存同一时间大面积的失效，导致所有的请求都会落到数据库上，造成数据库短时间内承受大量请求而崩掉。
解决方案

  1. 缓存数据过期时间随机：过期时间设置随机，防止同一时间大量数据过期现象发生。
  2. 热点数据不设置过期时间，主动刷新缓存：缓存设置成永不过期，在更新或删除 DB 中的数据时，也主动地把缓存中的数据更新或删除掉。
  3. 检查更新：缓存依然保持设置过期时间，每次 get 缓存的时候，都和数据的过期时间和当前时间进行一下对比，当间隔时间小于一个阈值的时候，主动更新缓存。

  4. 使用锁：通过互斥锁或者队列，控制读数据库和写缓存的线程数量。

    缓存穿透

    缓存穿透是指缓存和数据库中都没有的数据，导致所有的请求都落到数据库上，造成数据库短时间内承受大量请求而崩掉。
    解决方案

  5. 接口层增加逻辑校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；

  6. 从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短点，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击
  7. 采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的 bitmap 中，一个一定不存在的数据会被这个 bitmap 拦截掉，从而避免了对底层存储系统的查询压力

    布隆过滤器原理： 我们可以把它看作由二进制向量（或者说位数组）和一系列随机映射函数（哈希函数）两部分组成的数据结构。 当一个元素加入布隆过滤器中的时候，会进行哪些操作：

    1. 使用布隆过滤器中的哈希函数对元素值进行计算，得到哈希值（有几个哈希函数得到几个哈希值）。
    2. 根据得到的哈希值，在位数组中把对应下标的值置为 1。

    当我们需要判断一个元素是否存在于布隆过滤器的时候，会进行哪些操作：

    1. 对给定元素再次进行相同的哈希计算；
    2. 得到值之后判断位数组中的每个元素是否都为 1，如果值都为 1，那么说明这个值在布隆过滤器中，如果存在一个值不为 1，说明该元素不在布隆过滤器中。

缓存击穿

缓存击穿是指缓存中没有但数据库中有的数据（一般是缓存时间到期），这时由于并发用户特别多，读缓存没读到数据，造成数据库短时间内承受大量请求而崩掉。和缓存雪崩不同的是，缓存击穿指并发查同一条数据，缓存雪崩是缓存同一时间大面积失效。
解决方案

  1. 设置热点数据永远不过期。
  2. 加互斥锁

    如何保证缓存和数据库数据的一致性？

    数据强一致性方案：读请求和写请求串行化，串到一个内存队列里去，这样就可以保证一定不会出现不一致的情况，串行化之后，就会导致系统的吞吐量会大幅度的降低。
    还有一种方式就是可能会暂时产生数据不一致的情况，但是发生的几率特别小，就是先更新数据库，然后再删除缓存(旁路缓存模式)。