- 为什么要进行集群
- 防止单点故障
- 提高作业能力,实现高并发
- 数据的分布式存储,处理大量数据
- 什么是集群
- 集群概念:集群是指把应用复制成多个相同的应用一起工作来提高作业能力,多个应用部署在不同的服务器,做相同的事情
- 负载均衡:在集群后,通过负载均衡来分发请求
- 集群特点:
- 可扩展性:
- 集群的性能不限制于单一的服务实体,新的服务实体可以动态地加入到集群,从而增强集群的性能,或者减少服务器实现集群缩容- 动态扩容缩容
- 高可用性:
- 集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。在集群中,同样的服务可以由多个服务实体提供。如果一个服务实体失败了,另一个服务实体会接管失败的服务实体。集群提供的从一个出错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。当访问的服务器挂了时,集群要有能力找可以正常使用额服务器继续提供服务器。
- 可扩展性:
- 集群具备的能力:
- 负载均衡
- 错误恢复:一个实体挂了,另一个继续执行完成任务
- 集群方案
- Redis 主从复制(主节点数据复制出一份到其他服务器作为从节点-单向)
- 工作机制:
- 写请求到主Redis,读请求到从Redis,读/写的路由需要负载均衡器(主Twemproxy/从Twemproxy) ,而主从Redis的负载均衡器需要做主备切换(keeplived)
- 优点:
- 从是数据的一种备份;防止数据丢失
- 读写分离,分担读的压力
- 主从是哨兵,cluster集群的基石
- 缺点:
- 无法分担写的压力
- 主机挂了集群不可用,没法自动切换
- 存储得不到扩容,存储
- 工作机制:
- Redis 哨兵
- Redis 2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。
- 工作任务
- 监控 sentinel不停检查服务器是否正常
- 提醒 出问题了 sentinel向管理员或其他应用程序发送通知
- 自动故障迁移:主服务宕机,自动选举一个新的作为主服务器,并让其它的从服务器从新的主服务器复制数据,用户的请求会被变更为新的主服务器
- 工作机制
- 主观下线
- sentinel发送ping命令,服务器进行心跳回复,超过设定时间不回复,则被sentinel标记为主观下线
- 客观下线
- 超过半数sentinel标记为主观下线,则服务器标记为客观下线
- 在低于半数标记为主观下线时,客观下线状态被会被移除,服务器重新回复心跳,会移除主观下线
- 故障恢复
- 选取一个领导哨兵(保证进行故障恢复的sentinel只有一个)
- 选取一个优先级高的从数据库(数据完整性、id)
- 主观下线
- 哨兵的优点
- 基于主从模式,具备主从模式所有的优点
- 哨兵可以自动切换,系统更健壮,可用性更高
- 哨兵的缺点
- 没有解决写的压力、只能减轻读的压力
- 存储得不到扩容,存储总量是主服务器的数据总量
- 当主服务器宕机时,从服务器切换为主服务器时,服务不可用
- Redis cluster 集群
- Redis 3.0加入 实现Redis的分布式存储,每个Redis节点上存储不同的内容
- 无中心结构(都是主服务器)
- 数据分散存储
- 多主多从,实现分布式存储
- 每个主服务器保存各自的数据和集群状态
- 没有使用传统的一致性哈希,使用哈希槽分配数据,cluster默认分配16384个slot槽位,当我们set一个key时,通过CRC16算法取模得到槽点位置具体算法是CRC16(key)%16384
- 容错机制-投票(哨兵)
- 面试题:为什么cluster分配16384
- hash值占16bit。该算法可以算出2^16=65536个值
- 如果槽位为65536,心跳机制的信号包太大,浪费贷款
- redis的集群节点数基本不可能超过1000
- 槽位越少,压缩比越高
- 总结:Redis的作者认为Redis的集群个数不宜超过1000个,因此16384个槽位已经足够了,如果使用它原来的hash算法中的65536个槽位,会导致ping消息的请求头过大,浪费带宽
- Redis 主从复制(主节点数据复制出一份到其他服务器作为从节点-单向)
- 集群搭建
- java操作集群
- Redisson连接 Redis集群
面试题:
- 简单说一下你对分布式理解?
- 分布式服务顾名思义服务是分散部署在不同的机器上的,一个服务可能负责几个功能,是一种面向SOA架构的,服务之间也是通过rpc来交互或者是webservice来交互的。逻辑架构设计完后就该做物理架构设计,系统应用部署在超过一台服务器或虚拟机上,且各分开部署的部分彼此通过各种通讯协议交互信息,就可算作分布式部署,生产环境下的微服务肯定是分布式部署的,分布式部署的应用不一定是微服务架构的,比如集群部署,它是把相同应用复制到不同服务器上,但是逻辑功能上还是单体应用
- 简单说一下你对集群理解?
- 项目中那些地方用到Redis,怎么用的?
- 登录、注册短信校验
- 登录信息
- 热点数据统计
- Redis有哪些存储结构?每种结构说4个命令
- Redis怎么实现栈和队列?
- 说一下Redis集群是怎么存储数据的?
- Redis内存不够了怎么办?
- Redis集群方式有哪些?
- 简单说一下主备切换时Redis如何选举master的?
- 说一下Redis持久化方案?
- 说一下Redis淘汰策略?
- Redis为什么那么快
- Redis主从有什么优缺点,哨兵有什么优缺点,cluster集群有什么优缺点?