NOSQL

数据模型简单
需要灵活性强的IT系统
对数据库性能要求高
不需要数据一致性要求太高

Redis特点

优点
· 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。
· 丰富的数据类型 – Redis支持的类型 String, List, Hash, Set 及 Ordered Set 数据类型操作。
· 原子 – Redis的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过MULTI和EXEC指令包起来。
高速读写，redis使用自己实现的分离器，代码量很短，没有使用lock（MySQL），因此效率非常高。
· 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。
缺点：

  1. 持久化。Redis直接将数据存储到内存中，要将数据保存到磁盘上，Redis可以使用两种方式实现持久化过程。定时快照（snapshot）：每隔一段时间将整个数据库写到磁盘上，每次均是写全部数据，代价非常高。第二种方式基于语句追加（aof）：只追踪变化的数据，但是追加的log可能过大，同时所有的操作均重新执行一遍，回复速度慢。
  2. 耗内存，占用内存过高。


安装

yum安装

https://www.cnblogs.com/weifeng1463/p/10837540.html

编译安装

命令1： wget http://download.redis.io/releases/redis-4.0.1.tar.gz
命令2：tar zxvf redis-4.0.1.tar.gz
命令3： cd redis-4.0.1
命令4（编译）： make 或make MALLOC=libc 如下图代表成功：

命令5：make PREFIX=/usr/local/redis install
（安装编译后的文件） 安装到指目录：
注意：PREFIX必须大写、同时会自动为我们创建redis目录，并将结果安装此目录

命令6： cd /usr/local/redis 查看
命令7：查看bin目录下，如图：

cp redis.conf /usr/local/redis 将配置文件复制到安装文件的目录下

连接

redis-cli –h IP地址 –p 端口
redis-server ``/etc/redis``.conf
ps -ef|``grep "redis"
redis-cli

关闭

第一种关闭方式：（断电、非正常关闭。容易数据丢失）
查询PID ps -ef | grep -i redis
kill -9 PID

第二种关闭方式（正常关闭、数据保存）
./bin/redis-cli shutdown** ** 关闭redis服务，通过客户端进行shutdown
如果redis设置了密码，需要先在客户端通过密码登录，再进行shutdown即可关闭服务端

redis安装后优化配置

  • bind 127.0.0.1 #注释掉这部分，这是限制redis只能本地访问
  • protected-mode no #默认yes，开启保护模式，限制为本地访问
  • daemonize no#默认no，改为yes意为以守护进程方式启动，可后台运行，除非kill进程（可选），改为yes会使配置文件方式启动redis失败
  • dir ./ #输入本地redis数据库存放文件夹（可选）
  • appendonly yes #redis持久化（可选）

redis配置文件

redis.conf 配置项说明如下：

  1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
    daemonize no
  2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
    pidfile /var/run/redis.pid
  3. 指定Redis监听端口，默认端口为6379，为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
  4. 绑定的主机地址
    bind 127.0.0.1
    5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
    timeout 300
  5. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
    loglevel verbose
  6. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
    logfile stdout
  7. 设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id
    databases 16
  8. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
    save
    Redis默认配置文件中提供了三个条件：
    save 900 1
    save 300 10
    save 60 10000
    分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
  9. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
    rdbcompression yes
  10. 指定本地数据库文件名，默认值为dump.rdb
    dbfilename dump.rdb
  11. 指定本地数据库存放目录
    dir ./
  12. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
    slaveof
  13. 当master服务设置了密码保护时，slav服务连接master的密码
    masterauth
  14. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH 命令提供密码，默认关闭
    requirepass foobared
  15. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
    maxclients 128
  16. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
    maxmemory
  17. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
    appendonly no
  18. 指定更新日志文件名，默认为appendonly.aof
    appendfilename appendonly.aof
  19. 指定更新日志条件，共有3个可选值：
    no：表示等操作系统进行数据缓存同步到磁盘（快）
    always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
    everysec：表示每秒同步一次（折中，默认值）
    appendfsync everysec
  20. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
    vm-enabled no
  21. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
    vm-swap-file /tmp/redis.swap
  22. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
    vm-max-memory 0
  23. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
    vm-page-size 32
  24. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
    vm-pages 134217728
  25. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
    vm-max-threads 4
  26. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
    glueoutputbuf yes
  27. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
  28. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
    activerehashing yes
  29. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
    include /path/to/local.conf

Redis中的内存维护策略


redis作为优秀的中间缓存件，时常会存储大量的数据，即使采取了集群部署来动态扩容，也应该即时的整理内存，维持系统性能。

在redis**中有两种解决方案，
一是为数据设置超时时间，

二是采用LRU**算法动态将不用的数据删除。内存管理的一种页面置换算法，对于在内存中但又不用的数据块（内存块）叫做LRU，操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。
1.volatile-lru：设定超时时间的数据中,删除最不常使用的数据.

2.allkeys-lru**：查询所有的key中最近最不常使用的数据进行删除，这是应用最广泛的策略.

3.volatile-random：在已经设定了超时的数据中随机删除.

4.allkeys-random**：查询所有的key,之后随机删除.

5.volatile-ttl：查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作.

6.noeviction：如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回.
· volatile-lfu：从所有配置了过期时间的键中驱逐使用频率最少的键
· allkeys-lfu：从所有键中驱逐使用频率最少的键

Redis设置

daemonize no **修改为 daemonize yes
bind 127.0.01 **注释掉
requirepass 设置密码

Redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时，代表开启守护进程模式。在该模式下，redis会在后台运行，并将进程pid号写入至redis.conf选项pidfile设置的文件中，此时redis将一直运行，除非手动kill该进程。但当daemonize选项设置成no时，当前界面将进入redis的命令行界面，exit强制退出或者关闭连接工具(putty,xshell等)都会导致redis进程退出。
服务端开发的大部分应用都是采用后台运行的模式

由来 类型 单线程 NIO 多路复用 epoll

image.png

image.png
image.png

image.png

image.png
image.png
image.png

结构 单线程 IO thread

1.jpg2.jpg3.jpg4.jpg

数据类型

image.png

image.png

image.png

image.png

mysql，memcached，redis对比

mysql执行步骤图.pngmysql执行细节.png
redis与其他数据库区别.jpg

作为同款功能的内存缓存产品，redis和memcached各有什么优势

  1.         内存管理机制<br />               <br />                1） Memcached默认使用Slab Allocation机制管理内存，其主要思想是按照预先规定的大小，<br />                   将分配的内存分割成特定长度的块  以存储相应长度的key-value数据记录，以完全解决内存碎<br />                   片问题。空闲列表进行判断存储状态<br />               <br />                   【类似于Java虚拟机对象的分配，空闲列表】
  3.             2） Redis使用现场申请内存的方式来存储数据，并且很少使用free-list等方式来优化内存分配，<br />                   会在一定程度上存在内存碎片
  5.                【CPU内存是连续，类似于Java虚拟机对象的分配，直接内存分配（指针碰撞）】<br />           <br />            数据持久化方案
  7.             1）memcached不支持内存数据的持久化操作，所有的数据都以in-memory的形式存储。
  9.             2）redis支持持久化操作。redis提供了两种不同的持久化方法来讲数据存储到硬盘里面，<br />                   第一种是rdb形式，一种是aof形式
  11.                rdb：属于全量数据备份，备份的是数据<br />                   aof：append only if,增量持久化备份，备份的是指令<br />                   [如：set key， del key]<br />          <br />            缓存数据过期机制  key，在一个小时之后过期，超过一个小时查数据就会查不到  key:"1",value:"2"<br />                1）Memcached 在删除失效主键时也是采用的消极方法，即 Memcached 内部也不会监视主键是否失效，而是在通过 Get     访问主键时才会检查其是否已经失效
  13.             2）Redis 定时、定期等多种缓存失效机制，减少内存泄漏<br />            支持的数据类型<br />                1）Memcached支持单一数据类型,[k,v]<br />                2）redis支持五种数据类型  <br />redis<br />![memcached空闲分配.jpg](https://cdn.nlark.com/yuque/0/2020/jpeg/229322/1586269096189-266b031b-8cb0-480b-8e2a-04cd27cfb0f3.jpeg#align=left&display=inline&height=154&margin=%5Bobject%20Object%5D&name=memcached%E7%A9%BA%E9%97%B2%E5%88%86%E9%85%8D.jpg&originHeight=154&originWidth=440&size=9441&status=done&style=none&width=440)<br />memcached<br />![memcache数据存储.jpg](https://cdn.nlark.com/yuque/0/2020/jpeg/229322/1586269097000-6545a05b-4c4d-42bf-8c3e-c7c4c316f252.jpeg#align=left&display=inline&height=324&margin=%5Bobject%20Object%5D&name=memcache%E6%95%B0%E6%8D%AE%E5%AD%98%E5%82%A8.jpg&originHeight=324&originWidth=420&size=15801&status=done&style=none&width=420) <br />1、redis作为数据库的使用有什么优缺点
  15.        1）优点：<br />                   没有Scheme约束，数据结构的变更相对容易，一开始确定数据类型，<br />                   抗压能力强，性能极高，10万/qps<br />           2）缺点：<br />                   没有索引，没有外键，缺少int/date等基本数据类型，多条件查询需要通过集合内联(sinter,zinterstore)   和连接间接实现<br />                   开发效率低，可维护性不佳<br />               <br />       2、redis作为缓存的使用，搭配数据库使用的两种方案
  17.       1）jedis整合使用方案        set key,value ["11","22"]  第一层在缓存进行查询，如果得到数据则直接返回，     第二层在数据库进行查询，并且刷新缓存，方便下次查询  ["33,"44"]<br />         
  19.       2）作为mybatis/hibernate二级缓存使用方案，一级缓存：sqlSession，进程缓存，单次链接有效