NoSQL入门概述

1、互联网时代背景下大机遇，为什么使用nosql

1、单机MySQL的美好时代

• 网站的访问量不大，用单个的数据库可以完全轻松应付。
• 大多都是静态网页，动态交互类型的网站不多。

  访问模式：APP ==》DAL ==》Mysql Instance

当前模式下的数据存储的瓶颈

• 数据总量大，一个机器放不下。
• 数据的索引（B+tree）一个机器的内存放不下。
• 访问量（读写混合）一个势力不能承受。

  2、Memcached（缓存）+ MySQL + 垂直拆分

  随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现性能问题，web程序不再仅仅专注在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是通过文件魂村来缓解数据库的压力，但是访问量继续增加的时候，多台web机器通过文件缓存不能共享，大量的小文件缓存也带来了比较高的IO压力，在这个时候，Memcached(缓存)就自然的成为了一个非常时尚的技术产品。 访问模式：APP==》 DAL ==》 Cache ==》多个Mysql Instance

3、MySQL主从读写分离

• 由于数据库的写入压力增加，Memcached只能魂村数据库的读取压力，读写集中在一个数据库上的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

  访问模式：APP ==》 DAL ==》 Cache ==》 多个数据库实例，分别从事读写操作（写放在主库，读在从库）

4、分表分库+水平拆分+mysql集群

• 在Memcached的告诉缓存，MySQL的主从复制，读写分离的基础上，这是Mysql的主库的写压力开始出现瓶颈，而数据量的持续猛增，由于MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的并发MySQL应用开始使用InnoDB引擎代替MyISQM

• 同时开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候，分表分库成为了一个热门技术，是面试的热门问题也是业界讨论的热门技术问题。也就是在这个时候，MySQL 推出了还不太稳定的分表区，但是MySQL推出了MySQL Cluster集群，但性能也不嗯给你很好的满足互联网的需求，只能在高可靠性上提供了非常大的保证。

  5、MySQL的扩展性瓶颈

• MySQL数据库也经常存储一些大文本字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速回复数据库。比如1000万4KB大小的文本就接近40GB的大小，如果能把这些数据从MySQL省去，MySQL将变得非常的小。关系数据库很强大，但是它并不能很好的应付所有的应用场景。MySQL的扩展性差（需要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正式当前使用MySQL的开发人员面临的问题。

  6、今天是怎样的

• 用户访问企业级防火墙

• nginx做负载均衡（多台备机）
• 然后下发到APP服务器，

• APP服务器连接多台DB

  7、为什么用NoSQL

• 今天我们可以通过第三方平台（如Google，Facebook等）可以很容易的访问和抓取数据。用户个人信息，社交网络，地理位置，用户产生的数据和用户操作日志已经成倍的增加。

• 我们如果要对这些用户数据进行挖掘，那SQL数据库已经不适合这些应用了，NoSQL数据库的发展却能很好的处理这些大的数据。

  2、NoSQL是什么

  ACID：原子性、一致性、隔离性、持久性

• NoSQL（NoSQL = Not Only SQL），意思是不仅仅是SQL，泛指非关系型的数据库。

• 随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题，包含超大规模数据的存储。

• （例如古河或Facebook每天为他们的用户手机万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。

  3、NoSQL能干嘛

  1、易扩展

• NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。

• 数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

  2、大数据量高性能

• NoSQL数据里都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。

• 一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。

• redis性能：写8w，读11w。

  3、多样灵活的数据模型

• NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。

  4、传统RDBMS VS NoSQL

  RDBMS

• 高度组织化结构化数据

• 结构化查询语言（SQL）
• 数据和关系都存储在单独的表中
• 数据操纵语言，数据定义语言。
• 严格的一致性
• 基础事务

NoSQL

• 代表着不仅仅是SQL
• 没有声明性查询语句
• 没有预定义的模式
• 键值对存储，列存储，文档存储，图形数据库
• 最终一致性，而非ACID（原子性，一致性，隔离性，持久性）属性
• 非结构化和不可预知的数据
• CAP定理

• 高性能，高可用和可伸缩性。

  4、NoSQL怎么玩

• KV（键值对）

• Cache（缓存）

• Persistence(坚持不懈)

  3V + 3高

  1、大数据时代的3V

• 海量Volume

• 多样Variety

• 实时Velocity

  2、互联网需求的3高

• 高并发

• 高可扩

• 高性能

  当下的NoSQL经典应用

  1、当下的应用是sql和nosql一起使用
  2、阿里巴巴中文网

  NoSQL数据模型简介

  聚合模型：

• KV键值对

• Bson
• 列族
  • 按列存储的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。

• 图形

  NoSQL数据库的四大分类

  1、KV键值

  典型介绍：

• 新浪：BerkeleyDB + redis

• 美团：redis + tair

• 阿里、百度：memcache + redis

  2、文档型数据库（bson格式较多）

  典型介绍：

• CouchDB

• MongoDB

MongoDB

• MongoDB是一个基于分布式文件存储的数据库。由C++语言编写，旨在为web应用提供可扩展的高性能数据存储解决方案。
• MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

  3、列存储数据库

  Cassandra、Hbase 分布式文件系统

4、图关系数据库

• 它不是放图形的，放的是关系：比如社交网络、广告推荐系统、社交网络，推荐系统等，专注构建关系图谱。

• Neo4j，InfoGrid

  5、NoSQL数据库四者对比

  

  在分布式数据库中CAP原理CAP + BASE

  1、传统的ACID分别是什么

• A（Atomicity）原子性

• C（Consistency）一致性
• I（Isolation）独立性
• D（Durability）持久性

一、原子性（atomicity)
一个事务要么全部提交成功，要么全部失败回滚，不能只执行其中的一部分操作，这就是事务的原子性
二、一致性（consistency)
事务的执行不能破坏数据库数据的完整性和一致性，一个事务在执行之前和执行之后，数据库都必须处于一致性状态。
如果数据库系统在运行过程中发生故障，有些事务尚未完成就被迫中断，这些未完成的事务对数据库所作的修改有一部分已写入物理数据库，这是数据库就处于一种不正确的状态，也就是不一致的状态
三、隔离性（isolation）
事务的隔离性是指在并发环境中，并发的事务时相互隔离的，一个事务的执行不能不被其他事务干扰。不同的事务并发操作相同的数据时，每个事务都有各自完成的数据空间，即一个事务内部的操作及使用的数据对其他并发事务时隔离的，并发执行的各个事务之间不能相互干扰。
在标准SQL规范中，定义了4个事务隔离级别，不同的隔离级别对事务的处理不同，分别是：未授权读取，授权读取，可重复读取和串行化
1、读未提交（Read Uncommited），该隔离级别允许脏读取，其隔离级别最低；比如事务A和事务B同时进行，事务A在整个执行阶段，会将某数据的值从1开始一直加到10，然后进行事务提交，此时，事务B能够看到这个数据项在事务A操作过程中的所有中间值（如1变成2，2变成3等），而对这一系列的中间值的读取就是未授权读取
2、授权读取也称为已提交读（Read Commited），授权读取只允许获取已经提交的数据。比如事务A和事务B同时进行，事务A进行+1操作，此时，事务B无法看到这个数据项在事务A操作过程中的所有中间值，只能看到最终的10。另外，如果说有一个事务C，和事务A进行非常类似的操作，只是事务C是将数据项从10加到20，此时事务B也同样可以读取到20，即授权读取允许不可重复读取。
3、可重复读（Repeatable Read)
就是保证在事务处理过程中，多次读取同一个数据时，其值都和事务开始时刻是一致的，因此该事务级别禁止不可重复读取和脏读取，但是有可能出现幻影数据。所谓幻影数据，就是指同样的事务操作，在前后两个时间段内执行对同一个数据项的读取，可能出现不一致的结果。在上面的例子中，可重复读取隔离级别能够保证事务B在第一次事务操作过程中，始终对数据项读取到1，但是在下一次事务操作中，即使事务B（注意，事务名字虽然相同，但是指的是另一个事务操作）采用同样的查询方式，就可能读取到10或20；
4、串行化
是最严格的事务隔离级别，它要求所有事务被串行执行，即事务只能一个接一个的进行处理，不能并发执行。
四、持久性（durability）
一旦事务提交，那么它对数据库中的对应数据的状态的变更就会永久保存到数据库中。—即使发生系统崩溃或机器宕机等故障，只要数据库能够重新启动，那么一定能够将其恢复到事务成功结束的状态

2、CAP

• C：Consistency（强一致性）
• A：Availability（可用性）

• P：Partion tolerance（分区容错性）

  3、CAP的3进2

• CAP的理论就是说在分布式存储系统中，最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题，所以分区容忍性是我们必须要实现的。

• 所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这一点。
• C：强一致性 A：高可用性 P：分布式容错性
• CA： 传统Oracle数据库
• AP：大多数网站架构的选择

• CP： Redis、Mongodb

  4、经典CAP图

• CAP理论图的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。

• 因此，根据CAP原理将NoSQL数据库分成了满足CA原则、满足CP原则和满足AP原则三大类：
• CA - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。
• CP - 满足一致性，分区容忍性的系统，通常性能不是特别高。

• AP - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。

  5、BASE

• BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。

• BASE其实是下面三个术语的缩写：
  • 基本可用（Basically Available）
  • 软状态（Soft state）
  • 最终一致（Eventually consistent）
• 它的思想是通过让系统放松对某一时刻数据
• 一致性的要求来换取系统整体伸缩性和性能上改观。缘由就在于大型系统往往由于地域分布和极高性能的要求，不可能采用分布式事务来完成这些指标，我们必须采用另外一种方式来完成，这里BASE就是解决这个问题的办法。

1.基本可用（Basically Available）:

• NoSQL允许分布式系统中某些部分出现故障，那么系统的其余部分依然可用。它不会像ACID那样，在系统出现故障时，进行强制拒绝，允许继续部分访问。

2.软状态（Soft State）:

• NoSQL在数据处理过程中，允许这个过程，存在数据状态暂时不一致的情况。但经过纠错处理，最终会一致的。

3.最终一致性（Eventually Consistent）：

• NoSQL的软状态允许数据处理过程的暂时不一致，但是最终处理结果将是一致的，说明NoSQL对数据处理过程可以有短暂的时间间隔，也允许分更细的步骤一个一个地处理，最好数据达到一致即可。这在互联网上进行分布式应用具有其明显的优势。

  6、分布式+集群简介

• 分布式：不同的多台服务器上面部署不同的服务模块（工程），他们之间通过Rpc/Rmi之间通信和调用，对外提供服务和组内协作。

• 集群：不同的多台服务器上面部署相同的服务模块，通过分布式调度软件进行统一的调度，对外提供服务和访问。