概述:

什么是分库分表

顾名思义,分库分表就是按照一定的规则,对原有的数据库和表进行拆分,把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。

为什么需要分库分表

随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的磁盘、IO、系统开销,甚至性能上的瓶颈,而一台服务的资源终究是有限的,因此需要对数据库和表进行拆分,从而更好的提供数据服务。

分库分表的方式

垂直分库/分表

垂直划分数据库是根据业务进行划分,例如将shop库中涉及商品、订单、用户的表分别划分出成一个库,通过降低单库(表)的大小来提高性能,但这种方式并没有解决高数据量带来的性能损耗。同样的,分表的情况就是将一个大表根据业务功能拆分成一个个子表,例如用户表可根据业务分成基本信息表和详细信息表等。

优缺点

优点

  1. 拆分后业务清晰,达到专库专用。
  2. 可以实现热数据和冷数据的分离,将不经常变化的数据和变动较大的数据分散再不同的库/表中。
  3. 便于维护

缺点

  1. 不解决数据量大带来的性能损耗,读写压力依旧很大
  2. 不同的业务无法跨库关联(join),只能通过业务来关联

水平分库/分表

水平划分是根据一定规则,例如时间或id序列值等进行数据的拆分。比如根据年份来拆分不同的数据库。每个数据库结构一致,但是数据得以拆分,从而提升性能。又比如根据用户id的值,根据规则分成若干个表。每个表结构一致,(这点与垂直分库分表相反)。

优缺点

优点:

  1. 单库(表)的数据量得以减少,提高性能
  2. 提高了系统的稳定性和负载能力
  3. 切分出的表结构相同,程序改动较少

缺点:

  1. 拆分规则较难抽象
  2. 数据分片在扩容时需要迁移
  3. 维护量增大
  4. 依然存在跨库无法join等问题,同时涉及分布式事务,数据一致性等问题。

业绩行业代表性解决方案

JDBC直连层:TDDL、 sharding-jdbc( sharding- sphere)

Proxy代理层: mycat、mysq1- proxy、a1atas

jdbc:性能好不支持跨语言java支持跨数据库

proxy:性能差支持跨语言网络通讯不支持跨数据库

参考:https://www.jianshu.com/p/3fed6db29a01