概述:
什么是分库分表
顾名思义,分库分表就是按照一定的规则,对原有的数据库和表进行拆分,把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。
为什么需要分库分表
随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的磁盘、IO、系统开销,甚至性能上的瓶颈,而一台服务的资源终究是有限的,因此需要对数据库和表进行拆分,从而更好的提供数据服务。
分库分表的方式
垂直分库/分表
垂直划分数据库是根据业务进行划分,例如将shop库中涉及商品、订单、用户的表分别划分出成一个库,通过降低单库(表)的大小来提高性能,但这种方式并没有解决高数据量带来的性能损耗。同样的,分表的情况就是将一个大表根据业务功能拆分成一个个子表,例如用户表可根据业务分成基本信息表和详细信息表等。
优缺点
优点:
- 拆分后业务清晰,达到专库专用。
- 可以实现热数据和冷数据的分离,将不经常变化的数据和变动较大的数据分散再不同的库/表中。
- 便于维护
缺点:
- 不解决数据量大带来的性能损耗,读写压力依旧很大
- 不同的业务无法跨库关联(join),只能通过业务来关联
水平分库/分表
水平划分是根据一定规则,例如时间或id序列值等进行数据的拆分。比如根据年份来拆分不同的数据库。每个数据库结构一致,但是数据得以拆分,从而提升性能。又比如根据用户id的值,根据规则分成若干个表。每个表结构一致,(这点与垂直分库分表相反)。
优缺点
优点:
- 单库(表)的数据量得以减少,提高性能
- 提高了系统的稳定性和负载能力
- 切分出的表结构相同,程序改动较少
缺点:
- 拆分规则较难抽象
- 数据分片在扩容时需要迁移
- 维护量增大
- 依然存在跨库无法join等问题,同时涉及分布式事务,数据一致性等问题。
业绩行业代表性解决方案
JDBC直连层:TDDL、 sharding-jdbc( sharding- sphere)
Proxy代理层: mycat、mysq1- proxy、a1atas
jdbc:性能好不支持跨语言java支持跨数据库
proxy:性能差支持跨语言网络通讯不支持跨数据库