1.基本介绍

1.1 Sharding Sphere

是一款分布式数据库解决方案 ，详情 官网传送门。

1.2 什么是分库分表

数据库数据量不可控的，随着时间和业务发展，造成表里面数据越来越多，如果再去对数据库表curd操作时候，造成性能问题。所以考虑到了对数据库进行拆分。有两个方案

  1. 硬件层面上 (存在瓶颈，且消耗资源)

  2. 软件层面上

    1.2.1 分库分表的方式

  3. 垂直切分：垂直分库和垂直分表

  4. 水平切分：水平分库和水平分表

    垂直分库： 根据业务场景进行分库

    image.png

    垂直分表：一个表的字段过多或者把该表的常用字段放在一个表中，不常用的字段,大字段放在另一个表中，减少磁盘IO，提高哦访问效率

    image.png

    水平分库：同一个表的数据按一定规则拆分到不同的数据库中，每个库可以放在不同的服务器上。解决了单库大数据，高并发的性能瓶颈，提高稳定性和高可用性。

    image.png

水平分表：同一个数据库内，把同一张表的数据按照一定规则拆到多个表，解决性能问题和避免IO锁表的几率。

image.png

1.2.2 分库分表带来的问题

事务一致性问题

数据分布在不同的数据表或数据库中，会带来分布式事务问题。

跨节点关联查询

如果有跨数据库或者跨节点分库，不在一个库或不在一个服务器内 不能进行关联查询，只能两次查询然后拼接。

跨节点分页、排序函数

跨节点order By limit会比较复杂 ， Max、Min、Sum、Count 等函数也会出现相应的问题，都要多次查询然后汇总。

主键避重

在分库分表环境下数据库自增主键将不能使用，为了避免主键重复需要使用分布式ID

公共表

对于一些变动小，频率低的字典，公共表，将这些表在每个数据库都存一份，避免jion查询复杂。所以维护需要同时维护。

2 Sharding JDBC

定位为轻量级Java框架，在Java的JDBC层提供的额外服务。
sharding Sphere - 图5

2.1 环境搭建

springboot 2.4.2 + mybatisPlus + Lombok + sharding jdbc4.1.1

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  4.     <modelVersion>4.0.0</modelVersion>
  5.     <parent>
  6.         <groupId>org.springframework.boot</groupId>
  7.         <artifactId>spring-boot-starter-parent</artifactId>
  8.         <version>2.4.2</version>
  9.         <relativePath/>
  10.     </parent>
  11.     <groupId>com.rem</groupId>
  12.     <artifactId>shardingjdbc</artifactId>
  13.     <version>0.0.1-SNAPSHOT</version>
  14.     <name>shardingjdbc</name>
  15.     <description>Demo project for Spring Boot</description>
  16.     <properties>
  17.         <java.version>1.8</java.version>
  18.     </properties>
  20.     <dependencies>
  21.         <dependency>
  22.             <groupId>org.springframework.boot</groupId>
  23.             <artifactId>spring-boot-starter-web</artifactId>
  24.         </dependency>
  25.         <dependency>
  26.             <groupId>org.springframework.boot</groupId>
  27.             <artifactId>spring-boot-starter-test</artifactId>
  28.         </dependency>
  29.         <!--注解处理器 自动解析yml文件到config配置类中-->
  30.         <dependency>
  31.             <groupId>org.springframework.boot</groupId>
  32.             <artifactId>spring-boot-configuration-processor</artifactId>
  33.             <optional>true</optional>
  34.         </dependency>
  35.         <!--连接数据库-->
  36.         <dependency>
  37.             <groupId>com.baomidou</groupId>
  38.             <artifactId>mybatis-plus-boot-starter</artifactId>
  39.             <version>3.4.2</version>
  40.         </dependency>
  41.         <dependency>
  42.             <groupId>mysql</groupId>
  43.             <artifactId>mysql-connector-java</artifactId>
  44.         </dependency>
  46.         <dependency>
  47.             <groupId>com.alibaba</groupId>
  48.             <artifactId>druid</artifactId>
  49.             <version>1.2.6</version>
  50.         </dependency>
  52.         <!--脚手架-->
  53.         <dependency>
  54.             <groupId>org.projectlombok</groupId>
  55.             <artifactId>lombok</artifactId>
  56.             <optional>true</optional>
  57.         </dependency>
  58.         <dependency>
  59.             <groupId>org.apache.commons</groupId>
  60.             <artifactId>commons-lang3</artifactId>
  61.             <version>3.8.1</version>
  62.         </dependency>
  63.         <dependency>
  64.             <groupId>cn.hutool</groupId>
  65.             <artifactId>hutool-all</artifactId>
  66.             <version>5.4.0</version>
  67.         </dependency>
  69.         <!--sharding-jdbc-->
  70.         <dependency>
  71.             <groupId>org.apache.shardingsphere</groupId>
  72.             <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  73.             <version>4.1.1</version>
  74.         </dependency>
  75.     </dependencies>
  77.     <build>
  78.         <plugins>
  79.             <plugin>
  80.                 <groupId>org.springframework.boot</groupId>
  81.                 <artifactId>spring-boot-maven-plugin</artifactId>
  82.                 <configuration>
  83.                     <excludes>
  84.                         <exclude>
  85.                             <groupId>org.projectlombok</groupId>
  86.                             <artifactId>lombok</artifactId>
  87.                         </exclude>
  88.                     </excludes>
  89.                 </configuration>
  90.             </plugin>
  91.         </plugins>
  92.     </build>
  94. </project>

2.2 单库双表水平分片

数据库准备

  1. -- auto-generated definition
  2. create table t_order_1
  3. (
  4.     id          bigint auto_increment
  5.         primary key,
  6.     orderCode   varchar(100)   null,
  7.     buyId       bigint         null,
  8.     amount      decimal(11, 2) null,
  9.     productId   bigint         null,
  10.     productName varchar(100)   null
  11. )
  12.     comment '订单表';
  15. -- auto-generated definition
  16. create table t_order_2
  17. (
  18.     id          bigint auto_increment
  19.         primary key,
  20.     orderCode   varchar(100)   null,
  21.     buyId       bigint         null,
  22.     amount      decimal(11, 2) null,
  23.     productId   bigint         null,
  24.     productName varchar(100)   null
  25. )
  26.     comment '订单表';
  1. #shardingjdbc分片策略  单库双表水平分片
  2. spring:
  3.   shardingsphere:
  4.     datasource:
  5.       #配置数据源，给数据源起名称
  6.       names: m1
  7.       m1:
  8.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  9.         type: com.alibaba.druid.pool.DruidDataSource
  10.         url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  11.         driverClassName: com.mysql.cj.jdbc.Driver
  12.         username: root
  13.         password: 123456
  14.     sharding:
  15.       tables:
  16.         #指定order表分布情况，配置表在哪个数据库里面，表名称都是什么  m1.t_order_1 , m1.t_order_2
  17.         t_order:
  18.           actualDataNodes: m1.t_order_$->{1..2}
  19.           # 指定t_order表里面主键id 生成策略  SNOWFLAKE
  20.           keyGenerator:
  21.             column: id
  22.             type: SNOWFLAKE
  23.           # 限定表=====指定分片策略  约定id值偶数添加到t_order_1表，如果id是奇数添加到t_order_2表
  24.           tableStrategy:
  25.             inline:
  26.               shardingColumn: id
  27.               algorithmExpression: t_order_${id % 2 +1}
  28.       # 全局=====指定分片策略  约定id值偶数添加到t_order_1表，如果id是奇数添加到t_order_2表
  29. #       defaultTableStrategy:
  30. #         inline:
  31. #           shardingColumn: id
  32. #           algorithmExpression: t_order_$->{id % 2 +1}
  33.     # 打开sql输出日志
  34.     props:
  35.       sql:
  36.         show: true
  37.   # 一个实体类对应两张表，覆盖
  38.   main:
  39.     allowBeanDefinitionOverriding: true
  42. mybatisPlus:
  43.   configuration:
  44.  #   log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  45.     mapUnderscoreToCamelCase: false
  46.     callSettersOnNulls: true

演示结果 偶数插入1表，奇数插入到2表
image.png

数据库结果
image.png

查询
image.png

2.3 双库双表水平分片

数据库准备

  1. -- auto-generated definition
  2. create table t_course_1
  3. (
  4.     cid     bigint auto_increment
  5.         primary key,
  6.     cname   varchar(100) null,
  7.     userId  bigint       null,
  8.     cstatus varchar(100) null
  9. );
  11. -- auto-generated definition
  12. create table t_course_2
  13. (
  14.     cid     bigint auto_increment
  15.         primary key,
  16.     cname   varchar(100) null,
  17.     userId  bigint       null,
  18.     cstatus varchar(100) null
  19. );
  1. #shardingjdbc分片策略  双库双表水平分片    实际上一张表根据两个字段被分成4个表，在实际中很少用
  2. spring:
  3.   shardingsphere:
  4.     datasource:
  5.       #配置数据源，给数据源起名称
  6.       names: m1,m2
  7.       m1:
  8.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  9.         type: com.alibaba.druid.pool.DruidDataSource
  10.         url: jdbc:mysql://192.168.19.128:3306/edu_db_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  11.         driverClassName: com.mysql.cj.jdbc.Driver
  12.         username: root
  13.         password: 123456
  14.       m2:
  15.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  16.         type: com.alibaba.druid.pool.DruidDataSource
  17.         url: jdbc:mysql://192.168.19.128:3306/edu_db_2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  18.         driverClassName: com.mysql.cj.jdbc.Driver
  19.         username: root
  20.         password: 123456
  21.     sharding:
  22.       tables:
  23.         #指定course表分布情况，配置表在哪个数据库里面，表名称都是什么  m1.t_course_1 , m1.t_course_2
  24.         t_course:
  25.           actualDataNodes: m$->{1..2}.t_course_$->{1..2}
  26.           # 指定t_course表里面主键id 生成策略  SNOWFLAKE
  27.           keyGenerator:
  28.             column: cid
  29.             type: SNOWFLAKE
  30.           # 限定表=====指定分片策略  约定id值偶数添加到t_course_1表，如果id是奇数添加到t_course_2表
  31.           tableStrategy:
  32.             inline:
  33.               shardingColumn: cid
  34.               algorithmExpression: t_course_${cid % 2 +1}
  35.           # 限定库=====指定分片策略   约定userId是偶数添加m1，是奇数添加m2
  36.           databaseStrategy:
  37.             inline:
  38.               shardingColumn: userId
  39.               algorithmExpression: m$->{userId % 2 + 1}
  40.         # 全局库
  41.     #        default:
  42.     #          databaseStrategy:
  43.     #            inline: user_id
  44.     #            shardingColumn: m$->{userId % 2 + 1}
  47.     # 打开sql输出日志
  48.     props:
  49.       sql:
  50.         show: true
  51.   # 一个实体类对应两张表，覆盖
  52.   main:
  53.     allowBeanDefinitionOverriding: true
  56. mybatis-plus:
  57.   configuration:
  58.     map-underscore-to-camel-case: false
  59.     call-setters-on-nulls: true

插入数据 根据数据插入不同的库和表
image.png
数据库结果
image.png
查询结果：
image.png

2.4 垂直分库

数据库准备

  1. -- auto-generated definition
  2. create table t_user
  3. (
  4.     userId   bigint auto_increment
  5.         primary key,
  6.     username varchar(100) null,
  7.     ustatus  varchar(100) null
  8. );

yml配置

  1. #shardingjdbc分片策略  垂直分库     专库专表使用
  2. spring:
  3.   shardingsphere:
  4.     datasource:
  5.       #配置数据源，给数据源起名称
  6.       names: m1,m2,v0
  7.       m1:
  8.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  9.         type: com.alibaba.druid.pool.DruidDataSource
  10.         url: jdbc:mysql://192.168.19.128:3306/edu_db_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  11.         driverClassName: com.mysql.cj.jdbc.Driver
  12.         username: root
  13.         password: 123456
  14.       m2:
  15.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  16.         type: com.alibaba.druid.pool.DruidDataSource
  17.         url: jdbc:mysql://192.168.19.128:3306/edu_db_2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  18.         driverClassName: com.mysql.cj.jdbc.Driver
  19.         username: root
  20.         password: 123456
  21.       v0:
  22.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  23.         type: com.alibaba.druid.pool.DruidDataSource
  24.         url: jdbc:mysql://192.168.19.128:3306/user_db?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  25.         driverClassName: com.mysql.cj.jdbc.Driver
  26.         username: root
  27.         password: 123456
  28.     sharding:
  29.       tables:
  30.         #指定course表分布情况，配置表在哪个数据库里面，表名称都是什么  m1.t_course_1 , m1.t_course_2
  31.         t_course:
  32.           actualDataNodes: m$->{1..2}.t_course_$->{1..2}
  33.           # 指定t_course表里面主键id 生成策略  SNOWFLAKE
  34.           keyGenerator:
  35.             column: cid
  36.             type: SNOWFLAKE
  37.           # 限定表=====指定分片策略  约定id值奇数添加到t_course_1表，如果id是偶数添加到t_course_2表
  38.           tableStrategy:
  39.             inline:
  40.               shardingColumn: cid
  41.               algorithmExpression: t_course_${cid % 2 +1}
  42.           # 限定库=====指定分片策略   约定userId是偶数添加m1，是奇数添加m2
  43.           databaseStrategy:
  44.             inline:
  45.               shardingColumn: userId
  46.               algorithmExpression: m$->{userId % 2 + 1}
  47.         # 垂直分库  专表专用
  48.         t_user:
  49.           actualDataNodes: v$->{0}.t_user
  50.           keyGenerator:
  51.             type: SNOWFLAKE
  52.             column: userId
  53.     # 打开sql输出日志
  54.     props:
  55.       sql:
  56.         show: true
  57.   # 一个实体类对应两张表，覆盖
  58.   main:
  59.     allowBeanDefinitionOverriding: true
  62. mybatis-plus:
  63.   configuration:
  64.     map-underscore-to-camel-case: false
  65.     call-setters-on-nulls: true

演示结果：
image.png
查询：

image.png

2.5 广播表配置

在每个数据库都创建这张表

  1. -- auto-generated definition
  2. create table t_dict
  3. (
  4.     dictId bigint auto_increment
  5.         primary key,
  6.     status varchar(100) null,
  7.     value  varchar(100) null
  8. );
  1. #shardingjdbc分片策略 广播配置，配置公共表
  2. spring:
  3.   shardingsphere:
  4.     datasource:
  5.       #配置数据源，给数据源起名称
  6.       names: m1,m2,v0
  7.       m1:
  8.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  9.         type: com.alibaba.druid.pool.DruidDataSource
  10.         url: jdbc:mysql://192.168.19.128:3306/edu_db_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  11.         driverClassName: com.mysql.cj.jdbc.Driver
  12.         username: root
  13.         password: 123456
  14.       m2:
  15.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  16.         type: com.alibaba.druid.pool.DruidDataSource
  17.         url: jdbc:mysql://192.168.19.128:3306/edu_db_2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  18.         driverClassName: com.mysql.cj.jdbc.Driver
  19.         username: root
  20.         password: 123456
  21.       v0:
  22.         #配置数据源具体内容，包含连接池，驱动，地址，用户名和密码
  23.         type: com.alibaba.druid.pool.DruidDataSource
  24.         url: jdbc:mysql://192.168.19.128:3306/user_db?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  25.         driverClassName: com.mysql.cj.jdbc.Driver
  26.         username: root
  27.         password: 123456
  28.     sharding:
  29.       # 广播配置 全局公共配置表
  30.       broadcastTables: t_dict
  31.       tables:
  32.         # 广播表
  33.         t_dict:
  34.           keyGenerator:
  35.             column: dictId
  36.             type: SNOWFLAKE
  37.         #指定course表分布情况，配置表在哪个数据库里面，表名称都是什么  m1.t_course_1 , m1.t_course_2
  38.         t_course:
  39.           actualDataNodes: m$->{1..2}.t_course_$->{1..2}
  40.           # 指定t_course表里面主键id 生成策略  SNOWFLAKE
  41.           keyGenerator:
  42.             column: cid
  43.             type: SNOWFLAKE
  44.           # 限定表=====指定分片策略  约定id值奇数添加到t_course_1表，如果id是偶数添加到t_course_2表
  45.           tableStrategy:
  46.             inline:
  47.               shardingColumn: cid
  48.               algorithmExpression: t_course_${cid % 2 +1}
  49.           # 限定库=====指定分片策略   约定userId是偶数添加m1，是奇数添加m2
  50.           databaseStrategy:
  51.             inline:
  52.               shardingColumn: userId
  53.               algorithmExpression: m$->{userId % 2 + 1}
  54.         # 垂直分库
  55.         t_user:
  56.           actualDataNodes: v0.t_user
  57.           keyGenerator:
  58.             column: userId
  59.             type: SNOWFLAKE
  60.     # 无需分库分表的数据源配置
  61.       default-data-source-name: v0
  62.     # 打开sql输出日志
  63.     props:
  64.       sql:
  65.         show: true
  66.   # 一个实体类对应两张表，覆盖
  67.   main:
  68.     allowBeanDefinitionOverriding: true
  71. mybatis-plus:
  72.   configuration:
  73.     map-underscore-to-camel-case: false
  74.     call-setters-on-nulls: true

插入一条数据，每个库里的表都会创建一条数据
image.png

数据库显示
image.png

查询数据
image.png

2.6 水平分库 + 读写分离

准备主从数据库配置 docker配置简单 传送门
配置一主两从服务器

  1. ######################################水平分库分表+读写分离配置############################################################
  3. ######################################一主多从配置############################################################
  4. spring:
  5.   shardingsphere:
  6.     datasource:
  7.       #配置数据源 两主两从
  8.       names: m1,s1,s2
  9.       m1:
  10.         type: com.alibaba.druid.pool.DruidDataSource
  11.         url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  12.         driverClassName: com.mysql.cj.jdbc.Driver
  13.         username: root
  14.         password: 123456
  15.       s1:
  16.         type: com.alibaba.druid.pool.DruidDataSource
  17.         url: jdbc:mysql://192.168.19.128:3307/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  18.         driverClassName: com.mysql.cj.jdbc.Driver
  19.         username: root
  20.         password: 123456
  21.       s2:
  22.         type: com.alibaba.druid.pool.DruidDataSource
  23.         url: jdbc:mysql://192.168.19.128:3308/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  24.         driverClassName: com.mysql.cj.jdbc.Driver
  25.         username: root
  26.         password: 123456
  27.     sharding:
  28.       tables:
  29.         #表配置 结合数据源
  30.         t_order:
  31.           actualDataNodes: ds0.t_order_$->{1..2}
  32.           # 分表策略
  33.           tableStrategy:
  34.             inline:
  35.               shardingColumn: id
  36.               algorithmExpression: t_order_${id % 2 +1}
  37.           keyGenerator:
  38.             column: id
  39.             type: SNOWFLAKE
  40.       # 主从配置
  41.       masterSlaveRules:
  42.         ds0:
  43.           masterDataSourceName: m1
  44.           slaveDataSourceNames: s1,s2
  45.       bindingTables: t_course
  46.     props:
  47.       sql:
  48.         show: true
  49.   # 一个实体类对应两张表，覆盖
  50.   main:
  51.     allowBeanDefinitionOverriding: true
  54. mybatisPlus:
  55.   configuration:
  56.     #   log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  57.     mapUnderscoreToCamelCase: false
  58.     callSettersOnNulls: true
  67. ######################################多主多从配置############################################################
  68. #spring:
  69. #  shardingsphere:
  70. #    datasource:
  71. #      #配置数据源 两主两从
  72. #      names: m1,m2,s1,s2
  73. #      m1:
  74. #        type: com.alibaba.druid.pool.DruidDataSource
  75. #        url: jdbc:mysql://192.168.19.128:3306/edu_db_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  76. #        driverClassName: com.mysql.cj.jdbc.Driver
  77. #        username: root
  78. #        password: 123456
  79. #      m2:
  80. #        type: com.alibaba.druid.pool.DruidDataSource
  81. #        url: jdbc:mysql://192.168.19.128:3306/edu_db_2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  82. #        driverClassName: com.mysql.cj.jdbc.Driver
  83. #        username: root
  84. #        password: 123456
  85. #      s1:
  86. #        type: com.alibaba.druid.pool.DruidDataSource
  87. #        url: jdbc:mysql://192.168.19.128:3307/edu_db_1?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  88. #        driverClassName: com.mysql.cj.jdbc.Driver
  89. #        username: root
  90. #        password: 123456
  91. #      s2:
  92. #        type: com.alibaba.druid.pool.DruidDataSource
  93. #        url: jdbc:mysql://192.168.19.128:3307/edu_db_2?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  94. #        driverClassName: com.mysql.cj.jdbc.Driver
  95. #        username: root
  96. #        password: 123456
  97. #    sharding:
  98. #      tables:
  99. #        #表配置 结合数据源
  100. #        t_course:
  101. #          actualDataNodes: ds$->{0..1}.t_course_$->{1..2}
  102. #          # 分表策略
  103. #          tableStrategy:
  104. #            inline:
  105. #              shardingColumn: cid
  106. #              algorithmExpression: t_course_${cid % 2 +1}
  107. #          keyGenerator:
  108. #            column: cid
  109. #            type: SNOWFLAKE
  110. #          # 分库策略
  111. #          databaseStrategy:
  112. #            inline:
  113. #              shardingColumn: userId
  114. #              algorithmExpression: ds$->{userId % 2}
  115. #      # 主从配置
  116. #      masterSlaveRules:
  117. #        ds0:
  118. #          masterDataSourceName: m1
  119. #          slaveDataSourceNames: s1,s2
  120. #        ds1:
  121. #          masterDataSourceName: m2
  122. #          slaveDataSourceNames: s1,s2
  123. #      # bindingTables: t_course
  124. #    props:
  125. #      sql:
  126. #        show: true
  127. #  # 一个实体类对应两张表，覆盖
  128. #  main:
  129. #    allowBeanDefinitionOverriding: true
  130. #
  131. #
  132. #mybatisPlus:
  133. #  configuration:
  134. #    #   log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  135. #    mapUnderscoreToCamelCase: false
  136. #    callSettersOnNulls: true

插入数据 master 逻辑插入
image.png

查询数据 默认slave会轮询去查询数据
image.png

3 sharding proxy

3.1 什么是 sharding proxy

透明化的数据库代理端，用于对异构语言的支持。
sharding Sphere - 图19
下载地址 https://archive.apache.org/dist/shardingsphere/
下载完成后解压 windows环境会存在jar包过长导致解压时文件名会截断 ，解决办法：

  1. tar zxvf apache-shardingsphere-${RELEASE.VERSION}-sharding-proxy-bin.tar.gz

3.2 sharding proxy配置

server.yaml配置
不使用服务治理的情况下， 不开启zookeeper

  1. # 服务治理，开启zookeeper 也可以使用nacos等
  2. orchestration:
  3.  orchestration_ds:
  4.    orchestrationType: registry_center,config_center,distributed_lock_manager
  5.    instanceType: zookeeper
  6.    serverLists: localhost:2181
  7.    namespace: orchestration
  8.    props:
  9.      overwrite: false
  10.      retryIntervalMilliseconds: 500
  11.      timeToLiveSeconds: 60
  12.      maxRetries: 3
  13.      operationTimeoutMilliseconds: 500
  15. # 权限验证
  16. authentication:
  17.   users:
  18.     root:  # 自定义用户名
  19.       password: 123456  # 自定义密码
  20.     sharding:
  21.       password: 123456
  22.       authorizedSchemas: sharding_db # 该用户授权可访问的数据库，多个用逗号分隔。缺省将拥有root权限，可访问全部数据库。
  25. #全局配置
  26. props:
  27.   max.connections.size.per.query: 1
  28.   acceptor.size: 16 #用于设置接收客户端请求的工作线程个数，默认为CPU核数*2
  29.   executor.size: 16 # Infinite by default.
  30.   proxy.frontend.flush.threshold: 128 # The default value is 128.
  31.     # LOCAL: Proxy will run with LOCAL transaction.
  32.     # XA: Proxy will run with XA transaction.
  33.     # BASE: Proxy will run with B.A.S.E transaction.
  34.   proxy.transaction.type: LOCAL
  35.   proxy.opentracing.enabled: false  #是否开启链路追踪功能，默认为不开启。详情请参见[链路追踪](/cn/features/orchestration/apm/)
  36.   proxy.hint.enabled: false
  37.   query.with.cipher.column: true #是否使用密文列查询
  38.   sql.show: true # 是否显示sql语句
  39.   allow.range.query.with.inline.sharding: false

config-sharding.yaml 配置数据分片

  1. schemaName: sharding_db
  3. dataSources:
  4.   m1:
  5.     url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  6.     username: root
  7.     password: 123456
  8.     connectionTimeoutMilliseconds: 30000
  9.     idleTimeoutMilliseconds: 60000
  10.     maxLifetimeMilliseconds: 1800000
  11.     maxPoolSize: 50
  13. shardingRule:
  14.   tables:
  15.     t_order:
  16.       actualDataNodes: m1.t_order_$->{1..2}
  17.       keyGenerator:
  18.         column: id
  19.         type: SNOWFLAKE
  20.       tableStrategy:
  21.         inline:
  22.           shardingColumn: id
  23.           algorithmExpression: t_order_${id % 2 +1}

config-master_slave.yaml 配置读写分离 或读写分离+数据分片

  1. # 读写分离
  2. schemaName: master_slave_db
  4. dataSources:
  5.  m1:
  6.    url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  7.    username: root
  8.    password: 123456
  9.    connectionTimeoutMilliseconds: 30000
  10.    idleTimeoutMilliseconds: 60000
  11.    maxLifetimeMilliseconds: 1800000
  12.    maxPoolSize: 50
  13.  s1:
  14.    url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  15.    username: root
  16.    password: 123456
  17.    connectionTimeoutMilliseconds: 30000
  18.    idleTimeoutMilliseconds: 60000
  19.    maxLifetimeMilliseconds: 1800000
  20.    maxPoolSize: 50
  21.  s2:
  22.    url: jdbc:mysql://192.168.19.128:3308/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  23.    username: root
  24.    password: 123456
  25.    connectionTimeoutMilliseconds: 30000
  26.    idleTimeoutMilliseconds: 60000
  27.    maxLifetimeMilliseconds: 1800000
  28.    maxPoolSize: 50
  30. masterSlaveRule:
  31.  name: ms_ds
  32.  masterDataSourceName: m1
  33.  slaveDataSourceNames:
  34.    - s1
  35.    - s2
  37. ######################################################################################################
  38. #
  39. # If you want to connect to MySQL, you should manually copy MySQL driver to lib directory.
  40. #
  41. ######################################################################################################
  43. # 读写分离 + 一主多从
  44. # schemaName: sharding_master_slave_db
  46. # dataSources:
  47. #   ds0:
  48. #     url: jdbc:mysql://192.168.19.128:3306/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  49. #     username: root
  50. #     password: 123456
  51. #     connectionTimeoutMilliseconds: 30000
  52. #     idleTimeoutMilliseconds: 60000
  53. #     maxLifetimeMilliseconds: 1800000
  54. #     maxPoolSize: 65
  55. #   ds0_slave0:
  56. #     url: jdbc:mysql://192.168.19.128:3307/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  57. #     username: root
  58. #     password: 123456
  59. #     connectionTimeoutMilliseconds: 30000
  60. #     idleTimeoutMilliseconds: 60000
  61. #     maxLifetimeMilliseconds: 1800000
  62. #     maxPoolSize: 65
  63. #   ds0_slave1:
  64. #     url: jdbc:mysql://192.168.19.128:3308/so?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8
  65. #     username: root
  66. #     password: 123456
  67. #     connectionTimeoutMilliseconds: 30000
  68. #     idleTimeoutMilliseconds: 60000
  69. #     maxLifetimeMilliseconds: 1800000
  70. #     maxPoolSize: 65
  72. # shardingRule:  
  73. #   tables:
  74. #     t_order: 
  75. #       actualDataNodes: ms_ds${0}.t_order_${1..2}
  76. #       databaseStrategy:
  77. #         inline:
  78. #           shardingColumn: buyId
  79. #           algorithmExpression: ms_ds${0}
  80. #       tableStrategy: 
  81. #         inline:
  82. #           shardingColumn: id
  83. #           algorithmExpression: t_order_${id % 2 +1}
  84. #       keyGenerator:
  85. #         type: SNOWFLAKE
  86. #         column: id
  87. #   bindingTables:
  88. #     - t_order
  89. #   broadcastTables:
  90. #     - t_config
  92. #   defaultDataSourceName: ds0
  93. #   defaultTableStrategy:
  94. #     none:
  96. #   masterSlaveRules:
  97. #     ms_ds0:
  98. #       masterDataSourceName: ds0
  99. #       slaveDataSourceNames:
  100. #         - ds0_slave0
  101. #         - ds0_slave1
  102. #       loadBalanceAlgorithmType: ROUND_ROBIN

3.3 使用docker 配置sharding proxy

使用稳定版本4.1.1 ,配置一个zookeeper,两个proxy,三个mysql(一主两从)，一个nginx
docker简单使用

  1. docker pull apache/sharding-proxy:4.1.1

proxy启动端口3308 ，映射外部端口3540， 配置mysqly需要外部挂载配置目录和驱动 在本地centos做好准备/home/sharding/conf,创建，/home/sharding/ext-lib

  1. docker run --name shardingproxy -d -v /home/sharding/conf:/opt/sharding-proxy/conf -v /home/sharding/ext-lib:/opt/sharding-proxy/ext-lib --env PORT=3308 -p3540:3308 apache/sharding-proxy:4.1.1

nginx配置

  1. worker_processes  1;
  3. events {
  4.     worker_connections  1024;
  5. }
  7. stream {
  8.     # sharding proxy
  9.     upstream sharding {
  10.     server 192.168.19.128:3540;
  11.     server 192.168.19.128:3541;
  12.   }
  14.   server {
  15.    listen 13306;
  16.     proxy_pass sharding;
  18.   }
  19. }
  21. http {
  22.     include       mime.types;
  23.     default_type  application/octet-stream;
  24.     sendfile        on;
  25.     keepalive_timeout  65;
  26.     server {
  27.         listen       80;
  28.         server_name  localhost;
  30.         location / {
  31.             root   html;
  32.             index  index.html index.htm;
  33.         }
  35.         error_page   500 502 503 504  /50x.html;
  36.         location = /50x.html {
  37.             root   html;
  38.         }
  39.     }
  40. }

image.png
创建一个sprigboot 项目 配置

  1. spring:
  2.   datasource:
  3.     driver-class-name: com.mysql.cj.jdbc.Driver
  4.     url: jdbc:mysql://192.168.19.128:13306/master_slave_db?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8&allowPublicKeyRetrieval=true
  5.     #url: jdbc:mysql://192.168.19.128:3540/master_slave_db?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=utf8&allowPublicKeyRetrieval=true
  6.     username: root
  7.     password: 123456
  8.     type: com.alibaba.druid.pool.DruidDataSource
  10. mybatis-plus:
  11.   configuration:
  12.     map-underscore-to-camel-case: false
  13.     call-setters-on-nulls: true
  14.   #配置自定义的mapper文件 (多表查询适用)
  15.   mapper-locations: classpath*:mapper/*.xml
  16.   #配置实体对象扫描包===在mapper.xml中简化使用
  17.   type-aliases-package: com.rem.shardingproxy.pojo

查询
image.png

4 sharding -ui 选用

官网下载
linux 解压后 直接在bin目录下运行
也可以在conf下修改配置
可以查看节点信息 也可以进行动态修改信息

  1. server.port=8888
  3. user.admin.username=admin
  4. user.admin.password=admin

访问 192.168.19.128:8888
image.png

image.png

image.png