image.png

定义路由注解

定义:

  1. @Documented
  2. @Retention(RetentionPolicy.RUNTIME)
  3. @Target({ElementType.TYPE, ElementType.METHOD})
  4. public @interface DBRouter {
  5. String key() default "";
  6. }

使用:
  1. @Mapper
  2. public interface IUserDao {
  3. @DBRouter(key = "userId")
  4. User queryUserInfoByUserId(User req);
  5. @DBRouter(key = "userId")
  6. void insertUser(User req);
  7. }
  • 首先我们需要自定义一个注解,用于放置在需要被数据库路由的方法上。
  • 它的使用方式是通过方法配置注解,就可以被我们指定的 AOP 切面进行拦截,拦截后进行相应的数据库路由计算和判断,并切换到相应的操作数据源上。

    配置多数据源

    image.png

    获取多数据源配置——> 放入 dataSourceMap中

    image.png

    配置多数据源

    image.png

    数据源切换

    在结合 SpringBoot 开发的 Starter 中,需要提供一个 DataSource 的实例化对象,那么这个对象我们就放在 DataSourceAutoConfig 来实现,并且这里提供的数据源是可以动态变换的,也就是支持动态切换数据源。

  • 这里是一个简化的创建案例,把基于从配置信息中读取到的数据源信息,进行实例化创建。

  • 数据源创建完成后存放到 DynamicDataSource 中,它是一个继承了 AbstractRoutingDataSource 的实现类,这个类里可以存放和读取相应的具体调用的数据源信息。

切面拦截

在 AOP 的切面拦截中需要完成;数据库路由计算、扰动函数加强散列、计算库表索引、设置到 ThreadLocal 传递数据源,整体案例代码如下:

  1. @Around("aopPoint() && @annotation(dbRouter)")
  2. public Object doRouter(ProceedingJoinPoint jp, DBRouter dbRouter) throws Throwable {
  3. String dbKey = dbRouter.key();
  4. if (StringUtils.isBlank(dbKey)) throw new RuntimeException("annotation DBRouter key is null!");
  5. // 计算路由
  6. String dbKeyAttr = getAttrValue(dbKey, jp.getArgs());
  7. int size = dbRouterConfig.getDbCount() * dbRouterConfig.getTbCount();
  8. // 扰动函数
  9. int idx = (size - 1) & (dbKeyAttr.hashCode() ^ (dbKeyAttr.hashCode() >>> 16));
  10. // 库表索引
  11. int dbIdx = idx / dbRouterConfig.getTbCount() + 1;
  12. int tbIdx = idx - dbRouterConfig.getTbCount() * (dbIdx - 1);
  13. // 设置到 ThreadLocal
  14. DBContextHolder.setDBKey(String.format("%02d", dbIdx));
  15. DBContextHolder.setTBKey(String.format("%02d", tbIdx));
  16. logger.info("数据库路由 method:{} dbIdx:{} tbIdx:{}", getMethod(jp).getName(), dbIdx, tbIdx);
  17. // 返回结果
  18. try {
  19. return jp.proceed();
  20. } finally {
  21. DBContextHolder.clearDBKey();
  22. DBContextHolder.clearTBKey();
  23. }
  24. }
  • 简化的核心逻辑实现代码如上,首先我们提取了库表乘积的数量,把它当成 HashMap 一样的长度进行使用。
  • 接下来使用和 HashMap 一样的扰动函数逻辑,让数据分散的更加散列。
  • 当计算完总长度上的一个索引位置后,还需要把这个位置折算到库表中,看看总体长度的索引因为落到哪个库哪个表。
  • 最后是把这个计算的索引信息存放到 ThreadLocal 中,用于传递在方法调用过程中可以提取到索引信息。 ```java package cn.bugstack.middleware.db.router;

import cn.bugstack.middleware.db.router.annotation.DBRouter; import cn.bugstack.middleware.db.router.strategy.IDBRouterStrategy; import org.apache.commons.beanutils.BeanUtils; import org.apache.commons.lang.StringUtils; import org.aspectj.lang.JoinPoint; import org.aspectj.lang.ProceedingJoinPoint; import org.aspectj.lang.Signature; import org.aspectj.lang.annotation.Around; import org.aspectj.lang.annotation.Aspect; import org.aspectj.lang.annotation.Pointcut; import org.aspectj.lang.reflect.MethodSignature; import org.slf4j.Logger; import org.slf4j.LoggerFactory;

import java.lang.reflect.Method;

/**

  • @description: 数据路由切面,通过自定义注解的方式,拦截被切面的方法,进行数据库路由
  • @author: 小傅哥,微信:fustack
  • @date: 2021/9/22
  • @github: https://github.com/fuzhengwei
  • @Copyright: 公众号:bugstack虫洞栈 | 博客:https://bugstack.cn - 沉淀、分享、成长,让自己和他人都能有所收获! */ @Aspect public class DBRouterJoinPoint {

    private Logger logger = LoggerFactory.getLogger(DBRouterJoinPoint.class);

    private DBRouterConfig dbRouterConfig;

    private IDBRouterStrategy dbRouterStrategy;

    public DBRouterJoinPoint(DBRouterConfig dbRouterConfig, IDBRouterStrategy dbRouterStrategy) {

    1. this.dbRouterConfig = dbRouterConfig;
    2. this.dbRouterStrategy = dbRouterStrategy;

    } //注解的路径 @Pointcut(“@annotation(cn.bugstack.middleware.db.router.annotation.DBRouter)”) public void aopPoint() { }

    /**

    • 所有需要分库分表的操作,都需要使用自定义注解进行拦截,拦截后读取方法中的入参字段,根据字段进行路由操作。
      1. dbRouter.key() 确定根据哪个字段进行路由
      1. getAttrValue 根据数据库路由字段,从入参中读取出对应的值。比如路由 key 是 uId,那么就从入参对象 Obj 中获取到 uId 的值。
      1. dbRouterStrategy.doRouter(dbKeyAttr) 路由策略根据具体的路由值进行处理
      1. 路由处理完成比,就是放行。 jp.proceed();
      1. 最后 dbRouterStrategy 需要执行 clear 因为这里用到了 ThreadLocal 需要手动清空。关于 ThreadLocal 内存泄漏介绍 https://t.zsxq.com/027QF2fae */ @Around(“aopPoint() && @annotation(dbRouter)”) public Object doRouter(ProceedingJoinPoint jp, DBRouter dbRouter) throws Throwable { String dbKey = dbRouter.key(); if (StringUtils.isBlank(dbKey) && StringUtils.isBlank(dbRouterConfig.getRouterKey())) { throw new RuntimeException(“annotation DBRouter key is null!”); } dbKey = StringUtils.isNotBlank(dbKey) ? dbKey : dbRouterConfig.getRouterKey(); // 路由属性 String dbKeyAttr = getAttrValue(dbKey, jp.getArgs()); // 路由策略 dbRouterStrategy.doRouter(dbKeyAttr); // 返回结果 try { return jp.proceed(); } finally { dbRouterStrategy.clear(); } }

      private Method getMethod(JoinPoint jp) throws NoSuchMethodException { Signature sig = jp.getSignature(); MethodSignature methodSignature = (MethodSignature) sig; return jp.getTarget().getClass().getMethod(methodSignature.getName(), methodSignature.getParameterTypes()); }

      public String getAttrValue(String attr, Object[] args) { if (1 == args.length) {

      1. Object arg = args[0];
      2. if (arg instanceof String) {
      3. return arg.toString();
      4. }

      }

      String filedValue = null; for (Object arg : args) {

      1. try {
      2. if (StringUtils.isNotBlank(filedValue)) {
      3. break;
      4. }
      5. filedValue = BeanUtils.getProperty(arg, attr);
      6. } catch (Exception e) {
      7. logger.error("获取路由属性值失败 attr:{}", attr, e);
      8. }

      } return filedValue; }

}

  1. <a name="HLmwa"></a>
  2. ### Mybatis 拦截器处理分表
  3. - 最开始考虑直接在Mybatis对应的表 INSERT INTO user_strategy_export**_${tbIdx}** 添加字段的方式处理分表。但这样看上去并不优雅,不过也并不排除这种使用方式,仍然是可以使用的。
  4. - 那么我们可以基于 Mybatis 拦截器进行处理,通过拦截 SQL 语句动态修改添加分表信息,再设置回 Mybatis 执行 SQL 中。
  5. - 此外再完善一些分库分表路由的操作,比如配置默认的分库分表字段以及单字段入参时默认取此字段作为路由字段。
  6. cn.bugstack.middleware.db.router.dynamic.DynamicMybatisPlugin
  7. ```java
  8. @Intercepts({@Signature(type = StatementHandler.class, method = "prepare", args = {Connection.class, Integer.class})})
  9. public class DynamicMybatisPlugin implements Interceptor {
  10. private Pattern pattern = Pattern.compile("(from|into|update)[\\s]{1,}(\\w{1,})", Pattern.CASE_INSENSITIVE);
  11. @Override
  12. public Object intercept(Invocation invocation) throws Throwable {
  13. // 获取StatementHandler
  14. StatementHandler statementHandler = (StatementHandler) invocation.getTarget();
  15. MetaObject metaObject = MetaObject.forObject(statementHandler, SystemMetaObject.DEFAULT_OBJECT_FACTORY, SystemMetaObject.DEFAULT_OBJECT_WRAPPER_FACTORY, new DefaultReflectorFactory());
  16. MappedStatement mappedStatement = (MappedStatement) metaObject.getValue("delegate.mappedStatement");
  17. // 获取自定义注解判断是否进行分表操作
  18. String id = mappedStatement.getId();
  19. String className = id.substring(0, id.lastIndexOf("."));
  20. Class<?> clazz = Class.forName(className);
  21. DBRouterStrategy dbRouterStrategy = clazz.getAnnotation(DBRouterStrategy.class);
  22. if (null == dbRouterStrategy || !dbRouterStrategy.splitTable()){
  23. return invocation.proceed();
  24. }
  25. // 获取SQL
  26. BoundSql boundSql = statementHandler.getBoundSql();
  27. String sql = boundSql.getSql();
  28. // 替换SQL表名 USER 为 USER_03
  29. Matcher matcher = pattern.matcher(sql);
  30. String tableName = null;
  31. if (matcher.find()) {
  32. tableName = matcher.group().trim();
  33. }
  34. assert null != tableName;
  35. String replaceSql = matcher.replaceAll(tableName + "_" + DBContextHolder.getTBKey());
  36. // 通过反射修改SQL语句
  37. Field field = boundSql.getClass().getDeclaredField("sql");
  38. field.setAccessible(true);
  39. field.set(boundSql, replaceSql);
  40. return invocation.proceed();
  41. }
  42. }

yml 中自动配置config位置

  1. package cn.bugstack.middleware.db.router.config;
  2. import cn.bugstack.middleware.db.router.DBRouterConfig;
  3. import cn.bugstack.middleware.db.router.DBRouterJoinPoint;
  4. import cn.bugstack.middleware.db.router.dynamic.DynamicDataSource;
  5. import cn.bugstack.middleware.db.router.dynamic.DynamicMybatisPlugin;
  6. import cn.bugstack.middleware.db.router.strategy.IDBRouterStrategy;
  7. import cn.bugstack.middleware.db.router.strategy.impl.DBRouterStrategyHashCode;
  8. import cn.bugstack.middleware.db.router.util.PropertyUtil;
  9. import org.apache.ibatis.plugin.Interceptor;
  10. import org.springframework.boot.autoconfigure.condition.ConditionalOnMissingBean;
  11. import org.springframework.boot.context.properties.EnableConfigurationProperties;
  12. import org.springframework.boot.jdbc.DataSourceBuilder;
  13. import org.springframework.context.EnvironmentAware;
  14. import org.springframework.context.annotation.Bean;
  15. import org.springframework.context.annotation.Configuration;
  16. import org.springframework.core.env.Environment;
  17. import org.springframework.jdbc.datasource.DataSourceTransactionManager;
  18. import org.springframework.jdbc.datasource.DriverManagerDataSource;
  19. import org.springframework.transaction.PlatformTransactionManager;
  20. import org.springframework.transaction.support.TransactionTemplate;
  21. import javax.sql.DataSource;
  22. import java.sql.DriverManager;
  23. import java.sql.SQLException;
  24. import java.util.HashMap;
  25. import java.util.Map;
  26. /**
  27. * @description: 数据源配置解析
  28. * @author: 小傅哥,微信:fustack
  29. * @date: 2021/9/22
  30. * @github: https://github.com/fuzhengwei
  31. * @Copyright: 公众号:bugstack虫洞栈 | 博客:https://bugstack.cn - 沉淀、分享、成长,让自己和他人都能有所收获!
  32. */
  33. @Configuration
  34. public class DataSourceAutoConfig implements EnvironmentAware {
  35. /**
  36. * 数据源配置组
  37. */
  38. private Map<String, Map<String, Object>> dataSourceMap = new HashMap<>();
  39. /**
  40. * 默认数据源配置
  41. */
  42. private Map<String, Object> defaultDataSourceConfig;
  43. /**
  44. * 分库数量
  45. */
  46. private int dbCount;
  47. /**
  48. * 分表数量
  49. */
  50. private int tbCount;
  51. /**
  52. * 路由字段
  53. */
  54. private String routerKey;
  55. @Bean(name = "db-router-point")
  56. @ConditionalOnMissingBean
  57. public DBRouterJoinPoint point(DBRouterConfig dbRouterConfig, IDBRouterStrategy dbRouterStrategy) {
  58. return new DBRouterJoinPoint(dbRouterConfig, dbRouterStrategy);
  59. }
  60. @Bean
  61. public DBRouterConfig dbRouterConfig() {
  62. return new DBRouterConfig(dbCount, tbCount, routerKey);
  63. }
  64. @Bean
  65. public Interceptor plugin() {
  66. return new DynamicMybatisPlugin();
  67. }
  68. @Bean
  69. public DataSource dataSource() {
  70. // 创建数据源
  71. Map<Object, Object> targetDataSources = new HashMap<>();
  72. for (String dbInfo : dataSourceMap.keySet()) {
  73. Map<String, Object> objMap = dataSourceMap.get(dbInfo);
  74. targetDataSources.put(dbInfo, new DriverManagerDataSource(objMap.get("url").toString(), objMap.get("username").toString(), objMap.get("password").toString()));
  75. }
  76. // 设置数据源
  77. DynamicDataSource dynamicDataSource = new DynamicDataSource();
  78. dynamicDataSource.setTargetDataSources(targetDataSources);
  79. dynamicDataSource.setDefaultTargetDataSource(new DriverManagerDataSource(defaultDataSourceConfig.get("url").toString(), defaultDataSourceConfig.get("username").toString(), defaultDataSourceConfig.get("password").toString()));
  80. return dynamicDataSource;
  81. }
  82. @Bean
  83. public IDBRouterStrategy dbRouterStrategy(DBRouterConfig dbRouterConfig) {
  84. return new DBRouterStrategyHashCode(dbRouterConfig);
  85. }
  86. @Bean
  87. public TransactionTemplate transactionTemplate(DataSource dataSource) {
  88. DataSourceTransactionManager dataSourceTransactionManager = new DataSourceTransactionManager();
  89. dataSourceTransactionManager.setDataSource(dataSource);
  90. TransactionTemplate transactionTemplate = new TransactionTemplate();
  91. transactionTemplate.setTransactionManager(dataSourceTransactionManager);
  92. transactionTemplate.setPropagationBehaviorName("PROPAGATION_REQUIRED");
  93. return transactionTemplate;
  94. }
  95. @Override
  96. public void setEnvironment(Environment environment) {
  97. String prefix = "mini-db-router.jdbc.datasource.";
  98. dbCount = Integer.valueOf(environment.getProperty(prefix + "dbCount"));
  99. tbCount = Integer.valueOf(environment.getProperty(prefix + "tbCount"));
  100. routerKey = environment.getProperty(prefix + "routerKey");
  101. // 分库分表数据源
  102. String dataSources = environment.getProperty(prefix + "list");
  103. assert dataSources != null;
  104. for (String dbInfo : dataSources.split(",")) {
  105. Map<String, Object> dataSourceProps = PropertyUtil.handle(environment, prefix + dbInfo, Map.class);
  106. dataSourceMap.put(dbInfo, dataSourceProps);
  107. }
  108. // 默认数据源
  109. String defaultData = environment.getProperty(prefix + "default");
  110. defaultDataSourceConfig = PropertyUtil.handle(environment, prefix + defaultData, Map.class);
  111. }
  112. }


如何进行数据源动态切换

  1. /**
  2. * @description: 动态数据源获取,每当切换数据源,都要从这个里面进行获取
  3. * @author: 小傅哥,微信:fustack
  4. * @date: 2021/9/22
  5. * @github: https://github.com/fuzhengwei
  6. * @Copyright: 公众号:bugstack虫洞栈 | 博客:https://bugstack.cn - 沉淀、分享、成长,让自己和他人都能有所收获!
  7. */
  8. public class DynamicDataSource extends AbstractRoutingDataSource {
  9. @Override
  10. protected Object determineCurrentLookupKey() {
  11. return "db" + DBContextHolder.getDBKey();
  12. }
  13. }