分表分库

理论知识

分表 - 从表面意思上看呢，就是把一张表分成N多个小表，每一个小表都是完正的一张表。分表后数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面。分表后单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了，如果出现高并发的话，总表可以根据不同 的查询，将并发压力分到不同的小表里面。

分库 - 把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。数据库中的数据量不一定是可控的，在未进行分表分库的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

分表 AsTable

FreeSql 原生用法、FreeSql.Repository 仓储用法 都提供了 AsTable 方法对分表进行 CRUD 操作，例如：

  1. var repo = fsql.GetRepository<Log>();
  2. repo.AsTable(oldname => $"{oldname}_201903"); //对 Log_201903 表 CRUD
  4. repo.Insert(new Log { ... });

跨库，但是在同一个数据库服务器下，也可以使用 AsTable(oldname => $”db2.dbo.{oldname}”)

  1. //跨表查询
  2. var sql = fsql.Select<User>()
  3.     .AsTable((type, oldname) => "table_1")
  4.     .AsTable((type, oldname) => "table_2")
  5.     .ToSql(a => a.Id);
  7. //select * from (SELECT a."Id" as1 FROM "table_1" a) ftb 
  8. //UNION ALL
  9. //select * from (SELECT a."Id" as1 FROM "table_2" a) ftb

分表总结：

  • 分表、相同服务器跨库 可以使用 AsTable 进行 CRUD；
  • AsTable CodeFirst 会自动创建不存在的分表；
  • 不可在分表分库的实体类型中使用《延时加载》；

SqlServer 跨库事务 可以使用 TransactionScope，如下：

  1. var repoLog = fsql.GetRepository<Log>();
  2. var repoComment = fsql.GetRepository<Comment>();
  3. repoLog.AsTable(oldname => $"{201903}.dbo.{oldname}");
  4. repoComment.AsTable(oldname => $"{201903}.dbo.{oldname}");
  6. using (TransactionScope ts = new TransactionScope())
  7. {
  8.     repoComment.Insert(new Comment { ... });
  9.     repoLog.Insert(new Log { ... });
  10.     ts.Complete();
  11. }

分布式数据库 TCC/SAGA 方案请移步：https://github.com/2881099/FreeSql.Cloud

v3.2.500 自动分表方案：https://github.com/dotnetcore/FreeSql/discussions/1066

【分库】利用 IdleBus 重写 IFreeSql

在 asp.net core 利用 IdleBus 重写 IFreeSql 支持多库操作

  1. <ItemGroup>
  2.   <PackageReference Include="FreeSql" Version="3.2.500" />
  3.   <PackageReference Include="IdleBus" Version="1.5.2" />
  4. </ItemGroup>

1、定义和注入

  1. var fsql = new MultiFreeSql();
  2. fsql.Register("db1", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str1").Build());
  3. fsql.Register("db2", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str2").Build());
  4. fsql.Register("db3", () => new FreeSqlBuilder().UseConnectionString(DataType.SqlServer, "str3").Build());
  6. services.AddSingleton<IFreeSql>(fsql);

2、如何使用

额外增加 Register/Change 两个方法，其他跟 IFreeSql 用法几乎一样

  1. var db1_list = fsql.Select<T>().ToList();
  3. //切换 db2 数据库，一旦切换之后 fsql 操作都是针对 db2
  4. fsql.Change("db2");
  5. var db2_list = fsql.Select<T>().ToList();
  7. //这样也行
  8. var db2_list = fsql.Change("db2").Select<T>().ToList();

如果需要分布多事务 TCC/Saga 请移步到：https://github.com/2881099/FreeSql.Cloud

3、MultiFreeSql.cs 代码定义

  1. using FreeSql;
  2. using FreeSql.Internal;
  3. using FreeSql.Internal.CommonProvider;
  4. using System;
  5. using System.Collections.Generic;
  6. using System.Linq;
  7. using System.Threading;
  9. namespace net50_webapi_idlebus
  10. {
  11.     public class MultiFreeSql : MultiFreeSql<string> { }
  13.     public partial class MultiFreeSql<TDBKey> : BaseDbProvider, IFreeSql
  14.     {
  15.         internal TDBKey _dbkeyMaster;
  16.         internal AsyncLocal<TDBKey> _dbkeyCurrent = new AsyncLocal<TDBKey>();
  17.         BaseDbProvider _ormMaster => _ib.Get(_dbkeyMaster) as BaseDbProvider;
  18.         BaseDbProvider _ormCurrent => _ib.Get(object.Equals(_dbkeyCurrent.Value, default(TDBKey)) ? _dbkeyMaster : _dbkeyCurrent.Value) as BaseDbProvider;
  19.         internal IdleBus<TDBKey, IFreeSql> _ib;
  21.         public MultiFreeSql()
  22.         {
  23.             _ib = new IdleBus<TDBKey, IFreeSql>();
  24.             _ib.Notice += (_, __) => { };
  25.         }
  27.         public override IAdo Ado => _ormCurrent.Ado;
  28.         public override IAop Aop => _ormCurrent.Aop;
  29.         public override ICodeFirst CodeFirst => _ormCurrent.CodeFirst;
  30.         public override IDbFirst DbFirst => _ormCurrent.DbFirst;
  31.         public override GlobalFilter GlobalFilter => _ormCurrent.GlobalFilter;
  32.         public override void Dispose() => _ib.Dispose();
  34.         public override CommonExpression InternalCommonExpression => _ormCurrent.InternalCommonExpression;
  35.         public override CommonUtils InternalCommonUtils => _ormCurrent.InternalCommonUtils;
  37.         public override ISelect<T1> CreateSelectProvider<T1>(object dywhere) => _ormCurrent.CreateSelectProvider<T1>(dywhere);
  38.         public override IDelete<T1> CreateDeleteProvider<T1>(object dywhere) => _ormCurrent.CreateDeleteProvider<T1>(dywhere);
  39.         public override IUpdate<T1> CreateUpdateProvider<T1>(object dywhere) => _ormCurrent.CreateUpdateProvider<T1>(dywhere);
  40.         public override IInsert<T1> CreateInsertProvider<T1>() => _ormCurrent.CreateInsertProvider<T1>();
  41.         public override IInsertOrUpdate<T1> CreateInsertOrUpdateProvider<T1>() => _ormCurrent.CreateInsertOrUpdateProvider<T1>();
  42.     }
  44.     public static class MultiFreeSqlExtensions
  45.     {
  46.         public static IFreeSql Change<TDBKey>(this IFreeSql fsql, TDBKey dbkey)
  47.         {
  48.             var multiFsql = fsql as MultiFreeSql<TDBKey>;
  49.             if (multiFsql == null) throw new Exception("fsql 类型不是 MultiFreeSql<TDBKey>");
  50.             multiFsql._dbkeyCurrent.Value = dbkey;
  51.             return multiFsql;
  52.         }
  54.         public static IFreeSql Register<TDBKey>(this IFreeSql fsql, TDBKey dbkey, Func<IFreeSql> create)
  55.         {
  56.             var multiFsql = fsql as MultiFreeSql<TDBKey>;
  57.             if (multiFsql == null) throw new Exception("fsql 类型不是 MultiFreeSql<TDBKey>");
  58.             if (multiFsql._ib.TryRegister(dbkey, create))
  59.                 if (multiFsql._ib.GetKeys().Length == 1)
  60.                     multiFsql._dbkeyMaster = dbkey;
  61.             return multiFsql;
  62.         }
  63.     }
  64. }

分库总结：

  • 跨库 事务不好处理，注意了；
  • 跨库 查询不好处理，注意了；