表单数据分表解决方案

wynnyo 2020年06月02日 1,142次浏览

表单数据分表解决方案

整体思路

数据可以根据 映射表找到对应的数据表单

在这里插入图片描述

需求分析

总开关设计

有一个 总开关,打开走 分表方案, 关闭走不分表

新增租户功能

提供一个接口,新增租户功能

  • 检查 总开关,关闭直接返回成功
  • 提供一个算法(参照新增租户算法部分),把新租户放入到以前表中或者放到新建表中
    • 放入以前表中:在映射表中新增一条记录
    • 放到新建表中:
      • 新建数据表单
      • 在新建数据表单中新增一条记录

删除租户功能

提供一个接口,删除租户功能

  • 检查 总开关,关闭直接返回成功
  • 直接在映射表中删除对应的记录,没有找到报错(软删除)

数据的增删改查

  • 检查 总开关,关闭直接 走 单表的增删改查

  • 增加数据

    • 判断租户是否在,不存在 走 新增租户功能
    • 存在,通过解析器,找到对应表,存入数据
  • 删除数据

    • 判断租户是否在,不存在 报错
    • 存在,通过解析器,找到对应表,删除数据
  • 查询数据

    • 判断租户是否在,不存在 报错
    • 存在,通过解析器,找到对应表,查询数据
  • 修改数据

    • 判断租户是否在,不存在 报错
    • 存在,通过解析器,找到对应表,修改数据

表结构

映射表

字段字段名说明
IdId主键
TenantId租户Id
FormType表单类型
TableName表单名称
TenantLevel租户级别
CreateTime创建时间
IsDelete删除标记

表单数据表

字段字段名说明
IdId主键
TenantId租户Id
FormType表单类型
……

算法

新增租户算法

根据租户等级来决定 租户占表的百分比

  • 等级规则:1级, 2级, ....,以此类推, 最高10级
  • 占比规则:表中所有租户累计占比不得 超过 10

具体算法:

// 给定一个 租户等级
var tenantLevel = 1;
// 把规则表中数据取出,并以 TableName 分组,并计算出可以放下当前租户的 TableName
var list = dbContext.Db.Queryable<TableDictEntity>().ToList();

var dictItem = list.GroupBy(e => e.TableName)
	.Select(g => new {tableName = g.Key, sum = g.Sum(e =>e.TenantLevel)})
    .First(g => g.sum <= 10 - tenantLevel);

if(dictItem == null) // 说明当前 表已经都饱和了
{
    // 需要 新建一个表单表
 	dbContext.Db.MappingTables.Add(nameof(Entity), nameof(Entity) + DateTime.Now.ToString("yyyyMMddHHmmss"));
}

// 在映射表中新增一条记录
……
    

后续

  • 数据增长速率的统计
  • 定时任务迁移数据
  • 分配算法的优化