表级数据增量同步方案
2021-05-08 10:23:09 0 举报
登录查看完整内容
表级数据增量同步方案v2
作者其他创作
大纲/内容
是
处理差集D1
否
在目标库删除表sa'
数值类型？
在目标库删除表集合D2
DataX同步sa表到目标库
遍历结束？
同步源库信息到业务库
根据md5record的schema和tablename，begin_id和end_id查询sa表，得到list
结束
对list进行md5加密
读取业务库表信息
查询业务库表saLast_DDL_Time
DataX同步业务库和目标库
M小于阈值
在目标库执行DDL新增表
判断list.size>集合阈值
删除表sa'条件schema和tablename，begin_id和end_id的数据
否（不处理）
是否相同？
是否有主键
处理交集S
读业务库sa表DDL语句
获取交集S(sa-业务库，sa'-目标库，Last_DDL_Time落表)，差集D1和D2
在目标库创建表sa'
读取目标库表信息
判断sa表文件大小M（占地面积）
插入list到目标库的sa'
TableNames
判断sa表和sa'表文件大小差值（字节）MD
是否删除目标库D2
程序入口
读取业务库，获取D1集合表对应DDL语句
业务库和目标库数据源配置
判断业务库D1a表主键类型
删除表T_MD5schema，tablename的数据
处理差集D2
加密结果对比md5record中md5
差值MD/sa'数据文件大小
更新加密结果
sa.LastDDLTime>sa.LastDDLTime'
>10%？
判断业务库sa表主键类型
收藏
0 条评论
回复 删除
下一页
