标化流程图
2021-10-28 16:48:18 8 举报
标化流程图
作者其他创作
大纲/内容
失败
从上下文中取出调度参数
源表相关统计
1，删除临时表2，初始化临时表2，初始化目标表
datax节点
成功
gp标化表
标化任务流程图
有
调用任务执行类
开始
暂定方案（可以避免文件传输）
标化任务调度
判断判断是否存在joblog
封装job参数并添加调度到上下文，设置时间10s
datax数据同步
无
json文件地址
datax插件
shell或py脚本
开启子线程
创建exelog，并将id添加到参数中
判断是否立即执行，是：移除该job；否：跳过
结束
日志入库，并回写exelog
增量
标化到目标表
1，删除目标表2，初始化目标表
其他相关统计
datax json 配置参数
执行状态
立即执行
1，接收json参数2，随机生成临时json空文件3，将json参数写入json文件
gp临时表
全量
0 条评论
回复 删除
下一页
