migrator
执行结果
canal
redis
import-es
IMPORT任务，本地脚本执行
接口调用
调用xcoach提交数据导入任务，如果是普通文件，etl会生成csv文件放在hdfs，这里type=HIVE_LOAD; 如果是数据库备份，数据放在数据库，这里type=IMPORT
xcoach
ES_UNSTRUCTURED任务，执行本地脚本
提交任务时传递的回调url:/api/gendry/tasks/%s/callback
解析队列
数据入hive
用户
gendry
hive-load
执行结果异步http调用
获取解析结果
工作区数据加工
调用xcoach提交预处理任务type=DM_UPLOAD
浏览器提交文件
UPLOAD:MANAGER:PARSE:RESULT:KEY
1.处理文件数量：UPLOAD:MANAGER:%s:TOTAL:COUNTER:KEY2.全量上传队列：UPLOAD:MANAGER:%s:UPLOAD:ISSUED:COUNTER:KEY3.扩展名为dmp或dat解析，UPLOAD:MANAGER:DMP_PARSE:QUEUE:KEY 4.其他可解析的：UPLOAD:MANAGER:PARSE:QUEUE:KEY
xaro
上传OSS
cleaner
etl
提交数据加工任务
es-tool
结果写入redis
本地脚本执行
HIVE_LOAD任务，shell脚本执行
写入预处理结果
importDatasetFromRedisQueue()定时任务
数据发布
ETL解析
上传队列
提交录入ES任务
feign调用
ES_STRUCTURED任务，提交华为大数据平台spark
feign调用判断上传是否完成
提交华为大数据平台spark
