数据抽取处理流程
2021-08-23 18:25:48 29 举报
此ETL数据处理基于Alibaba Datax实现
中间库数据抓取任务执行完成
1.日期格式化2.数据标准化转换....
存储到中间库
执行数据仓抓取任务
抽取来源库数据
抽取中间库数据
N
转换数据，并生成目标数据
中间库类型任务是否执行成功
1.去冗余数据（重复数据）2.去除错误数据3.去非完整数据
执行中间库数据抓取任务
结束
开始
Y
清洗数据，并生成正确数据
存储到数据仓
为了保护您和被举报人的权利，请您慎重填写举报原因，我们会认真核实调查。
确定
![处理[命令+数据]](https://po-img.processon.com/chart_image/thumb/5505aa3be4b03108ad55e45b.png)
