数仓调度方案
2021-09-01 09:10:55 0 举报
登录查看完整内容
数仓调度的几种方案
作者其他创作
大纲/内容
获取当日日期（RUN_DATE）
interval_nointerval_type
数据日期
N
是否在交易日运行
Y
获取昨日日期（DATA_DATE）
获取自定义日期（DATA_DATE）
任务清单
开发人员
运行任务
1. 单一task内部依赖，通过Oracle中配置 的sql_order控制，task间依赖通过 airflow进行控制2. 若任务流出现异常中断，重跑机制通过 airflow控制，重跑粒度是task级
维护
START
判断日期是否是交易日
AirFlow Start
获取当日日期（DATA_DATE）
通过task_id获取task详细信息
jobIdrun_datestatusparallel_no
SUCCESS
是否进行交易日校验
数据日期是否是昨日
执行
获取上一交易日（DATA_DATE）
get_task_sql.py(task_id)，返回task_sql列表
数据日期是否是当日
数据日期是否校验交易日
AirFlow 返回执行结果
数据日期是否是上一交易日
数据日期是否自定义
import
0 条评论
回复 删除
下一页
