时间轴
2022-11-30 17:21:31 0 举报上线流程
作者其他创作
大纲/内容
第一步
内容：
处理T日实时数据
上线前一日
1、观察数仓跑批任务是否结束，结束并确认正常以后将数仓导出的存量历史数据以文件形式灌入Hbase2、将跑批配置更新为关闭状态并打开数据合并配置（跑批配置关闭：数据消费暂停并在kafka中累积；合并配置打开：中间表数据开始合并至Hbase）3、观察并确定中间表数据是否正常合并至Hbase
第三步
处理T-1日存量历史数据
1、将跑批配置更新为打开状态（此开关控制当日24点以后，实时数据开始累积至中间表）2、准备好数仓跑批存储和调度任务，24点以后导出存量（截止至T日零时）历史数据
第二步
1、观察数据合并任务是否结束、结束并确认正常以后将合并配置关闭（合并配置关闭：kafka开始正常消费）2、观察并确认实时数据是否正常落入Hbase3、观察并确认接口查询出的变量结果是否正常4、通知上游上线完成并组织验收
上线日
处理T日累积数据
0 条评论
下一页
