数仓中拉链表的形成过程
2020-12-07 13:48:15 1 举报数仓中拉链表的形成过程
作者其他创作
大纲/内容
临时表
1. Sqoop脚本每天事务性地增量导入
业务的第一天
orders表
HQL增量导入到ods层的表
2. 增量 modifiedTime = currDate1插入到对应分区中
dw_orders_his_tmp临时历史拉链表非分区表
ods
3. 把 currDate1 的数据导入到拉链表中start_date = create_timeend_date = 9999-12-31
ods_order_incday的分区表
mysql中的orders表
2. 增量 modifiedTime = currDate2插入到对应分区中
4. 临时最新拉链表 复写到 历史拉链表中去
dw_orders_his历史拉链表非分区表
业务的第二天
azkaban 每天0点30调用shell脚本 通过 执行HQl 和 sqoop 导入1. sqoop - mysql 增量数据 导入临时表2. hql - ods层增量分区数据导入 3. hql - dw层 拉链临时表4. hql - dw层 最新拉链表
3. 历史拉链表 left jion 最新增量表 使用case when + union all 将拉链结果写入最新的的临时拉链表中
收藏
0 条评论
下一页
