AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
数仓中拉链表的形成过程
2020-12-07 13:48:15
1
举报
分享方式
使用 (￥5)
数仓中拉链表的形成过程
数仓建设
Hive 大数据
模板推荐
作者其他创作
大纲/内容
临时表
1. Sqoop脚本每天事务性地增量导入
业务的第一天
orders表
HQL增量导入到ods层的表
2. 增量 modifiedTime = currDate1插入到对应分区中
dw_orders_his_tmp临时历史拉链表非分区表
ods
3. 把 currDate1 的数据导入到拉链表中start_date = create_timeend_date = 9999-12-31
ods_order_incday的分区表
mysql中的orders表
2. 增量 modifiedTime = currDate2插入到对应分区中
4. 临时最新拉链表 复写到 历史拉链表中去
dw_orders_his历史拉链表非分区表
业务的第二天
azkaban 每天0点30调用shell脚本 通过 执行HQl 和 sqoop 导入1. sqoop - mysql 增量数据 导入临时表2. hql - ods层增量分区数据导入 3. hql - dw层 拉链临时表4. hql - dw层 最新拉链表
3. 历史拉链表 left jion 最新增量表 使用case when + union all 将拉链结果写入最新的的临时拉链表中
收藏
立即使用
数仓中拉链表的形成过程
gogo
职业：暂无
去主页
Collect
Get Started
2-11 基于工作的MBO日标形成的程序
Collect
Get Started
简易数仓方案
Collect
Get Started
销售目标形成及分解
Collect
Get Started
数智化转型三个阶段
评论
0
条评论
下一页
Document
