AI
推荐
模板社区
专题
登录
免费注册
首页
思维导图
详情
考务清洗模块
2024-01-20 19:37:57
0
举报
分享方式
免费使用
AI智能生成
考务清洗模块
清洗
模板推荐
作者其他创作
大纲/内容
原始数据
数仓基础
ods
卫考分区表
历史维度表
事实表
护考分区表
dwd
dws
ads
整理维度
建立标准维度编码
1.使用国家标准表
dimension_codes
2.使用历史标准
sys_code
历史去重得到标准编码code
基于ods清洗历史编码
1.历史编码表organtion
方法1:省市区python匹配清洗,根据省市区的值进行清洗
方法2:hive udf函数清洗
2.历史编码表sys_code
对比标准码清洗,清洗后包含新旧编码,存储临时表
业务逻辑报名库
事实表 全量分区匹配,加上分区字段标识年月
关联旧编码和新编码,更新标准编码存储
将清洗后编码插入到新维度编码表
收藏
立即使用
考务清洗模块
yanke312090307
职业:暂无
去主页
Collect
Get Started
运算模块
Collect
Get Started
整体模块
Collect
Get Started
模块绑定
Collect
Get Started
文章模块
评论
0
条评论
下一页
图形选择
思维导图
主题
补充说明
AI生成
修改AI描述
去编辑
重新生成
提示
关闭后当前内容将不会保存,是否继续?
取消
确定
Document