数仓规范
2021-01-18 09:13:04 0 举报AI智能生成
登录查看完整内容
数仓建设中会涉及到的规范
作者其他创作
大纲/内容
开发
ii层增量识别层
增量识别
数据备份
数据接入
线下数据
EXCEL数据接入工具
线上数据
DATAX+AWS
ods层可操作数据存储层，数据清洗、转换、加工、处理
拉链数据/全量数据
tmp层构建
脚本中不用create
dws层数据集市层
注释/伪代码
实体表、事实表、维度表、大宽表
app层预警表
dim层维度和码表
配置预警映射规范
bak层数据备份层
ii层数据按日期分区备份
发布
function逻辑性，按业务模块来
function注释
ETL自动调度，AWS GLUE ETL
数仓开发规范
需求/设计
指标梳理
业务逻辑梳理
源数据梳理
维度建模
测试
开发脚本留存
回滚数据逻辑
封装function规范
0 条评论
回复 删除
下一页
