建模流程
总线矩阵构建
是什么 --行是业务过程,列是公共维度(一致性维度),组成的矩阵<br>
事实与维度的交叉点,确定能从哪些维度分析哪些事实
明确统计指标
规范定义
表命名规范<br>
索引命名规范<br>
分区命名规范
存储过程命名规范
调度作业命名规范
文档规范
脚本开发规范
流程规范
指标命名规范
模型设计
建模过程
选择业务过程
声明粒度
确认维度
确认事实
分层
ODS(Operational Data Store-操作存储数据层<br>
是最接近数据源中数据的一层,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可
DWD(Date Warehouse Detail-数据明细层
从 ODS 层中获得的数据按照主题建立各种数据模型
DWM(Date Warehouse iddle-数据中间层
该层会在 DWD 层的数据基础上,数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。
DWS(Date Warehouse Service-数据服务聚合层
DWS 层为公共汇总层,会进行轻度汇总,粒度比明细数据稍粗,基于 DWD 层上的基础数据,整合汇总成分析某一个主题域的服务数据,一般称为宽表
DIM(Dictionary Data Layer-维表层)
一些维度属性表,从哪些角度可以分析数据
APP(应用层)
主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、PostgreSq1、Redis 等系统中供线上系统使用,也可能会存在 Hive 或者 Drid 中供数据分析和数据挖
模式
星型
一个事实表,多个维度表<br>
星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样
雪花
一个事实表,维度表有依赖的维度表
雪花模式的维度表可以拥有其他维度表的
星座
多个事实表,公用维度表<br>
星座模式是基于多张事实表的,而且共享维度信息