分层
ODS(Operational Data Store-操作存储数据层)
是最接近数据源中数据的一层,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可
DWD(Date Warehouse Detail-数据明细层)
从 ODS 层中获得的数据按照主题建立各种数据模型
DWM(Date Warehouse Middle-数据中间层)
该层会在 DWD 层的数据基础上,数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。
DWS(Date Warehouse Service-数据服务聚合层)
DWS 层为公共汇总层,会进行轻度汇总,粒度比明细数据稍粗,基于 DWD 层上的基础数据,整合汇总成分析某一个主题域的服务数据,一般称为宽表
DIM(Dictionary Data Layer-维表层)
一些维度属性表,从哪些角度可以分析数据
APP(应用层)
主要是提供给数据产品和数据分析使用的数据,一般会存放在 ES、 PostgreSql、Redis 等系统中供线上系统使用,也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用
模式
星型
一个事实表,多个维度表
星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样
雪花
一个事实表,维度表有依赖的维度表
雪花模式的维度表可以拥有其他维度表的
星座
多个事实表,公用维度表
星座模式是基于多张事实表的,而且共享维度信息