数据仓库理论
2022-06-23 13:57:00 62 举报AI智能生成
数据仓库理论
作者其他创作
大纲/内容
范式建模
星型模型
雪花模型
星座模型
1、雪花模型在维度表、事实表之间的连接很多，因此性能方面会比星型模型低。
2、雪花模型使用的是规范化数据。其维度层级和维度信息都存储在数据模型之中。星形模型是反规范化数据，数据存在冗余，维度直接关联事实表，性能较好。
3、雪花模型在设计上更加复杂，ETL较复杂且不能并行化。星形模型不需要添加附属维度层级，ETL相对简单，可以实现高度的并行化。
总结：
维度建模
数仓建模
电池画像
BI报表
数据挖掘
人工智能
应用
数据血缘
元数据管理
数据质量监控
整体理解业务
主动发现问题
快速定位原因
意义
是什么
GVM
Object（目标）
提高资产利用率
提高新用户规模
提高复购比例
...
Strategy（策略）
柜效比
新增用户数
用户复购率
Measure（度量）
OSM模型
不可拆分的指标
用户数
电池数
原子指标
原子指标+修饰词
GMV+地区 = 上海GMV
电池数+状态=返厂电池数
用户数+时间=一周内新增用户
衍生指标
衍生指标+计算逻辑
GMV同比/环比
财务柜效
派生指标
指标分类
指标体系
数仓管理
span style=\
按照部门划分
按照业务划分
按照系统划分
面向主题
集成性
稳定性
反映历史变化
定义
实时监控预警机制，例如表结构的同步。
分析重点监控对象
通知业务将重点表的变更进行实时通知
重点关注某几类业务，例如风控，财务。
复杂问题简单化
便于理解
空间换时间，减少重复开发
数据之间解耦合
ods（operation data store）：原始数据层
dim（public dimension）：公共维度层
dwd（data warehouse detail）：明细数据层
dws（data warehouse service）：数据汇总层
ads（application data store）：数据应用层
分层
调研
销售域
运营域
划分主题域
dim
dwd
构建明细模型
dws
ads
构建汇总模型
抽取
转换
清洗
加载
ETL实现
用户画像
数仓应用
验证
反馈
优化
验证/优化
构建流程
数仓理论
0 条评论
回复 删除
下一页
