大数据数据指标治理流程

举例

整理需求

DWT

API管控

指标所属业务板块

数据字典架构逻辑

组织评审

原子指标

测试结果

原子指标的可派生维度

DWD

指标可分析维度

通过X呗的支付金额

根据业务口径测试数据

开始

输出中枢

测试

输入需求

后端&数仓

业务流程

后端、数仓

指标所属业务过程

订单ID订单创建时间

不通过

ODS

SQL组装

字典中心

支付方式-X呗

录入原子指标派生指标可分析属性可派生维度的相应业务口径

支付金额

数据指标录入逻辑

DIM

绑定

购入商品

指标ID

业务方

SQL

研发

数据指标治理逻辑

可分析维度和属性

电商业务

数据

支付金额的所在订单

ODS（Operation Data Store）是原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。DWD（Data Warehouse Detail）是明细数据层，以ODS为基础，对原始数据进行清洗（去除空值、脏数据、超过极限范围的数据）等操作。DWT（Data Warehouse Topic）是数据主题层，以DWD为基础，按主题建模，圈定分析范围，计算出该主题的各种指标。是一种通过标签化业务逻辑来简化数据查询和筛选的数据组织方式。它能够提高数据仓库的查询效率和灵活性，降低数据维护的难度和成本。使用者只需要关注每个标签的对应含义并用标签作为过滤条件即可获取指定明细，无需编写复杂的业务逻辑

维度

结束

提测

录入原子指标派生指标可分析属性可派生维度的相应数据口径

派生指标

通过

OLAP服务

产品经理

交易域

指标结果

指标可分析属性