数据体系建设
分层
贴源数据层ODS(只做简单的整合,不做加工)
表设计
一般命名ODS_系统简称_业务表前缀
字段保持和业务一致
保留增量和全量两种表
对于半结构化的数据不要存储原来的数据,需要做结构化处理
标签体系层(面向对象的建模,对跨业务板块,跨数据与的特定的对象的数据进行整合)
应用数据层(主要是通过抽取下面的数据形成业务需求的特定数据)
建模方式
数据域划分
指标定义
维度表的设计
事实表的设计
标签
标签设计的注意事项:标签只有一条记录,一个取值
数据治理
数据标准分类
业务数据标准
参考数据和主数据标准
参考数据
将其他数据进行分类或目录整编的数据,可以理解为数据字典 ,如性别,国家等
主数据
组织中需要跨系统,跨部门共享的核心业务数据,如共享的客户,商品等
数据元标准
是用一组属性描述其定义和标识,表示和允许值的数据单元
指标数据标准
指标名称
指标解释
时间限定
指标数值
不同行业对于数据的需求
大金融(银行,保险,证券,互金)
业务强依赖于数据,对数据中台有真实的强需求<br>
基本都有自己的数仓和垂直数据应用,有完善的技术团队
自主可控,对于中台的服务商要求较高
公共安全
业务的专业性要求比较高,对于数据服务商的资质要求较高
对于数据要强需求,数据中台和数据治理可以提上日程
零售
处于统计分析向决策支撑阶段
一般都是多端多渠道,包含门店,APP,小程序,服务号,电商等渠道
对多渠道的数据整合具有较强的需求,需要数据中台的能力做支撑
大多看中短期收益,不注重建设完整的数据中台的能力
地产
业务迫切,市场从黄金期进入到白银期,增量市场有限
数据整合需求:多业态的发展,需要数据整合能力
信息化基础
业务配合:业务部门具有较强的话语权,数据中体需要加强技术部门话语权
工业制造:
具有较好的数据基础:5G,物联网等
场景清晰
采集困难:工控软件不开放数据
数据模型的建设
数据概念模型
面向用户的,面向客观世界的模型,主要用来描述客观世界的概念化结构
逻辑数据模型
已概念模型为基础,根据业务线,业务事项,业务流程,业务场景的需要,设计的面向业务的模型
物理数据模型
面向计算机底层的,描述数据在储存介质上的结构