数据治理
2022-04-01 16:41:51 81 举报
AI智能生成
登录查看完整内容
数据治理是一种组织和管理企业数据的方法,旨在确保数据的质量和一致性。它涉及到对数据的收集、存储、处理和使用进行规范和控制,以确保数据的准确性、完整性和安全性。数据治理包括制定数据政策、标准和流程,建立数据管理团队,实施数据质量控制措施,以及监控和审计数据使用情况。通过有效的数据治理,企业可以提高决策质量,降低风险,提高效率,并实现更好的业务成果。
作者其他创作
大纲/内容
数据源管理
基于平台提供的统一数据标准进行数据单元整理(表字段规范)
数据元管理
基于平台的数据源进行字段的长度、类型、值域等的规范管理
元数据管理
结合不同机构实际情况进行标准数据模型下发
通过数据源进行数据表生成
根据平台数据元和元数据生成标准的数据模型
平台标准数据模型管理
数据标准管理
基础管理
枚举类型的校验可自定义值域
为规则配置提供值域条件
国标、行业标准、术语、值域管理
字典管理
区域、机构、科室、医护、患者信息管理等
主数据管理
数据长度、类型、非空、唯一、配置
通用规则配置
指定字段和规则和前置条件
值域代码设定
针对数据表进行上传及时性要求设定
及时性设定
设定表与表之间的业务关联性和前置条件
关联性设定
提供质控报告评分基础
各指标权重设置
通过标准数据模型进行规则设定
数据是否正确采集的依据
核心指标报告和机构报告对比
业务规则一致性设定
表行数对比
波动率监测规则设定
规则管理
报告下发通知数据整改
产出质控日报告
提供给监管机构
产出质控月报
机构数据质量排行榜
数据量监控
采集任务运行时长
数据质量趋势
数据波动监控
日志分析
数据质控系统
中心云
采集校验通过的数据存入数据湖中
数据入湖
选定对应资产下的数据表
设定数据资产目录
资产归类
资产评估
表基本明细信息(表结构)
数据预览(抽样查看表的具体数据信息)
数据来源
加工方式
映射关系
数据血缘数据的产生逻辑数据的使用逻辑业务的关联关系
数据表
选定资产目录
数据资产地图
数据湖
数据轻度汇总和融合,为DWS维表提供数据依据
DWD
生成目标业务或不同维度指标的聚合、汇总数据
DWS/B
CDM
提供个性化维度汇总,计算只有自身业务才会关注的维度和指标
ADS
数据仓 DW
数据安全
数据中台
前提:源和目标数据库均是标准数据模型的表结构
选定数据源管理中的源数据库和目标数据库
自动进行字段映射(字段名须符合标准数据模型)
结合平台标准数据模型管理进行数据采集作业配置
触发探知标记自动执行采集作业
探知对应源数据库中待采集的数据
试跑报告
数据取样试跑
数据采集管理
记录校验日志;成功记录数,失败数,失败原因详情
依据规则管理进行数据校验
避免重复采集的判断条件
已采集数据状态回写
数据校验管理
校验日志上传中心日志存储库
数据日志上传管理
边缘云ODS
是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,也就说传说中的 ETL 之后,装入本层。
ODS数据运营层
数据仓库明细层数据(日汇、轻度汇总)
数据仓库维度汇总结构化数据(维表、指标数据的来源)
DWS
DW 数据仓库层
面向应用的数据服务层,提供数据产品使用的结果数据
通用数据模型
应用层展示的数据,根据业务需要由前3层数据统计而出的结果
APP数据运营层
数据血缘即数据的来龙去脉,主要包含数据的来源、数据的加工方式、映射关系以及数据出口。数据血缘属于元数据的一部分,清晰的数据血缘是数据平台维持稳定的基础,更有利于数据变更影响分析以及数据问题排查。
数据血缘
数据治理前置机采集模式
0 条评论
回复 删除
下一页