一本书讲透数据治理
2025-03-16 12:57:31 7 举报AI智能生成
《一本书讲透数据治理》学习笔记，脑图方式记录。
作者其他创作
大纲/内容
关于数据治理的定义
DAMA
国际数据管理协会
数据治理是对数据资产管理行使权力和控制的活动集合
DGI
国际数据治理研究所
数据治理是一个通过一系列与信息相关的过程来实现决策权与职责分工的系统，<br>这些过程按照达成共识的模型来执行，该模型描述了谁（Who）能根据什么信<br>息，在什么时间（When）和情况（Where）下，用什么方法（How），采取<br>什么行动（What）。
国家标准
GB/T 34960.5-2018 信息技术服务 治理 第5部分数据治理规范
作者
所有为提高数据质量而开展的技术、业务和管理活动都属于数据治理范畴。
数据治理的最终目标是提升数据利用率和数据价值，通过有效的数据资源管控手<br>段，实现数据的看得见、找得到、管得住、用得好，提升数据治理和数据价值。<br>
数据治理是企业实现数字化转型的基础
数据治理是企业的顶层策略、管理体系、技术体系
涵盖战略、组织、文化、方法、制度、流程、技术和工具等多方面内容
数据治理相关术语和名词
1、数据元
名词解释：国标【GB/T18391.1-2002】定义为：用一组属性描述定义，标识，表示和允许值的数据单元。
GB/T18391.1-2002 信息技术 数据元的规范于标准化
GB/T18391 信息技术 元数据注册系统
组成：对象、特性、表示
是组成实体数据的最小单元，或称原子数据
例如：手机号为数据元，具体的一个手机号码则是数据元的值；性别为数据元，男、女是数据元的值
主要作用
作为最小粒度的数据，数据元是对数据进行标准化定义的基础
是构建统一、集成、稳定的行业数据模型的基础
是需要标准化的对象
一个数据元对象有且只有一个数据特性，每个数据特性对应一个数据表示
例如：人员性别中的“男”是一个数据元对象，用数字1表示
2、元数据
名词解释：是描述数据的数据，或者是关于数据的结构化数据
例如：一本书的封面和目录展示了以下元数据信息
图书名称
作者姓名
出版商
版权
提纲
标题
页码
主要作用：在数据治理中，元数据是对数据的描述，存储着数据的描述信息。<br>我们可以通过元数据管理和检索我们想要的书。元数据通过对数据进行描述<br>让数据更容易理解、查找、管理和使用
元数据是建设数据仓库的基础
是构建企业数据资源全景视图的基础
清晰的血缘分析、影响分析、差异分析、关联分析、指标一致性分析师数据资产管理的重要一环
举例：如果说数据是物料，元数据就是仓库里的物料卡片；<br>如果说数据时文件夹，元数据就是夹子的标签；<br>如果说数据是书，元数据就是图书馆里的图书卡；
3、主数据
名词解释：主数据是企业内需要在多个部门、多个信息系统之间共享的数据。<br>与记录业务活动、波动较大的交易数据相比，主数据（也叫“基准数据”）<br>变化较慢。只有得到正确维护，才能保障业务系统的参照完整性
三大特征
高价值、高共享性、相对稳定性
四个超越
超越业务、超越部门、超越系统、超越技术
主要作用：在数据治理中，主数据用来解决企业异构系统之间核心数据不一致、不正确、<br>不完整等问题。是信息系统建设和大数据分析的基础，是企业数字化转型的基石
4、业务数据
名词解释：业务数据是业务活动过程或系统自动产生的既定事实的数据，也称交易数据。
业务数据来源
业务交易过程中产生的数据
计划单、销售单、生产单、采购单
系统产生的数据
硬件允许状况、软件运行状况、资源消耗状况
自动化设备产生的数据
业务数据的特点：时效性强、数据量大
主要作用:面向应用，为业务应用提供服务
例如：生产、销售、采购、设备管理、系统管理
5、主题数据
名词解释：主题数据是根据数据分析的需要，按照业务主题对数据所做的一种组织和管理方式，<br>本质是为了进行面向主题的分析或加速主题应用的数据。
主题数据是分析型数据，是按照一定的业务主题域进行组织的，<br>服务于人们在决策时所关心的重点方面。
主题数据可以由多个主数据和交易数据组成
主题数据一般是汇总的、不可更新的、用于读的数据
主要作用：按照一定的业务主题域组织的，服务于各种数据分析或应用开发。
应用举例
主题数据与行业或领域有较大的关系，不同企业有不同的主题数据定义
例如某企业定义了12大主题数据：财务管理、人力资源、生产管理、工艺管理、库存管理、设备管理、安全环保
6、数据仓库
名词解释：是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
数据仓库是数据库的一种概念上的升级
是为了满足新需求而设计的一种新数据库，可容纳更庞大的数据集
本质上，数据仓库与数据库没有区别
主要作用：是为企业所有级别的决策制定过程提供所有类型数据支撑的战略集合
1）数据仓库是对企业数据的汇聚和集成，来源于不同的业务处理系统
2）数据仓库支持多维分析。
多维分析通过把一个实体的属性定义成维度，是用户能方便的从多个维度汇总、计算数据，<br>增强用户的数据分析和处理能力。
通过对不同维度数据的比较和分析，用户的数据处理能力得到提升
3）数据仓库是数据挖掘技术的关键和基础
企业数据治理体系的内涵
三个重要关系
数据治理
数据管理
数据管控
三者之间的关系
数据治理--》指导和指引--》数据管理--》指导和指引--》数据管控
数据治理《--执行和反馈《--数据管理《--执行和反馈《--数据管控
数据治理
金字塔的最顶层是数据治理
与国家治理、公司治理相类似，治理是一种自顶向下的策略或活动
是企业顶层设计、战略规划方面的内容
是数据管理活动的总纲和指导
指明数据管理过程中有哪些决策要制定、有谁负责、更强调组织模式、职责分工和标准规范
数据管理
是为实现数据和信息资产价值的获取、控制、保护、交付及提升、对<br>政策、实践和项目所做的计划、执行和监督
是执行和落实数据治理策略并在过程中给予反馈，强调管理流程和制度，<br>涵盖不同的管理领域（元数据管理、主数据管理、数据标准管理、数据<br>质量管理、数据安全管理、数据服务管理、数据集成等）<br>
数据管控
侧重执行层面，是具体落地执行所涉及的各种措施。（<br>数据建模、数据抽取、数据处理、数据加工、数据分析等）<br>
数据管控的目的是确保数据被管理和监控，从而让数据得到更好的利用
总结
数据治理强调顶层的策略
数据管理侧重流程和机制
数据管控侧重具体措施和手段
三者相辅相成
企业的认知
企业越来越意识到传统IT驱动或者说技驱动的专项数据管理项目在实施过程中很难推进，<br>并且很难解决业务和管理上用数难的问题。
从战略、组织入手的数据治理顶层设计更有利于实现数据管理的目标
企业数据治理的9个要素
Gartner研究显示：在实施数据治理的企业中，34%的数据治理处于良性建设阶段<br>近50%的数据治理并未取得理想的效果，仅16%的企业数据治理效果显著，处于领先
影响数据治理建设成效的9个因素
数据战略
说重视数据的多，能规划出目标、范围、实施路径并具备可执行数据战略的企业很少
企业数据战略应当与业务战略保持一致，指明数据治理的方向
组织机制
工业时代 “火车跑得快，全靠车头带”
数字时代 “动力分散在各节车厢的高铁”
企业要进行组织机制转型，追求精简和灵活，明确各部门在企业数据治理中的角色<br>定位、职责和分工，满足企业数据治理组织建设的要求
数据文化
是企业所有人员对数据价值的一致认同
表现在：用数据说话，用数据管理，用数据决策，用数据创新
管理流程
数据治理的目标是提升数据质量，让数据源于业务，回馈业务
数据治理应当与企业的业务流程进行深度融合，通过优化业务流程，实现业务效率提升，创造数据价值
应当见数据治理作为一项为企业创造价值的重要业务，而不只是一项支撑性的工作
管理制度
数据治理不理想的企业共同特点：要么没有建立起数据治理相应的管理流程和制度，<br>要么制度流于形式，没有得到很好的贯彻执行
数据
数据缺乏统一的数据标准，信息孤岛问题严重，碎片化的数据在信息系统的数据库中“沉睡”
人才
是企业数字化转型的核心动力
企业存在用人机制的限制，减少了引入人才的机会
技术
传统数据治理更多的是“头痛医头，脚痛医脚”的局部治理<br>数据治理只在某些项目或部门中进行，缺乏对数据标准的整<br>体规划，不能全面展开，无法为企业带来价值<br>
要让数据治理发挥价值，必须战略使用数据治理技术，将数据治理贯穿于数据的<br>“采、存、管、用”整个生命周期中。
数据治理技术包括：数据建模、数据标准、数据质量、数据安全、数据集成、数据处理、数据使用等
工具
包含：数据管理系统、数据标准化管理系统、数据清洗与加工工具、数据质量管理系统、数据安全管理系统、数据集成与共享系统
0 条评论
下一页
