

首页  思维导图  详情



数据治理-数据资产管理（8大工具）

2021-11-16 14:08:13   0  举报





AI智能生成

数据资产管理文件解读

数据资产

数据治理

数据价值

模版推荐

作者其他创作

大纲/内容

数据资产

政务领域要求

数据资源目录

背景

数据是资产的概念已经成为行业共识，挑战三点

首先，大部分企业和政府部门的数据基础薄弱，存在数据标准混乱、数据质量层次不齐、各条块之间数据孤岛化严重等现象 阻碍了数据的共享应用

大数据基础弱，标准、质量、数据孤岛问题较多

其次，受限于数据规范和数据源种类的丰富程度，多数企业的数据应用刚起步，主要集中在精准营销，舆情感知和风险控制等有限场景，应用深度不够，应用空间亟待开拓

应用程度不够，主要精力还是服务业务

再次，数据价值很难评估，企业难以对数据的成本以及对业务的贡献进行评价，从而难以像运营有形资产一样管理数据资产

价值难以评估，对业务贡献未知。要做好价值评估！

一、数据资产概述

数据资产和企业有形资产一样，需要进行精细化管理、价值挖掘和持续运营

概念：对数据进行全生命周期的资产化管理  采集、存储、应用和销毁

对内增值、对外增效  精细化管理

数据管理体系

数据架构、数据模型与设计、数据存储与操作、数据安全、数据集成与互操作性、文件和内容、参考数据和主数据、数据仓库和商务智能、元数据、数据质量

数据价值难以有效发挥的原因

1.缺乏统一数据视图无法感知数据的分布与更新情况，无法快速找到符合自己需求的数据，无法发现和识别有价值的数据并纳入数据资产

主数据管理？ 统计？挖掘？

数据的价值>业务还原反哺业务发展

2.数据孤岛普遍存在  原因是技术、标准和管理制度，阻碍业务系统之间的数据共享，降低资源利用率和数据可得性

3.数据质量低下数据资产发挥越来越大的价值，前提是数据质量的不断提升 不良的数据质量会额外花费15%-25%的成本

4.缺乏安全的数据环境

5.数据价值管理体系

数据价值评估、数据成本管理等

对数据服务和数据应用缺乏合规性的指导

数据资产管理是充分发挥数据价值的必经之路

解决释放数据价值过程中面临的诸多问题，以体系化的方式实现数据的可得、可用、好用，较小的数据成本获得较大数据收益

1.全面掌握数据资产现状，形成数据地图（数据资产盘点）帮助业务人员查找、帮助数据开发或使用者了解数据。

2.提升数据质量  数据质量监控体系，设计数据质量稽核规则，加强从源头控制数据质量，覆盖数据全生命周期管理。实现优质资产转变

3.实现数据互联互通  统一的 制定统一的数据标准，建立数据共享制度，完善数据登记、数据申请、数据审批、 数据传输、数据使用等数据共享相关流程规范

4.提高数据获取效率 

5.保障数据安全合规

6.数据价值持续释放

数据资产管理现状与发展

1.数据管理对象变化  数据量增大、数据格式多样、数据来源扩展（内、外、第三方）、实时数据

2.处理架构更新换代>云平台、分布式系统计算&存储混搭的数据处理架构支持跑批和实时数据以及灵活的业务需求 数据预处理 ETL>ELT  数据仓库>数据湖  先建模  原始数据建模分析

3.组织职能变迁  IT》数据管理

4.管理手段自动职能

5.应用范围不断扩大

二、数据资产实践的主要内容

1.数据标准管理

保障内外部使用和交换的一致性和准确性的规范性约束

基础类数据标准

括参考数据和主数据标准、逻辑数据模型 标准、物理数据模型标准、元数据标准、公共代码和编码标准等

指标类数据标准

基础指标标准和计算指标（又称组合指标）标 准。基础指标一般不含维度信息，且具有特定业务和经济含义，计算 指标通常由两个以上基础指标计算得出。

数据标准三要素

标准分类、标准信息项（标准内容） 和相关公共代码和编码（如国标、行标等）。

关键活动 理解数据标准化需求；构建数据标准体系和规范； 规划制定数据标准化的实施路线和方案； 制定数据标准管理办法和实施流程要求； 建设数据标准管理工具，推动数据标准的执行落地； 评估数据标准化工作的开展情况。

目标：数据标准管理的目标是通过统一的数据标准制定和发布，结合制 度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效 性、一致性、规范性，推动数据的共享开放，构建统一的数据资产地 图，为数据资产管理活动提供参考依据

2.数据模型管理

数据模型是现实世界数据特征的抽象，用于描述一组数据的概念 和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和 约束条件。

数据模型所描述的内容有三部分：数据结构、数据操作（其 中 ER 图数据模型中无数据操作）和数据约束

数据模型管理包括对数据模型的设计、数据 模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等

 定义和分析企业数据需求；  定义标准化的业务用语、单词、域、编码等；  设计标准化数据模型，遵循数据设计规范；  制定数据模型管理办法和实施流程要求；  建设数据模型管理工具，统一管控企业数据模型。

目标：数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数 据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理 可以清楚地表达企业内部各种业务主体之间的数据相关性，使不同部 门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务 数据的统一完整视图

3.元数据管理（融合）

技术元数据

描述数据系统中技术领域相关 概念、关系和规则的数据；包括数据平台内对象和数据结构的定义、 源数据到目的数据的映射、数据转换的描述等

业务元数据

描述数据系统中业务领域相关 概念、关系和规则的数据；包括业务术语、信息分类、指标、统计口 径等

管理元数据

描述数据系统中管理领域相关概念、关系、规则的数据，主要包括人员角色、岗位职责、管理 流程等信息。

元数据管理的内容可以从以下六个角度进行概括

“向前看”： “我”是谁加工出来的；

向后看”：“我”又支持了谁的加工；

“看历史”：过去的“我”长什么样子；

看本体”：“我”的定义和格式是什么；

“向上看”：“我”的父节点是谁；

“向下看”：“我”的子节点是谁

关键活动

 理解企业元数据管理需求；  开发和维护元数据标准；  建设元数据管理工具；  创建、采集、整合元数据；  管理元数据存储库；  分发和使用元数据；  元数据分析（血缘分析、影响分析、数据地图等）。

元数据管理内容描述了数据在使用流程中的信息，通过血缘分析 可以实现关键信息的追踪和记录，影响分析帮助了解分析对象的下游 数据信息，快速掌握元数据变更可能造成的影响，有效评估变化该元 数据带来的风险，逐渐成为数据资产管理发展的关键驱动力。

4.主数据管理（融合）

主数据（Master Data）是指用来描述企业核心业务实体的数据， 是企业核心业务对象、交易业务的执行主体。是在整个价值链上被重 复、共享应用于多个业务流程的、跨越各个业务部门和系统的、高价 值的基础数据，是各业务应用和各系统之间进行数据交互的基础。从 业务角度，主数据是相对“固定”的，变化缓慢。主数据是企业信息系 统的神经中枢，是业务运行和决策分析的基础。例如供应商、客户、 企业组织机构和员工、产品、渠道、科目 COA、BOM 等

关键活动

 理解主数据的整合需求；融合需求？  识别主数据的来源；最可信来源？  定义和维护数据整合架构；融合方案？  实施主数据解决方案；  定义和维护数据匹配规则；具体业务融合规则？  根据业务规则和数据质量标准对收集到的主数据进 行加工清理；  建立主数据创建、变更的流程审批机制；  实现各个关联系统与主数据存储库数据同步；统一主数据UIM？  方便修改、监控、更新关联系统主数据变化。数据监控？

目标或价值：主数据管理通过对主数据值进行控制，使得企业可以跨系统的使 用一致的和共享的主数据，提供来自权威数据源的协调一致的高质量 主数据，降低成本和复杂度，从而支撑跨部门、跨系统数据融合应用

5.数据质量管理

数据质量是保证数据应用效果的基础

几个典型的指标有：完整性（数据是否缺失）、规范性（数据 是否按照要求的规则存储）、一致性（数据的值是否存在信息含义上 的冲突）、准确性（数据是否错误）、唯一性（数据是否是重复的）、时 效性（数据是否按照时间的要求进行上传）

数据质量是描述数据价值含量的指标，就像铁矿石的质量，矿石的质量高，则炼出来的钢材 就会多；反之，矿石的质量低，不但练出来的钢材少了，同时也增加了提炼的成本。

子主题

数据质量管理是指运用相关技术来衡量、提高和确保数据质量的 规划、实施与控制等一系列活动

关键活动

 开发和提升数据质量意识；  定义数据质量需求；  剖析、分析和评估数据质量；  定义数据质量测量指标；  定义数据质量业务规则；  测试和验证数据质量需求；  确定与评估数据质量服务水平；  持续测量和监控数据质量；  管理数据质量问题；  分析产生数据质量问题的根本原因；  制定数据质量改善方案；  清洗和纠正数据质量缺陷；  设计并实施数据质量管理工具；  监控数据质量管理操作程序和绩效。

目的或价值

通过开展数据质量管理工作，企业可以获得干净、结构清晰的数 据，是企业开发大数据产品、提供对外数据服务、发挥大数据价值的 必要前提，也是企业开展数据资产管理的重要目标。

6.数据安全管理

数据安全管理是指对数据设定安全等级，按照相应国家/组织相 关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度 规范、进行数据安全分级分类，完善数据安全管理相关技术规范，保 证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据 安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确 认、授权、访问与审计等功能。

关键活动

 理解数据安全需求及监管要求；  定义数据安全策略；  定义数据安全标准；  定义数据安全控制及措施；  管理用户、密码和用户组成员；  管理数据访问视图与权限；  监控用户身份认证和访问行为；  定义数据安全强度，划分信息等级；  部署数据安全防控系统或工具；  审计数据安全

目标或价值

数据安全管理的目标是建立完善的体系化的安全策略措施，全方 位进行安全管控，通过多种手段确保数据资产在“存、管、用”等各个 环节中的安全，做到“事前可管、事中可控、事后可查”。

7.数据价值管理（新）

概念

数据价值管理是对数据内在价值的度量，可以从数据成本和数据 应用价值两方面来开展

数据成本一般包括采集、存储和计算的费用（人工费用、IT 设备等直接费用和间接费用等）和运维费用（业务操 作费、技术操作费等）

子主题

进行数据价值管理的关键性活动包括：  确定企业数据集成度水平；  确定企业数据的应用场景；  确定数据存储、计算和运维的成本预算；  明确数据成本和收益的具体计量指标；  计算数据在不同应用场景下的成本和收益；  计算企业数据资产的总体成本和收益；  制定数据成本优化方案和提升数据增值方案；  审核、改进方案。

8.数据共享管理（新）

数据共享管理主要是指开展数据共享和交换，实现数据内外部价 值的一系列活动

数据共享管理包括数据内部共享（企业内部跨组织、 部门的数据交换）、外部流通（企业之间的数据交换）、对外开放

数据内部共享的关键步骤是打通企业内部各部门间的数据共享瓶颈，建 立统一规范的数据标准与数据共享制度

数据外部流通和对外开放可以通过数据直接交易与提供数据分析信息的两种方式实现，将数据中 符合共享开放层级的信息作为应用商品，以合规安全的形式完成共享交换或开放发布

数据资产运营流通职能的服务对象 包括了数据提供者、数据消费者、数据服务者和数据运营者四类角色

数据共享管理的关键活动包括：  定义数据资产内部共享和运营流通监控指标；  设计数据资产内部共享和运营流通管理方案；  制定数据资产内部共享和运营流通管理办法和实施流程要求；  监控数据资产内部共享和运营实施；  监督落实数据内部共享与外部流通等合规性管理要求；  分析内部共享与运营流通指标，评价运营效果并改进

重视数据资产管理、运营、流通可以为企业带来未来经济利益， 同时这也是数据保值增值的重要手段数据资产运营流通是使数据资 产流动和发挥价值的核心，它将推动数据价值创造模式的不断创新， 从根本上改变企业管理、社会管理和政府治理的发展趋势

总结：在数据资产管理的实践中，各项管理职能所涉及的管理内容之间往往存在着紧密的联系。数据资产管理的数据一般包括元数据、主数据和业务数据。数据模型管理为主数据、元数据和业务数据设计数据模型。数据质量管理按照数据标准的规定稽核各部分数据内容。元数据管理发挥承上启下的作用，承接数据标准管理和数据模型管理的阶段性成果，同时为主数据管理提供有力支撑。数据安全管理贯穿数据全生命周期，为数据资产管理各项管理职能提供了有力支撑。数据标准管理，顾名思义，就是定义数据模型、数据安全和数据质量相关规范，一般以文件形式呈现。

三、数据资产管理的具体措施

数据资产实施步骤

数据资产实践模式

成熟工具

数据资产管理相关的工具：比较成熟的工具有数据标准管理工具、数据模型管理工具、元数据管理工具、主数据管理工具、数据质量管理工具、数据安全管理工具和数据生命周期管理工具等七类工具

在大数据能力构建中，一般还要利用“数据集成工具”、“数据共享交换平台”等

8个对应工具的具体功能

1. 数据标准管理工具 数据标准制定及维护工具可以规范数据资产格式、命名的准确性和口径的一致性，该工具针对数据标准管理职能而开发，需具备以下基础功能：  标准生成：可按照业务领域、业务主题、信息分类、信息项等生成标准细则；  标准映射：可以将制定的标准与实际数据进行关联映射，即实现数据标准的落地执行，维护标准与元数据之间 的落地映射关系,包括元数据与数据标准的映射、元数据与数据质量的映射，以及数据标准和数据质量的映射，能提供在 线的手工映射配置功能，并能对映射结果做页面展示；  变更查询：是查询发布或废止的标准的变更轨迹；  映射查询：是查询标准项与元数据之间的落地情况并提供下载功能；  维护标准：是指对标准状态进行管理，包括增删改、审核、定版、发布、废止等；  标准版本查询：是指对发布状态的标准进行版本管理；  标准导出：是指按照当前系统中发布的最新标准或者选择版本来下载标准信息；  标准文档管理：指对标准相关说明文档或手册的管理，包括创建、修改、链接查询等。

2. 数据模型管理工具 针对企业在不同业务发展阶段建设的一个个竖井式系统，最大的挑战莫过于系统集成过程中数据模型的不一致，解决这个问题的唯一方法就是从全局入手，设计标准化数据模型，构建统一的数据模型管控体系，数据模型管理工具负责对企业数据模型的管理、比对、分析、展示提供技术支撑，需要提供统一、多系统、基于多团队并行协作的数据模型管理。解决企业数据模型管理分散，无统一的企业数据模型视图、数据模型无有效的管控过程，数据模型标准设计无法有效落地、数据模型设计与系统实现出现偏差等多种问题。该工具针对数据模型管理职能而开发，需具备以下基础功能：  数据模型设计：支持对于新建系统的正向建模能力，还应支持对原有系统的逆向工程能力，通过对数据模型进行 标准化设计，能够将数据模型与整个企业架构保持一致，从源头上提高企业数据的一致性；  模型差异稽核：提供数据模型与应用数据库之间自动数据模型审核、稽核对比能力，解决数据模型设计与实现 不一致而产生的“两张皮”现象，针对数据库表结构、关系等差别形成差异报告，辅助数据模型管理人员监控数据模型质量问题；提升数据模型设计和实施质量；  数据模型变更管控：支持数据模型变更管控过程，提供数据模型从设计、提交、评审、发布、实施到消亡的在 线、全过程、流程化变更管理。同时，实现各系统数据模型版本化管理，自动生成版本号、版本变更明细信息，可以辅助 数据模型管理人员管理不同版本的数据模型。通过工具可以简单回溯任意时间点的数据模型设计状态以及数据模型设计 变更的需求来由，实现各系统数据模型的有效管控和管治，强化用户对其数据模型的掌控能力；  模型可视化：支持将管理的数据模型 E-R 图（实体关系图）转换为图片、数据建模脚本（DDL）等可视化展示 形式，方便数据模型管理人员以全局视角监控系统中各类数据实体结构及实体间关系。

3. 元数据管理工具 元数据管理工具可以了解数据资产分布及产生过程，该工具针对元数据管理职能而开发，需具备以下基础功能：  元数据采集：能够适应异构环境，支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处 理系统到数据应用报表系统的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑，也可通过自动化的方式完成元数据采集，比如用户维护好数据源连接信息后，可以根据数据源的更新频 率，设定元数据同步周期，元数据管理会根据数据源的连接信息、同步周期以及开始时间，定时自动解析、获取、并更新 元数据信息，保证平台元数据信息的及时有效；  元数据识别：能够从本身不包含元数据信息的数据（比如非结构化数据）中提取特征，并以此识别元数据；  元数据分类：能够根据业务特点和管理需要，动态分类元数据，包括技术元数据、业务元数据和管理元数据等；  元数据展示：能够根据类别、类型等信息展示各个数据实体的信息及其分布情况，展示数据实体间的组合、依 赖关系，以及数据实体加工处理上下游的逻辑关系；  元数据应用：能够利用元数据发现数据之间的关联性，一般包括数据地图、数据血缘分析、影响分析、全链分析、热度分析等；  元数据搜索：可根据数据源库、类型等搜索元数据信息。

4. 主数据管理工具 数据管理工具用来定义、管理和共享企业主数据信息，可通过数据整合工具（如 ETL）或专门的主数据管理工具来实施主数据管理，具有企业级主数据存储、整合、清洗、监管以及分发等五大功能，并保证这些主数据在各个信息系统间的准确性、一致性、完整性。简单说来，存储、整合是数据的“入口”，分发为数据的“出口”，而中间的 清洗与监管将担负起数据质量提升的重要任务。该工具针对主数据管理职能而开发，需具备以下基础功能：  主数据存储、整合：实现主数据整合、清洗、校验、合并等功能，根据企业业务规则和企业数据质量标准对收集 到的主数据进行加工和处理，用于提取分散在各个支撑系统中的主数据集中到主数据存储库，合并和维护唯一、完整、 准确的主数据信息；  主数据管理：支持对企业主数据的操作维护，包括主数据申请与校验、审批、变更、冻结/解冻、发布、归档等全生命周期管理；  主数据分析：实现对主数据的变更情况监控，为主数据系统管理员提供对主数据进行分析、优化、统计、比较等功能；  主数据分发与共享：实现主数据对外查询和分发服务，前者用于在其它系统发出针对主数据实时响应类查询请求时，返回所需数据，后者则用于提供批量数据分发服务，一般采用企业服务总线（ESB 工具）实现方式。

5. 数据质量管理工具 数据质量管理工具从数据使用角度监控管理数据资产的质量，针对数据质量管理职能而开发，需具备以下基础功能：  质量需求管理：对数据使用过程中产生的问题进行收集、存储、分类并提供查询检索功能，为质量规则的制定提供依据；  规则设置：能够提供稽核规则设置功能，用于设置一个稽核规则应用于哪类数据；  规则校验：能够对所关注的数据执行数据质量规则的校验任务；  任务管理：能够提供稽核任务调度功能，指定稽核任务周期执行；  监控分析：对规则校验的结果进行监控和分析，校验结果能够定位到原始数据项；  质量报警：能够对质量问题及时进行报警，避免数据污染的发生，造成成本或业务损失；  报告生成：能够对校验结果的质量问题进行记录，积累形成问题知识库，并生成报告，在此基础上，能够根据检核结果，生成对问题数据的质量提高建议，并可直接操作修改数据。

6. 数据安全管理工具 数据安全管理工具是结合信息安全的技术手段保证数据资产使用和交换共享过程中的安全。数据管理人员开展数据安全管理，是指执行数据安全政策和措施，为数据和信息提供适当的认证、授权、访问和审计，以防范可能的数据安全隐患。需具备以下基础功能：  数据获取安全：能够支持数据获取需要经过申请与审批流程，保障数据获取安全；  数据脱敏：能够支持数据脱敏规则、脱敏算法及脱敏任务的管理及应用，一般情况下，脱敏方式有动态脱敏和静态脱敏两种；  统一认证：定义数据安全策略，定义用户组设立和密码标准等；  租户隔离：管理用户，密码，用户组和权限；  角色授权：划分信息等级，使用密级分类模式，对企业数据和信息产品进行分类；  日志审计：审计数据安全，监控用户身份认证和访问行为，支持经常性分析；  异常监控：指对账号异常行为的监控，如同一账号异地登录、同时多 IP 登录、多次重复登录等；  数据分类分级：能够支持对数据资产安全进行敏感分级管理，并支持根据各级别生成对应的数据安全策略。

7. 数据价值管理工具 数据价值管理通过对数据内在价值的评估、数据成本和收益的管理，实现数据资产化管理，需具备以下基础功能：  数据需求分析：通过数据库或者数据平台的各种数据分布分析和访问状态分析，协助数据管理人员对数据生命 周期管理策略，有效发现和挖掘当前数据平台或者数据库中历史数据增长最快的关键数据，同时，为管理业务部门需求， 满足业务部门对数据使用的要求提供有效的数据化支撑；  数据价值评估：依据数据需求分析，建立合适的数据价值评估模型，主要包括数据成本和收益的评估方法、评估指标等，并支持对数据价值评估方法与各项指标的动态更新；  数据成本管理：能够完成数据成本（主要包括存储成本和计算成本等）的优化，并给出影响成本的分析报告（如包含重复计算、代码质量差等）；  数据收益管理：能够动态调整数据收益评价指标，依据指标对数据应用进行全流程管理，增加数据收益；  数据服务：通过构建服务目录、授权数据服务等有效完整的记录数据服务信息，并最终生成数据服务报告，展示数据服务的价值；  数据资产价值统计：能够可视化展示数据资产的一段时间内的统计视图，展现数据使用和成本的变动。

8. 数据服务管理工具 数据服务管理是指在数据管理平台上提供数据或数据分析结果的服务，包括企业内部数据共享和外部数据流通，通过构建服务目录、授权数据服务等有效完整的记录数据服务信息，最终生成数据服务报 告，展示数据服务的价值，需具备以下基础功能和辅助功能：  服务目录：能够精确的展示各目录下能够提供的数据服务类型、服务流程、数据资产目录等，其实数据资产目录能够按照业务要求和企业标准，自定义构建数据资产目录层级，并描述数据资产相关属性，包括表级属性（如表名、目录、更新周期、业务类别等）和字段结构（如字段名称、字段类型、字段长度等）；  服务目录版本管理：能够记录数据资产目录变更版本信息，包括具体变更情况；其中数据资产目录可以通过元数据关联导入，在元数据有变更时，自动同步；  数据资产共享和流通：提供数据资产下载、共享、流通及服务接口等，支持按共享属性（如无条件共享、有条件共享、不共享等）对资源目录下的数据资产进行分类，支持直接提供数据和数据分析结果；  其他功能：数据服务可以通过“数据超市”的形式开展，用户通过订阅具体服务获取和使用数据。