数据资产管理系统

数据资产管理系统

2.架构与功能

1.数据标准管理

数据内外部使用和交换一致性和准确性、规范性的约束，数据标准管理则是通过统一的数据标准制定与发布来实现数据平台的完整有效一致与规范。如果数据标准管理做得好的话，将很大程度上能够实现企业内部数据的互联互通，进而推动企业外部数据的共享交换

主要的要素

标准的信息项

要是对标准的特点、性质进行描述

标准的分类

分类维度

基础类数据标准

参考数据、主数据标准、逻辑数据标准、物理数据标准、原数据标准、公共代码和编码标准

指标类的数据标准

应用场景以及业务需求，比如经济指标等，指标类的标准又细分为基础指标以及计算指标。

其它维度

公共代码和编码

公共代码和编码很多企业也会参考国标和行标。如果国标、行标没有的话，企业可以在内部形成完整的数据标准编码体系。与国标或者行标保持一致，将推动数据流通的实现

关键活动

理解数据标准化的需求

结合公司战略与现状，

制定数据标准的体系与规范

制定相应的管理办法以及实施流程要求

建立一些数据标准的管理工具

功能

标准生成

标准映射

标准导出

标注版本管理

2.数据模型管理

主要模型

概念模型

面向用户与客观实践的，其本身与数据库或者数据仓库的架构搭建没有特别多的关系

构建逻辑模型

基于概念模型，面向业务的，用于指导一些数据库系统的实

物理模型

基于逻辑模型，面向计算机物理表示，考虑了操作系统、硬件模型等等，描述数据在存储介质上的结构

定义标准化的业务用语/单词/域/编码

根据企业架构设计标准化数据模型

制定数据模型实施流程与稽核要求

数据模型设计

模型差异稽核

模型变更管控

模型可视化

3.元数据管理

描述数据的数据，表的metdata，存储的数据量/大小/数据本身的属性等，通过进行血缘分析和影响分析实现关键信息的记录和跟踪帮助我们了解一些数据的走向，知道数据是从哪里来到哪里去，也可以构建数据地图和数据目录自动提取元数据信息，帮助我们了解这个企业目前拥有什么样的数据资产，将会帮助我们实现关键信息的追踪与记录，快速掌握元数据的变化可能带来的风险。关键驱动力。关键驱动力数据的元数据管理及关联/映射数据到元数据到元模型，具体到抽象元数据本身的数据结构也是需要被定义和规范的，定义和规范元数据的就是元模型，国际上元模型的标准是CWM(Common Warehouse Metamodel，公共仓库元模型)，一个成熟的元数据管理工具，需要支持CWM标准。元数据管理平台通过多种分析方式帮助企业分析数据流向，具体到字段级的数据解析，如血缘分析、影响分析、关联度分析等，帮助企业获取数据上下游、对象关联对象等等关系，快速定位问题字段，帮助企业降低数据问题的定位难度。

主要模块

技术元数据管理

技术领域相关的，包括数据结构的定义、数据的转换等

业务元数据管理

和业务相关的，包括业务的术语信息的分类、指标、统计口径等

管理元数据

管理领域相关的概念、规则，包括人员的角色、岗位的职责以及管理的流程等

开发设计元数据标准

创建/采集/整合元数据

管理元数据存储

元数据分析应用

血缘分析

数据地图

数据地图以数据搜索为基础，提供表使用说明、数据类目、数据血缘、字段血缘等工具，帮助数据表的使用者和拥有者更好地管理数据、协作开发

影响分析

元数据采集

元数据识别

元数据分类

元数据应用

依赖关系图

依赖关系图根据节点的依赖关系，展示当前节点的依赖是否为自己预期的情况。如果不是，可以返回调度配置界面重新设置。

内部血缘图

内部血缘图根据节点的代码进行解析根据上述SQL语句，解析出如下内部血缘图。将dw_user_info_all_d作为JOIN拼接ods_log_info_d的输出表解析，展示表之间的血缘关系。

https://blog.csdn.net/jiangzhenbo/article/details/85255240

4.主数据管理

主数据管理可以使企业跨系统使用一致的和共享的数据，从而可以降低成本和复杂度，来支撑跨部内、跨系统数据融合的应用。通过对主数据的梳理和管理，将建立数据的一个参考，为数据标准后期的管理节约很多的人力和物力，这个效果也是可以在短期内看到的。对于没有经验开展数据资产管理的企业而言，从主数据管理入手（有的企业也将主数据管理纳入数据标准管理）将会为企业开展数据资产管理带来信心。比如说供应商数据、物料数据、客户数据、员工数据。

识别主数据

定义和维护主数据的架构

实现数据库与主数据库的同步

数据集成

采集

清洗

传输

整合

存储

主数据提取整合

主数据清洗校验

主数据变更审批

主数据发布共享

将元数据库数据（采集/检验/清洗/脱敏/补齐）处理形成统一的数据资产，监控起来，提供API服务，通过稽核质态库的数据，维护数据的统一可用

5.数据质量管理

数据质量的管理可以帮助企业获得一些干净以及结构清晰的数据，进而可以提高数据应用和服务的水平。质量要求所带来的成本上升及效益权衡。数据质量是数据应用的前提和基础。

数据质量好坏的衡量指标

完整性

数据是否缺失

规范性

数据是否按要求进行存储/操作

一致性

数据的值是否存在含义冲突及多个主数据不一致

准确性

数据是否错误

唯一性

数据是否重复

时效性

数据是否按时效要求上传

定义数据质量要求

定义数据质量测量指标

确定与评估数据质量服务水平

持续测量和监控数据质量

分析产生数据质量问题的根本原因

制定数据质量改善方案

监控数据质量管理操作程序和绩效

质量需求管理

质量稽核规则设置

数据质量任务管理

数据质量报告

元数据质量检核功能，包括一致性检核、属性填充率检核和组合关系检核，是保障元数据质量的重要手段之一。

6.数据安全管理

主要是对数据设定一些安全等级来评估数据的安全风险，来制定或完善数据安全管理相关的技术规范，进行数据安全分级分类。通过对数据进行全生命周期的安全管控，包括数据的生成、存储、使用、共享、销毁等实现事前可管、事中可控、事后可查。

理解数据安全需求及监管要求

定义数据安全策略和安全标准

管理数据访问视图与权限

监控用户身份认证和访问行为

定义数据安全强度/划分信息等级

审计数据安全

数据获取安全

数据脱敏/加密

角色授权/统一认证

数据分级分类

数据安全功能针对数据资产管理，提供数据识别、敏感数据发现、数据分类分级、脱敏、访问监控、风险发现预警与审计能力。

数据安全针对用户权限管理，提供可视化申请审批流程，并可进行权限的审计和管理，提高您的数据安全等级，方便您进行数据权限管控。

7.数据价值管理

通过对数据内在价值的度量，从数据的成本和数据的应用价值两个方面来开展，使企业能够最优化、最大化释放数据的价值。数据价值管理分为数据成本管理及数据收益管理两部分，通过维度确定他们的核算指标，监控数据成本的产生或者是监控数据收益的产生，来确定成本的优化或者最大化收益的方案，进而实现数据内部共享、数据外部流通、数据交易以及数据变现

数据成本计量维度

采集/存储/计算成本

运维成本计量

数据质量成本计量

数据价值计量维度

应用场景经济性评估

数据活性评估

数据质量评估

数据成本管理

度量成本维度

确定成本核算指标

监控数据成本产生

确定数据成本优化方案

数据收益管理

度量收益维度

确定收益核算指标

监控数据收益产生

确定数据收益优化方案

实现数据内部共享、数据外部流通、数据交易以及数据变现

数据资产盘点

数据价值评估

热度评估/敏感评估/安全评估

数据价值管理工具包括数据资产的盘点，形成一个数据资产的视图或者是形成数据目录，以及进行数据价值的评估以及成本的管理等

8.数据共享管理

因为数据共享其实也是扩大了数据的使用范围，数据使用的最终目的是提供数据的服务，数据共享管理的关键活动就是包括定义数据资产运营的一些指标，还有设计一些管理方案等。

主要是开展数据共享和交换，通过数据内部共享，数据外部流通，对外开放实现数据内外部价值释放

定义数据资产运营流通监控指标

设计数据资产运营流通管理方案

制定数据资产运营流通管理办法和实施流程要求

监控数据资产运营指标

监督落实数据流通等合规性管理要求

分析运营流通指标，评价运营效果并改进

完成数据保值增值/数据变现/数据资产运营流通/数据服务应用创新

数据服务目录

目录架构：业务类型:ods/vsop/odms/dpi/oidd数据层次：接入/整合/中间/应用资产信息：基本信息：资产名称/量/条/大小/场景资产血脉字段属性/规则资产主题：

数据资产共享和流通

数据服务定制

1.背景

数据安全生命周期

产生/保护/传输

使用

共享

归档

销毁

IT数据资产化的管理流程

登记

申请

数据价值释放阻力

数据的质量不过关

数据难以打通

数据获取的成本较高 

数据的安全难以保障

因为业务系统多、数据来源多，经营所需的数据需求高频且多样化。但数据体系复杂、数据不统一，数据分析速度和数据准确一致性难保障，战略决策与数据化运营受阻。

企业数据通常呈现碎片化分布，一共有多少系统，各系统之间有哪些关联，对应的关联表又有哪些，企业一时很难厘清的

在企业中，更多是数据库、报表、文件、接口、权限、视图等零散的分布，所以经常容易出现定义不统一、分配不明确、流程混乱、评估手段缺失等问题

数据资产管理

过盘点数据、提升数据质量来打破数据的孤岛，提高获取的效率，保障数据的安全，最终形成一个持续的闭环，从而实现数据的可得、可用与好用，为企业的数字化转型打下了基础

参考

数据资产管理实践白皮书 4.0

资产管理：https://blog.csdn.net/jiangzhenbo/article/details/102680580

数据链溯源：http://m.chinaaet.com/tech/designapplication/3000112146

趋势

数据管理对象少量多元实时

数据处理架构更新换代

云/分布式/hadoop/spark

ETL到ELT

组织架构升级变迁

新的数据资产管理团队与管理角色

管理手段智能

数据可视化

AI/BI

应用范围扩大

内外共用

跨界共享

3.保障措施

制定企业组织战略，自上向下牵头全局应用

完善组织架构，明确资产管理角色职能

建立制度体系，覆盖数据生命周期，监控标准规范执行

创建审计制度，完成数据权限审计/使用制度/审批流程

开展培训与宣传，提升团队数据资产管理水平

4.组织架构与角色职能

上

数据资产管理委员会

类PMO

中

数据资产管理中心

运营/组织/协调/监督

下

提供者

配合数据标准/数据质量

开发者

制定数据标准和质量

消费者

应用及反馈

。。。

5.实施步骤

统筹规划阶段

1.建立组织体系

2.制定管理制度

3.盘点数据资产，帮助企业更了解现在他们所拥有什么样的数据

4.评估数据管理水平——可以通过自评估或者他评估数据管理的方法

5.制定数据的标准规范——在这个阶段它产生了一些主要的交付物，包括数据资产管理的规划、问责机制、清单以及现状的评估等

交付物

数据资产管理规划

数据资产管理认责规制

数据资产盘点清单

数据资产管理现状评估

管理实施

包括数据模型、数据安全等其他的数据资产管理关键活动的落实。在这个阶段主要的交付物包括数据资产的管理办法，管理办法涵盖的内容包括数据标准、数据质量等等

数据资产管理办法

数据资产管理实施细则

数据标准管理/质量管理/元数据管理/主数据管理/安全管理/数据应用管理等

稽核检查

主要是对数据标准、数据存储、数据管理等方面的相关检查，从而形成数据稽核以及问题管理办法等

数据资产管理稽核办法

数据资产管理问题管理办法

资产运营

主要包括数据资产的价值评估以及内部流通和运营流通

数据资产价值评估方法

数据资产成本管理方法

数据资产共享流通管理办法