数据资产管理平台
2022-06-23 13:57:47 120 举报AI智能生成
登录查看完整内容
数据资产管理平台是一种集中管理企业数据资产的工具，它能够帮助企业更好地管理和利用其数据资产。这些平台通常提供数据采集、存储、清洗、分析和可视化等功能，帮助企业从海量数据中提取有价值的信息。此外，数据资产管理平台还能够帮助企业建立完善的数据治理体系，确保数据质量和安全。总之，数据资产管理平台为企业提供了一个全面、高效、安全的数据管理解决方案，有助于提高企业的运营效率和竞争力。
作者其他创作
大纲/内容
1、构建数据管理平台，对目前涉及的库表，指标进行纳管 通过平台代替人工管理，减少重复劳动，提高管理效率。
2、通过构建数据字典与指标体系，打通企业内部数据分享壁垒，提高数据利用效率。
3、通过构建数据血缘关系，追溯数据使用情况及影响分析。
4、梳理调度依赖关系并统一管理，减少因调度混乱出现的异常。
二.建设目标
库表名
负责人
业务描述
数据抽取语句
抽取逻辑
抽取时间
抽取频率
优先级信息
数据库类型
表级异常规则
字段级异常规则
告警方式
数据质量信息
手动登记
列名称
字段长度
字段类型
约束信息
表字段信息
总表
分区
数据总量
物理地址
占用空间
文件格式
压缩方式
是否分区存储
文件数量
存储信息
权限信息
基础信息
记录表及字段的变更
字段增减
类型改变
注释修改
变更记录
报表使用
血缘依赖
应用开发
数据使用情况
自动获取
1、数据字典
sql解析
手动指定
血缘信息获取
当前表ID
前置节点
后置节点
头部节点
尾部节点
构建血缘关系表
直接前置节点数量
前置节点总数
直接后置节点数量
后置节点总数
构建血缘统计表
血缘可视化
节点定位
影响分析
数据销毁参考
数据质量评估
数据血缘应用
2、数据血缘
datax-web
dolphinSchedular
tableau
其他
1、获取所有调度任务
2、任务与表绑定
3、表级调度启停
4、表级调度依赖
5、跨平台调度依赖
6、自动重启功能
3、打通调度
限定词/维度
业务主题
指标名称
量化词
一级指标
二级指标
三级指标
层级关联
指标层级
来源表
来源字段
数据来源
业务表述
口径
计算逻辑
限定标准
指标变化
指标异常的判定条件
指标定义
目标人/需求方
1、构建指标字典
uv
pv
指标销毁参考
2、报表页面埋点
根据浏览人划分
根据埋点数据划分
自定义划分
3、重要程度划分
示例
1、梳理业务流程
2、绑定关键指标
当前路径
前置业务指标
后置业务指标
3、影响分析
4、用户旅程地图
4、指标体系
三、建设步骤
数据资产（Data Asset）是指由组织（政府机构、企事业单位等）合法拥有或控制的数据资源，以电子或其他方式记录，例如文本、图像、语音、视频、网页、数据库、传感信号等结构化或非结构化数据，可进行计量或交易，能直接或间接带来经济效益和社会效益。
在组织中，并非所有的数据都构成数据资产，数据资产是能够为组织产生价值的数据资源，数据资产的形成需要对数据资源进行主动管理并形成有效控制。
数据资产定义
数据资产管理（Data Asset Management）是指对数据资产进行规划、控制和提供的一组活动职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理须充分融合政策、管理、业务、技术和服务，确保数据资产保值增值。
数据资产管理定义
数据资产
创建者
抽取者
负责人不清晰
无业务描述
库表名称
...
基础信息获取繁琐
增量抽取
全量抽取
删除逻辑
前置抽取节点
后置抽取节点
抽取依赖
ETL信息未记录
数据使用情况未知
根据血缘划分
根据业务划分
库表优先级未划分
数据变更未记录
主数据的区别
1、元数据层面
追踪数据溯源
评估数据价值
数据归档、销毁的参考
用途
数据流入节点
数据流出节点
字段级依赖
表级依赖
图数据库存储
流出情况
更新量级
更新频率
数据价值未知
数据质量要求难以评估
无法对数据归档、销毁提供参考
RDD血缘如何处理
血缘ROI如何评估
应用场景如何
2、血缘关系
本周换电业务订单数量
指标名称不规范
数据来源不清晰
指标定义不明确
目标群体模糊
指标页面埋点
浏览次数未知
优先级未划分
业务路径未知
指标层级不明确
3、指标层面
调度平台未打通
无法快速定位错误节点
无法进行影响分析
后续受影响的调度节点无法自动化重启
调度依赖混乱
表与任务关系不明确
调度级别不明确
4、调度层面
5、其他
一.目前痛点
数据资产管理平台
0 条评论
回复 删除
下一页
