数据治理
2024-04-15 17:50:11 1 举报AI智能生成
数据治理包括架构体现、核心模块、开源项目、法规政策和标准
作者其他创作
大纲/内容
难点&痛点
数据脉络不清晰
数据分散孤立
数据跨层交叉
数据体系不全
数据汇聚能力不足
缺少数据汇聚机制
数据汇聚时效性不高
缺乏多源异构汇聚能力
数据管控能力薄弱
缺乏数据统一标准
数据质量参差不齐
数据口径不齐
安全权限管理分散
治理体系不完善
数据开发和标准脱节
数据开发过程不透明
缺乏全流程可视化管理工具
开放形式不完善
缺少统一数据资产视图
数据开放形式单一
数据价值难以评估
数据治理五个核心
理
梳理组织管核的数据，形成数据脉络
聚
构建全面的数据汇聚机制
管
通过标准管理、元数据管理、质量管理
治
实现数据的清洗、分类、转换、关联、质检、入库等
用
数据治理最终价值体现，通过数据的共享开发、分析挖掘数据价值、赋能数字化业务场景<br>
典型框架
DAMA (Data Management Association) 是由国际数据管理协会 DAMA 提出<br>
DMM (Data Management Maturity) 是由 CMMI 卡耐基-梅隆大学软件研究所 SEI 于2014年发布<br>
DCAM (Data Management Capability Assessment Model) 是由 EDM Council 企业数据管理协会提出
DGI 国际数据治理研究所
DG IBM 数据治理委员会<br>
Gartner 数据治理框架
DCMM (Datamanagement Capability Maturity Model) GB/T36073-2018 《数据管理能力成熟度评估模型》
核心模块
数据集成
数据开发
数据架构
任务
确定业务流程中所需的数据，并定义数据的结构、属性和关系
设计数据流动的路径和机制，确保数据能够在不同业务之间进行复用和共享
统一数据的标准和规范，以确保不同系统之间的数据能够互通和兼容
确定数据的安全和隐私策略，保护敏感数据的安全性
监控和管理数据的整个生命周期，包括数据的采集、存储、处理、分析和清理等环节
原则
业务导向
持续优化
行业实践和技术趋势
数据一致性和标准化
数据治理责任
模块
数据资产目录编制
维度
系统主题
业务主题
行业分类
组织架构主题
资产类型
服务类型
安全主题
资产形态主题
步骤
管理
统筹规划
评估管理能力
发布数据战略
建立企业责任体系
管理实施
稽核检查
检查数据标准执行情况
稽核数据质量
监管数据生命周期
资产运营
数据资产价值评估
数据资产运营流通
建设
数据资产盘点
数据资产登记
采集元数据
标记数据关系
建立血缘关系
数据资产组织
数据标准管理
基本内容
数据技术属性
数据业务属性
数据管理属性
标准分类
基础数据标准
指标数据标准
建设原则
定义
口径
名称
参照
来源
建设依据
国际标准
国家标准
行业标准
同行标准
自编标准
标准类型
金融行业
编码类
代码类
标志类
文本类
金额类
比例类
数值类
日期类
时间类
日期时间类
管理流程
标准规划与申请
调研规划
指定职责
提出标准申请
标准制定
分析现状
形成标准初稿
标准审核发布
意见征询
论证审议
批复发布
标准落地执行
宣讲培训
推动执行
标准评估改进
跟踪、评估成效
标准维护、更新
标准废止
生命周期管理
定义
加工
上线
使用
下线
数据模型构建
规范
分层
ODS 数据操作存储层 Operation Data Store
DWD 明细数据层 Data Warehouse Details
DWM 数仓中间层 Data Warehouse Middle
DWS 数据服务层 Data Warehouse Service
ADS 数据应用层 Application Data Service
DIM 维度层 Dimension<br>
TDM 标签数据层
分类
概念数据模型 Conceptual Data Model
逻辑数据模型 Logical Data Model
物理数据模型 Physical Data Model
模型
ER模型
星型模型 Star Schema
多维模型
雪花模型 Snowflake Schema
步骤
制定目标
数据理解与准备
数据建模
模型评价
结果呈现
模型部署
方法
范式建模法 Third Normal Form，3NF
维度建模法 Dimensional Modeling
实体建模法 Entity Modeling
元数据管理
发展
分布式桥接阶段<br>
中央存储库阶段<br>
元数据仓库阶段
智能化管理阶段
元数据提取
元数据整合<br>
元数据维护<br>
目标
建立指标解释体系<br>
提高数据溯源能力
数据质量稽核体系
作用
描述<br>
定位<br>
检索<br>
管理<br>
评估<br>
交互
挑战
局部的元数据管理
手动的元数据管理
日趋复杂的数据环境
数据的频繁变化<br>
类型
业务元数据 Business Metadata<br>
技术元数据 Technical Metadata
操作元数据 Operational Metadata
管理元数据 Managerment Metadata
方法
业务目标理解<br>
建立企业数据资产目录<br>
消除冗余，加强数据复用<br>
降低因人员流动而导致知识流失的风险
提供数据血缘探查能力，提高数据分析的质量
元数据需求规划
需求
元数据模型需求<br>
元数据接口需求<br>
元数据系统需求<br>
数据安全需求<br>
数据质量需求<br>
数据管理需求<br>
步骤<br>
企业战略调研<br>
数据管理调研<br>
元数据现状清单<br>
数据问题分析<br>
制定行动路线
元数据规划设计
原则
简单性与准确性原则<br>
互操作性原则<br>
可扩展性原则<br>
用户需求原则<br>
步骤
元数据分类<br>
元数据定义
元数据获取
元数据发布
元数据管理体系设计
组织保障<br>
制度保障<br>
流程保障<br>
技术与工具<br>
运营维护<br>
监控管理<br>
统计分析<br>
宣传推广
技术
元数据采集
关系型数据库<br>
NoSQL数据库<br>
数据仓库<br>
云端元数据<br>
其他元数据适配器<br>
元数据管理<br>
元模型管理<br>
元数据审核<br>
元数据维护<br>
元数据版本管理<br>
元数据变更管理
元数据应用<br>
数据资产地图<br>
元数据血缘分析
元数据影响分析
元数据冷热度分析
元数据关联度分析<br>
元数据接口
规范
接口编码方式<br>
接口响应格式<br>
接口协议<br>
接口安全<br>
连接方式<br>
接口地址<br>
主数据管理
定位主数据
明确企业的业务流程
将数据与业务实体建立联系
确定数据的共性
管理原则
数据质量原则
数据标准化原则
业务驱动原则
全局管理原则
管理内容
主数据标准管理
界定
业务属性
技术属性
管理属性
原则
科学性
适用性
共享性
稳定性
合法性
主数据使用管理
数据访问
权限管理
数据质量
数据分发
主数据维护管理
主数据收集和分类
主数据修正和校验
主数据更新和维护
主数据质量监控和度量
主数据备份和恢复
主数据安全管理
安全等级
公开级
普通商密级
核心商密级
主数据质量管理
内容
问题提出
规则维护
问题检查
问题分析
问题提升
问题评估
维度
规范性
准确性
一致性
完整性
唯一性
及时性
主数据流向管理
流向制定
流向更新
流向检查
平台建设原则
全面性
唯一性
集成性
安全性
数据质量
生命周期
计划阶段 Plan
执行计划 Do
检查阶段 Check<br>
处理阶段 Act
评价维度<br>
完整性 Integrity<br>
准确性 Accuracy<br>
一致性 Consistency<br>
时效性 Validity<br>
唯一性 Uniqueness<br>
合理性 Reasonability
检查指标
空值检查<br>
数量检查<br>
数据类型检查<br>
范围检查<br>
类别检查<br>
新鲜度检查<br>
唯一性检查<br>
引用完整性检查
度量框架
设计与执行
权重分配
改进策略
数据安全
原则
管理
协同合作
企业统筹
主动管理
明确责任
元数据驱动
减少接触以降低风险
数据
保密性
完整性
可用性
目标
数据保密性
数据完整性
数据可用性
法律合规性
活动
识别数据安全需求
业务需求
监管需求
制定数据安全政策
评估风险和需求
确定目标和范围
制定政策内容
审议和批准
宣传和培训
实施和执行
监控和审计
定义数据安全标准
确定目的和范围
数据分类和处理
访问控制
物理和技术保护
安全审计
应急响应计划
政策和法规遵守
维护和更新
评估当前安全风险
识别和分类数据资产
识别潜在威胁
评估影响和可能性
实施数据安全控制
控制措施和程序的选择
技术措施的实施
制定流程和程序
培训和意识提升
测试和验证
监控和持续评估
应急准备和响应
实施数据安全审计
审计准备
审查现有安全措施
风险评估
实施检查和测试
审计报告
后续行动
应急准备和响应
全生命周期安全防护
阶段
数据采集阶段
合法性确认
数据最小化
数据质量保证
初步匿名化处理
数据传输阶段
加密传输
端点安全
传输过程监控
数据存储阶段
数据加密
访问控制
物理安全
数据处理阶段
安全的处理环境
权限最小化
数据脱敏实施
安全日志记录
数据交换和共享阶段
数据共享协议
共享前风险评估
数据标记和追踪
数据销毁阶段
彻底删除
物理介质销毁
销毁证明
技术
数据加密技术
认证与授权技术
网络防御技术
数据备份和恢复技术
安全审计技术
数据分级分类
原则
科学实用原则
边界清晰原则
就高从严原则
点面结合原则
动态更新原则
规则
数据分类<br>
框架
行业领域分类<br>
工业数据
电信数据
金融数据
能源数据
交通运输数据
自然资源数据
卫生健康数据
教育数据
科学数据
业务属性分类
业务领域
责任部门
描述对象
流程环节
数据主体
内容主题
数据用途
数据处理
数据来源
方法
明确数据范围<br>
细化业务分类
业务属性分类
确定分类规则
数据分级
框架
核心数据<br>
重要数据<br>
一般数据
步骤
确定分级对象
分级要素识别
数据影响分析
影响对象
国家安全
经济运行
社会秩序
公共利益
组织权益
个人权益
影响程度
特别严重危害
严重危害
一般危害
综合确定级别
流程
行业领域数据分类分级
制定行业标准规范
开展数据分类分级
处理者数据分类分级
数据资产梳理
制定内部规则
实施数据分类
实施数据分级
审核上报目录
动态更新管理
数据要素
数据服务
开源项目
数据集成
Apache Camel<br>
Apache Hop<br>
Apache InLong<br>
Apache Nifi<br>
Apache SeaTunnel<br>
Apache Sqoop<br>
Canal<br>
ChunJun<br>
DataX<br>
Debezium<br>
数据开发
Apache Drill
Apache Linkis<br>
Apache Paimon
Apache StreamPark<br>
Apache Zeppelin<br>
Dinky<br>
Jupyter<br>
Kettle
Scriptis
数据编目
Alation<br>
Magda
元数据管理
Amundsen
Apache Atlas
Dataedo
DataHub
Open Metadata
Marquez
数据质量
Apache Griffin<br>
Dataphin<br>
DataCleaner<br>
Deequ<br>
Great Expectations<br>
Qualitis
数据安全
Amnesia<br>
Anonimatron<br>
OpenXDFS<br>
μ-ARGUS<br>
PrimiHub<br>
数据服务<br>
CKAN<br>
Crabc
dataService<br>
数据可视化
Apache Superset<br>
DataEase<br>
Davinci<br>
GoView<br>
Metabase<br>
SmartChart<br>
SpagoBI<br>
任务调度
Apache Airflow
Apache DolphinScheduler<br>
Apache Oozie<br>
Azkaban<br>
ElasticJob<br>
Openjob<br>
PiFlow<br>
PowerJob<br>
QuartZ<br>
Xxl-Job
参考
法律法规
《数据安全法》
政策
标准<br>
数据治理
GB∕T 34960.1-2017《信息技术 服务治理 第1部分：通用要求》<br>
GB∕T 34960.2-2017《信息技术 服务治理 第2部分：实施指南》
GB∕T 34960.3-2017《信息技术 服务治理 第3部分：绩效评价》
GB∕T 34960.4-2015《信息技术 服务治理 第4部分：审计导则》
GB∕T 34960.5-2018《信息技术 服务治理 第5部分：数据治理规范》
数据资源目录
政务
GB/T7027-2002 《信息分类编码的基本原则和方法》
GB/T21063.1-2007 《政务信息资源目录体系第1部分：总体框架》
GB/T21063.2-2007 《政务信息资源目录体系第2部分：技术要求》
GB/T21063.3-2007 《政务信息资源目录体系第3部分：核心元数据》
GB/T21063.4-2007 《政务信息资源目录体系第4部分：政务信息资源分类》
GB/T21063.6-2007 《政务信息资源目录体系第6部分：技术管理要求》
GB/T13000 《信息技术通用多八位编码字符集（UCS）》
数据标准
JR/T0105-2014 《银行数据标准定义规范》
分级分类<br>
GB/T 43697-2024 《数据安全技术 数据分类分级规则》<br>
《网络数据分类分级要求》
《重要数据识别指南》
《重要数据处理要求》
JRT 0197-2020 《金融数据安全 数据安全分级指南》<br>
数据安全
安全要求类
GB/T 35274《大数据服务安全能力要求》
GB/T 37932- 2019《数据交易服务安全要求》
GB/T 39477-2020《政务信息共享 数据安全技术要求》
实施指南类
GB/T 27973-2019《大数据安全管理指南》
GB/T 39725-2020《健康医疗数据安全指南》
《电信领域大数据安全防护实现指南》
检测评估类
GB/T 37988-2019《数据安全能力成熟度模型》
GB/T 41479-2022《网络数据处理安全要求》
白皮书
中国通讯标准化协会：《数据治理标准化白皮书》
中关村网络安全与信息化产业联盟数据安全治理专业委员会：《数据安全治理白皮书5.0》
0 条评论
下一页
