《华为数据之道》读书笔记
2022-05-17 16:22:47 8 举报AI智能生成
登录查看完整内容
在学习、阅读《华为数据之道》这本书的同时，有做导图记录的习惯，正好看到本次活动，希望能和大家一起学习数据管理的知识。
作者其他创作
大纲/内容
各条块分割、业务组织强势、变革困难、变革复杂度高
产业链条长，多业态并存
业态特征
业务涵盖范围广，易形成地区性等客观原因下的数据孤岛
数据交互和共享风险高
运营环境
企业发展历史长，软件版本多，数据多源多样，维稳
数据复杂，历史包袱重
IT建设过程
质量要求高
数据可信和一致化的要求
数据质量
数据驱动的企业数字化转型
建立企业级信息架构，统一数据语言
所有变革项目须遵从数据管控要求
应用系统设计和开发应遵从企业级信息架构
信息架构管理原则
数据规划对齐业务战略
各数据owner承担管理责任
关键数据须定义单一数据源，一点录入，多点调用
谁产生数据，谁对数据质量负责
数据产生管理原则
在满足安全的前提下充分共享
须遵守法律法规和道德规范的要求
数据应用管理原则
各数据owner应建立数据问题回溯和奖惩机制
数据问责与奖惩管理原则
华为数据管理总纲
所有关键数据必须认证数据源
数据管理专业组织为关键数据制定源头
所有关键数据仅能在数据源录入、修改
所有应用系统必须从数据源或数据源镜像获取关键数据
数据owner确保数据源的数据质量
数据源管理原则
数据源管理政策
针对各数据owner提出工作要求
数据质量管理职责及要求
数据质量管理的业务规则和管理要求
数据质量管理政策
信息架构工程师
数据治理工程师
数据平台工程师
数据分析师
数据科学家
管理数据流程关键角色及职责设置
建立管理数据流程
建立业务负责制的数据管理责任体系
明确数据工作在公司治理体系中的地位，管理层对数据的重要性有统一认知
数据源：业务上首次正式发布某项数据的应用系统，经过数据管理专业组织认证，作为唯一数据源头被周边系统调用。
数据同源是华为数据治理的核心观点之一
数据质量的持续提升是华为数据治理的核心目标
任命数据owner和数据管家
建立公司层面的数据管理组织
是华为数据治理体系多年实践经验的捷径，是确保体系发挥作用的基石
政策
建立企业级数据综合治理体系
用于对其他数据进行分类--ref：参考数据
管理重点在于变更管理和统一标准管控
基础数据治理
外部协同有效性
业务场景数字化
业务规则自动化
业务分析准确性
价值
是参与业务事件的主体或资源的数据
是具有高业务价值的、跨流程和跨系统重复使用的数据
管理要求是确保同源多用和重点进行数据内容的校验
主数据治理
事务数据在业务和流程中产生，是业务事件的记录，其本身就是业务运作的一部分
事务数据会调用主数据和基础数据
事务数据治理
报告数据是指对数据进行处理加工后，用作业务决策依据的数据
用于支持报告和报表的生成
报告数据治理
通常数据量较大且是过程性的，主要用作监控分析
由机器自动采集生成
是观测工具采集回来的原始数据，仅转换结构和格式，不做任何业务规则解析
特征
是通过观测工具获取的数据
观测数据治理
是结构化描述业务规则变量的数据，是实现业务规则的核心数据
规则数据治理
数据分类管理框架
唯一性
联邦管控
单一数据源
数据、流程、IT协同
事前的数据质量策略
管理策略
管理好事务数据对主数据和基础数据的调用，记忆事务数据之间的关联关系，确保上下游信息传递顺畅
治理重点
原则上，观测对象要定义成业务对象进行管理，这是观测数据管理的前提条件
概要
用户访问数据时了解业务含义的途径（资产目录、owner、数据密级等）
业务元数据
实施人员开发系统时使用的数据（物理模型的表与字段、ETL规则、集成关系等）
技术元数据
数据处理日志及运营情况数据（调度频度、访问记录等）
操作元数据
元数据是描述数据的数据，用于打破业务和IT之间的语言障碍，帮助业务更好地理解数据
产生元数据
采集元数据
注册元数据
运维元数据
元数据管理架构
元数据管理
确保数据“入湖有依据，出湖可检索”
使命与目标
是公司顶层信息分类，通过数据视角体现公司最高层面关注的业务领域
主题域分组
是互不重叠数据的高层吗的分类，用于管理其下一级的业务对象
主题域
是业务领域重要的人、事、物，承载了业务运作和管理设计的重要信息
业务对象
是具有一定逻辑关系的数据属性的集合
逻辑数据实体
是描述所属业务对象的兴致和特征，反映信息管理最小粒度
属性
数据分层结构
定义公司层面需共同遵守的属性层数据含义和业务规则，是公司层面对某个数据的共同理解
数据标准
是从数据视角对现实世界特征的模拟和抽象，根据业务需求抽取信息的主要特征，反映业务信息（对象）之间的关联关系
数据模型
数据按对象管理，明确数据owner
从企业视角定义信息架构
遵从公司的数据分类管理框架
业务对象结构化、数字化
数据服务化，同源共享
架构原则
面向“业务交易”的信息架构建设
建立企业层面的共同行为准则
逻辑统一
类型多样
原始记录
特点
明确数据owner
发布数据标准
定义数据密级
明确数据源
数据质量评估
元数据注册
数据入湖的标准
将原始数据复制到数据湖中，包括批量处理、数据复制同步、消息和流集成等方式
物理入湖
将原始数据不在数据湖中进行物理存储，而是通过建立对应虚拟表的集成方式实现入湖
虚拟入湖
数据入湖的方式
数据湖
面向“联接共享”的数据底座建设
从“保姆”模式到“服务+自助”模式
数据赋能业务运营
面向“自助消费”的数据服务建设
对象数字化
规则数字化
过程数字化
数字世界：数字孪生
OCR、语音、视频、传感器
利用设备或装置进行数据收集
硬感知
埋点、System Log、爬虫
使用软件或各种程序进行数据收集
软感知
数据感知能力架构
打造“数字孪生”的数据全量感知能力
自上而下打造数据质量领导力
全面推进数据质量持续改进机制
不断加强数据质量能力保障
数据质量管理以数据清洁为目标，以业务需求为驱动，通过PDCA循环，提升数据质量，达到数据质量结果满意
Plan、Do、Check、Action
基于PDCA的管理框架
不可为空类、语法约束类、格式规范类、长度约束类、值域约束类、事实参照标准类
单列
应为空值类、入库及时类、单表等值一致约束类、单表逻辑一致约束类
跨列
记录唯一类、层级结构一致约束类
跨行
外关联约束类、跨表等值一致约束类、跨表逻辑一致类
跨表
数据质量规则
全面监控企业业务异常数据
数据在创建、传递过程中无缺失和遗漏（实体完整、属性完整、记录完整、字段值完整）
完整性
及时记录和传递相关数据，满足业务对信息获取的时间要求
及时性
真实、准确地记录原始数据，无虚假数据及信息
准确性
遵循统一的数据标准记录和传递数据和信息（数据记录是否规范、数据是否符合逻辑）
一致性
统一数据只能有唯一的标识符
数据的值、格式和展现形式符合数据定义和业务定义的要求
有效性
华为数据质量
打造“清洁数据”的质量综合管理能力
外部公开、内部公开、秘密、机密、绝密
公司层面
核心资产（绝密）、关键资产（机密）
资产层面
个人数据、敏感个人数据、商业联系个人数据、一般个人数据、特种个人数据
企业内部的管理需求
分级管控
打造“安全合规”的数据可控共享能力
设立数据管理专业组织
建立数据管理框架
发布数据管理政策
任命数据owner
第一阶段2007-2016
提升数据质量，数据全流程贯通
建设数据底座
第二阶段2017-至今
华为数据治理历程
形成清洁、完整、一致的数据湖
统一数据管理规则
满足业务自助式的数据消费诉求
业务与数据双驱动
数据安全合规
提升数据自动采集能力，减少人工录入
完善业务对象、过程与规则数字化
对数据治理的要求
业务即行为，行为即记录，记录及数据
华为数据之道
社会经济大环境的变化
行业趋势的变化
竞争对手的压力
公司的战略优化
自身经营的改善
原因/驱动力
质量更好的产品
更优质的服务
更低的成本
目标
提升客户体验满意度
提升运营效率
支撑一线作战人员和客户的全联接
简化管理，加大对一线人员的授权
统一公司IT平台，构建智能服务
最终实现客户交互方式的转变，实现内部运营效率和效益的提升
蓝图
质量改进的步骤本身就是一个PDCA循环
收藏
收藏
0 条评论
回复 删除
下一页
