数据接入
数据探查<br><br>通过对来源数据存储位置, 提供方式, 总量和更新情况, 业务含义<br>字段格式语义和取值分布, 数据结构, 数据质量等进行多维度的探查<br>以达到认识数据的目的, 为数据定义提供依据
接入方式探查
环境探查
来源系统探查
存储位置探查
访问要求探查
提供方式探查
业务探查
字段探查
空置率探查
数据元探查
类型及格式探查
命名实体探查
问题数据探查
数据定义
数据格式定义
原始数据项与标准数据元映射关系
原始字典代码集与规范化字典代码集映射关系
资源目录注册
数据分级分类定义
数据读取策略定义
数据提取策略定义
结构化/半结构化数据提取策略
非结构化数据提取策略
来源数据描述
来源数据格式
目的数据描述
提取策略描述
数据清洗策略定义
数据过滤策略定义
数据资源描述
垃圾数据判定规则
垃圾数据处理动作
数据去重策略定义
数据资源描述
重复数据判定规则
去重时间窗口信息
重复数据处理动作
数据格式转换策略定义
来源数据描述
目标数据描述
转换策略描述
数据关联策略定义
关联回填数据描述
关联依赖数据描述
数据关联规则描述
数据比对策略定义
数据资源描述
比对源描述
比对策略描述
数据标识策略定义
数据治理核验规则定义
核验对象描述
质量核验策略描述
质量核验指标描述
数据读取<br><br>数据读取是数据数据接入的一部分, 主要是完成数据探查及数据定义后,<br>从源系统抽取数据或接受读取源系统的数据并检查数据是否与数据定义一致<br>不一致的停止接入, 并重新进行数据的探查和定义, 一致的执行并进行下一步接入<br>对数据进行必要的解密, 解压操作, 生成作用域数据全生命周日的记录ID, 并对<br>数据进行字符集的转换等, 生成符合数据处理要求的格式
数据读取管理
多通道读取管理要求
工具/模块适配
读取方式管理
数据文件方式
本地文件读取
远程文件读取
源文件写入判定-
消息总线
服务结构
规则管理
组件化要求
数据读取策略管理
数据读取任务配置
数据读取任务调度
数据读取日志规则管理
数据解压
数据解密
对称加密算法
非对称加密算法
特殊加密算法
记录ID生成
原始库
主记录ID
主键优先读取
必填字段优先选取
时间戳字段优先选取
关键字优先选取
附件记录ID
账单生成
原始数据存储/备份要求
数据对账<br><br>对局对账是针对数据接入环境, 对数据提供方和数据接入方在<br>某一对账时间节点数据的完整性, 一致性, 正确性进行核对和检验的过程<br>如果在某一对账的时间点, 数据提供方和数据接入方对于的数据条数不一致, 则记录<br>对账异常, 并在必要时进行高级, 依据数据对账发生场景, 将数据对账分为数据接入对账<br>和数据分发对账
对账方法
即时对账
定时对账
盘点对账
内部盘点对账
外部数据包盘点对账
外部数据库盘点对账
对账单
对账单内容
数据提供方对账单
数据接入方对账单
数据提供方盘点对账单
数据接入方盘点对账单
提供的对账服务
其他技术要求
对账形式
数据指纹
对账协议
对账单存储与交互
对账性能
对账单传递
数据治理
数据资源目录
数据元管理
资源分类与编目
目录注册与注销
资源目录更新
资源目录同步
资源目录服务
标准落地检查
数据分级分类<br><br>数据分级分类是指对数据内容的敏感程度或数据的开放范围进行<br>划分, 构建完善的数据分级管理体系, 数据分类是指针对数据来源, 数据<br>种类(数据集), 业务属性(数据项)等进行划分, 构建科学的合理的数据<br>分类管理体系, 利用数据分级分类对数据进行标识, 配合数据授权, 数据鉴权<br>确保数据的安全使用<br>数据分级分类是通过描述数据的多维度特征和内容敏感成功度, 为指定数据资源<br>的开发和共享策略提供支撑<br>数据分级是根据数据内容的敏感程度对数据资源进行定级, 按照数据级别控制数据<br>资源的适用范围<br>数据分类是从数据获取方式, 数据资源种类, 字段等多维度对数据资源进行分类, <br>按照数据类别控制数据资源的使用范围
数据血缘<br><br>数据学院是指在数据产生, 加工融合, 流转流通到最终消防的过程中<br>形成的继承关系集合, 通过对接入数据 原始库,资源库, 主题库, 知识库, 等各类<br>数据资源间和数据项间的继承关系进行描述和管理, 反应数据资源在各个环节<br>间的继承关系<br><br>
模型管理
标签管理<br><br>标签管理提供标签模型(规则)的定义和全生命周期管理, 非行业标签
数据质量管理
质量检测数据采集
数据治理检核
问题发现及跟踪
评估要求
数据运维管理
子主题
运维状态监控
来源数据监控
子主题
来源数据更新监控
来源数据存储大小监控
来源数据监控查询
数据接入, 处理监控
数据积压监控
数据接入积压
数据处理积压
数据入库积压
数据负载表现
数据心条
数据入库监控
数据服务接口监控
报表
数据资源报表
数据对账报表
数据有值率报表
数据标准化分析
异常
实时流异常
批处理数据监控
运行状态异常
数据质量异常
数据备份异常
