元数据规范
2024-02-28 16:40:18 0 举报
AI智能生成
登录查看完整内容
为你推荐
查看更多
元数据规范是一种用于描述和组织数据集的标准化方法。它包含了数据的核心内容,如数据来源、格式、生成时间等,同时还包括了文件的类型和修饰语。通过遵循元数据规范,可以确保数据的一致性和可访问性,便于数据管理和分析。
作者其他创作
大纲/内容
定义和描述其他数据的数据。
元数据
用于描述元数据的基本数据单元。
数据项
规定一个或多个其他数据模型的数据模型。数据中台元模型由技术属性、业务属性、操作属性构成,可根据需求增加新的属性
元模型
一个对象或实体的特征。
从源库同步的技术类元数据。
技术属性
定义的有业务含义的元数据。
业务属性
描述处理和访问数据的细节的元数据
操作属性
属性
采用摘要表示的方式定义和描述元数据,摘要内容包括中文名称、定义、英文名称、数据类型、值域、缩写名、约束/条件、最大出现次数和备注
元数据描述
当已经定义的元数据不能满足数据实际使用时,可根据实际需求新增属性,或者进行已有数据项的新增或者修改
元数据扩展
基本定义
技术属性:表名、所属数据库、创建时间、表结构信息、主键、分区、外键;
业务属性:负责单位、负责部门、负责人、表中文名、主题域、数仓层级、业务域
操作属性:创建日期、变更频率、DDL 最后变更时间、储存位置、储存大小、最近同步时间。
其他元数据属性举例:例如所属系统、任务信息、数据流向、接口信息、管理属性
元数据的中文名称,如表名、所属数据库、创建时间
中文名称
元数据的英文名称。所有组成词汇的首字母应大写,且用空格连接。
英文名称
元数据的缩写名。宜采用英文名称的首字母大写连写
缩写名
元数据的基本内容、概念和说明
定义
元数据的数据存储数据类型,如:字符串、日期型、时间型、布尔型、整型、浮点型等。
数据类型
元数据可取值的范围。例如值域中的日期型取值统一为北京时间。
值域
该元数据是否可选。该说明符分别为:a) M:必选,表明该元数据应选;b) C:一定条件下必选,当满足约束条件中所定义的条件时必选,条件必选用于以下三种可能性之一:1) 当在多个选项中进行选择时,至少有一个选项为必选,且应使用;2) 当一个元数据已经使用时,选用另一个元数据;3) 当一个元数据已经选择了一个特定值时,选用另一个元数据。c) O:可选,根据实际应用可选择也可不选的元数据。已经定义的可选元数据,可指导部门元数据标准制定人员充分说明其信息。
约束/条件
说明该元数据可以出现的最大次数,只出现一次的用“1”表示,多次重复出现的用“N”表示,允许不为1的固定出现次数用相应的数字表示,例如“2”“3”“4”等
最大出现次数
与元数据有关的说明注释
备注
描述约定
英文名称:Table Name缩写词:TN定义:数据库或者数据源的数据表的名称数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:
表名
英文名称:Data Base缩写词:DB定义:元数据所描述的数据表所在的原始数据库名称数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:
所属数据库
英文名称:Create Time缩写词:CT定义:元数据所描述的数据表的创建时间数据类型:日期型值域:自由文本可选/必选:M最大出现次数:1备注:按照“yyyy-mm-dd hh:mm:ss”格式表示。
创建时间
英文名称:Table Structure缩写词:TS定义:元数据所描述的数据表的表结构信息,包括:字段名、字段中文名、数据类型、长度、精度、允许空、默认值、字段说明数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:
表结构信息
主键
分区
外键
...
英文名称:Responsible Company缩写词:RC定义:数据表的责任单位数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:
负责单位
英文名称:Responsible Department缩写词:RD定义:数据表的责任部门数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:
负责部门
英文名称:Table Manager缩写词:TM定义:数据表的责任人,责任人一般为该数据表的创建者数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:采用英文描述。
负责人
英文名称:Table Name Cn缩写词:TNC定义:数据表的中文描述名称数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:采用中文描述。
表中文名
英文名称:Subject Domain缩写词:SD定义:数据表所属的业务主题域,如销售主题域、物流主题域等数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:采用英文描述
主题域
英文名称:Data Warehouse Layer缩写词:DWL定义:数据表在数据的分层架构中所属的层级数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:采用英文描述,一般为ODS、DIM、DWD、DWS、ADS。
数仓层级
英文名称:Business Domain缩写词:BD定义:与业务流程相关的数据分域数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1
业务域
英文名称:Metadata Create Date缩写词:MCD定义:元数据的创建日期。数据类型:日期型值域:自由文本可选/必选:M最大出现次数:1备注:按照“yyyy-mm-dd”格式表示。
创建日期
英文名称:Change Frequency缩写词:CF定义:数据表的数据更新频率,变更频率决定了表的数据时效性数据类型:字符串值域:自由文本可选/必选:M最大出现次数:1备注:一般以秒、分钟、小时、天、周、月为单位。
变更频率
缩写词:DUT定义:元数据所描述的数据表的DDL最后更新时间数据类型:日期型值域:自由文本可选/必选:M最大出现次数:1备注:按照“yyyy-mm-dd hh:mm:ss”格式表示
DDL最后变更时间
英文名称:Storage Location缩写词:SL定义:元数据所描述的数据表的访问地址数据类型:字符串值域:自由文本可选/必选:可选最大出现次数:1备注:路径用半角正斜杠符号‘/’分割
存储位置
英文名称:Storage Size缩写词:SZ定义:元数据所描述的数据表的物理存储空间大小数据类型:bigint值域:数值袋鼠云DTSTACKT/ZAII 035—20227可选/必选:M最大出现次数:1备注:展示的时候单位为KB、MB、GB、TB等。
存储大小
英文名称:Recent Sync Time缩写词:RST定义:元数据所描述的数据表的最近一次执行元数据同步的时间数据类型:日期型值域:自由文本可选/必选:可选最大出现次数:1备注:按照“yyyy-mm-dd hh:mm:ss”格式表示
最近同步时间
....
元数据展示
属性扩展
内容扩展
数据项扩展
扩展类型
技术属性只作内容扩展,不增加新的数据项;
业务属性可作内容扩展,亦可增加新的数据项;
操作属性可作内容扩展,亦可增加新的数据项;
新增的元数据属性、摘要内容及数据项不应与已有的定义的命名、定义相冲突。
扩展原则
分析现有元数据
定义元数据属性代码表
扩展新元数据属性代码表
定义新元数据属性
扩展新元数据属性
元数据扩展验证
完成元数据扩展文档
扩展步奏
数据是否一致
数据类型是否一致
数据描述是否一致
一致性校验
属性是否齐全
必填信息是否齐全
数据是否完整
完整性校验
校验内容
启动元数据校验(手动触发/周期性自动)
元数据一致性校验
元数据完整性校验
校验问题定位修改
完成元数据校验
校验步奏
元数据校验
元数据规范
0 条评论
回复 删除
下一页