登录免费注册

首页  思维导图  详情



 



实时数据质量

实时数据质量

2022-08-30 19:13:43   30  举报





AI智能生成

数据质量

大数据

模板推荐

作者其他创作

大纲/内容

数据准确性

数据检查

数据值是否常规范围，例如：收派日期1970-01-01，百分比[0,1]

数据值是否业务范围，例如：重货>=20KG，超大件>=80KG

数据值分布是否异常，例如：极效前置件

时间维度对比

同一数据产生批次内

历史数据波动性检查

历史数据一致性检查

不同数据产生批次之间

线上旧数据与线下新数据对比

空间维度对比

上下游对比

系统内数据对比

数据源同构下的对比

数据源异构下的对比

系统外数据对比

数据及时性

全表数据

分区数据

数据核销

状态翻转

数据完整性

不多

数据是否重复

es_key唯一性

不少

数据规模确定

数据总量

日期是否缺失、空值

业务关键字段是否缺失，例如：中转运力相关的班次、线路编码、车标等

数据规模不确定

通过历史数据的波动性对比结果，例如中转场的应到\应发件数

数据一致性

数据记录规范一致

数据逻辑一致

多节点数据一致，例如：kafka、es、hive数据下发

 Collect

Get Started

质量标准的修订

 Collect

Get Started

数据质量关系图

 Collect

Get Started

质量控制 25分

 Collect

Get Started

数据质量控制













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document