数据质量思维导图
2022-07-21 23:46:45 1 举报AI智能生成
登录查看完整内容
数据质量
作者其他创作
大纲/内容
唯一性校验
完整性校验
准确性校验
一致性校验
关联性校验
及时性校验
核查规则类型
任务id
任务名称
所属数据源
创建人
创建时间
监控表
数据源类型
每一个任务对应的是一个表
子任务编号
名称
所属表
修改时间
创建
启动
停止
状态
上次执行时间
表的数据量检测
表的大小的检查
表与表之间的关系，比如数量的大小关系，表的大小的关系
关联判断
表类型检测
和某个数进行直接比较，如果不满足该条件，就触发报警
如果之前没有该任务则，在进行检测的时候没有找到历史数据，则暂时不执行判断，再第二天就可以进行判断
波动率
预警方式
平均数（avg）
总量(sum)
最大值（max）
最小值（min）
数量
字段唯一性
字段的枚举类型是否在指定的字典内
空值判断
非空值判断
邮箱检测
数值范围检测
身份证检测
日期范围检测
自定义正则
字段与字段之间的大小关系，比如字段1 > 字段2； 或者字段1 + 字段2 = 字段3
条件判断
字段类型检测
比如 SELECT COUNT(*) AS cnt from table where cnt > 1000
直接输入SQL
自定义（SQL）检测
后续的自定义模板
检测类型
每周
每天
每月
每小时
设置定时任务的周期性运行时间
前置依赖
调度设置
邮件告警
企业微信群告警
告警信息
打开一个新的页面
详情
这个地方使用watch Dog 进行实现，顺便梳理一下里面的实现逻辑
执行时间
包含的子任务属性（规则）
每一个任务里面有多个子任务，每个子任务都是针对这个表的进行数据质量检查
新建一个数据质量任务
任务管理模块
数据质量平台
0 条评论
回复 删除
下一页
