大数据项目实施工作任务清单
2024-03-13 09:01:59 0 举报
AI智能生成
登录查看完整内容
为你推荐
查看更多
大数据项目实施工作任务清单是一个详细的文档,旨在确保项目按计划进行并达到预期目标。清单中包含了多个任务,涵盖了项目实施的各个阶段,包括数据采集、数据处理、数据分析、数据可视化以及结果应用等。每个任务都配有相应的截止日期和负责人,以确保项目按时完成。此外,清单还提供了各个任务的文件类型和修饰语,如文档、报告、图表等,以便更好地理解任务的具体内容和要求。
作者其他创作
大纲/内容
多维分析
推拉
实时分析
数字孪生
模拟大屏业务
即系查询
大表检索
手机,pc,适配
模拟报表业务
数据应用
原始层保留数据原貌
根据规范,对高表设置分区或分桶
分层业务
根据建表规范,梳理建表语句,考虑统一类型转换,数据库建表
数据建表
批处理 - 单表 - 全量
批处理 - 单表 - 增量
批处理 - 整库 - 全量
批处理 - 整库 - 增量
流处理 - 单表 - 实时入Hive
流处理 - 单表 - 实时入Kafka
数据集成
数据治理 - 元数据 - ODS层元数据同步
任务调度,持续评估标准落地情况
数据治理 - 数据标准 - ODS层标准落标映射
作为下一步建表的标准依据
数据治理 - 元数据 - 标准映射查看
数据治理
1、 ODS层数据接入
字典表标准化
如果存在质量问题
创建临时表,根据清洗规则处理
主题表质量检查
最终得到标准化主题宽表
数据治理 - 元数据 - ODS层标准映射查看
主题表拉宽
根据ODS层元数据建表依据,梳理建表语句,考虑统一类型转换,数据库建表
批处理 - Datax加工(普通数据体量)
批处理 - Spark计算(大数据批处理)
流处理 - Flink计算(大数据流处理)
数据治理 - 元数据 - DWD层元数据同步
数据治理 - 数据标准 - DWD层标准落标映射
作为DWD层数据质量建设检查依据
作为DWD层数据安全建设检查依据
质量模型
质量任务
质量报告
质量整改
数据治理 - 数据质量
资产目录
资产挂载
数据治理 - 数据资产
数据分类,分级,安全级别,脱敏规则
数据治理 - 数据安全
2、DWD层数据加工
主题宽表按需聚合(例如:月表,季表,年表),通用指标运算
作为下一步指标运算的依据
数据治理 - 元数据 - DWD层标准映射查看
根据DWD层元数据建表依据,梳理建表语句,考虑统一类型转换,数据库建表
正常业务,无特殊场景要求
数据治理 - 元数据 - DWS层元数据同步
数据治理 - 数据标准 - DWS层标准落标映射
作为DWS层数据安全建设检查依据
3、DWS层数据加工
业务按需提现
作为下一步数据安全标准依据
数据治理 - 元数据 - DWS层标准映射查看
根据DWS层元数据建表依据,梳理建表语句,考虑统一类型转换,数据库建表
数据治理 - 元数据 - ADS层元数据同步
数据治理 - 数据标准 - ADS层标准落标映射
4、ADS层数据加工
根据业务构建数据服务,加密,脱敏
5、数据服务
数仓实施
数据模拟
业务点需求
时效性需求
大屏需求
业务模拟
1、模拟业务数据准备
系统需求文档、操作手册等
表结构说明书、代码值、样本数据、建库脚本等
文档收集
表数量,表容量,字段数量
系统级
数据量,记录数,字段个数,字段类型分布
表级
字段名,数据类型,长度,精度,注释
字段级
元数据采集(功能测试)
数据治理 - 元数据 - 数据探查
2、模拟业务资料收集
了解系统系统架构功能;
了解系统的数据情况量;
了解数据表的业务含 义,并初步筛选出关注的表
根据需求初步筛选出需求相关的表。
3、系统与表级调研
了解源系统的字 段的业务含义;
调研初步筛选 关注的字段。
4、字段级调研
梳理《调研报告模板》
5、调研报告撰写
数据盘点
1、行业国标文档搜集
2、数据仓库规划,数据范围,业务域,主题,业务环节梳理,中英文缩写对照表
3、数仓基本规范制定
4、数仓实施规范制定
表名规范
字段名规范
异构数据源,类型转换统一
数据类型规范
建表规范
基本属性
表存储引擎
技术属性
业务域
主题
一级分类
二级分类
业务含义
业务属性
归口管理部门
发布时间
管理属性
是否允许发布服务
传输是否加密
安全属性
...待与客户确定
表数据元标准
数据类型
度量单位
数据长度
数据精度
标准中文名称
标准英文名称
业务定义
业务规则
制定依据
监管标志
值域
是否允许为空
格式规范
质量属性
是否脱敏
....待与客户确认
字段数据元标准
数据元规范
数据字典规范
行业标准梳理
5、数据标准规范制定
数据治理 - 元数据 - 元数据模型建立
数据治理 - 数据标准 - 标准模型建立
6、模型建立
数据治理 - 数据标准 - GB/FGB 文档上传
数据治理 - 数据标准 - 字段数据元标准梳理录入系统
数据治理 - 数据标准 - 字典类标准数据录入
7、标准录入
数据规范
大数据项目实施工作任务清单
0 条评论
回复 删除
下一页