治理诉求
DWI层方案设计
统一资源调度
流处理引擎Flink SQL
批量数据接入
三、方案设计
数据服务生命周期管理
项目验收报告
交互式分析HetuEngine
关键输出件系统运行报告关键资产收割库
企业技术框架
物联网IoT
2.售后保障
元数据采集
技术架构 Technology Arch
简单检索HBASE
数据主题、专题实施
业务能力
数据模型认证
通知、备份管理
数据资源目录设计
DWR层方案设计
AI分析
数据标准实施
属性
业务对象
模块
文档转移
存储格式:Parquet、ORC
价值流
优炫数据库 UXDB
数据需求调研
主数据
Flume
批处理引擎Hive
上线方案
数据安全实施
逻辑数据实体
KMS
离线数据湖
华为云GaussDB(DWS)
机器学习
实时同步
问题反馈机制
信息架构Information Arch
技术策略
实时加载
数据安全
流处理引擎Flink
数据指标实施
数据管理
Flink
商业模式
关键输出件数据入湖指导手册数据标准规范数据资源目录数据模型设计书数据模型建表SQLETL开发脚本
可信的数据源
高效的数据共享
实时流处理
数据接入
数据标准设计
账号权限转移
文件
批处理引擎Spark
数据清洗
一、项目预审
技术架构蓝皮书
图GES
数据流设计
平台资源转移
需求方案与SOW编写
南大通用 GBase
复杂搜索ES
子产品:A
OBS
数据集成
数据安全设计
商业计划
业务场景
管理中心
数据资产
治理价值体现
数据分层流向
业务部门需求调研
1、数据入湖实施
实时数据湖
产品:xx工具
大数据解决方案架构设计:大数据+数据治理原创作品,创作不易,尊重版权,请勿抄袭
Kafka
入湖方案制定
关键输出件数据湖方案数据架构设计数据模型设计数据服务设计
Ranger
数据开发规范
主数据规范
业务流程
数据标准
业务元数据
云原生数据湖
星环科技 TDH
业务流程调研
血缘关系
数据质量设计
作业、实例运维
DM层开发实施
数据服务
确认交付核心人员
关键方案预验证
主题分组
腾讯云 EMR + TCHouse-D
数据模型
定时加载
数据质量的持续提升减少纠错成本,降低运营风险,提升业务服务满意度
BI
数据运营
数据存储
容灾
数据湖B
多样集市
OLAP集市Doris
时序IoTDB
关键输出件项目验收报告应急指导书
应用领域
统一数据服务实现规范
业务战略
火山云ByteHouse
业务架构 Business Arch一切的基础:做正确的事情: 价值流、业务能力、业务场景、业务服务、业务流程
数据安全访问日志审计
Hudi
消息
定义价值流
Oozie
容灾备份
数据质量
专题集市
数据质量管控
技术设计
技术元数据
数据治理体系
业务对象识别
确定业务边界和范围
克隆后可编辑 克隆后可编辑 克
3.数据模型开发
数据特征
华为云 FusionInsight MRS 离线计算引擎
数据地图
数据务组织、流程、政策、平台与工具
实时宽表分析ClickHouse
数据字典发布
1.正式上线
数据源认证
技术服务目录
运营管理制度
数据集成调研
DM数据集市
一致的数据标准
信息架构
数据质量目标
成果转移
业务部分组织结构调研
1.数据湖设计
实时数据接入
业务库
数据湖A
HDFS
基础设施层(HCS、BMS、容器、专属服务器)
统一数据服务设计规范
数据主题、专题设计
Manager
数据湖统一存储
湖内分析
四、开发实施
SDI贴源层
六、上线保障
阿里云MaxCompute
提升数据准备读,为业务运作提供可信的足量的数据支撑
技术标准
数据仓库
SmallFS
业务服务
数据管理规范调研
3.数据模型设计
湖仓一体
数据开发
可交付性评审
识别利益相关者和价值
大屏展示
产品:xx一站式
统一调度
逻辑数据湖
按需加载
存储格式:Parquet、ORC、Hudi
关键输出件服务清单及SOW交付人员清单及伙伴项目交付计划项目启动会纪要
子产品:PC
DataOps
## 数据分层流向
数据安全定级
上线报告
集群管理
场景化解决方案确认
企业架构
LakeFormation
已有流程
2.可交付性评审
系统数据调研
1.业务调研
4A架构设计
数据治理框架
全量、增量集成
IT产品
数据质量改进
自助分析
SparkStreaming
腾讯云 湖仓一体:Iceberg、Spark
关键输出件业务架构图应用架构图数据调研表数据管理规范表(可选)
数据质量实施
主数据识别
2.资产转移
主题域
阿里云湖仓一体:Delta Lake、ADB
描述价值流阶段
数据一致性校验
数据质量标准
数据安全访问控制
3.项目启动规划
数据链路设计
数据资产目录
子产品:B
应用架构 Application Arch
金仓数据仓库(KingbaseDW)
2.数据调研
数据主题设计
数据质量政策
DWI数据整合层
数字化转型项目
统一元数据管理&统一权限管理
腾讯云 TCHouse-P
流处理引擎
Yarn
遗留问题解决
产品
风险与规避建议
确认SOW内容
应用架构Application Arch
数据源
CDL
CDL实时集成引擎
数据标准制定
标签分类管理
技术架构Technology Arch
挖掘建模
数据范围
数据服务设计
DBService
二、需求调研
业务需求
主数据定义
子产品:移动端
交付转维
实现业务上线有数据的快速传递共享,提升业务运作效率
1.试运行
数据指标设计
2.数据治理实施
3.项目验收
华为云 FusionInsight:自研湖仓引擎
有效的数据质量监控
上线策略与支持
大数据解决方案数据治理核心流程
业务摸底调研
产品:xx BI
业务问题和痛点
数据集成实施
精细化监控
数据集成数据标准
事件
滚动升级
确认交付目标计划
1.客户需求调研
数据存储与分层设计
DWR数据报告层
数据探查/画像
Superrior
阿里云 AnalyticDB(ADB)
2.数据架构设计
云原生大数据计算平台 + 离线数仓引擎
数据安全等级定义
专题分析
业务系统现状调研
技术规范
脚本、作业开发
数据治理价值
数据服务实施
业务架构Business Arch
五、移交保障
数据治理运行
交互式分析跨湖查询HetuEngine
项目启动会