数据湖架构设计

质量管理

流程编排

数据湖架构设计

离线

数据调度层

数据大屏

数据搬迁

数据应用层

数据访问

实时计算

数仓

数据湖存储层

④Schema后置:数据湖存储数据不需要满足特定的范式，支持在读取数据的时候Schema。

···

⑤应用广泛：支持使用者通过自助访问业务数据，支持数据挖掘、机器学习等未知探索需求。

数据挖掘

用户画像

任务管理

数据湖接入层

③多范式计算:支持多种计算引擎，满足不同数据计算分析需求，支持批处理、流处理、机器学习等。

Flink

统一的API接口

AI平台

数据接入

数据库

BI报表

实时

APP

元数据管理

MapREduce

①数据多源异构:可容纳海量数据，且无存储格式要求，接收结构化、半结构化、非结构化及二进制数据入湖。

离线计算

Storm

资产目录

②数据统一存储管理:对内以OSS为中心，进行统一存储，对接多范式计算引擎，对外提供统一的API接口

Spark

机器学习

数据治理

应用

数据湖管理层

日志

调用

OSS

Spark Streaming

数据湖计算层