HDFS原始资料区
12
数据集成(集成)
明细层
数据服务
MPP
访问层
对象存储
01
HDFS登录区
SA区结构化数据[NAS]
HDFS归档区
Redis
11
Mysql
数据湖架构(目标态)
ES
CK
03
实时数据区
Hive
Kafka
HDFS贴源区
汇总层
数据湖
数据集成(交换)
01 源系统-->NAS-->HDFS03 核验后文件保存至 登录区04 将登录区数据与hive已有存量数据根据常用算法(拉链/切片)进行整合05
MPP登录层
Hbase
MPP贴源层
非结构化数据[NAS]
流式数据
04
云数仓