数据中台架构图

dwd

离线计算

应用数据ADS层(kylin/impala)

可视化大屏

Olap报表

flink

数据采集

云主机

元数据管理atlas

底座

精准推荐

Hbase

消息队列Kafka

数据中台

业务数据

ES

  基础工具层

DATAX

这是水印，克隆可删除

数据源03

spark ml

数据安全管理Kerbors+Sentry

数据分析

网络

数据源01

数据源02

智能检索

数据源06

决策支撑

数据源05

mysql/Tidb

yarn

质量管理

HDFS

spark

统一数仓

spark streaming

调度以及组件管理CM

FTP/HTTP

5G网络

                                                                                                                                                                                                                                                                                                                                                                                                                  

SQOOP

数据源04

FLUME

数据运营体系

dw

hive

dim

数据共享

第三方系统

ods

······················································

Kudu

数据处理分析

tensorflow

CANAL

用户画像

redis

本地机房

日志行为

算法

标签数据层TDM

oozie/Azkban

数据应用

数据运营

实时计算

mr

数据源