web 数据接口
Phoenix +Hbase
ODS
taildir
集成
Hudi
Flume
DIM维度表
业务数据库
superset
数据可视化
Redis
Syslog
DeltaStreamer
Clickhource集群
实时分析平台
DBMS
streampark
DWD
DIM
OLAP在线分析引擎
日志服务器集群(logFile)
FlinkCDC
BI 工具
Flink
[数仓分层：ODS(原始数据层)、DWD(数据明显层)、DIM(维度层)、DWS(数据服务层)、ADS(数据应用层)]
TCP/UDP
ETL
Flink 1.热门列表计算Top N2.统计计算3.用户/事物画像
quickBI
MySQL
业务服务器集群(springBoot)
ES
power BI
维度关联
实时数据大屏
实时数仓
实时分析平台数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据缓冲层：Kafka集群、Rides(旁路缓存)数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算）数据展示层：Clinkhouse集群、ES、MySQL、Redis
日志云服务器集群(logFile)
旁路缓存
实时数仓架构数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算） 数据展示层：Clinkhouse集群、ES、MySQL、Redis、Hudi
根据场景省略
Clickhouse集群
Atlas
Cluster集群管理集群监控任务调度
业务云服务器集群(springBoot)
Kafka集群
DWS
ADS
Yarn
DS
