0-实时分析平台架构图

日志云服务器集群(logFile)

power BI

FlinkCDC

ES

ODS

旁路缓存

taildir

集成

Hudi

Flume

根据场景省略

Syslog

superset

MySQL

数据可视化

Atlas

Redis

quickBI

web 数据接口

DeltaStreamer

Clickhource集群

Cluster集群管理集群监控任务调度

实时分析平台

DBMS

Phoenix +Hbase

业务云服务器集群(springBoot)

streampark

DWD

Kafka集群

DIM维度表

DIM

DWS

Flink

BI 工具

OLAP在线分析引擎

[数仓分层：ODS(原始数据层)、DWD(数据明显层)、DIM(维度层)、DWS(数据服务层)、ADS(数据应用层)]

TCP/UDP

日志服务器集群(logFile)

Flink 1.热门列表计算Top N2.统计计算3.用户/事物画像

Clickhouse集群

维度关联

业务服务器集群(springBoot)

实时数据大屏

ADS

ETL

Yarn

DS

实时数仓

                                             实时分析平台数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据缓冲层：Kafka集群、Rides(旁路缓存)数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算）数据展示层：Clinkhouse集群、ES、MySQL、Redis

                                             实时数仓架构数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算）                    数据展示层：Clinkhouse集群、ES、MySQL、Redis、Hudi

业务数据库