实时数据平台架构

web 数据接口

Phoenix +Hbase

ODS

taildir

集成

Hudi

Flume

DIM维度表

业务数据库

superset

数据可视化

Redis

Syslog

DeltaStreamer

Clickhource集群

实时分析平台

DBMS

streampark

DWD

DIM

OLAP在线分析引擎

日志服务器集群(logFile)

FlinkCDC

BI 工具

Flink

[数仓分层：ODS(原始数据层)、DWD(数据明显层)、DIM(维度层)、DWS(数据服务层)、ADS(数据应用层)]

TCP/UDP

ETL

Flink 1.热门列表计算Top N2.统计计算3.用户/事物画像

quickBI

MySQL

业务服务器集群(springBoot)

ES

power BI

维度关联

实时数据大屏

实时数仓

                                             实时分析平台数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据缓冲层：Kafka集群、Rides(旁路缓存)数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算）数据展示层：Clinkhouse集群、ES、MySQL、Redis

日志云服务器集群(logFile)

旁路缓存

                                             实时数仓架构数据源层：业务数据库（例：Mysql）、Log文本日志、服务器（TCP、UDP）数据接入层：Flume（采集logFile、服务器）、FlinkCDC（采集业务数据库）数据计算层：Flink集成Streampark（消费kafak，ETL，分析计算）                    数据展示层：Clinkhouse集群、ES、MySQL、Redis、Hudi

根据场景省略

Clickhouse集群

Atlas

Cluster集群管理集群监控任务调度

业务云服务器集群(springBoot)

Kafka集群

DWS

ADS

Yarn

DS