实时分析平台架构图
2023-06-15 14:47:13 41 举报
登录查看完整内容
1
作者其他创作
大纲/内容
web 数据接口
Phoenix +Hbase
ODS
taildir
集成
Hudi
Flume
DIM维度表
业务数据库
superset
数据可视化
Redis
Syslog
DeltaStreamer
Clickhource集群
实时分析平台
DBMS
streampark
DWD
DIM
OLAP在线分析引擎
日志服务器集群(logFile)
FlinkCDC
BI 工具
Flink
[数仓分层:ODS(原始数据层)、DWD(数据明显层)、DIM(维度层)、DWS(数据服务层)、ADS(数据应用层)]
TCP/UDP
ETL
Flink 1.热门列表计算Top N2.统计计算3.用户/事物画像
quickBI
MySQL
业务服务器集群(springBoot)
ES
power BI
维度关联
实时数据大屏
实时数仓
实时分析平台数据源层:业务数据库(例:Mysql)、Log文本日志、服务器(TCP、UDP)数据接入层:Flume(采集logFile、服务器)、FlinkCDC(采集业务数据库)数据缓冲层:Kafka集群、Rides(旁路缓存)数据计算层:Flink集成Streampark(消费kafak,ETL,分析计算)数据展示层:Clinkhouse集群、ES、MySQL、Redis
日志云服务器集群(logFile)
旁路缓存
实时数仓架构数据源层:业务数据库(例:Mysql)、Log文本日志、服务器(TCP、UDP)数据接入层:Flume(采集logFile、服务器)、FlinkCDC(采集业务数据库)数据计算层:Flink集成Streampark(消费kafak,ETL,分析计算) 数据展示层:Clinkhouse集群、ES、MySQL、Redis、Hudi
根据场景省略
Clickhouse集群
Atlas
Cluster集群管理集群监控任务调度
业务云服务器集群(springBoot)
Kafka集群
DWS
ADS
Yarn
DS
0 条评论
回复 删除
下一页