数据分析监控平台总体架构
2025-12-28 21:47:54 0 举报
这张数据分析监控平台总体架构,以分层模式实现数据从采集、处理到业务应用的全链路支撑:最底层数据采集存储层汇聚访问日志、业务数据库、外部数据等多源信息,依托 HDFS、Hbase 完成数据存储;中间平台计算层以 Hadoop&Yarn 为基础底座,分设批处理(MR、Hive、SparkSQL)与流处理(Kafka、Flink、Streaming)两类计算引擎,同时融合 AI 能力,支撑不同时效的数据处理需求;最上层业务应用层落地指标、报表、预警系统、用户画像、智能分析等功能,最终实现业务数据的分析与监控,右侧对应数据分析、数据仓库的核心定位。整体架构兼顾批流处理能力,适配多场景的业务数据监控与智能分析需求。
作者其他创作
大纲/内容
业务应用
数据采集存储
流处理
外部数据
用户画像
HDFS
Streaming
业务数据库
数据分析
Sparksql
指标
AI
智能分析
平台计算
Hbase
批处理
kafka
Flink
数据仓库
预警系统
报表
......
Hive
Hadoop && Yarm
访问日志
MR
0 条评论
下一页