数据采集
2025-05-06 09:28:09 0 举报边缘端数据采集，到中心端数据分析存储的过程
作者其他创作
大纲/内容
KTable
Flink
探针
Spark(分布式批处理框架)
KStream
YARN(集群资源管理和调度系统)
Sqoop（数据库同步）
探针采集器
存储缓存
冷数据
订阅
数据存储层
ES
LogStash(日志收集)
应用层
kafka
ES集群
解析清洗去重筛选加工分类转换增加
第三方数据接收组件
自定义模块
数据分析层
水 印
DataX/Kettle(ETL工具)
实时查询
HDFS(分布式文件存储系统)
BI
kafka集群
Syslog（日志收集）
SparkStreaming
采集层
HBase(分布式实时列式存储数据库)
上层分析结果存入ES
离线查询/分析任务
流处理层
Hive(离线数据仓库)
应用数据
Flume（日志收集）
Flink(分布式流处理框架)
0 条评论
下一页
