Data
Master
...
Source
Spark
MLlib
HDFSCluster
Storm
日志原始数据
Spark Core
数据库
Kafka
Elasticsearch
数据可视化
Kafka Channel
业务系统
StormMaster
日志源
采集端
结构化日志
Storm Cluster
Flume Agent1
StormWorker
Flume Collector
# Storm和Spark Streaming根据实际需求选择其一；# Solr与Elasticsearch二选一；# 在HDFS中存储原始日志，以支持其他业务分析需求？
采集端A
Flume Agent2
Solr
Syslog
Spark Streaming
传输通道
Http
ElasticsearchData
HDFSName
Worker
日志存储
GraphX
KafkaBroker
HDFSData
SNMP
日志采集
实时查询
日志索引
分布式搜索
Broker
Spark SQL
Slave
数据建模
数据分析
日志提取规则
文件
ETL处理
日志转换
collector2
提取规则
采集端N
collector3
展示分析
视图展示
Elasticsearch Cluster
collector1
agent2
Data Processing
HDFS
分析预测
agent1
控制台管理
日志图表
Flume体系
外部接口
Log Analysis Frontend
ElasticsearchMaster
syslog
REST接口
采集端B
# 日志收集时，需描述日志来源地、日志产生者以及日志类型，前两者可以标签形式指定，目的是区分日志的来源，以准确定位问题产生者。日志类型对应着日志转换策略，以从日志中得到关键字段信息；# Agent最好支持断点续传功能，避免重新开始，并支持处理多行日志；# Kafka将大量的实时日志流交给Storm或Spark Streaming进行日志转换处理，以支持实时查询；# HDFS用于备份收集到的所有日志，其可用于定期的日志分析、转换等处理，也可用于后续的智能分析；# 在日志转换层，按照日志类型对应的转换策略，提取出关键字段数据，再将这些结构化的数据交给Solr或Elasticsearch等分布式搜索引擎存储并索引；# 用户可通过Web UI查询日志，配置告警规则等；
实时告警
TCP
其他
Kafka Cluster
