日志分析系统架构

Data

Master

...

Source

Spark

MLlib

HDFSCluster

Storm

日志原始数据

Spark Core

数据库

Kafka

Elasticsearch

数据可视化

Kafka Channel

业务系统

StormMaster

日志源

采集端

结构化日志

Storm Cluster

Flume Agent1

StormWorker

Flume Collector

# Storm和Spark Streaming根据实际需求选择其一；# Solr与Elasticsearch二选一；# 在HDFS中存储原始日志，以支持其他业务分析需求？

采集端A

Flume Agent2

Solr

Syslog

Spark Streaming

传输通道

Http

ElasticsearchData

HDFSName

Worker

日志存储

GraphX

KafkaBroker

HDFSData

SNMP

日志采集

实时查询

日志索引

分布式搜索

Broker

Spark SQL

Slave

数据建模

数据分析

日志提取规则

文件

ETL处理

日志转换

collector2

提取规则

采集端N

collector3

展示分析

视图展示

Elasticsearch Cluster

collector1

agent2

Data Processing

HDFS

分析预测

agent1

控制台管理

日志图表

Flume体系

外部接口

Log Analysis Frontend

ElasticsearchMaster

syslog

REST接口

采集端B

# 日志收集时，需描述日志来源地、日志产生者以及日志类型，前两者可以标签形式指定，目的是区分日志的来源，以准确定位问题产生者。日志类型对应着日志转换策略，以从日志中得到关键字段信息；# Agent最好支持断点续传功能，避免重新开始，并支持处理多行日志；# Kafka将大量的实时日志流交给Storm或Spark Streaming进行日志转换处理，以支持实时查询；# HDFS用于备份收集到的所有日志，其可用于定期的日志分析、转换等处理，也可用于后续的智能分析；# 在日志转换层，按照日志类型对应的转换策略，提取出关键字段数据，再将这些结构化的数据交给Solr或Elasticsearch等分布式搜索引擎存储并索引；# 用户可通过Web UI查询日志，配置告警规则等；

实时告警

TCP

其他

Kafka Cluster