Nginx 日志分析

数据加工

ElasticSearch

Kafka

数据中转

Grafana

全量数据

HDFS

Flink/Storm

数据采集

数据展示

实时数据分析

Filebeat

Logrotate 日志切割/历史日志清除

Logstash

Nginx Access/Error Log

1. 日志收集时，应提供日志来源地、日志产生者以及日志类型，前两者可以以标签形式指定，目的精确定位问题产生者。日志类型对应日志转换策略，以从日志中得到关键字段的信息；2. FileBeta 支持断点续传，避免重新开始；不会使pipeline超过负载：使用backpressure-sensitive 协议感知后端（比如logstash、elasticsesarch等）压力，如果后端忙于处理数据，则降低读日志的速度；一旦阻塞被解决，则恢复。3. Kakfa将实时日志流转发给Storm或Flink进行日志转换处理，以支持实时查询；4. HDFS用于储存收集到的所有日志，使用Hive定期进行日志分析、转换等处理；5. 在日志转换层，按照日志类型对应的转换策略，提取出关键字段数据，再讲这些结构化的数据交给分布式搜索引擎ElasticSearch存储并索引；6. 使用Kibana进行日志检索、报表统计；使用Grafana进行大屏展示

历史数据保存

OpenTSDB/MySQL

数据分析

Hive

1. 实时接口耗时统计分析；2. 接口请求量走势图；3. 耗时对比图、区间耗时对比图；4. QPS、PV、UV、HOST

Kibana

LogStash

数据存储

backpressure-sensitive 感知后端压力

数据源