数据加工
ElasticSearch
Kafka
数据中转
Grafana
全量数据
HDFS
Flink/Storm
数据采集
数据展示
实时数据分析
Filebeat
Logrotate 日志切割/历史日志清除
Logstash
Nginx Access/Error Log
1. 日志收集时，应提供日志来源地、日志产生者以及日志类型，前两者可以以标签形式指定，目的精确定位问题产生者。日志类型对应日志转换策略，以从日志中得到关键字段的信息；2. FileBeta 支持断点续传，避免重新开始；不会使pipeline超过负载：使用backpressure-sensitive 协议感知后端（比如logstash、elasticsesarch等）压力，如果后端忙于处理数据，则降低读日志的速度；一旦阻塞被解决，则恢复。3. Kakfa将实时日志流转发给Storm或Flink进行日志转换处理，以支持实时查询；4. HDFS用于储存收集到的所有日志，使用Hive定期进行日志分析、转换等处理；5. 在日志转换层，按照日志类型对应的转换策略，提取出关键字段数据，再讲这些结构化的数据交给分布式搜索引擎ElasticSearch存储并索引；6. 使用Kibana进行日志检索、报表统计；使用Grafana进行大屏展示
历史数据保存
OpenTSDB/MySQL
数据分析
Hive
1. 实时接口耗时统计分析；2. 接口请求量走势图；3. 耗时对比图、区间耗时对比图；4. QPS、PV、UV、HOST
Kibana
LogStash
数据存储
backpressure-sensitive 感知后端压力
数据源
