flume - nginx 高可用日志收集 - 1.0
2016-11-08 16:31:25 0 举报Flume-Nginx高可用日志收集1.0是一款专为提高系统日志处理效率而设计的工具。它通过将Nginx服务器的访问日志实时传输到指定的数据存储中心，帮助企业实现对海量日志数据的高效管理和分析。该工具具有高度可扩展性，能够轻松应对不断增长的日志数据量。同时，Flume-Nginx高可用日志收集1.0采用了先进的负载均衡技术，确保在多个节点之间实现平滑的数据迁移，从而保证了系统的高可用性。此外，该工具还提供了丰富的可视化报表功能，帮助企业快速了解业务运行状况，为决策提供有力支持。总之，Flume-Nginx高可用日志收集1.0是一款值得信赖的日志管理解决方案，值得广大企业用户尝试。
作者其他创作
大纲/内容
1. Flume HDFS Sink 写入 HDFS 目录规则2. Flume Kafka Sink 写 Kafka Topic 规则
Flume
boss.angejia.com
存储在 HDFS 和 Kafka 中
HDFS Sink
APP-2
File Channel
Spooling Directory Source
bi0
HDFS 和 Kafka
app 的 flume 通过Syslog Sources 方式收集日志OR rsyslog和logstash 方式收集日志发送到 Flume - Collector 层服务器
LB
php-fpm 9000
Thrift Source
SparkStreaming
APP-3
Flume 内部工作流
app
Store 层固化收集的日志信息
s.angejia.com
Thrift Sink
FlumeFile Channel 持久化
Nginx
Syslog Sources
Flume1. 清理日志机制2. 日志发送的机制
Hive ETL
Kafka 集群
Log-0
Log-N
*.angejia.com
APP-N
uba flume-agent
api.angejia.com
APP-01
app flume-agent
m.angejia.com
APP-1
Log-1
HDFS 集群
0 条评论
下一页
