安个家 log 收集 - 2.0
2016-11-08 16:31:25 0 举报安个家log收集-2.0是一款专为家庭用户设计的日志记录工具。它能够帮助用户详细记录家庭生活的点滴，包括购物清单、家庭账目、装修进度、孩子成长日记等。这款工具界面简洁，操作简单，用户可以轻松地添加、编辑和查看日志。同时，它还支持数据备份和恢复，确保用户的日志数据安全。此外，安个家log收集-2.0还具有强大的搜索功能，用户可以通过关键词快速找到需要的日志。无论是为了管理家庭事务，还是为了记录生活点滴，安个家log收集-2.0都是一个理想的选择。
作者其他创作
大纲/内容
Syslog-ng Server0.0.0.0:1000
ds.corp.angejia.com
uba_web_visitTCP: 10002
dw_access_log Slink
Thrift Source
存储在 HDFS 和 Kafka 中
Nginx
HDFS Sink
dw.corp.angejia.com
线上 Access_log
APP-2
bi0
HDFS 和 Kafka
LB
nginx 把 access_log 通过 syslog 协议发送到 flume
app 的 flume 通过Syslog Sources 方式收集日志OR rsyslog和logstash 方式收集日志发送到 Flume - Collector 层服务器
FlumeFile Channel 持久化
Uba phpsyslog 接口
/flume/dw_access_log
uba_web_actionTCP: 10002
AccessLogTest Topic
art.corp.angejia.com
Flume
uba_app_action Slink
Bi0 一台Uba 和 dw_access_log 处理流程
s.angejia.com
Kafka Slink
Thrift Sink
uba_web_action Slink
uba_app_actionTCP: 10001
Syslog Sources
Hive ETL
Log-0
*.angejia.com
flume syslog souce
18892
APP-1
Log-N
boss.angejia.com
uba_web_visit Slink
flume Thrift 方式
File Channel
bi.corp.angejia.com
Udp: 10004
/flume/uba_app_action
Flume 的 Syslog Souce 源监听 5140 发送的日志
/flume/uba_web_visit
SparkStreaming
APP-3
18891
HDFS
/flume/uba_web_action
Store 层固化收集的日志信息
/flume/access_log
Tcp: 5140
Kafka 集群
18890
flume http souce
uba flume-agent
api.angejia.com
APP01 ~ 03 三台Access_log 处理流程
app flume-agent
m.angejia.com
18889
Log-1
0 条评论
下一页
