安个家 log 收集 - 2.0
2016-11-08 16:31:25 0 举报安个家log收集-2.0是一款专为用户打造的家居生活日志记录软件。它能够帮助用户详细记录日常生活中的点滴，无论是装修进度、家具购买、家电使用，还是家庭活动等，都能一一记录下来。此外，该软件还具有强大的分类和搜索功能，用户可以根据需要进行快速查找，方便实用。同时，安个家log收集-2.0还支持数据云同步，无论用户在何处，都能随时查看和管理自己的家居生活日志。这款软件界面简洁，操作简单，是每个追求品质生活的用户的理想选择。
作者其他创作
大纲/内容
Syslog-ng Server0.0.0.0:1000
ds.corp.angejia.com
uba_web_visitTCP: 10002
dw_access_log Slink
Thrift Source
存储在 HDFS 和 Kafka 中
Nginx
HDFS Sink
dw.corp.angejia.com
线上 Access_log
APP-2
bi0
HDFS 和 Kafka
LB
nginx 把 access_log 通过 syslog 协议发送到 flume
app 的 flume 通过Syslog Sources 方式收集日志OR rsyslog和logstash 方式收集日志发送到 Flume - Collector 层服务器
FlumeFile Channel 持久化
Uba phpsyslog 接口
/flume/dw_access_log
uba_web_actionTCP: 10002
AccessLogTest Topic
art.corp.angejia.com
Flume
uba_app_action Slink
Bi0 一台Uba 和 dw_access_log 处理流程
s.angejia.com
Kafka Slink
Thrift Sink
uba_web_action Slink
uba_app_actionTCP: 10001
Syslog Sources
Hive ETL
Log-0
*.angejia.com
flume syslog souce
18892
APP-1
Log-N
boss.angejia.com
uba_web_visit Slink
flume Thrift 方式
File Channel
bi.corp.angejia.com
Udp: 10004
/flume/uba_app_action
Flume 的 Syslog Souce 源监听 5140 发送的日志
/flume/uba_web_visit
SparkStreaming
APP-3
18891
HDFS
/flume/uba_web_action
Store 层固化收集的日志信息
/flume/access_log
Tcp: 5140
Kafka 集群
18890
flume http souce
uba flume-agent
api.angejia.com
APP01 ~ 03 三台Access_log 处理流程
app flume-agent
m.angejia.com
18889
Log-1
0 条评论
下一页
