Flume原理和架构
2020-04-07 18:05:33 30 举报登录查看完整内容
flume的基本原理和架构
作者其他创作
大纲/内容
Source是数据收集端，负责将数据捕获后进行特殊的格式化，将数据封装在事件（Event）中，然后推入到ChannelSource收集的数据可以转化为多重格式，如：Avro，log4j，syslog和http post（body为json格式）等，Source还支持自定义文件格式
Sink2
Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务。
Channel是链接Source和Sink的组件，可以把它看成一个数据缓冲区（数据队列），它可以将事件存到内存中也可以持久化存储到本地磁盘上，直到sink将事件处理完
Channel3
Flume的核心是一个Agent，Agent实际上是一个JVM，它是一个完整的数据收集工具，含有3个核心组件，分别是Source，Sink，Channel
flume的基础架构
Channel2
Sink1
Channel1
Agent
Sink 的作用是从Channel中取出event，将其传输到下一跳或最终目的，可以向文件系统，数据库，HDFS，Kafka，也可以给其他Agent中的Source接收数据，成功完成后将Events从channel移除
kafka
Sink3
Source
日志、数据
hdfs
收藏
0 条评论
回复 删除
下一页
