Flume原理和架构

Source是数据收集端，负责将数据捕获后进行特殊的格式化，将数据封装在事件（Event）中，然后推入到ChannelSource收集的数据可以转化为多重格式，如：Avro，log4j，syslog和http post（body为json格式）等，Source还支持自定义文件格式

Sink2

Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务。

Channel是链接Source和Sink的组件，可以把它看成一个数据缓冲区（数据队列），它可以将事件存到内存中也可以持久化存储到本地磁盘上，直到sink将事件处理完

Channel3

Flume的核心是一个Agent，Agent实际上是一个JVM，它是一个完整的数据收集工具，含有3个核心组件，分别是Source，Sink，Channel

flume的基础架构

Channel2

Sink1

Channel1

Agent

Sink 的作用是从Channel中取出event，将其传输到下一跳或最终目的，可以向文件系统，数据库，HDFS，Kafka，也可以给其他Agent中的Source接收数据，成功完成后将Events从channel移除

kafka

Sink3

Source

        日志、数据

hdfs