Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传<br>输的系统。Flume 基于流式架构,灵活简单
Source<br>主要负责采集工作,采用 TailDir 组件用于监控文件或文件夹的变化
Channel <br>扮演数据管道的角色,对数据进行缓冲。采用非持久化的 Memory 类型
Sink<br>把 Channel 中的数据输出到外部环境中,支持多种数据接口(HDFS、Kafka 等),此次<br>案例中我们的最终目标是数据到阿里云的数据总线中(DataHub),调试阶段可以先输出到<br>控制台中。