大数据-Flume

c1

s1

r1

Hbase

node104 Agent（a1）

sinkavro

channel（缓存）

batchData

sink控制台

putList

http

Selector 模式

node113 Agent（a1）

崩溃

多级流动

source（netcat）

sinkHDFS

Failover Sink Processor 模式

source（avro）

memoryChannel

node103-nc

a1.sources.r1.type=httpa1.sources.r1.bind=node113a1.sources.r1.port=8888a1.sources.r1.selector.type=multiplexinga1.sources.r1.selector.header=statea1.sources.r1.selector.mapping.cn=c1a1.sources.r1.selector.mapping.us=c2a1.sources.r1.selector.default=c2

event

doRollback

doCommit

Agent

bucketWriter

flow

Flume 作用

结果

cn

Hive

Sink

发送/离线处理

处理

基本视图

HDFS

Storm/Flink实时计算

2021-5-18

可视化

channel

take 推送

takeList

mysql

基础部署视图

s2

source(nc)

source

flume

channel(menory)

c2

sink

source 发送

doPut

batchdata

memoryTransaction

2021-5-19

扇入流

doTakebatchData

web

扇出流

Mapreduce

Sqoop导出

收集

node103 Agent（a1）

webServer