channel事物流程
2017-11-24 10:05:57 2 举报
flume的channel事物流
作者其他创作
大纲/内容
正常
Sink
写入，写入目的地
读取完毕提交删除事务命令
Channel
重新申请事务A
Flume事件队列
事件写入完成，将指针写入队列
生成事件ID和偏移量
根据参数生成Flume指针
事务A通信ing
Source
获取失败或者链接超时
详细通信过程
向事务A写事件
FLume事件队列
磁盘和wal
提交，在flume中删除数据
申请事务A
取头部指针
失败
回滚，channel数据到内存 通过检查点同步磁盘
成功
向channel申请事务A
写入
从事务中获取数据
异常
停止当前事务进行事务回滚
实时写入磁盘
这些保证单个事务不能同时读取和写入
通信正常
收藏
收藏
职业：web
0 条评论
回复 删除
下一页
