ResourceManager
2018-02-03 13:20:51 14 举报AI智能生成
kafka consumer
作者其他创作
大纲/内容
<h3>Simple Consumer</h3>
手动管理offset
每次从特定Partition的特定offset开始fetch特定大小的消息
完全由Consumer应用程序决定下一次fetch的起始offset
使用的主要原因
同一条消息读多次，方便Replay
只消费某个Topic的部分Partition
管理事务，从而确保每条消息被处理一次（Exactly once）
与<b><font color="#c41230">High Level Consume</font></b>r相对
在应用程序中跟踪处理offset，并决定下一条消费哪条消息
获知每个Partition的Leader
处理Leader的变化
处理多Consumer的协作
High Level Consumer
自动管理offset
<b>auto.commit.enable=true</b>
<b>auto.commit.interval.ms=60 * 1000</b>
手工管理offset
<b>ConsumerConnector.commitOffsets()</b>
offset存储
<b>offsets.storage=zookeeper</b>
<b>dual.commit.enabled=true</b>
分支主题
<b>auto.offset.reset</b>
收藏
0 条评论
下一页
