kafka消费端可能出现的重复消费问题
2023-07-03 12:14:43 6 举报
登录查看完整内容
kafka消费端可能出现的重复消费问题
作者其他创作
大纲/内容
消费者通过提交offset，高速kafka已经消费到offset位102的数据了
数据3，offset = 103
数据1，offset = 101
消费者在提交offset102提交时，消费者重启了，kafka不知道，还是从offset102继续发送，导致数据2被消费两次
kafka
通知kafka
消费者
按照数据进入kafka的顺序，kafka会给每条数据分配一个offset，代表了这个数据的序号
数据2，offset = 102
数据1，offset = 101
zookeeper
消费者重启之后，接着上回的offset接着消费
生产者
每条消息都有一个offset，代表这个消息的顺序的序号
0 条评论
回复 删除
下一页
