AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
_kafka 重复消费问题
2019-01-31 09:15:13
15
举报
分享方式
免费使用
kafak重复data解决
kafak重复消费data解决
模版推荐
作者其他创作
大纲/内容
出现：消费者不是消费完一条就提交offset，而是定期提交offset，如果在未提交之前重启，那么offset出现了错误。这样就出现了重复数据
data 1 offset = 3
consumer
但是如果我们将消费者改成，拿到一条就提交一次offset，那么这种情况就可以避免了
data 1 offset = 0
zookeeper 记录了当前读到哪个offset，如果发生宕机，从offset 开始重新读。
data 1 offset = 2
kafka
我们使用数据中的id进行幂等性保证。还有通过数据库唯一主键进行控制......需要结合具体的业务
data 1 offset = 1
producter
zookeeperoffset：2
收藏
立即使用
GunNettyModel
收藏
立即使用
_kafka 重复消费问题
收藏
立即使用
mysql high concurrent
albert frank
职业：csjco
去主页
Collect
Get Started
Storm中消费Kafka中缓存日志示意图
Collect
Get Started
Storm消费Kafka中的数据
Collect
Get Started
重复出票处理流程
Collect
Get Started
定义问题的能力
评论
0
条评论
下一页
Document
