kafka消息发送和消费流程（非集群）
2024-01-11 11:58:01 7 举报登录查看完整内容
消息中间件kafka的消息生产与消费流程
作者其他创作
大纲/内容
3
消费者2
分区4
轮训方式
消费者6
分区1
消费者1
批次1(16k)
KafkaConsumer2
KafkaConsumer3
key
value
offset
消费者群组
ack
KafkaConsumer1
消费者3
分区3
2
1
组协调器
消费者4
消费者协调器
分区2
[Pratition分区]
Poll 拉取消息
缓冲区（缓冲池复用减少垃圾回收次数）
0
Producer
批次2(16k)
Consumer
消费者5
群主
KafkaConsumer4
push推送消息
分区器
主题A
推送时有两条件满足：1.设置定时推送例如：1ms2.设置满足消息量进行推送例如：16k
批次3(16k)
Topic1
GroupA(id:msb)
消费者与分区一一对应
再均衡监听器
Consumer_offsets
消费者群组A
目的为了转换成二进制存入文件
消息产生多了没有发出去缓冲池满了以后就会发生异常
消费者群组B
Topic2
Topic
消费者与分区一一对应多与的消费者等待有新的分区或者是旧的消费者挂掉重新分配
Broker
ProducerRecord
序列化器
收藏
收藏
0 条评论
回复 删除
下一页
