登录免费注册



kafka消息发送和消费流程（非集群）

首页  流程图  详情



kafka消息发送和消费流程（非集群）

2024-01-11 11:58:01   9  举报





消息中间件kafka的消息生产与消费流程

后端开发

模版推荐

作者其他创作

大纲/内容

3

消费者2

分区4

轮训方式

消费者6

分区1

消费者1

批次1(16k)

KafkaConsumer2

KafkaConsumer3

key

value

offset

消费者群组

ack

KafkaConsumer1

消费者3

分区3

2

1

组协调器

消费者4

消费者协调器

分区2

[Pratition分区]

Poll 拉取消息

缓冲区（缓冲池复用减少垃圾回收次数）

0

Producer

批次2(16k)

Consumer

消费者5

群主

KafkaConsumer4

push推送消息

分区器

主题A

推送时有两条件满足：1.设置定时推送例如：1ms2.设置满足消息量进行推送例如：16k

批次3(16k)

Topic1

GroupA(id:msb)

消费者与分区一一对应

再均衡监听器

Consumer_offsets

消费者群组A

目的为了转换成二进制存入文件

消息产生多了没有发出去缓冲池满了以后就会发生异常

消费者群组B

Topic2

Topic

消费者与分区一一对应多与的消费者等待有新的分区或者是旧的消费者挂掉重新分配

Broker

ProducerRecord

序列化器

 Collect

Get Started

消息发送

 Collect

Get Started

kafka消息发送流程

 Collect

Get Started

kafka异常消息处理

 Collect

Get Started

消息发送流程













评论

0 条评论

下一页

Document