Kafka
2022-07-21 17:36:35 4 举报AI智能生成
kafka
作者其他创作
大纲/内容
存储原理
性能为什么高: 顺序IO写入, append, 每个Partition都是一个目录, 索引文件中记录元数据<br> 第几个消息和其物理偏移地址
Topic && Partition<br>
Topic: 是逻辑分开的概念, 真正在Broker间分布式的是Partition, 每条消息发送到Broker中<br> 会根据规则选择被存储到某Partition<br>
Broker
Broker: 相当于一个Node, 可以包含相同的Topic<br>
<br>
Partition会均匀分布在多Broker上<br>
Producer
确保消息发送的可靠性, 需要ack确认<br>
<br>
发送消息机制
发布消息的三种机制: <br>1, 指定Partition<br>2, 指定key和分区数取余<br>3, 第一次call, 随机生成整数, 自增取余<br>
Consumer
消费组
一个消费组去订阅一个topic, 消费组只有一个消费者的话会从四个分区取, 消费者负载均衡<br>
消费者数量多于分区数的话, 多出来的消费者是空闲的<br>
一个消息可以被多个消费组(不同应用)去全量读取<br>
0 条评论
下一页
