kafka架构
2022-11-05 10:14:27 9 举报
登录查看完整内容
大白菜
作者其他创作
大纲/内容
consumer1
comsumer-group-2
broker1
将消息发往所有分区（分片算法）
consumer
zookeeper
通过组区分不同的消费业务，每个组的消费信息相互隔离。一个consumer可以消费多个分区。一个分区只能被一个consumer消费。ps：如果一个consumer被多个消费者消费，连分区内的连续性也无法保证
p0 leader
p0备份不负责任何请求，只负责备份数据
p1 leader
controller每个集群会选出一个controller，负责与zk交互，处理创建，分区规划等请求
集群由多个broker构成topic：hello 有2个分区p0、p1 每个分区两个备份
consumer-2
p1备份，不负责处理请求，只备份数据
broker2
AKF X：备份 Y：TOPIC Z：分区KAFKA提供了完整的AKF实现，使用topic区分不同业务，一个topic（同样的业务）的数据可以指定分片，对于每个分片可以指定多个备份。分片才是实际的物理存储，topic则是逻辑概念
comsumer-group-1
0 条评论
回复 删除
下一页
