Kafka原理与副本机制架构图

Broker2

topic1-p0follower

Procuer: 生产者，产生消息发送给kafkaConsumer: 消费者，接收消息并处理业务Broker: kafka节点，多个broker组成kafka集群Zookeeper: 注册中心，所有kafka节点会注册上Group: 消费分组，多个消费者处于同一个分组时，可以共同消费一个topic中的消息关于kafka集群：Leader: 每个分区有一个leader副本，处理partition的读写请求Follower: 非leader的副本，可有多个，follower会从leader复制数据，持续保持与leader数据一致。当leader发生故障时，其中一个follower会被选举为新的leader

topic1-p2leader

topic1-p1leader

Consumer1

Consumer3

Zookeeper

Producer3

Group A

Broker1

topic1-p0leader

Consumer2

Consumer4

Producer2

Producer1

topic1-p1follower

topic1-p2follower

Group B