概念
Kafka：一种高吞吐量、分布式、基于发布/订阅的消息系统
broker：消息中间件处理节点，负责消息存储和转发<br>
topic：消息类别<br>
partition：一个 topic 可以包含多个 partition<br>
offset：消息在日志中的位置
Product：消息生产者
Consumer：消息消费者
Consumer Group：消费者分组
replica：partition 的副本
leader：replica 中的主角<br>
follower：从 leader 中复制数据<br>
Zookeeper：保存着集群 broker、topic、partition 等 meta 数据
架构图
数据存储设计
Message
offset
MessageSize<br>
data
segment
partition 物理上由多个 segment 文件组成
图
segment 大小相等顺序读写<br>
文件以该段中最小的 offset 命名<br>
二分查找message<br>
数据文件索引
为segment建立了索引文件
文件名与数据文件的名字是一样的
复制原理<br>
kafka多副本机制实现故障自动转移
Leader处理partition的所有读写请求
follower会被动定期地去复制leader上的数据<br>
ISR：in-sync replica set
和leader保持同步的follower集合
follower超时剔除<br>
OSR：Outof-Sync Replicas
延迟剔除+新加入的follower
AR：所有的副本=ISR+OSR<br>
采取预写式的日志文件
LEO：LogEndOffset<br>
可靠性保证
发送次数
ack：-1 At Least Once
ack：0 At Most Once
Exactly Once<br>
At Least Once + 幂等性
幂等性
生产者设计
发送模式
负载均衡
random<br>
round-robin
hash
批量发送
压缩<br>
事务
全局唯一的 Transaction ID
PID 和Transaction ID 绑定<br>
组件 Transaction Coordinator
将事务所有写入 Kafka 的一个内部 Topic
重启后事务状态可以得到恢复
图
消费者设计
Consumer Group
Consumer<br>
pull<br>
kafka采用方式
timeout机制
消费分配策略
RoundRobin
Range（默认）
Sticky粘性（0.11版本以后）
分区分配尽可能均匀<br>
rebalance时尽可能与上一次保持相同
再平衡机制rebanlance
consumer group中的新增或删除某个consumer<br>
consumer订阅的topic发生变化，如订阅了test-*，新建了一个topic：test-XXX
consumer所订阅的topic发生了新增分区的行为
零拷贝<br>
不用过用户，系统直接将数据发送网卡
生产者：mmap
消费者：sendfile
图
控制器组件 Controller
简介
作用：在ZooKeeper 的帮助下管理和协调整个 Kafka 集群
1.主题管理（创建、删除、增加分区)
2.分区重分配<br>
3.Preferred 领导者选举<br>
4.集群成员管理
5.数据服务
参与者：集群中任意一台 Broker 都能充当控制器的角色，<br>但是，在运行过程中，只能有一个 Broker 成为控制器<br>
选举
启动选举：broker启动后都会尝试去ZooKeeper中创建/controller节点，第一个成功则为控制器<br>
核心API
生产者 API
消费者API
The high-level consumer API<br>
The SimpleConsumer API<br>
多次读取一个消息<br>
只消费一个 patition 中的部分消息
使用事务来保证一个消息仅被消费一次<br>
Streams API<br>
Connector API<br>
问题
为什么kafka速度快？<br>
顺序读写<br>零拷贝<br>消息压缩<br>分批发送
