核心概念
broker
一个kafka进程就是一个broker
一个broker可以容纳多个topic
topic
生产者和消费者面向的都是一个topic
topic只是一个逻辑上的概念，broker上真实存储的是partition
partition
一个topic可以分为多个partition
每个partition内部都是一个有序的队列
一个topic中partition的数量，就是每个consumer group中消费该topic的最大并行度数量
segment
一个partition可以分为多个segement，每个segment都是固定大小
每个segment对应.index和.log两个文件
.index存储索引，.log存储数据，index 和 log 文件以当前 segment 的第一条消息的 offset 命名
consumer group
消费者组内每个消费者负责消费不同分区的数据
一个分区只能由一个组内消费者消费
一个partition可以被多个消费者组内的消费者消费
offset
记录某个consumer group在某个partiton中当前已经消费到达的位置
kafka0.10之前，offset存储在zk上，kafka0.10之后，offset以一个特殊的topic的形式存储在broker上
leader
每个partition可以有多个副本，其中有且仅有一个作为leader
leader负责当前partition的读写
follower
follower跟随leader，实时从leader同步数据
leader挂掉时，会从剩下的follower中选出新的leader
生产者
消息分区
指明 partition 的情况下，直接将指明的值直接作为 partiton 值
没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition <br>数进行取余得到 partition 值
既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后<br>面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition <br>值
ack
-1
partition的leader和isr中的follower全部落盘成功后返回ack
数据重复
0
producer不等待borker的ack
数据丢失
1
partition的leader落盘成功后即返回ack
数据丢失
