Kafaka常用命令与数据存储结构

Partiton  / 物理概念数据是连续的 只增不删

2.查看所有主题kafka-topics.sh --zookeeper node01:2181 --list

Segment1

Segment参数log.segment.bytes：单个segment可容纳的最大数据量log.segment.ms：为写满默认七天

每个数据文件和索引文件 文件名为上一个数据文件最后一条数据的offset值（偏移量）文件名得长度必须达到二十位  不足得用 0 填充

4.创建生产者font color=\"#323232\

5.创建消费者font color=\"#323232\

.index  索引文件存储 索引--偏移量

.log  数据文件

一对一

Topic：userlog     partiton：0     replication：0，1     isr：0，1Topic：userlog     partition：1     replication：2，1     isr：0，1Topic：userlog     partition：2     replication：0，2     isr：0，1

分为

.snapshot

数据存储

1.创建主题kafka-topics.sh --zookeeper node01:2181 --create -- replication-factor 2 --partitions 3 --topic 主题名

3.查看主题font color=\"#323232\

Segment0

.timeindex

.index  索引文件

不走内存 直接存文件 硬盘 顺序读写 比 磁盘快所以提前申请好空间

又分为

.snapshot：文件，记录了producer的事务信息

原理先根据 数据名称 减 索引文件名  得到对应数据的索引值   使用对半查找法 在文件中定位到索引的位置 得到对应的数据offset 如果稀疏索引 就找相近的索引的偏移量 根据偏移量去数据文件找到对应的数据

.timeindex：时间戳索引 专门找index文件的

索引 + offset数据的偏移量存一个数据  存一个索引顺序读写 默认申请10M的空间每一个 .index索引文件都是存的相同的索引稀疏性：一个区间一个索引稠密性：一条数据都有一个索引

Topic / 逻辑概念