kafka知识点梳理
2022-06-18 17:44:23 0 举报AI智能生成
Kafka知识点梳理
作者其他创作
大纲/内容
Kafka基本原理
Kafka概述
kafka使用场景
日志收集<br>
消息系统
用户活动跟踪
运营指标
Kafka基本概念
Broker<br>
Topic<br>
Producer
Consumer<br>
ConsumerGroup<br>
Partition
Controller
kafka基本使用
安装前的环境准备
安装JDK
安装zookeeper
部署kafka
下载安装包<br>
修改配置<br>
启动服务
观察是否启动成功
停止服务
创建主题
发送消息
消费消息
默认消费
消费之前的消息
消费多主题<br>
单播消费
多播消费
查看消费组名
查看消费组的消费偏移量
创建多个分区的主题
创建多partitions<br>
查看topic的情况
对比单partitions
查看消息日志文件<br>
消息日志文件
分区的消息日志<br>
扩容
kafka集群实战
集群配置
集群启动<br>
执行脚本
观察是否启动成功
查看topic情况<br>
创建topic<br>
查看topic详情
发送消息
测试容错性<br>
集群消费
Producers
Consumers
Kafka发送消费核心参数与设计原理<br>
Kafka核心参数
Producer核心参数
acks
retries<br>
retry.backoff.ms
buffer.memory
batch.size
linger.ms
Consumer核心参数
enable.auto.commit
auto.commit.interval.ms
max.poll.interval.ms<br>
session.timeout.ms<br>
heartbeat.interval.ms
auto.offset.reset
设计模块原理
核心总控制器Controller<br>
Controller选举机制
Partition副本
Partition副本选举Leader机制
消费者消费消息的offset记录机制
消费者Rebalance机制<br>
消费者Rebalance机制
消费者Rebalance分区分配策略
HW与LEO
线上问题及优化<br>
消息丢失情况
消息发送端
消息消费端
消息重复消费
消息发送端
消息消费端
消息乱序
消息积压
延时队列
实现思路<br>
消息回溯
消息传递保障
kafka为什么快
磁盘顺序读写
零拷贝<br>
0 条评论
下一页
