KafKa3.x
2023-06-13 12:56:44 7 举报AI智能生成
kafka结构图
作者其他创作
大纲/内容
一、入门
概述
1.1定义
1.2消息队列
1.2.1 传统消息队列应用
1.2.2 消息队列的两种模式
1.3KaFKa基础架构
快速入门
2.1 安装
2.1.1 集群规划
2.1.2 集群部署
2.1.3集群启停脚本
2.2KafKa命令行
2.2.1主题命令行
2.2.2 生产者命令行
2.2.3 消费者命令行
生产者
3.1 生产者消息发送流程
3.1.1 发送原理
3.1.2 生产者重要参数列表
3.2 异步发送API
3.2.1 普通异步发送
3.2.2 带回调函数的异步
3.3同步发送API
3.4 生产者分区
3.4.1 分区好处
3.4.2 生产者发送消息的分区策略
3.4.3 自定义分区器
3.5生产经验-生产者如何提高吞吐量
3.6 生产经验-数据可靠
3.7 生产经验-数据去重
3.7.1 数据传递语义
3.7.2 幂等性
3.7.3生产者事务
3.8 生产经验-数据有序
3.9 生产经验-数据乱序
Broker
4.1KafKa Broker工作流程
4.1.1 Zookeeper存的KafKa消息
4.1.2 KafKa Broker总体工作流程
4.1.3 Broker重要参数
4.2 生产经验-节点服役和退役
4.3.1 服役新节点
4.3.2 退役旧节点
4.3 KafKa副本
4.3.1 副本基本信息
4.3.2 Leader选举流程
4.3.3 Leader和Follwer故障处理细节
4.3.4 分区副本分配
4.3.5 生产经验-手动调整分区副本存储
4.3.6 生产经验-Leader Partition负责平衡
4.3.7 生产经验-增加负载因子
4.4 文件存储
4.4.1文件存储机制
4.4.2 文件清理策略
4.5 高效读写数据
消费者
5.1 KafKa消费方式
5.2 KafKa消费者工作流
5.2.1 消费者总体工作流程
5.2.2 消费者组原理
5.2.3 消费者重要参数
5.3消费者API
5.3.1 独立消费者（订阅主题）
5.3.2独立消费者（订阅分区）
5.3.3 消费者组案例
5.4生产经验-分区的分配以及再平衡
5.4.1 Range+再平衡
5.4.2 RoundRobin+再平衡
5.4.3 Sticky+再平衡
5.5 offset位移
5.5.1 offset的默认维护位置
5.5.2 自动提交offset
5.5.3 手动提交offset
5.5.4 指定offet消息
5.5.5 指定时间消费
5.5.6 漏消费和重复消费
5.6生产经验-消费者事务
5.7生产经验-数据积压（消费者如何提高吞吐量）
Eagle监控
6.1 MySQL环境
6.2 KafKa环境
6.3 KafKa-Eagle安装
6.4 KafKa-Eagle页面操作
Kraft模式
7.1 KafKa-Kraft架构
7.2 KafKa-Kraft集群部署
7.3 KafKa-Kraft集群启停脚本
二、外部系统集成
集成Flume
集成Flink
集成Springboot
集成Spark
四、源码
源码环境准备
生产者源码
消费者源码
服务器源码
三、调优
KafKa硬件配置
1.1 场景说明
1.2 服务器台数选组
1.3 磁盘选择
1.4 内存选择
1.5CPU选择
1.6 网络选择
生产者
2.1 KafKa生产者核心参数
2.2 生产者如何提高吞吐量
2.3 数据可靠性
2.4 数据去重
2.5 数据有序
2.6 数据乱序
Broker
3.1 Broker核心参数
3.2 服役新节点/退役就节点
3.3 增加分区
3.4 增加副本因子
3.5 手动调整分区副本存储
3.6 Leader Partition负责均衡
3.7 自动创建主题
消费者
4.1 KafKa消费者核心参数
4.2 消费者再平衡
4.3 指定Offset消费
4.4 指定时间消费
4.6 消费者如何让提高吞吐量
总体
5.1 如何提高吞吐量
5.2 数据精准一次
5.3 合理设置分区数
5.4 单条日志大于1M
5.5 服务器挂了
5.6 集群压力测试
0 条评论
下一页
