KafKa3.x
2023-06-13 12:56:44 6 举报AI智能生成
登录查看完整内容
kafka结构图
作者其他创作
大纲/内容
1.1定义
1.2.1 传统消息队列应用
1.2.2 消息队列的两种模式
1.2消息队列
1.3KaFKa基础架构
概述
2.1.1 集群规划
2.1.2 集群部署
2.1.3集群启停脚本
2.1 安装
2.2.1主题命令行
2.2.2 生产者命令行
2.2.3 消费者命令行
2.2KafKa命令行
快速入门
3.1.1 发送原理
3.1.2 生产者重要参数列表
3.1 生产者消息发送流程
3.2.1 普通异步发送
3.2.2 带回调函数的异步
3.2 异步发送API
3.3同步发送API
3.4.1 分区好处
3.4.2 生产者发送消息的分区策略
3.4.3 自定义分区器
3.4 生产者分区
3.5生产经验-生产者如何提高吞吐量
3.6 生产经验-数据可靠
3.7.1 数据传递语义
3.7.2 幂等性
3.7.3生产者事务
3.7 生产经验-数据去重
3.8 生产经验-数据有序
3.9 生产经验-数据乱序
生产者
4.1.1 Zookeeper存的KafKa消息
4.1.2 KafKa Broker总体工作流程
4.1.3 Broker重要参数
4.1KafKa Broker工作流程
4.3.1 服役新节点
4.3.2 退役旧节点
4.2 生产经验-节点服役和退役
4.3.1 副本基本信息
4.3.2 Leader选举流程
4.3.3 Leader和Follwer故障处理细节
4.3.4 分区副本分配
4.3.5 生产经验-手动调整分区副本存储
4.3.6 生产经验-Leader Partition负责平衡
4.3.7 生产经验-增加负载因子
4.3 KafKa副本
4.4.1文件存储机制
4.4.2 文件清理策略
4.4 文件存储
4.5 高效读写数据
Broker
5.1 KafKa消费方式
5.2.1 消费者总体工作流程
5.2.2 消费者组原理
5.2.3 消费者重要参数
5.2 KafKa消费者工作流
5.3.1 独立消费者（订阅主题）
5.3.2独立消费者（订阅分区）
5.3.3 消费者组案例
5.3消费者API
5.4.1 Range+再平衡
5.4.2 RoundRobin+再平衡
5.4.3 Sticky+再平衡
5.4生产经验-分区的分配以及再平衡
5.5.1 offset的默认维护位置
5.5.2 自动提交offset
5.5.3 手动提交offset
5.5.4 指定offet消息
5.5.5 指定时间消费
5.5.6 漏消费和重复消费
5.5 offset位移
5.6生产经验-消费者事务
5.7生产经验-数据积压（消费者如何提高吞吐量）
消费者
6.1 MySQL环境
6.2 KafKa环境
6.3 KafKa-Eagle安装
6.4 KafKa-Eagle页面操作
Eagle监控
7.1 KafKa-Kraft架构
7.2 KafKa-Kraft集群部署
7.3 KafKa-Kraft集群启停脚本
Kraft模式
一、入门
集成Flume
集成Flink
集成Springboot
集成Spark
二、外部系统集成
源码环境准备
生产者源码
消费者源码
服务器源码
四、源码
1.1 场景说明
1.2 服务器台数选组
1.3 磁盘选择
1.4 内存选择
1.5CPU选择
1.6 网络选择
KafKa硬件配置
2.1 KafKa生产者核心参数
2.2 生产者如何提高吞吐量
2.3 数据可靠性
2.4 数据去重
2.5 数据有序
2.6 数据乱序
3.1 Broker核心参数
3.2 服役新节点/退役就节点
3.3 增加分区
3.4 增加副本因子
3.5 手动调整分区副本存储
3.6 Leader Partition负责均衡
3.7 自动创建主题
4.1 KafKa消费者核心参数
4.2 消费者再平衡
4.3 指定Offset消费
4.4 指定时间消费
4.6 消费者如何让提高吞吐量
5.1 如何提高吞吐量
5.2 数据精准一次
5.3 合理设置分区数
5.4 单条日志大于1M
5.5 服务器挂了
5.6 集群压力测试
总体
三、调优
KafKa 3.x
0 条评论
回复 删除
下一页
