Kafka
2021-05-09 10:22:17 10 举报
AI智能生成
Kafka
作者其他创作
大纲/内容
Kafka
设计原理
broker核心总控制器Controller
作用
选举机制
集群启动
宕机
Partition副本选举Leader机制
参数:unclean.leader.election.enable=false
进入ISR列表的条件
参数:replica.lag.time.max.ms
消费者
offset记录机制
参数:offsets.topic.num.partitions
Rebalance机制
触发条件
注意事项
Rebalance三阶段
选择组协调器
加入消费组JOIN GROUP
SYNC GROUP
分配策略
partition.assignment.strategy
range
round-robin
sticky
假设一个主题有10个分区(0-9),现在有三个consumer消费
生产者
发布消息机制
写入方式
消息路由
写入流程
日志存储
命名规则
存储规则
文件类型
参数:log.segment.bytes
HW与LEO
可视化工具
kafka-manager
雅虎开源的Kafka-manager
配置文件
启动
线上环境优化
消息丢失
producer
consumer
消息重复消费
消费端消费幂等处理
消息乱序
消息积压
延迟队列
实现思路
消息回溯
消息传递保障
分区数越多吞吐量越高?
Kafka事务
Kafka高性能的原因
配置参数
日志刷新策略
日志保存清理策略
日志分段策略属性
0 条评论
回复 删除
下一页