Kafka 疑难杂症
2024-09-16 14:23:50 0 举报AI智能生成
Kafka 服务运维已知问题
作者其他创作
大纲/内容
Kafka 架构
Kafka 共享集群如何支持多租户
消费者重复消费
消费 Kafka 消息可以做到 𝐀𝐭-𝐥𝐞𝐚𝐬𝐭 𝐨𝐧𝐜𝐞，<br>但比较难做到 𝐄𝐱𝐚𝐜𝐭𝐥𝐲 𝐨𝐧𝐜𝐞 ，尤其是消费端服务重启<br>
Kafka 客户端时间与服务端时间不同步不影响消息推送，<br>但会引发什么问题<br>
消息明明已经超过了预设的过期时间，但一直不过期，重头消费还能消费到
confluent-kafka-dotnet 1.8.2版本在客户端重启之后，<br>可能全量消费历史<br>
https://github.com/confluentinc/confluent-kafka-dotnet/issues/1672
多个 Flink Kafka Consumer 任务，配置同一个 Group，<br>各自会消费一遍 Topic 的全部数据<br>
源端本来就推送了多条重复记录
消息堆积
源端消息记录陡增，超过消息端最大处理速度
消费端抛异常，反复重启中，频繁退出消费组
消息丢失
Kafka 客户端已经推送了消息，<br>但怎么在 Kafka 上找不到，数据丢失了?<br>
消息乱序
Kafka 消息推送有序，消费也应该是顺序的吧，怎么看着还乱序
Kafka 连接问题
Controller不能正常选举
网络问题
Zookeeper 3.5.8 集群不稳定造成 Kafka 节点离线
生产环境(v2.5)启用SASL后客户端建立连接偶尔报超时
DNS的问题
Kafka Rest Proxy Thread OOM 造成 Proxy 假死
消息体积太大
Kafka 服务抖动
Kafka集群只有一个节点IO阻塞时，<br>为何会导致发送方无法发送消息？<br>
https://time.geekbang.org/dailylesson/detail/100028490<br>
Topic数据过期策略Compact可能会引发服务抖动
GC 频繁且耗时，副本同步比较耗时
老生代，新生代配比
Kafka 运维须知
Kafka 重启恢复耗时远超预期，看优雅退出的意义
[2024-02-04 22:07:26,737] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$)<br>...<br>[2024-02-04 22:07:55,478] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)<br>...<br>[2024-02-04 22:08:20,982] INFO [Partition __consumer_offsets-38 broker=1] Expanding ISR from 1 to 1,3 (kafka.cluster.Partition)<br>...<br>[2024-02-04 22:08:53,924] INFO [Partition x x x-1 broker=1] ISR updated to [1,3,2] and zkVersion updated to [248] (kafka.cluster.Partition)<br>...
Kafka 动态配置热更新
Kafka 上的消息只集中在某几个分区上，出现了数据倾斜
Topic个别分区Offline
unclean.leader.election.enable 兜底，<br>虽然可能会有数据丢失，但好歹集群能恢复<br>
Topic增加分区之后客户端可能未重平衡
Kafka 灾难演练
元数据备份
Kafka 哪些场景下不高可用
0 条评论
下一页
