kafka图谱
2021-01-14 17:04:45 0 举报
AI智能生成
登录查看完整内容
kafka知识图谱
作者其他创作
大纲/内容
kafka图谱
消费者
配置 -- 消费者是否断线
heartbeat.interval.ms: 多久发送一次心跳
配置 -- 拉取数据
fetch.min.bytes: 一次最多拉去多少字节的数据
max.poll.records: 一次最多拉去多少条记录
配置 -- offset
enable.auto.commit : 是否自动提交
auto.offset.reset: 从哪里开始消费
流程
提交offset
同步 + 异步 ; 在处理消费者最后一次提交时比较有用. 异步可能不成功
提交指定offset
再均衡
offset
消费者组
生产者
配置
retries: acks: 需要配合: min.insync.replicas<在topic配置>使用
broker
协调器
controller
主要负责partition管理和副本管理
副本的消息同步机制
replica.lag.max.messages: 副本最多可以落后leader多少个消息replica.lag.time.max.ms: 过了多长时间副本没有同步leader的消息会被认定为 \"没有跟上leader的消息\"
Zookeeper
目录结构
作用
负责controller的选举
检测broker是否宕机
topic
分区
副本:
消费者再均衡
选主
节点的数据不能落后leader太多 否则不能当选
集群
搭建
0 条评论
回复 删除
下一页