kafka详细说明
2021-12-28 13:32:32 32 举报
登录查看完整内容
kafka详细说明
作者其他创作
大纲/内容
Kafka 集群
Partion-2
数据写入程序
consumer-3
batch buffer
Topic
消费端机制
Partion-1
commit
Partion-3
Kafka
默认5秒自动提交一次.无论是否处理完成
consumer-2
第三次
数据处理完成后提交offset 标记最后拉取位置.保证不重复消费
consumer
pull
Producer
push
一次拉取一批数据. 默认 500条
broker-3192.168.1.102
consumerGroup
缓存池
....
默认Batch方式. 一批数据处理完成后主动提交
Topic 分区 与 Consumer Group提升消费能力
默认32M
batch push
基础
消息队列的作用:1. 异步处理数据. (降压)2. 数据共享 (一份数据多个消费端)3. 服务解耦 (服务间没有依赖关系)
自动提交
broker-2192.168.1.101
第一次
consumer-1
指定提交offset. 比如:获取100条数据. 每处理10条提交一次
broker-1192.168.1.100
默认 16K
设置自动提交时间间隔
Zookeeper
批次执行条件:buffer满 或 超过等待时间默认等待时间 0ms
AckMode:MANUAL
第二次
心跳
线程
使用场景
手动提交
如何保证数据不丢失?
0 条评论
回复 删除
下一页
