登录免费注册

首页  流程图  详情



 



kafka详细说明

kafka详细说明

2021-12-28 13:32:32   32  举报





kafka详细说明

kafka

springboot

消息队列

模板推荐

作者其他创作

大纲/内容

Kafka 集群

Partion-2

数据写入程序

consumer-3

batch buffer

Topic

消费端机制

Partion-1

commit

Partion-3

Kafka

默认5秒自动提交一次.无论是否处理完成

consumer-2

第三次

数据处理完成后提交offset 标记最后拉取位置.保证不重复消费

consumer

pull

Producer

push

一次拉取一批数据. 默认 500条

broker-3192.168.1.102

consumerGroup

缓存池

....

默认Batch方式. 一批数据处理完成后主动提交

Topic 分区与 Consumer Group提升消费能力

默认32M

batch push

基础

消息队列的作用:1. 异步处理数据. (降压)2. 数据共享 (一份数据多个消费端)3. 服务解耦 (服务间没有依赖关系)

自动提交

broker-2192.168.1.101

第一次

consumer-1

指定提交offset. 比如:获取100条数据. 每处理10条提交一次

broker-1192.168.1.100

默认 16K

设置自动提交时间间隔

Zookeeper

批次执行条件:buffer满或超过等待时间默认等待时间 0ms

AckMode:MANUAL

第二次

心跳

线程

使用场景

手动提交

如何保证数据不丢失?

 Collect

Get Started

详细

 Collect

Get Started

工业工程活动程序的详细说明

 Collect

Get Started

客户界面－详细

 Collect

Get Started

SkyLine文档说明













评论

0 条评论

下一页

Document