

首页  思维导图  详情



kafka架构

2023-08-19 17:48:00   0  举报





AI智能生成

kafka 架构图

系统架构

模版推荐

作者其他创作

大纲/内容

协议

AMQP

rabbitmq

MQTT

发布订阅

JMS

点对点

发布订阅

核心概念

broker

一个kafka进程就是一个broker

一个broker可以容纳多个topic

producer

消息生产者

consumer

消息消费者

topic

生产者和消费者面向的都是一个topic

topic只是一个逻辑上的概念，broker上真实存储的是partition

partition

一个topic可以分为多个partition

每个partition内部都是一个有序的队列

一个topic中partition的数量，就是每个consumer group中消费该topic的最大并行度数量

segment

一个partition可以分为多个segement，每个segment都是固定大小

每个segment对应.index和.log两个文件

.index存储索引，.log存储数据，index 和 log 文件以当前 segment 的第一条消息的 offset 命名

consumer group

消费者组内每个消费者负责消费不同分区的数据

一个分区只能由一个组内消费者消费

一个partition可以被多个消费者组内的消费者消费

offset

记录某个consumer group在某个partiton中当前已经消费到达的位置

kafka0.10之前，offset存储在zk上，kafka0.10之后，offset以一个特殊的topic的形式存储在broker上

leader

每个partition可以有多个副本，其中有且仅有一个作为leader

leader负责当前partition的读写

follower

follower跟随leader，实时从leader同步数据

leader挂掉时，会从剩下的follower中选出新的leader

partition

isr

同步

LEO

消息

重复消费

有序性

可靠性

架构

特点

分布式

高性能

发布订阅

高可用

消费者

消费者分区分配策略

offset

消费方式

生产者

消息分区

指明 partition 的情况下，直接将指明的值直接作为 partiton 值

没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition <br>数进行取余得到 partition 值

既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后<br>面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition <br>值

ack

-1

partition的leader和isr中的follower全部落盘成功后返回ack

数据重复

producer不等待borker的ack

数据丢失

partition的leader落盘成功后即返回ack

数据丢失

存储

 Collect

Get Started

(100%)kafka产品生态与kafka面试题

 Collect

Get Started

Storm中消费Kafka中缓存日志示意图

 Collect

Get Started

Openclaw架构

 Collect

Get Started

kafka架构





0 条评论

下一页