

redis、zk、kafka、es分布式、扩缩容横评（详解在注释里面，图片加载需要时间）

首页  思维导图  详情



redis、zk、kafka、es分布式、扩缩容横评（详解在注释里面，图片加载需要时间）

2023-07-05 09:43:34   0  举报





仅支持查看

AI智能生成

知识要点和原理解析，详细信息和图片均在黄色图标的注释中，鼠标移动到黄色图标上即会显示，图片加载有时较慢。

分布式

扩缩容

集群架构

模版推荐

作者其他创作

大纲/内容

redis集群

通过分片和主从模式实现分布式

集群的组群过程

CLUSTER MEET 命令

集群分片

哈希槽（slots）的划分

均匀分配

使用 cluster addslots 命令来指定

哈希槽（slots）的映射

取模

指定

哈希槽（slots）用来划分数据存储区域，即通过slots定位目标node，真正存储数据的还是redis node

数据复制

Master 和 Slave模式

主从同步

1、从节点与主节点建立连接时进行全量同步

通过RDB + replication_buffer

异常情况

2、主节点与从节点正常运行时的同步

3、主节点与从节点连接断开后又重连时会进行增量同步或全量同步

增量同步

实现方式

环形数组repl-backlog-buffer

master-repl-offset

slave-repl-offset

特别注意

repl_backlog_buffer：复制积压缓冲区

默认 1MB

状态维护-心跳检查机制

主观下线

客观下线

注意

数据获取

定位数据所在节点

1、客户端连接任一实例，获取到slots与实例节点的映射关系，并将该映射关系的信息缓存在本地

2、将需要访问的redis信息的key，经过CRC16计算后，再对16384 取模得到对应的 Slot 索引

3、通过slot的位置进一步定位到具体所在的实例，再将请求发送到对应的实例上

Redis Cluster集群扩缩容

扩容

扩容原理

迁移slot和数据

slot迁移的其他说明

缩容

缩容原理

忘记节点

kafka

组件构成

broker

一台 kafka 服务器就是一个 broker

一个kafka集群由多个 broker 组成

一个 broker 可以容纳多个 topic的多个partition

Topic（主题）

在kafka集群中，可以有无数的主题

生产者和消费者消费数据一般以主题为单位。更细粒度可以到分区级别

一个topic 可以划分为多个partition，分布到多个 broker上管理

Partition（分区）

特征

partition 中的每条消息都会被分配一个递增的id（offset），每个 partition 是一个有序的队列，kafka 只保证按一个 partition 中的消息的顺序，不保证一个 topic 的整体（多个 partition 间）的顺序

每个partition都可以有多个副本

partition的表现形式就是一个一个的文件夹

每一个分区会有一个编号，编号从0开始

Partition的副本数

目的

保障 partition 的高可用

特征

leader replica分布

轮询算法

follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）

处于同步状态的副本叫做in-sync-replicas(ISR)

follower通过拉的方式从leader同步数据

消费者和生产者都是从leader读写数据，不与follower交互

好处

对于 kafka 集群

实现topic数据的负载均衡

对于消费者

提高并发度，提高效率

Producer（生产者）

Consumer

Consumer Group

Group Coordinator

cluster、broker、topic、partition、消费者、费者组关系

分布式核心

通过topic管理消息（broker部分）

一个主题对应多个主分区

一个主分区可以有多个副本

多个分区及副本分布在不同broker上

生产者

通过分区策略将消息发送到目标partition

消费者

配合消费者组及分区策略从不同partition消费消息

重平衡Rebalance

触发与通知

Rebalance 的触发条件

1、当 Consumer Group 组成员数量发生变化(主动加入或者主动离组，故障下线等)；

2、当订阅主题数量发生变化；

3、当订阅主题的分区数发生变化；

Rebalance 如何通知其他 consumer 进程？

靠 Consumer 端的心跳线程

heartbeat的实现原理

那这个定期发送如何实现呢？

是通过DelayedQueue来实现的

扩缩容会通过重平衡重新分配

构成

Cluster - 集群

两个特性

高可用性

可扩展性

集群健康值

green：所有主要分片和复制分片都可用

yellow：所有主要分片可用，但不是所有复制分片都可用

red：不是所有的主要分片都可用

Node - 节点

节点角色

master 主节点

data 数据节点

一个节点可以既为Master节点，又为Data节点，但是为什么不推荐？

data_content 内容数据节点

...

注意

如果你设置了 node.roles，则节点只会分配你指定的角色。如果不设置 node.roles，节点将被分配以上所有角色（除了voting_only 和coordinating角色例外）。

节点不等同于服务器，一个服务器上可以部署多个节点。

所有节点都知道集群中的所有其他节点，并且可以将客户端请求转发到适当的节点。

分片

Shard - 分片

Primary Shard(主分片）

ES中的shard用来解决节点的容量上限问题,，通过主分片，可以将数据分布到集群内的所有节点之上。

Replication- 副本

作用

1、服务高可用(容灾)

2、扩展性能

对于一个索引，除非重建索引否则不能调整主分片的数目（主分片数, number_of_shards），但可以随时调整replica数(number_of_replicas)。

Index - 索引

lucene

结构图

术语

Field域

最基本常用属性

分段存储-segment

每个段都是一个独立的可被搜索的数据集，并且段具有不变性，一旦索引的数据被写入硬盘，就不可修改。

为了提升写的性能，Lucene 并没有每新增一条数据就增加一个段，而是采用延迟写的策略，每当有新增的数据时，就将其先写入内存中，然后批量写入磁盘中。

ES Segment Memory

本质上就是segment中加到内存的FST数据，因此segment越多，该内存越大

提交点

segment的数据结构

Inverted Index

Stored Fields

哪些情形下需要显式的指定store属性呢？

Document Values

Cache

Lucene索引

倒排索引

数据结构

posting list的ID范围

索引结构

索引过程

Type - 类型

从6.0.0 版本起已废弃，一个索引中只存放一类数据

Document - 文档

扩缩容

 Collect

Get Started

分布式

 Collect

Get Started

分布式锁专题

 Collect

Get Started

redis分布式锁

 Collect

Get Started

Redis分布式锁





0 条评论

下一页

redis、zk、kafka、es分布式、扩缩容 横评（详解在注释里面，图片加载需要时间）

redis、zk、kafka、es分布式、扩缩容横评（详解在注释里面，图片加载需要时间）