分布式系统思维导图模板_ProcessOn思维导图、流程图

分布式协调与同步

分布式互斥

集中式管理

具有简单、易于实现的特点，但可用性、性能易受协调者影响。

分布式算法

分布式算法是一个“先到先得”和“投票全票通过”的公平访问机制，但通信成本较高，可用性也比集中式算法低，适用于临界资源使用频度较低，且系统规模较小的场景。

令牌环算法

令牌环算法的公平性高，在改进单点故障后，稳定性也很高，适用于系统规模较小，并且系统中每个程序使用临界资源的频率高且使用时间比较短的场景。

两层结构的分布式令牌环算法

分布式共识

pow

dpos

pos

分布式锁

定义

分布式环境下，系统部署在多个机器中，实现多进程分布式互斥的一种锁。为了保证多个进程能看到锁，锁被存在公共存储（比如Redis、Memcache、数据库等三方存储中），以实现多个进程并发访问同一个临界资源，同一时刻只有一个进程可访问共享资源，确保数据的一致性。

实现方法

基于数据库分布式锁

适用于并发量低，对性能要求低的场景

基于数据库实现分布式锁比较简单，绝招在于创建一张锁表，为申请者在锁表里建立一条记录，记录建立成功则获得锁，消除记录则释放锁。该

缺点

单点故障

数据库不可用整个系统崩溃

死锁问题

数据库锁没有失效时间，未获得锁的进程只能一直等待已获得锁的进程主动释放锁。一旦已获得锁的进程挂掉或者解锁操作失败，会导致锁记录一直存在数据库中，其他进程无法获得锁。

基于缓存实现

优点

性能更好。数据被存放在内存，而不是磁盘，避免了频繁的IO操作<br>

很多缓存可以跨集群部署，避免了单点故障问题。

很多缓存服务都提供了可以用来实现分布式锁的方法，比如Redis的setnx方法等。<br>

可以直接设置超时时间来控制锁的释放，因为这些缓存服务器一般支持自动删除过期数据。

不足

超时时间来控制锁的失效时间，并不是十分靠谱

基于zookeeper

基于zookeeper特性：临时节点 

缺点

频繁增删节点，性能不如缓存分布式锁

ZooKeeper分布式锁的可靠性最高，有封装好的框架，很容易实现分布式锁的功能，并且几乎解决了数据库锁和缓存式锁的不足，因此是实现分布式锁的首选方法。

如何解决羊群效应

背景

是在整个分布式锁的竞争过程中，大量的“Watcher通知”和“子节点列表的获取”操作重复运行，并且大多数节点的运行结果都是判断出自己当前并不是编号最小的节点，继续等待下一次通知，而不是执行业务逻辑。

解决方式

向比自己序号小的最后一个写请求节点注册watch监听，当监听到该节点释放锁后，则获取锁；

分布式体系结构

集中式结构

定义

一台或多台服务器组成中央服务器，系统内的所有数据都存储在中央服务器中，系统内所有的业务也均先由中央服务器处理。多个节点服务器与中央服务器连接，并将自己的信息汇报给中央服务器，由中央服务器统一进行资源和任务调度：中央服务器根据这些信息，将任务下达给节点服务器；节点服务器执行任务，并将结果反馈给中央服务器

经典结构

google borg

非集中式结构

分布式计算

mapreduce

分而治之

一个复杂的、难以直接解决的大问题，分割成一些规模较小的、可以比较简单的或直接求解的子问题，这些子问题之间相互独立且与原问题形式相同，递归地求解这些子问题，然后将子问题的解合并得到原问题的解。

抽象模型

map

分解

reduce

汇总

stream

背景

处理实时性任务主要是针对流数据的处理，对处理时延比较高，通常需要常驻进程

特点

持续、快速

数据规模庞大

实时性要求高

顺序性无法保证

用于处理数据密集型应用。

持续性、低时延、事件驱动型的计算作业。

步骤

提交流失计算作业

种常驻计算服务

实时流数据

实时计算结果

应用场景

网路监控

传感检测

ARVR

音视频流

框架和平台

商业级流计算平台

开源流计算框架

自身业务触发的流计算框架

举例

storm

actor

流水线

分布式缓存

流量控制

漏桶策略

令牌桶

衡量指标

性能

吞吐量

qps

查询数每秒

用于读操作，越高说明对读操作的支持越好

tps

事务数每秒

这个指标通常对应于写操作，越高说明对写操作的支持越好。

bps

比特数每秒

反应系统的吞吐量

响应时间

对于时延敏感的业务非常重要

完成时间

资源

硬件资源

CPU

内存

磁盘

可用性

衡量了系统的鲁棒性，是系统容错能力的体现。

扩展性

通过扩展集群机器规模提高系统性能(吞吐、响应时间、 完成时间)、存储容量、计算能力的特性，是分布式系统的特有性质。

常见指标是加速比（Speedup

场景指标

电商

吞吐量最重要

IoT

资源占用

电信

响应时间、完成时间、可用性

大数据

扩展性

云计算

分布式选主

算法

bully

长着为大

raft

多数派投票选举

选举速度快、算法复杂度低、易于实现的优点；缺点是，它要求系统内每个节点都可以相互通信，且需要获得过半的投票数才能选主成功，因此通信量大。该算法选举稳定性比Bully算法好，这是因为当有新节点加入或节点故障恢复后，会触发选主，但不一定会真正切主，除非新节点或故障后恢复的节点获得投票数过半，才会导致切主。

zab

具备优先级的民主投票

分布式事务

含义

是在分布式系统中运行的事务，由多个本地事务组合而成

事务特征

ACID

BASE

关键点：最终一致性替代强一致性

实现

基于XA二阶段提交

ACID