大型网站技术架构核心原理与案例分析思维导图模板

大型网站架构模式

特点

高并发、大流量

高可用

海量数据

用户分布广泛、网络情况复杂

安全环境恶劣

需求快速变更、发布频繁

渐进式发展

模式

分层

将系统在横向维度上切分成几个部分，每个部分负责一部分相对比较单一的职责

分割

将系统在纵向上切分，将不同的功能和服务分割开来，包装成高内聚低耦合的模块单元

分布式

将不同模块部署在不同的服务器上，通过远程调用协同工作

分类

分布式应用和服务

分布式静态资源

分布式数据和存储

分布式计算

集群

多台服务器部署相同的应用，通过负载均衡共同对外提供服务

缓存

改善软件系统的第一手段

条件

数据访问热点不均衡。将某些会频繁访问的数据放入缓存中

数据在某段时间内有效，不会很快过期

异步

将一个复杂业务操作分成几个阶段，每个阶段之间通过共享数据的方式进行异步执行

冗余

服务器冗余、数据库冗余

自动化

安全

大型网站核心架构要素

软件架构

有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计

五大要素

性能

浏览器前端

浏览器缓存、页面压缩、合理布局页面、减少Cookie传输等

CDN

应用服务器

缓存

异步

集群

代码

多线程、改善内存等

数据库

索引、缓存、SQL优化等

可用性

冗余、集群

伸缩性

服务器集群、无状态（不保存数据）

数据库集群

NoSQL

扩展性

事件驱动架构

消息队列

分布式服务

业务和可复用服务分离开来，通过分布式服务框架调用

安全性

攻击手段

防火墙

信息加密

网站的高性能架构

性能测试

指标

响应时间

最重要的衡量指标

并发数

反应系统的负载特性

吞吐量

单位时间内系处理的请求数

性能计数器

测试方法

压力测试

负载测试

性能测试

稳定性测试

性能优化

WEB前端性能优化

减少HTTP请求

使用浏览器缓存

启用压缩

CSS放在上面、JS放在下面

减少Cookie传输

CDN加速

反向代理

应用服务器性能优化

缓存

提升性能第一要务：优先使用缓存

遵循二八定律：80%的访问落在20%的数据上，利用Hash表和内存的高速访问特性，将这20%的数据缓存起来

集群

异步

存储性能优化

B+树

数据采用

LSM树

NoSQL

代码优化

资源复用

单例

对象池

数据结构

垃圾回收

多线程

将对象设计为无状态

使用局部变量

并发访问资源时使用锁

网站的高可用架构

四9原理

目的

保证服务器硬件故障时服务依然可用、数据依然保存并能够被访问

主要手段

数据和服务的冗余备份

失效转移

高可用的应用

保证应用服务器的无状态性

负载均衡

集群

Session管理

Session复制

WEB容器开启Session复制功能，几台服务器之间进行Session同步

Session绑定

利用负载均衡的源地址Hash算法，确保同一个IP请求分发到同一台服务器

利用Cookie记录Session

Session服务器

独立部署Session服务器统一管理Session

高可用的服务

高可用的服务模块为业务产品提供基础公共服务

服务策略

分级管理

核心服务和服务优先使用更好的硬件；

子主题

服务部署进行必要的隔离，避免故障的连锁反应

超时设置

设置超时；一旦超时，通信框架抛出异常

异步调用

服务降级

为了保证核心应用和功能的正常运行，需要对服务进行降级处理

分类

拒绝服务

拒绝低优先级应用的调用，减少服务调用并发数，确保核心应用正常使用

关闭功能

关闭部分不重的功能

幂等性设计

在服务层保证服务重复调用和调用一次产生的结果相同

高可用的数据

手段

数据备份

保证数据有多个副本，任意副本的失效都不会导致数据的永久丢失

失效转移

保证当一个数据副本不可以访问时，可以快速切换访问数据的其他副本，保证系统的可用

CAP原理

数据持久性

数据可访问性

数据一致性

数据强一致性

各个副本的数据在物理存储中总是一致的

数据用户一致性

各个副本的数据可能会不一致，但通过纠错和校验机制，可以确定一个一致的且正确的数据返回给用户

数据最终一致性

系统经过一段时间（比较短）的自我恢复或者修正，数据最终会达到一致

数据备份

冷备

热备

异步热备

存储服务器分为主存储服务器（Master）和从存储服务器（Slave）

主存储服务器将数据写入本机存储系统后立即返回成功，然后通过异步线程将写操作数据同步到从存储服务器

同步热备

多份数据副本的写入操作同步进行

应用程序收到成功时，表示多份数据的写操作都已完成

失效转移

当一台数据服务器宕机时，应用服务器访问其他服务器。保证数据访问不会失效

三部分

失效确认

通过心跳检测和应用程序访问失败报告

失效转移

数据恢复

网站的伸缩性架构

服务器集群

通过不断地向集群中添加服务器来增强整个集群的处理能力

分为两类

根据功能进行物理分离实现伸缩

单一功能通过集群实现伸缩

应用服务器集群

应用服务器应该设计为无状态（不存储请求上下文信息）

技术

HTTP重定向负载均衡

DNS域名解析负载均衡

反向代理负载均衡

IP负载均衡

数据链路层负载均衡

负载均衡算法

轮询

加权轮询

随机

最少连接

最符合负载均衡的算法

源地址散列

同一个IP的请求总是在同一个服务器上处理

分布式缓存集群

目的：新加入缓存服务器后应使整个缓存服务器集群中已经缓存的数据尽可能还被访问到

存在问题

新增服务器，会导致命中率大幅度地降低

方案

1.在网站访问量最少的时候扩容缓存服务器集群

2.一致性Hash算法

一致性Hash算法

通过一个叫做一致性Hash环的数据结构实现KEY到缓存服务器的Hash映射

先构造一个长度为2^32的整数环（这个环称作为Hash环），根据节点名称的Hash值[0,2^32-1]将缓存服务器节点放置在这个Hash环上。然后根据需要缓存的数据的Key值计算得到Hash值（其分布范围也同样为[0,2^32-1])，然后在Hash环上顺时针查找距离这个Key的Hash值最近的缓存服务器节点，完成key到服务器的hash映射

新加入节点只会影响整个环中的一小段

扩展

问题

新增新节点会导致负载压力不均衡问题

解决方案

设置虚拟层：将每台物理缓存服务器虚拟为一组虚拟缓存服务器，将虚拟服务器的Hahs值放置在Hash环上，Key在环上先找到虚拟服务器节点，再得到物理服务器的信息

数据存储服务器集群

关系型数据库集群

Cobar模型

NoSQL数据库集群

网站的可扩展性架构

概念