限流

避免突发流量时，服务出现雪崩

流量整形，无论进入的流量频率如何，我们要保证请求转发大后端时是平稳的

用户SLA的分级，比如针对付费用户和免费用户，提供不同的API QPS额度

API市场中的API商品，会通过API限流来满足商品库存的调用限制

常见的API限流的应用常景

1、按照固定的时间维度来限制API的调用次数

2、请求缓存队列

基础能力

根据API认证信息限流

根据客户端IP进行限流

header

path

cookie

根据API请求报文参数限流

业务维度

返回429或自定义限流信息

X-Ratelimit-Remaining

X-Ratelimit-Limiit

X-Ratelimit-Retry-After

返回限流状态等信息

信息反馈

API的限流能力

逻辑简单，实现成本低，维护成本低

时间和空间复杂度低，因为只需要维护当前窗口中的一个计数器

优势

窗口切换时无法保证限流值

劣势

固定窗口

准确率100%，因为我们保留了所有的请求日志，而且是针对每一个请求都会重新计算动态的窗口

实现成本低

时间空间复杂度高

滑动日志

滑动窗口

漏桶算法最大的优势在于它的流量整形功能，它适用于电商购物的支付环节，支付系统需要和上游的很多银行系统对接，这些银行系统负载能力有限，所以我们就需要针对不同的银行的SLA来求请求速率进行限制，避免银行系统高负载。

实现复杂度相比起前几种算法要更高，维护成本也会更高

限制了最大转发速率，所以该算法并不适用于一些流量经常会突增的场景

漏桶算法

针对流量可能会出现突增且后端可以接手突增的场景，令牌桶是一种更适合的方案，因为令牌桶在限制平均请求速率的同时。还可以允许一定的突增

实现复杂度相对较高

令牌桶

常见的限流算法

准确性

性能

横向扩展

纵向扩展

可扩展性

可用性

分布式限流的技术要点

限流