微博高峰流量处理架构
2021-10-22 15:12:28 0 举报
微博高峰流量处理架构
作者其他创作
大纲/内容
队列停留大于一定阈值
Kafka
Spark
service服务*n
IO线程收包
网关*n
6、预测前可通过降级；避免秒级大流量。降级开关(Reactor事件驱动)
配置中心
丢弃请求
Mysql
日志中心
本地缓存*n
2、分析预测日志、当feed大于预设阈值、推送ID给到配置中心
队列
1、打印预测日志
4、当配置中心发生改变、给数据访问层推送大于阈值的feed_id
数据访问层*n
入队；添加入队时间
5、查Redis、Redis没有查Mysql。结果缓存到Redis、本地缓存。
Redis
Flume
服务降级开关
App
3、订阅配置中心
worker线程处理请求
出队 判断停留时长
0 条评论
回复 删除
下一页
