Crawler - distribution spiders 分布式爬虫架构图
2022-03-13 01:03:54 12 举报
登录查看完整内容
Python Scrapy distribution spider by cluster -- 分布式爬虫 架构图； spiders,scheduler,downloader,pipeline,mq,hdfs,db - 队列，下载，数据扭转，消息队列，数据库；
作者其他创作
大纲/内容
master - slave
Requests
items
federation
Spiders Frame
SpiderMiddlewares
slave 2
redis shard
Downloader
master
生产者Producer
Responses
Redis Cluster
LBS
slave
slave 1
Haproxy
mirror 3
master1
DownloaderMiddlewares
消费者Consumer
requests
url
hash algorithm
分割线
数据
Spiders
服务
data
sentinel（monitor）
mirror 1
对象
multi - mirror
filters
mirror 2
Applications
组件
Scheduler
redis cluster
multi - center
Internet
MiddleServer API
sentinel(master-slave-monitor)
master2
ScrapyEngine
Pipeline
redis proxy
0 条评论
回复 删除
下一页
