AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
分布式爬虫(进程总览)
2018-02-18 21:28:09
12
举报
分享方式
免费使用
从进程的角度,总览主从式分布式爬虫
分布式爬虫
主从式
进程
模版推荐
作者其他创作
大纲/内容
分布式管理器(进程)
将Queue对象暴露在网络中。
解析出的URL
URL管理进程
从conn_q获取URL,去重,交付给url_q,从而传递给爬虫节点。
控制节点(主端)
数据存储进程
调用数据存储器进行数据存储。
store_q
解析出的数据
conn_q
result_q
数据提取进程
接受爬虫节点返回的内容,并分类输出(URL或数据)。
url_q
爬虫节点(从端)
(进程)连接上控制节点后,循环执行:1.从url_q获取URL2.下载并解析网页3.将获取的数据交给result_q
收藏
立即使用
分布式爬虫(进程总览)
收藏
立即使用
S5PV210S开发板刷机
maple1eaf
职业:暂无
去主页
Collect
Get Started
平台分布式部署
Collect
Get Started
分布式事务
Collect
Get Started
分布式系统
Collect
Get Started
分布式ID
评论
0
条评论
下一页
Document