主从爬虫结构及控制节点执行流程
2018-04-02 00:04:25 14 举报
登录查看完整内容
主从爬虫结构及控制节点执行流程
作者其他创作
大纲/内容
网页数据
爬虫节点 SpiderNode2
新的URL和网页数据
URL管理进程
1、控制调试器2、URL 管理器3、数据存储器
1、爬虫调度器2、HTML 下载器3、HTML解析器
URL
爬虫节点 SpiderNode1
数据提取进程
主从爬虫结构
控制节点 ControlNode
新的URL
数据存储进程
控制节点执行流程
0 条评论
回复 删除
下一页
