Python_Scrapy爬虫

requests

下载器(Downloader)

数据获取引擎(Scrapy Engine)

response

Items or requests

WeChat Mini Program

信息代理(Information Agent)

爬虫(Scrapy Spiders)

数据抓取与代理模式

分析器(ltem pipeline)

span data-docs-delta=\

调度器(Scheduler)

Restfull webservice

模型数据流程：(1) 信息代理携带用户相关设置，为爬虫提供信息(如URL、代理关键词等)，并启动数据获取引擎。(2) 数据获取引擎，从爬虫中读取URL等信息，并将其发送给调度器。(3) 调度器从调度队列中获取URL等信息，经过数据获取引擎，传送给下载器。(4) 下载器访问应用服务器的指定地址(如URL等)，获取指定信息，并传回数据获取引擎。(5) 数据获取引擎将下载器返回的信息送给爬虫，爬虫再提取item等送给分析器。

Agent message