scrapy五大核心组件
2023-10-13 17:26:40 0 举报
登录查看完整内容
scrapy五大核心组件
作者其他创作
大纲/内容
11.item
3.对接收的请求对象进行去重操作
调度器Scheduler
1.产生url，封装成请求对象
scrapy五大核心组件
5.从队列中调度请求对象
2.封装的请求对象
过滤器
Spiders
引擎的作用1.进行数据流处理：整个操作过程中所产生的数据流都需要被引擎拦截和处理2.引擎可以触发事物
8.数据存储在response，返回response
1、产生url，对url进行手动请求发送2、对数据进行解析——>拿到response则可以调用parse进行数据解析，解析好的数据封装到item中
10.返回response
引擎Scrapy Engine
管道接收item进行持久化存储操作
下载器Downloader
互联网Internet
6.请求对象
队列
7.到互联网中下载数据
9.返回response
12.item
4.将去重之后的请求对象存储到队列中
管道Item Pipeline
0 条评论
回复 删除
下一页
