scrapy流程图
2017-09-29 16:08:00 0 举报scrapy 流程图 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
作者其他创作
大纲/内容
sucess
发送邮件
update checktime
操作是否成功
DB
retry
Email
获取
item
is need update
小于阈值
logFile
request
is allowed
yes
status状态
pipeline
移除异常代理
dont allow
代理异常
not exist
insert
select
优先
判定请求
nextURL广度
提取器
error
nextURL深度
代理数量
update data
UrlList(爬虫入口-一级页面）
本地代理池
not
网络代理池
统计信息
don't
0 条评论
下一页
