crawler_image_alibaba 流程图
2016-03-20 12:46:54 11 举报
登录查看完整内容
爬虫流程图。超时处理、请求限制
作者其他创作
大纲/内容
记录并丢弃
记录当前时间
html
true
image
urls
quick
end
false
requestlimit
++请求数
save
类型
请求数已满
大于间隔时间
url
发起请求
--请求数
getHtml
定时下一个请求
加入队列
request limit
错误记录超标
成功
HD images
saveImage
准备下一个请求
队列空
Detail images
记录错误信息
收藏
0 条评论
回复 删除
下一页
