httpclient引擎抓取流程
2016-05-08 12:18:10 17 举报
登录查看完整内容
httpclient引擎抓取流程图(welkin)
作者其他创作
大纲/内容
页面内是否有内容跳转？
是
设置Http Header Request部分
否
设置跳转后的url并格式化
请求重复次数是否达到最大？
探测并调整页面的编码，防止乱码
请求是否正常？
下载的网页和图片放在配置文件中指定的文件夹下
发起请求，抓取页面
抓取页面的URL
0 条评论
回复 删除
下一页
