Crawler Flowchart
2015-03-17 10:50:02 18 举报爬虫流程图
作者其他创作
大纲/内容
Y
根据链接获取网页代码
获取成功
爬取待爬取链接数据库
启动parser模块，解析网页代码
N
启动writer模块，将获取数据写入数据库
读取待爬取链接数据库，将链接写入内存
报错
网络连接正常？
End
启动反封禁模块（更换账号或间隔随机时间爬取）
Start
启动登陆模块
初始设置时间，线程等
已有待爬取链接数据库？
是否已登录
收藏
收藏
0 条评论
下一页
