百度贴吧爬取流程图
2018-12-21 10:04:47 0 举报
登录查看完整内容
百度贴吧爬取流程图
作者其他创作
大纲/内容
将楼主下面回复的数据保存到对应的数据库中
进行时间判断，判断楼主下面回帖时间符合采集要求
结束
是
否
判断每一条回复的时间是否符合要求
调用parse（）函数进入学校贴吧首页进行数据爬取
调用parse_content2（）进行回复里面回复的爬取
调用parse_content1（）进入楼主回复的页面，进行回复的数据爬取
开始
判断回复里面是否有回复
判断首页下面的最后一条时间符合要求
调用自己，对学校贴吧下面楼主的发帖进行下一页的爬取
判断回复是否有下一页
判断回复的回复是否有下一页
0 条评论
回复 删除
下一页
