首页 流程图 详情

post首次爬取流程

2016-12-25 13:04:06 0 举报
仅支持查看
首次爬取流程通常包括以下步骤：首先，发送HTTP请求到目标网站，获取网页的HTML源代码；然后，解析HTML源代码，提取出需要的信息；接着，将提取出的信息存储到本地或数据库中；最后，根据需要设置爬虫的休眠时间，以便在下一次爬取前等待一段时间。这个过程可能需要反复进行，直到获取到所有需要的信息为止。
作者其他创作
大纲/内容
将解析得到的贴文数据批处理插入到post表
N
Y
历史贴文爬取模块
更新seeds表中的nextpage链接
解析是否成功
更新seeds表中的previouspage链接
列表是否为空
利用Facebook api获取用户贴文数据
从seeds表中获取新加入用户的种子列表
更新seeds表中的crawed_post字段为1
解析返回的贴文json数据
评论
0 条评论
下一页
为你推荐
查看更多
美国IPO（首次公开募股）流程图：从私营企业到上市公司
美国IPO（首次公开募股）流程图：从私营企业到上市公司
取址模块
取址模块
Poster_Post
Poster_Post
post_lr_1
post_lr_1
post startree
post startree
爬取网页流程图
爬取网页流程图
中银通——首次使用
中银通——首次使用
wns difff(首次)
wns difff(首次)
首次下单用户流程图
首次下单用户流程图
wns+diff（非首次）
wns+diff（非首次）