爬虫流程图
2016-10-20 12:42:11 0 举报
爬虫流程图描述: 1. 发起请求:爬虫程序向目标网站发送HTTP请求,获取网页内容。 2. 解析页面:对获取的网页内容进行解析,提取出需要的数据。 3. 存储数据:将提取到的数据保存到本地或数据库中。 4. 遍历链接:分析网页中的链接,继续爬取其他相关页面。 5. 循环执行:重复以上步骤,直到满足停止条件(如爬取指定数量的页面或达到设定的时间限制)。