首页 流程图 详情

通用网络爬虫结构图

2016-06-13 21:02:29 0 举报
仅支持查看
通用网络爬虫是一种自动获取网页内容的程序，其基本结构包括初始URL集合、URL队列、页面下载器、页面解析器、链接过滤器和数据存储器。初始URL集合是爬虫开始爬取的URL列表，URL队列用于存储待爬取的URL，页面下载器负责从URL中下载网页内容，页面解析器用于解析下载的网页内容并提取所需信息，链接过滤器用于过滤掉不需要爬取的链接，数据存储器用于存储爬取到的数据。
作者其他创作
大纲/内容
Web
页面链接
页面内容
URL队列
页面爬行模块
页面库
初始URL
页面分析模块
链接过滤模块
评论
0 条评论
下一页
为你推荐
查看更多
v妈妈结构图
v妈妈结构图
网络框架结构图
网络框架结构图
内容结构图
内容结构图
系统结构图
系统结构图
结构图
结构图
系统结构图
系统结构图
复合结构图
复合结构图
老物流系统结构图
老物流系统结构图
结构图
结构图
网络服务流量机系统结构图
网络服务流量机系统结构图