AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
网络爬虫设计
2017-12-29 16:26:11
0
举报
分享方式
仅支持查看
设计了一个网络爬虫,没时间来得急实现,如有兴趣实现的可以试试
设计
网络爬虫
软件工程
模版推荐
作者其他创作
大纲/内容
抓取层级:
2.根据正则表达式提取网页url
0.main线程调度框架
www.hao123.com
3.根据正则表达式提取字段
源地址:
100
表名:grab_data1.id:唯一id2.p_id:父 url id3.g_url:地址 url4.g_dt:抓取时间5.column2:抓取列16.columnX:抓取列X根据抓取要求定义column......
4.把字段保存到数据库db
4
线程数:
0.主线程负责线程调度,及抓取层级void grabMain(arg.. );
收藏
立即使用
网络爬虫设计
收藏
立即使用
微信对接移动平台
收藏
立即使用
微服务架构(小组)
liyuan3210
职业:java工程师
去主页
Collect
Get Started
网络拓扑图
Collect
Get Started
爬虫系统架构图
Collect
Get Started
网络
Collect
Get Started
反爬虫架构
评论
0
条评论
下一页
Document