网络爬虫设计
2017-12-29 16:26:11 0 举报设计了一个网络爬虫,没时间来得急实现，如有兴趣实现的可以试试
作者其他创作
大纲/内容
抓取层级：
2.根据正则表达式提取网页url
0.main线程调度框架
www.hao123.com
3.根据正则表达式提取字段
源地址：
100
表名:grab_data1.id:唯一id2.p_id:父 url id3.g_url:地址 url4.g_dt:抓取时间5.column2:抓取列16.columnX:抓取列X根据抓取要求定义column......
4.把字段保存到数据库db
4
线程数：
0.主线程负责线程调度，及抓取层级void grabMain(arg.. );
职业：java工程师
0 条评论
下一页
