登录免费注册



新版新闻源模板配置——GET

首页  流程图  详情



新版新闻源模板配置——GET

2019-11-06 10:53:30   1  举报





get请求配置方式

java爬虫

大数据采集

模版推荐

作者其他创作

大纲/内容

数据源类型:

网站名称-导航名称

是否代理

URL

解析表达式:

配置信息模块与返回数据类型联动示例为GET请求参数绑定属性POST请求参数详见数据结构设计

抓取间隔:

提取规则

首页

动态信息模块与请求类型联动示例为GET请求参数绑定属性POST请求参数详见数据结构设计

详情

聚合页

text

标题

基本信息

新闻

解析表达式：

正则表历式

保存

//a

页面类型：

属性名称：

*

默认值：

作者:

分页模板:

U R L:

POST

查看源代码

GET

返回数据类型:

JSON

动态信息

提取详情

/

+

区块选择器：

定位表达式:

HTML

列表页

http://www.hubei.gov.cn/2018/zdly/zdxm/

定位表达式：

attr(href)

列表

详情页

格式化规则:

帮助

10分钟

Headers配置

是否JS渲染

名称:

请求类型:

http://news.baidu.com/ns?word=java&pn={0-100|20}

配置信息

李季

是否转义

默认值:

添加属性

http://www.spider.com

验证

默认属性

 Collect

Get Started

配置

get device Info

 Collect

Get Started

get device Info

新版新闻源模板配置——POST

 Collect

Get Started

新版新闻源模板配置——POST

 Collect

Get Started

新闻













评论

0 条评论

下一页

Document