登录免费注册



首页  流程图  详情



爬虫

2018-08-13 13:50:25   0  举报





仅支持查看

爬虫

spider

模版推荐

作者其他创作

大纲/内容

Models

获取bool

CorpList-ProdList

Insertor

Request

DropScheduleQueue

pushRequest

Null

类型判断

No

GetNextor

Yes

Get Difference

JdbDB

Htm_IdSet

签名队列

Scheduler

InsertData

StartCrawler

Request-Response Checker

Vaild

Extractor

FilterRequest

长度大于阈值

StopIter

Update or Insert

pop

IsVaild

insert or Update

VaildClass

AddTime

HasNext

RequestQueue

Failed

ClosedSpider

LocalDB

FilterData

HasResult

Duplicater

DownLoader

NoHas

Requests

Updator

更新

Response

StartRequests

GetDetails

Data

涉及的表

直接数据

RedisDB

取栈

Statices(未完成)

FilterHTML_IDSET

Item

Selector

push

Queue空

Queue

更新ChekcTime字段

清空签名队列

通过几个字段查询

Scucess

Diff

SpiderClosed

插入

Vailedor

相关的统计表

下载队列(有序集合)-优先pop值小的

UpdateData

UpdateTime

PopRequest

push签名

IndexKeyData

BusinessInfoGetter

对比获取不相等的字段

Data cleaning

NoVaild

Queue非空

Push

UpdateCheckTime

IDgetter

VaildData

 Collect

Get Started

爬虫系统架构图

 Collect

Get Started

爬虫系统架构图

 Collect

Get Started

爬虫系统流程图

 Collect

Get Started

爬虫类图













评论

0 条评论

下一页

Document