爬虫
2018-08-13 13:50:25 0 举报爬虫
作者其他创作
大纲/内容
Models
获取bool
CorpList-ProdList
Insertor
Request
DropScheduleQueue
pushRequest
Null
类型判断
No
GetNextor
Yes
Get Difference
JdbDB
Htm_IdSet
签名队列
Scheduler
InsertData
StartCrawler
Request-Response Checker
Vaild
Extractor
FilterRequest
长度大于阈值
StopIter
Update or Insert
pop
IsVaild
insert or Update
VaildClass
AddTime
HasNext
RequestQueue
Failed
ClosedSpider
LocalDB
FilterData
HasResult
Duplicater
DownLoader
NoHas
Requests
Updator
更新
Response
StartRequests
GetDetails
Data
涉及的表
直接数据
RedisDB
取栈
Statices(未完成)
FilterHTML_IDSET
Item
Selector
push
Queue空
Queue
更新ChekcTime字段
清空签名队列
通过几个字段查询
Scucess
Diff
SpiderClosed
插入
Vailedor
相关的统计表
下载队列(有序集合)-优先pop值小的
UpdateData
UpdateTime
PopRequest
push签名
IndexKeyData
BusinessInfoGetter
对比获取不相等的字段
Data cleaning
NoVaild
Queue非空
Push
UpdateCheckTime
IDgetter
VaildData
0 条评论
下一页
