Spider
...
Scraja-redisEngine
Item Listener
Internet
HTTP
Processor
Selector
Listener
SpiderMiddlewares
JSON
设计预留7类可插拔、可扩展组件，支持多种数据场景
Push Datum
支持2种代理(HTTP和SOCKS)来支持海外业务和动态IP
Push Datum/Item
Push Item
Proxy
Scraja-redis(分布式爬虫) 主要组件 1: Engine(引擎)， 主要整合整个系统的模块组件，触发数据流处理流程 2: Scheduler(调度器)，主要负责和队列进行交互，接受引擎发过来的数据请求，制定优先级把数据推送到队列中，接收通知消息根据优先级从队列取出数据进行数据处理 3: Downloader(下载器)，主要负责从互联网下载网页(接口)内容， 对内容进行处理，将处理后内容信息交给转发器 4: Dispatcher(转发器)，主要负责根据URL匹配出符合条件的爬行器进行内容解析， 并根据正则匹配出URL交由Scheduler(调度器)放入队列font color=\"#323232\
DispatcherMiddlewares
Dispatcher
SchedulerMiddlewares
Page
DownloaderMiddlewares
支持3中选择器（Jsoup、Xpath、JSON）匹配数据响应格式
Pull Item
XPath
Jsoup
Pull Datum
Scheduler
SOCKS
Visitor Method
TimesLimitFilter
Downloader
DuplicationFilter
Page Response
Filter
Pre Datum Listener
利用发布订阅原理，控制爬取任务的运行和关停
使用Redis队列实现分布式部署和断点恢复
Pull Datum/Item
Pipeline
Datum Listener
