JAVA 分布式 爬虫架构

Spider

Scraja-redisEngine

...

Internet

HTTP

Processor

Selector

Listener

SpiderMiddlewares

JSON

Push Datum

Push Item

Proxy

Scraja-redis 主要组件     1: Engine(引擎)， 主要整合整个系统的模块组件，触发数据流处理流程     2: Scheduler(调度器)，主要负责和队列进行交互，接受引擎发过来的数据请求，制定优先级把数据推送到队列中，接收通知消息根据优先级从队列取出数据进行数据处理     3: Downloader(下载器)，主要负责从互联网下载网页(接口)内容， 对内容进行处理，将处理后内容信息交给转发器     4: Dispatcher(转发器)，主要负责根据URL匹配出符合条件的蜘蛛进行内容解析， 并根据正则匹配出URL交由Scheduler(调度器)放入队列font color=\"#323232\

DispatcherMiddlewares

Dispatcher

SchedulerMiddlewares

Page

DownloaderMiddlewares

Item

XPath

Jsoup

Datum Requset

Scheduler

SOCKS

Push Datum/Item

Visitor Method

TimesLimitFilter

Downloader

DuplicationFilter

Page Response

Filter

DatumListener

Pull Datum/Item

Pipeline

ItemListener