爬虫类图
2017-03-24 21:26:12 0 举报爬虫类图是一种用于描述网页爬虫结构和行为的图形表示方法。它通常包括以下几个主要组成部分：起始节点（Start Node）、URL节点（URL Node）、抓取节点（Crawl Node）、数据处理节点（Data Processing Node）和结束节点（End Node）。起始节点表示爬虫的开始，URL节点表示待抓取的网页地址，抓取节点负责访问网页并获取数据，数据处理节点对抓取到的数据进行清洗、转换等操作，最后将处理后的数据存储或输出，结束节点表示爬虫的结束。通过爬虫类图，可以清晰地展示爬虫的整体架构和各组件之间的关系，有助于开发者更好地理解和优化爬虫程序。
作者其他创作
大纲/内容
+readXMLSchduleFile():void+setSchedule():void+register():void+unregister():void+notify():void
+readXMLConfigFile():void+setConfig():void +register():void+unregister():void+notify():void
+crawlStrategy():void
CrawlerDepthFirst
Crawler
CrawlerConfig
-schedule: CrawlerSchedule-config: CrawlerConfig-crawler:Crawler
-init():void+startCrawl():void+update():void
DataCrawl模块
CrawlerController
-strategy: CrawlerStrategy
《interface》CrawlerStrategy
《interface》Observer
《interface》Observable
CrawlerSchedule
+register():void+unregister():void+notify():void
CrawlerBrathFirst
+update():void
+setStrategy(CrawlerStrategy s)+executeCrawle():void
0 条评论
下一页
