爬虫系统架构图-持续更新中

2019-06-10 11:01:43   0  举报





Java生态爬虫系统架构

大数据存储计算

Hive

模板技术

模版推荐

作者其他创作

大纲/内容

车数据服务

Mysql   数   据   库

易置换（估价助手）

估价小程序

定价系统

数据抓取服务

……

网页数据源

爬虫2.0

大数据提取

拍卖

招商(H5)

Layer

业务输出层

ETL系统

精估棒

业务接入层

BI报表

OLTP 数据库

         零售平台：二手车之家、华夏二手车、淘车、58二手车，瓜子二手车、人人二手车、                        优信二手车、赶集二手车、51二手车、搜狐二手车、百姓二手车、                        车王二手车、大风车零售          拍卖平台：车易拍、天天拍、优信拍、车速拍、车置宝、开心二手车、大风车拍卖

binlog监控

数据入库服务

爬虫数据搜索服务

Sqoop抽取

爬虫系统

爬虫1.0

基础服务层

ETL(MR)

1.0架构-2.0架构

数据清洗

计算服务 Hive

数据仓库