爬虫系统架构图-持续更新中

车数据服务

Mysql   数   据   库

易置换（估价助手）

估价小程序

定价系统

数 据 抓 取 服 务

……

网页数据源

爬虫2.0

大数据提取

拍卖

招商(H5)

Layer

业务输出层

ETL系统

精估棒

业务接入层

BI报表

OLTP 数据库

         零售平台：二手车之家、华夏二手车、淘车、58二手车，瓜子二手车、人人二手车、                        优信二手车、赶集二手车、51二手车、搜狐二手车、百姓二手车、                        车王二手车、大风车零售          拍卖平台：车易拍、天天拍、优信拍、车速拍、车置宝、开心二手车、大风车拍卖

binlog监控

数 据 入 库 服 务

爬虫数据搜索服务

Sqoop抽取

爬虫系统

爬虫1.0

基础服务层

ETL(MR)

1.0架构-2.0架构

数据清洗

计算服务 Hive

数 据 仓 库

ElasticSearch Cluster

ng-searcher

模 版 管 理 服 务

HDFS

数据存储层

数据库