数据赋能爬虫业务体系层次架构
2019-06-17 10:38:11 4 举报
登录查看完整内容
数据赋能爬虫业务体系层次架构
作者其他创作
大纲/内容
杭州l索引服务
定价系统
ste-mis爬虫模版管理服务
……
数据智能服务
用户标记
reptile
ES服务（dubbo调用）
基础服务层
校验
T+1
mgms
binlog监控
拍卖平台：
ste-reptile爬虫数据清洗服务
爬虫数据搜索服务search-reptile
预警
souche-ste
计算服务 Hive
精估棒
HDFS/olap
网 站 数 据
ste爬虫数据抓取服务
拍卖
BI报表
reptile-search
X产品
规则引擎
即时搜索
Sqoop抽取
车易拍、天天拍、优信拍、车速拍、车置宝、开心二手车、大风车拍卖
招商(H5)
ETL(MR)
延时搜索
分发库
估价小程序
报表统计
车数据服务
业务输出层
站点源数据
易置换
估价助手
ste_mis
商车
二手车之家、华夏二手车、淘车、58二手车、瓜子二手车、人人二手车、优信二手车、赶集二手车、51二手车、搜狐二手车、百姓二手车、车王二手车、大风车零售
数据存储层
零售平台：
OLTP
爬虫3.0
业务接入层
估价
![[※]数据湖功能架构](https://po-img.processon.com/chart_image/thumb/657eaf769a873e50f506e2b7.png)
0 条评论
回复 删除
下一页
