登录免费注册



数据赋能爬虫业务体系层次架构

首页  流程图  详情



数据赋能爬虫业务体系层次架构

2019-06-17 10:38:11   5  举报





数据赋能爬虫业务体系层次架构

爬虫最新架构图

Hive

zk

ElasticSearch

kafka

模版推荐

作者其他创作

大纲/内容

杭州l索引服务

定价系统

ste-mis爬虫模版管理服务

……

数据智能服务

用户标记

reptile

ES服务（dubbo调用）

基础服务层

校验

T+1

mgms

binlog监控

拍卖平台：

ste-reptile爬虫数据清洗服务

爬虫数据搜索服务search-reptile

预警

souche-ste

计算服务 Hive

精估棒

HDFS/olap

网站数据

ste爬虫数据抓取服务

拍卖

BI报表

reptile-search

X产品

规则引擎

即时搜索

Sqoop抽取

车易拍、天天拍、优信拍、车速拍、车置宝、开心二手车、大风车拍卖

招商(H5)

ETL(MR)

延时搜索

分发库

估价小程序

报表统计

车数据服务

业务输出层

站点源数据

易置换

估价助手

ste_mis

商车

二手车之家、华夏二手车、淘车、58二手车、瓜子二手车、人人二手车、优信二手车、赶集二手车、51二手车、搜狐二手车、百姓二手车、车王二手车、大风车零售

数据存储层

零售平台：

OLTP

爬虫3.0

业务接入层

估价

金融科技领域大模型赋能业务场景架构

 Collect

Get Started

金融科技领域大模型赋能业务场景架构

 Collect

Get Started

赋能、进阶融合

 Collect

Get Started

内容赋能系统

AI智能体赋能数据标注核心架构设计

 Collect

Get Started

AI智能体赋能数据标注核心架构设计













评论

0 条评论

下一页

Document