登录免费注册

首页  流程图  详情



 



大数据平台架构和数仓构建

大数据平台架构和数仓构建

2024-02-23 17:46:59   0  举报





大数据平台架构和数仓构建

大数据

大数据平台

数仓

技术架构

系统架构

模板推荐

作者其他创作

大纲/内容

机器学习

自动化规划部署Auto Install

热点事件

zb_xx表

爆款预测

ERP业务

详情

Keetle

zb_FY表

定时任务（AZKABAN）

元数据--MataData

知识图谱

电商平台主题库

Mata-Data元数据管理

订单数据源

法官助手

检索（ES）

NOSQL数据库HBase

NOSQL数据库Redis

业务订单数据源

CLIENT

外部源

调度

机器学习平台SVM、SK-learn

XX库二级XX库

POTAL

第三方商业数据源

裁判文书

现有

DW

KAFKA

品类竞价

定制化业务

存储

原始数据--基本库

Sqoop

分布式文件系统（HDFS）

深度学习DeepLearing

数仓分析工具HiveSQL

ODS

JMQ

Python爬虫数据源

日志拉取（Flume）

交互

评论

消息队列（Kafka）

结构化数据DB2、PostGrepSQL

库存分析（线性回归）

统一注册服务（ZooKeeper）

WEBAPI+NGTCP

数据源

商品数据源

计算

GBD-ETL

接入

ajjbxx表

商品品类主题库

zb_AYx表

关系型数据库（MySQL）

应用

GBDIDE

清洗

TEZ

离线/实时计算Spark、Flink

DL

ODS层

Web-API/上层应用

DW层

社交数据源

检索业务（ES）

数据挖掘

业务分类

全局监控Gmetad

APP层

脱敏

诉服机器人

大数据展示（WEB）

大数据展示

爬虫源

SparkStreaming

实时调度（负载均衡，实时转发）

协议适配

ERP

数据研判

GBD-Schedule  统一调度

数据迁移（Sqoop/ooize）

HIveSQL

非结构化数据FTP

网红商品

预测（朴素贝叶斯）

同步

详情评论主题库

 Collect

Get Started

大数据平台架构

 Collect

Get Started

大数据平台架构

 Collect

Get Started

大数据平台架构

 Collect

Get Started

数据中台架构













评论

0 条评论

下一页

Document