大数据平台架构和数仓构建
2024-02-23 17:46:59 0 举报
登录查看完整内容
大数据平台架构和数仓构建
作者其他创作
大纲/内容
机器学习
自动化规划部署Auto Install
热点事件
zb_xx表
爆款预测
ERP业务
详情
Keetle
zb_FY表
定时任务（AZKABAN）
元数据--MataData
知识图谱
电商平台主题库
Mata-Data元数据管理
订单数据源
法官助手
检索（ES）
NOSQL数据库HBase
NOSQL数据库Redis
业务订单数据源
CLIENT
外部源
调度
机器学习平台SVM、SK-learn
XX库二级XX库
POTAL
第三方商业数据源
裁判文书
现有
DW
KAFKA
品类竞价
定制化业务
存储
原始数据--基本库
Sqoop
分布式文件系统（HDFS）
深度学习DeepLearing
数仓分析工具HiveSQL
ODS
JMQ
Python爬虫数据源
日志拉取（Flume）
交互
评论
消息队列（Kafka）
结构化数据DB2、PostGrepSQL
库存分析（线性回归）
统一注册服务（ZooKeeper）
WEBAPI+NGTCP
数据源
商品数据源
计算
GBD-ETL
接入
ajjbxx表
商品品类主题库
zb_AYx表
关系型数据库（MySQL）
应用
GBDIDE
清洗
TEZ
离线/实时计算Spark、Flink
DL
ODS层
Web-API/上层应用
DW层
社交数据源
检索业务（ES）
数据挖掘
业务分类
全局监控Gmetad
APP层
脱敏
诉服机器人
大数据展示（WEB）
大数据展示
爬虫源
SparkStreaming
实时调度（负载均衡，实时转发）
协议适配
ERP
数据研判
GBD-Schedule 统一调度
数据迁移（Sqoop/ooize）
HIveSQL
非结构化数据FTP
网红商品
预测（朴素贝叶斯）
同步
详情评论主题库
0 条评论
回复 删除
下一页
