登录免费注册



大数据技术

首页  流程图  详情



大数据技术

2021-04-08 15:40:26   4  举报





增加

数据服务架构

模版推荐

作者其他创作

大纲/内容

N尝试三次

Beam

N

采集完成

从数据库读取TS文件链接

Sqoop

Drill

公司产生的数据（如财务，行政）从外界购买，交换，爬虫来的数据

大数据各个环节主要技术

结束

数据应用主要技术

数据采集传输主要技术

KafkaRabbitMQActiveMQZeroMQ

采集节目

数据上传到MCI服务器

开始

数据相关的工具、产品、技术

采集成功

数据管理

数据采集

Spark

Y

采集文件

数据平台

采集当天电台节目数据

TensorFlow

HBase

整体采集流程

数据处理主要技术

电台直播采集流程（TS文件）

Storm

从数据库读取账号

采集当前节目ts文件链接

保存数据到数据库

数据存储主要技术

Flink

HDFS

上传成功

电台直播采集流程（TS文件链接）

保存本地数据库

数资产

数据采集流程

Hive

MapReduce

数据仓库，数据建模，数据质量，数据规范，数据安全及元数据管理

Flume

访问MCI服务获取账号

R语言

获取成功

从本地数据库读取昨天账号

 Collect

Get Started

大数据系统架构

 Collect

Get Started

大数据技术架构图

大数据解决方案设计：数据治理+大数据

 Collect

Get Started

大数据解决方案设计：数据治理+大数据

 Collect

Get Started

与大数据同行读书笔记













评论

0 条评论

下一页

Document