登录免费注册

首页  流程图  详情



 



数据采集服务

数据采集服务

2021-04-09 09:45:57   4  举报





demo

大数据

采集数据流程

模板推荐

作者其他创作

大纲/内容

MQTT中间件(阿里云)

缓存层

中转层

kafka中间件(阿里云)

文件摆渡服务(内网16-18)

kafka转发服务

文件摆渡服务(应用服务器25)

流处理服务

LogStash服务

数据层

MQ服务

数据缓存服务

内网基础设施层

数据清洗

LogStash(华为云)

Loader层

MySQL/PostgreSQL

处理层

用户层

MQTT服务

Mongo

Spark

HTTP数据接收服务

数据打标

批处理服务

SFTP服务

kafka中间件(核心内网)

数据中心kafka

MQTTQ协议

数据中心kafka转发服务

kafka中间件(内网)

硬件设备

HTTP协议

文件摆渡服务

数据Loader服务

MQTT中间件(华为云)

Hive

MQTT协议接收服务

基础设施层

Filebeat

服务日志

HDFS

Sqoop

数据仓库服务

HBase

LogStash(阿里云)

Elasticsearch

日志存储

Impala

Flume

kafka中间件(华为云)

数据中心文件摆渡服务

数据中心接收服务

 Collect

Get Started

数据采集1.0

 Collect

Get Started

采集

 Collect

Get Started

视频采集

 Collect

Get Started

采集微服务













评论

0 条评论

下一页

Document