系统架构设计
2020-09-10 13:37:46 2 举报大数据技术架构图
作者其他创作
大纲/内容
数据存储
数据中心
实时计算Spark、Flink
半结构化数据
结构化数据
DM
集成各场站SCADA实时监控展示、场站生产工艺流程组态展示、管网仿真数据可视化展示、气源/用户资源目录展示、综合报表展示、信息查询定位、GIS可视化展示、生产经营计划指标体系展示、指标趋势对比分析、场站二三维展示
数据采集
离线计算Mapreduce、HiveSQL
数据源
Sqoop、DataX
非结构化数据
平台应用
Flume、Logstash
数据清洗
ETL
Kafka
数据应用
数据传输
ODS
任务调度Azkaban
HBase、Redis
Kylin
数据分析
HDFS
DW
数据汇聚传输
服务协调Zookeeper
MySQL、PostgreSQL、Oracle、MongoDB
Hive
0 条评论
下一页
