960TB
64C256G
10.36.80.46
480*2
10.36.6.2
计算集群Bstarrocks
16T*24
容器资源池|1台
480*3
工程检测库集群
1)结构化数据:离心机前置库->数据汇聚平台->计算A集群(StarRocks)|Hadoop集群
1.8T*6
1.8T*15
1.8T*22
960*3
采集程序
管理节点VIP分发
Minio汇聚
虚拟化资源池|5台
10.36.80.38
CPU服务器
10.36.80.148
应用前端访问
10.36.80.32
工程监测
176C1024
10.36.24.202
备份一体机
10.36.80.78
子平台
480G*2
驾驶舱
前置nysql库
子平台访问业务操作
私有云A
10.36.80.74
10.36.80.9
结构化数据入库大数据分析
K8S管理
管理POD查看配置运维服务
10.36.80.35
数据汇聚管理
Hadoop集群
10.36.86.130
1.8T*4
176C1024G
kafka
64C512G
10.36.8.182
2)实验任务平台(结构化数据)->实验任务平台mysql(数据抽取)->汇聚平台->计算A集群(StarRocks)|Hadoop集群
K8s-Master2
裸金属
10.36.5.13
10.36.5.12
私有云B边缘计算
Hadoop管理
GPU服务器
10.36.80.79
检测数据
离心机
960*2
非机构数据暂存
10.36.80.8
磁带机
8.备份/恢复
10.36.80.19
3)其他工程(结构化数据文件)->DMZ区私有云B存储目录
统一认证
1.8T*2
4.间接汇聚-结构|非结构-其他子平台(完成)
10.36.80.47
Longhorn存储私有云AB存储
视频流读取
K8S集群
FTP服务器
科研网
私有云B存储
数字化运维库集群
10.36.80.39
DMZ区
外部网络
10.36.24.201
私有云B
Hadoop管理节点
数据文件:统一规范
中间件平台
存储
观云台
960G *2
10.36.80.76
10.36.80.77
10.36.6.1
私有云A虚拟机CPU内存
10.36.80.20
K8s-Master1
7.驾驶舱使用视频(未完成)
私有云B虚拟机CPU内存
10.36.86.132
10.36.80.48
10.36.80.36
10.36.5.11
10.36.80.44
备份
统一规范EX:年月日/实验编号/目录放置文件EX:标记文件+数据文件
10.36.80.5
子平台应用&中间件(默认资源池|25台)
10.36.24.203
K8s-Master3
其他工程结构化数据文件入库
3.间接汇聚-结构|非结构-工程资源(完成)
Crontab:Hadoop-DistCp文件备份
其他工程非结构化数据
视频文件
10.36.86.128
数据汇聚应用库
视频大文件短期保存
1)其他工程(非结构数据)->DMZ区私有云B存储目录->工程检测平台(MiniO检测)->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群2) 其他工程(非结构数据)->DMZ区私有云B存储目录->工程检测平台(MiniO检测)->数据切片包装传递给Kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
HDFS快照备份恢复备份/恢复策略
恢复
园区检测
10.36.80.6
1.8T*17
快照入库/出库
结构非结构
10.36.80.12
私有云B|存储
私有云A存储
10.36.80.42
10.36.86.134
10.36.80.71
安防网
10.36.80.73
非结构化文件
安防工程非结构化数据
1)(目前只能走结构化)实验任务平台(数据切片)->kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
数字化运维
CPU服务器(桌面云)
10.36.80.45
实验任务
非结构化数据暂存
直接入库
1)转码服务器读取Minio视频文件->剪辑|切片->MiniO(汇聚)|Hadoop集群
工程资源
文件备份恢复
计算集群A
视频流
机载装置
非结构化数据流
5)数字化运维(结构化数据)->实验任务平台mysql(数据抽取)->汇聚平台->计算A集群(StarRocks)|Hadoop集群
10.36.86.126
计算集群A(大数据资源池A|5+1台)
10.36.86.136
10.36.8.183
10.36.80.151
其他工程非结构化数据结构化数据(文件)
2)非结构化数据:前置机文件目录->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
1)外部网络(非结构化文件)->DMZ区私有云B存储目录->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集群2)设备网(离心机非结构数据-视频)->存储规范->设备网FTP服务器标准目录->科研网FTP服务器标准目录->转码服务器转码->MiniO(汇聚)|Hadoop集群3)设备网(离心机非结构数据-文件)->存储规范->设备网FTP服务器标准目录->数据同步任务->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集4)科研网外设(机载装置-数据文件-视频/批量&大文件流程)->存储规范->科研网FTP服务器标准目录->转码服务器转码->MiniO(汇聚)|Hadoop集群5)科研网外设(机载装置-数据文件)->存储规范->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集群
10.36.80.72
私有云B|应用
6)数字化运维(非结构化数据)->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
外部网络大数据文件自动入库:统一规范
HDFS备份恢复
中间件扩容
Hadoop备份(备份集群+文件+快照组+磁带机)
10.36.80.75
10.36.80.37
StarRocks管理
SSD480G*2SSD960G *4SSD1920G*3
前端入口
计算集群B备用
1)备份环境:备份一体机,磁带机,Hadoop备用集群(用于全/部分恢复和测试)2)数据备份:Hadoop,单个节点+快照全量备份3)应用备份:子平台镜像仓库备份导出到备一体机(异机保存),观云台应用备份到一体机(异机保存),私有云备份(异机保存)4)数据恢复:恢复部分节点数据到备用集群,恢复全部数据到备用集群5)应用恢复:恢复子平台历史镜像版本到镜像仓库,恢复观云台历史版本,恢复私有云备份到近端
快照组
10.36.80.27
2.间接汇聚-非结构-安防网(暂无非结构化数据)
6.数据剪辑切片保存(未完成)
设备网
办公网
10.36.80.34
数采系统
sftp取zju400非结构化数据
大数据存算
1.直接汇聚(完成)
结构化数据流
1)MiniO视频文件->驾驶舱展示
实验任务库集群
非结构化数据入库
10.36.7.172
10.36.80.33
多云管理|使用/开放资源
1.8T*1
->工程检测平台(工程检测MYSQL)->数据汇聚平台(数据抽取)->计算A集群(StarRocks)|Hadoop集群
视频剪辑平台
3)实验任务平台(非结构化数据)->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
转码服务器
10.36.80.150
zju400
统一支撑
10.36.80.43
K8S容器镜像备份
K8S平台备份
支撑平台&子平台&私有云AB|远端备份
私有云备份
10.36.80.152
非结构化大文件
1.8T
视频读取剪辑切片保存
1)非结构化数据:安防网(园区检测)->工程检测平台(MiniO检测)->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群2)非结构化数据:安防网(园区检测)->工程检测平台(MiniO检测)->数据切片包装传递给Kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
前置库
结构化数据流(文件)
5.离线定期非结构文件视频转码保存(未完成)
Minio
4)(目前只能走结构化)数字化运维(数据切片)->kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
sftp取离心机非结构化数据
10.36.80.41
Snapshot
Hadoop备份集群
非结构化数据
32C256G
GPU服务
10.36.80.10
科研网外设
10.36.80.18
应用层
结构化数据处理计算分析
计算集群B(大数据资源池B|6台)
其他工程
结构化数据归集
10.36.80.80VIP
SFTP任务同步目录
10.36.80.4
离心机非结构化数据
10.36.80.13