960TB
64C256G
10.36.80.46
480*2
10.36.6.2
计算集群Bstarrocks
16T*24
容器资源池|1台
480*3
工程检测库集群
1）结构化数据：离心机前置库->数据汇聚平台->计算A集群（StarRocks）|Hadoop集群
1.8T*6
1.8T*15
1.8T*22
960*3
采集程序
管理节点VIP分发
Minio汇聚
虚拟化资源池|5台
10.36.80.38
CPU服务器
10.36.80.148
应用前端访问
10.36.80.32
工程监测
176C1024
10.36.24.202
备份一体机
10.36.80.78
子平台
480G*2
驾驶舱
前置nysql库
子平台访问业务操作
私有云A
10.36.80.74
10.36.80.9
结构化数据入库大数据分析
K8S管理
管理POD查看配置运维服务
10.36.80.35
数据汇聚管理
Hadoop集群
10.36.86.130
1.8T*4
176C1024G
kafka
64C512G
10.36.8.182
2）实验任务平台（结构化数据）->实验任务平台mysql(数据抽取)->汇聚平台->计算A集群（StarRocks）|Hadoop集群
K8s-Master2
裸金属
10.36.5.13
10.36.5.12
私有云B边缘计算
Hadoop管理
GPU服务器
10.36.80.79
检测数据
离心机
960*2
非机构数据暂存
10.36.80.8
磁带机
8.备份/恢复
10.36.80.19
3）其他工程（结构化数据文件）->DMZ区私有云B存储目录
统一认证
1.8T*2
4.间接汇聚-结构|非结构-其他子平台(完成)
10.36.80.47
Longhorn存储私有云AB存储
视频流读取
K8S集群
FTP服务器
科研网
私有云B存储
数字化运维库集群
10.36.80.39
DMZ区
外部网络
10.36.24.201
私有云B
Hadoop管理节点
数据文件：统一规范
中间件平台
存储
观云台
960G *2
10.36.80.76
10.36.80.77
10.36.6.1
私有云A虚拟机CPU内存
10.36.80.20
K8s-Master1
7.驾驶舱使用视频（未完成）
私有云B虚拟机CPU内存
10.36.86.132
10.36.80.48
10.36.80.36
10.36.5.11
10.36.80.44
备份
统一规范EX：年月日/实验编号/目录放置文件EX:标记文件+数据文件
10.36.80.5
子平台应用&中间件（默认资源池|25台）
10.36.24.203
K8s-Master3
其他工程结构化数据文件入库
3.间接汇聚-结构|非结构-工程资源(完成)
Crontab:Hadoop-DistCp文件备份
其他工程非结构化数据
视频文件
10.36.86.128
数据汇聚应用库
视频大文件短期保存
1）其他工程（非结构数据）->DMZ区私有云B存储目录->工程检测平台（MiniO检测）->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群2) 其他工程（非结构数据）->DMZ区私有云B存储目录->工程检测平台（MiniO检测）->数据切片包装传递给Kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
HDFS快照备份恢复备份/恢复策略
恢复
园区检测
10.36.80.6
1.8T*17
快照入库/出库
结构非结构
10.36.80.12
私有云B|存储
私有云A存储
10.36.80.42
10.36.86.134
10.36.80.71
安防网
10.36.80.73
非结构化文件
安防工程非结构化数据
1）（目前只能走结构化）实验任务平台（数据切片）->kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
数字化运维
CPU服务器（桌面云）
10.36.80.45
实验任务
非结构化数据暂存
直接入库
1）转码服务器读取Minio视频文件->剪辑|切片->MiniO(汇聚)|Hadoop集群
工程资源
文件备份恢复
计算集群A
视频流
机载装置
非结构化数据流
5）数字化运维（结构化数据）->实验任务平台mysql(数据抽取)->汇聚平台->计算A集群（StarRocks）|Hadoop集群
10.36.86.126
计算集群A（大数据资源池A|5+1台）
10.36.86.136
10.36.8.183
10.36.80.151
其他工程非结构化数据结构化数据（文件）
2）非结构化数据：前置机文件目录->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
1）外部网络(非结构化文件)->DMZ区私有云B存储目录->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集群2）设备网(离心机非结构数据-视频)->存储规范->设备网FTP服务器标准目录->科研网FTP服务器标准目录->转码服务器转码->MiniO(汇聚)|Hadoop集群3）设备网(离心机非结构数据-文件)->存储规范->设备网FTP服务器标准目录->数据同步任务->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集4）科研网外设（机载装置-数据文件-视频/批量&大文件流程）->存储规范->科研网FTP服务器标准目录->转码服务器转码->MiniO(汇聚)|Hadoop集群5）科研网外设（机载装置-数据文件）->存储规范->科研网FTP服务器标准目录->MiniO(汇聚)|Hadoop集群
10.36.80.72
私有云B|应用
6）数字化运维（非结构化数据）->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
外部网络大数据文件自动入库：统一规范
HDFS备份恢复
中间件扩容
Hadoop备份（备份集群+文件+快照组+磁带机）
10.36.80.75
10.36.80.37
StarRocks管理
SSD480G*2SSD960G *4SSD1920G*3
前端入口
计算集群B备用
1）备份环境：备份一体机，磁带机，Hadoop备用集群（用于全/部分恢复和测试）2）数据备份：Hadoop，单个节点+快照全量备份3）应用备份：子平台镜像仓库备份导出到备一体机（异机保存），观云台应用备份到一体机（异机保存），私有云备份（异机保存）4）数据恢复：恢复部分节点数据到备用集群，恢复全部数据到备用集群5）应用恢复：恢复子平台历史镜像版本到镜像仓库，恢复观云台历史版本，恢复私有云备份到近端
快照组
10.36.80.27
2.间接汇聚-非结构-安防网（暂无非结构化数据）
6.数据剪辑切片保存（未完成）
设备网
办公网
10.36.80.34
数采系统
sftp取zju400非结构化数据
大数据存算
1.直接汇聚(完成)
结构化数据流
1）MiniO视频文件->驾驶舱展示
实验任务库集群
非结构化数据入库
10.36.7.172
10.36.80.33
多云管理|使用/开放资源
1.8T*1
->工程检测平台（工程检测MYSQL）->数据汇聚平台（数据抽取）->计算A集群（StarRocks）|Hadoop集群
视频剪辑平台
3）实验任务平台（非结构化数据）->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群
转码服务器
10.36.80.150
zju400
统一支撑
10.36.80.43
K8S容器镜像备份
K8S平台备份
支撑平台&子平台&私有云AB|远端备份
私有云备份
10.36.80.152
非结构化大文件
1.8T
视频读取剪辑切片保存
1）非结构化数据：安防网（园区检测）->工程检测平台（MiniO检测）->sftp取数据到数据汇聚平台->MiniO(汇聚)|Hadoop集群2)非结构化数据：安防网（园区检测）->工程检测平台（MiniO检测）->数据切片包装传递给Kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
前置库
结构化数据流（文件）
5.离线定期非结构文件视频转码保存（未完成）
Minio
4）（目前只能走结构化）数字化运维（数据切片）->kafka->汇聚平台订阅解包->保存MiniO(汇聚)|Hadoop集群
sftp取离心机非结构化数据
10.36.80.41
Snapshot
Hadoop备份集群
非结构化数据
32C256G
GPU服务
10.36.80.10
科研网外设
10.36.80.18
应用层
结构化数据处理计算分析
计算集群B（大数据资源池B|6台）
其他工程
结构化数据归集
10.36.80.80VIP
SFTP任务同步目录
10.36.80.4
离心机非结构化数据
10.36.80.13
