单机独占温块 - 写入 G3
BlueField-4 STX
部署Dynamo KVBM
BlueField-4 DPU
NVMe-oF Client
数据搬运-委托NIXL执行
Vera CPUConnectX-9 SuperNICDOCA Memos框架NVMe-oF Target、SPDKLinux Clustered Volume Management
管元数据、调度策略、数据放在哪
PCIe 回迁 HBM
部署Dynamo agent
冷数据在 G4 留存数天，超期自动清理释放容量
G4 (对象/分布式文件存储)
GPU 算力集群 -- PD 分离
G1 HBM 水位过高热度分级 温热块 Offload to G2
低热块 - 写入G4
部署 ModelExpress
NVIDIA CMX ContextMemory Storage Platform
G3 Local SSDs
Dynamo 控制平面
1、通过插件对接NVMe-oF、RoCE RDMA、S3、PCIe/GDS 等协议2、对外提供一套统一 KV 读写 API，屏蔽底层所有硬件、协议差异，内置 LLM KV 缓存专属业务优化逻辑
1、Dynamo 判定这些私有数据无跨节点共享价值，直接下发下沉指令 to G42、存放在 G3 的单机 KV，长时间无读取，热度分持续跌破 30 分冷数据阈值
NIXL 是动态链接库
1、Linux Clustered Volume Management 如何实现跨 DPU SSDs 池化的 ？
计算密集型（Compute-bound）任务
显存带宽密集型（Memory-bound）任务
G1 : HBMG2 : DRAMG3 ：Local SSDs
多机共享温块 - 写入G3.5
CPU 集群
部署Dynamo router
KV Transter
G2 水位过高Offload to
G3.5 CMX 共享层
Dynamo 控制平面 与 Dynamo agent 交互1、Dynamo agent 上报KV 事件2、Dynamo KVBM 下发KV写入/读取/下沉逻辑指令
完整串联链路：0. LLM Prefill/Decode GPU Worker（GB10 GPU，G1 HBM/G2 DRAM/G3本地SSD） ↓ HBM溢出/读取历史KV事件上报1. Dynamo Local Agent（GPU主机CPU） ↓ 上报状态、接收迁移逻辑指令1.1 Dynamo KV Block Manager（独立CPU控制集群，全局冷热调度大脑） ↓ 下发KV写入/读取/下沉逻辑指令2. NIXL 推理传输库（GPU推理进程本地库） ↓ 转换存储请求，调用DPU客户端2.1 NVMe-oF Client（GPU侧BlueField-4通用DPU · Initiator客户端） ↓ 封装 NVMeoF over RoCE RDMA 网络报文3. Ethernet Fabric 200GE RoCE RDMA 无损以太网底层传输 ↓ 跨机柜/节点抵达STX存储DPU集群4. NVMe-oF Target（存储侧BlueField-4 STX DPU内置服务端） ↓ 将远端IO请求交给集群卷管理层处理4.1 Linux Clustered Volume Management（跨DPU SSD池化、分布式条带/锁、卷隔离） ↓ 下发本地SSD高性能IO调用5. SPDK Caching（DPU用户态NVMe驱动、DPU内存读写缓存、无锁IO调度） ↓ PCIe直连硬件下发读写命令6. NVMe FLASH Array 720TB（G3.5 CMX Pod全局共享高速温存储）
单机访问的 KV，后续多 GPU 节点需要共用Dynamo 会发起读取动作，把 G3 数据读出、跨节点 RDMA 写入 CMX - （回迁 + 共享分发）
1、SAS HBA = Serial Attached SCSI Host Bus Adapter中文名称：串行连接 SCSI 主机总线适配器（也叫 SAS 控制器卡 / SAS 主机卡）。它把服务器/DPU 的 PCIe 总线转换为 SAS 协议，从而能够识别和管理 SAS 硬盘、SAS 扩展器（SAS Expanders）以及 SAS 磁盘阵列。2、SAS Expander 全称 SAS 扩展器（串行连接 SCSI 扩展器）本质上是一个 SAS 协议的交换机 / 集线器。它的主要功能是大幅扩展 SAS 端口数量，让一台 SAS HBA（主机总线适配器）能够连接远超自身端口限制的大量 SAS/SATA 硬盘。一台 SAS HBA 可能只有 8~16 个物理端口，但通过 SAS Expander 可以扩展到支持 几十甚至上百个硬盘。
Decode GPU 集群
通过 NIXL/NVLink GPU驱动 kv transter
GPU Direct Storage
用户请求
Dynamo 实时采集 CMX 容量，满容自动淘汰低热度块下沉 G4
Prefill GPU 集群
为每个用户请新建会话 ID
