NVIDIA介绍Vera Rubin NVL72五项协同设计

11月6日

1. 11:18

   IT之家·人工智能

   英伟达解读 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍

   英伟达发布技术解读，提出用全栈协同设计缓解 AI 内存瓶颈，把 GPU、CPU、网络、存储和软件作为整体协同设计。方案包括用 NVFP4 低精度格式压缩模型权重和 KV 缓存、在 NVL72 系统中把模型权重分散至最多 72 颗 GPU、用 Vera CPU 的 LPDDR 内存缓冲暂停的上下文，并由 Dynamo 推理软件把不活跃上下文迁移至 CMX 上下文存储。英伟达援引 SemiAnalysis AgentX 基准称，在每用户每秒 125 token 条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。

   展开摘要
2. 11:18

   IT之家·人工智能相关讨论

   IT之家·人工智能 参与了这场讨论 ↗

   原帖参与热度计算，不等同于正式报道或已确认事实。

3. 11:15

   半导体产业纵横

   英伟达HBM容量仅增3%，AI推理单位成本吞吐量最高提升30倍

   英伟达称从Blackwell Ultra到Vera Rubin平台，单颗GPU的HBM容量仅增长约3%，但据SemiAnalysis AgentX测试，智能体工作负载的单位成本吞吐量最高提升30倍。其思路不是堆叠更多HBM，而是通过全栈协同设计管理GPU、CPU、SSD和共享存储的内存层级，包括用NVFP4压缩模型权重和KV Cache、把不活跃上下文转移到CMX上下文内存存储、用Nemotron Retriever压缩RAG向量。在每位用户生成速度125 Token/s条件下，Vera Rubin NVL72相比GB300 NVL72单位成本吞吐量最高提升30倍。

   展开摘要
4. 07:37

   新浪科技

   英伟达解读如何破解 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍

   英伟达发布技术解读，提出用全栈协同设计缓解 AI 内存瓶颈，在 HBM 容量仅增加约 3% 的情况下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍。具体手段包括用 NVFP4 低精度格式压缩模型权重和 KV 缓存、在 NVL72 系统中把模型权重分散到最多 72 颗 GPU、用 Vera CPU 的 LPDDR 内存缓冲暂停的上下文，以及由 Dynamo 推理软件把不活跃上下文迁移到 CMX 上下文存储。英伟达援引 SemiAnalysis AgentX 基准数据，并指出算力竞争关键正从显存容量转向每字节、每瓦特能产出多少有效 token。

   展开摘要
5. 00:00

   NVIDIA Developer · Generative AI一手

   NVIDIA 协同设计如何最大化 AI 工厂中每个字节的价值：五种方式

   NVIDIA 通过 NVFP4、Wide-EP、Dynamo、Vera CPU 和 CMX 五项协同设计，让 Vera Rubin NVL72 在每 GPU 288 GB HBM 不变的情况下，于 SemiAnalysis AgentX 上实现最高 30 倍于 GB300 NVL72 的每兆瓦吞吐量。NVFP4 将模型占用较 FP16 缩小约 3.5 倍、较 FP8 缩小 1.8 倍，NVFP4 KV cache 较 FP8 再降最多 50%。TensorRT-LLM 的 Wide-EP 把专家分散到 8 块以上 GPU，Dynamo 则将 KV cache 作为跨 GPU、CPU 和存储的集群级资源管理。

   展开摘要