NVIDIA Explains How to Break the AI Memory Bottleneck: HBM Grows Only About 3%, Agent Throughput per Dollar Up to 30x Higher
English text is being prepared.
NVIDIA released a technical explainer proposing full-stack co-design to alleviate the AI memory bottleneck: with HBM capacity increased by only about 3%, Vera Rubin NVL72 achieves up to 30x higher agent throughput per dollar compared with GB300 NVL72. Specific measures include using the NVFP4 low-precision format to compress model weights and KV cache, distributing model weights across up to 72 GPUs in the NVL72 system, buffering paused context in the LPDDR memory of the Vera CPU, and using the Dynamo inference software to migrate inactive context to CMX context storage. NVIDIA cited benchmark data from SemiAnalysis AgentX and noted that the key to compute competition is shifting from memory capacity to how many effective tokens can be produced per byte and per watt.
Why read this
AI score 60
The original article breaks down NVIDIA's specific approach to raising throughput per dollar through compression, tiering, and scheduling, even with HBM capacity nearly unchanged.
Topics
Body
新增众测推广文案 新增众测推广文案end 添加App专享导流
IT之家 11 月 6 日消息，英伟达昨日（11 月 5 日）发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正面临前所未有的压力，HBM 供应趋紧、价格上升，在可以预见的未来仍将持续。
为了破解当前 AI 内存瓶颈，英伟达探索引入了“全栈协同设计”理念，将 GPU、CPU、网络、存储和软件作为一个整体协同设计，让每一字节内存在 AI 工厂的各层级都产生更高价值。IT之家附上相关图片如下：
在推理过程中，昂贵的 HBM 既要承载模型权重，也要保存 KV 缓存（用于记录模型理解当前请求所需的上下文）。智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达 300 万个 token；检索增强生成（RAG）还会把企业资料加入提示词，进一步推高内存占用。
英伟达将 HBM 比作仓库、将内存带宽比作装卸口：容量再大，若数据进出速度跟不上，也会形成“内存墙”，导致新增容量无法有效转化为服务能力。因此，其方案强调把数据压缩、放置在合适层级，并在需要前提前送回 GPU。
在具体操作中，NVFP4 低精度格式可压缩模型权重和 KV 缓存；在 NVL72 系统中，模型权重可分散至最多 72 颗 GPU；Vera CPU 的大容量 LPDDR 内存可为暂停的上下文提供就近缓冲；Dynamo 推理软件则将不活跃上下文迁移至 CMX 上下文存储，并在复用前取回。RAG 索引也可保留在 CPU 与存储侧，避免长期占用 HBM。
英伟达援引 SemiAnalysis AgentX 基准称，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。
GB300 NVL72 较 H200 平台在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。这表明，AI 算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效 token”。 声明：新浪网独家稿件，未经授权禁止转载。 tech_web_article_v2015_block_bottom 非定向300*250按钮 17/09 wenjing begin
非定向300*250按钮 end