NVIDIA 机密计算如何让 TensorRT LLM 在 Blackwell 上保持生产级推理性能
NVIDIA 机密计算(CC)通过内存加密的机密虚拟机、机密 GPU 和加密 NVLink,让生产级 AI 推理运行在可信硬件上。在 8 块 NVIDIA B200 GPU 上运行 DeepSeek-R1 的受控对比中,CC 开启后保留了基线 96.1%–98.2% 的输出 token 吞吐,单 token 延迟(TPOT)仅增加 1.2%–4.3%(并发 1–16)。TensorRT LLM 为此改用可分页内存、异步 token 回读,并以 GPU %globaltimer 替代 CUDA events 做内核自动调优。
匹配字段标题、摘要、正文



