NVIDIA 称 Nemotron 3 Ultra NIM 在 4xB200 系统上相比未优化的基线服务栈可实现最高 2.5 倍系统吞吐，NIM 2.0.12 优化服务栈在 50 TPS/用户（20 ms ITL）目标下达到 1,997 tokens/秒。该优化栈整合了自动调优内核、张量并行、前缀与状态复用、调度与显存调优以及 MTP 投机解码，并以微服务形式提供经校验的配置、标准 API 和 NVIDIA AI Enterprise 支持的企业级容器生命周期。开发者可用 NVIDIA AIPerf 回放自有流量，选择满足延迟 SLO 的 Pareto 点。
匹配字段标题、摘要、正文
d-Matrix 宣布与 Nvidia 合作，其 Raptor XPU 平台将通过 Nvidia 的 MGX 参考架构部署，作为 AI factory 方案的一部分，未来版本 Lightning 也包含在合作范围内。Raptor 采用 3D-RAM 加速器，4 纳米计算芯片与定制 DRAM 芯片以 36 微米间距堆叠，提供 100 TB/sec 带宽，计划今年内流片、2027 年第四季度发布。在 Hot Chips 2026 上，d-Matrix 展示单机架运行 GLM 5.2 约 3000 tokens/秒/用户、Kimi K3 约 1000 tokens/秒/用户，该机架可容纳 144 个 Raptor XPU。
匹配字段标题、摘要、正文
NVIDIA 与 Palantir 合作在 Palantir Foundry 中构建数字供应链智能指挥中心，将材料、制造基地、产能、分配等数据统一到 Ontology 数据层，并用开源 GPU 加速决策优化库 NVIDIA cuOpt 求解关键材料分配问题，目标是最小化 Time of Ownership（TOO）。cuOpt 以混合整数线性规划求解，还能报告哪些约束成为瓶颈，让规划者快速探索不同情景。NVIDIA 称 Vera Rubin 的供应链规模是 Grace Blackwell 的两倍。
匹配字段标题、摘要、正文
Together AI 的 kernels 团队在获得 NVIDIA Vera Rubin NVL72 平台访问权限后，已将 ThunderKittens 扩展至支持在 Vera Rubin 上编写 NVFP4 和 FP8 GEMM。旧 Blackwell 内核在 Vera Rubin 上仅达到 roofline 的 42.1%（NVFP4）和 44.4%（FP8），团队利用 64 字节 K 步长、576 列 tensor memory、328 KiB 共享内存等新特性优化后，将 NVFP4 内核提升至超过 22 PFLOPS，与 cuBLAS 和 CuTE DSL 相当。
匹配字段标题、摘要、正文
NVIDIA Dynamo 通过 encode-prefill-decode（EPD）分离，将视觉编码与 LLM prefill、decode 阶段拆开，在图像密集提示、短到中等输出和量化 MoE 模型上实现最高 5 倍更快的首 token 时延（TTFT）和 7 倍更快的端到端响应时间。在混合文本与多模态流量中，EPD 消除队头阻塞，使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%；将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16，可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时，收益会缩小。
匹配字段标题、摘要、正文
Jensen Huang 称 OpenAI 的 GPT-6 Astra 使用约 100K+ 个 NVIDIA Grace Blackwell NVLink72 训练，并将其称为 AGI。其表示，从 ChatGPT、o1 到 Astra 历时 4 年，接下来还将有 400K 个 GPU 上线。
匹配字段标题、摘要、正文
Meta 在 6 月让自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛，任务是对一个 30B Nemotron 模型做微调以提升其推理能力，AIRA₃ 在约 4000 支队伍中排名第 8，获得金牌。AIRA₃ 不依赖中央控制器，而是让多组模型加编码工具在隔离环境中长时间运行，通过共享论坛和共享文件系统异步协作。赛后 Meta 还用 Muse Spark 1.2（配 MuseCode）等模型做了评估，其中 Muse Spark 1.2 达到金牌水平，Muse Spark 1.1 和 GLM 5.2 达到银牌水平，这些赛后提交在与现场竞赛相同的私有测试集上由外部评分。
匹配字段标题、摘要
Meta 在 6 月让下一代自主 AI 研究系统 AIRA₃ 参加 NVIDIA 在 Kaggle 举办的竞赛，任务是微调 30B Nemotron 模型以提升其推理能力，所有参赛者信息相同并在私有测试集上外部评分。AIRA₃ 在约 4000 支队伍中排名第 8，获得金牌，超过使用相同前沿工具的人类参赛者。AIRA₃ 不依赖中央控制器，而是让大量长时运行的智能体在隔离环境中通过共享论坛和共享文件系统异步协作；其金牌方案由 GPT 5.5（配 OpenCode）与 Claude 4.8（配 ClaudeCode）组合而成，事后评估中 Muse Spark 1.2（配 MuseCode）也达到金牌水平，Muse Spark 1.1（配 OpenCode）和 GLM 5.2（配 OpenCode）达到银牌水平。Meta 称该系统只改任务说明即可跨领域泛化，内部基准上实现生产 GPU kernel 延迟降低 27%，并在另一场将 4000 年前阿卡德语泥板翻译成英文的 Kaggle 竞赛中取得金牌级表现。
匹配字段标题、摘要、正文
NVIDIA 团队用 NemoClaw 构建了记忆驱动的 Chief of Staff 智能体，通过 Markdown 自模型与 SQLite 账本分离证据与判断。在 Agent Memory Benchmark 上，自模型将整体准确率从 82.8% 提升到 90.9%，变化事实的跟踪率从 60.0% 提升到 100%。运行时由 NVIDIA OpenShell 沙箱管控文件系统、进程和网络访问，凭据留在沙箱之外，相关配方与设计提案已开源在 NVIDIA/nemoclaw-community 仓库。
匹配字段标题、摘要、正文
NVIDIA 介绍在 Jetson 边缘设备上本地运行推理与智能体模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。Nemotron 3.5 Lightning 采用 MoE 架构，总参数 30B 但每 token 仅激活 3B；Qwen3.8-27B 为稠密模型，每 token 激活全部 27B。NVFP4 量化配合推测解码在 Jetson 上相较 BF16 最高带来 6.28x 解码吞吐提升，且最优推测解码配置因模型而异。
匹配字段标题、摘要、正文
Georgi Gerganov 宣布 Hugging Face 已被 NVIDIA 收购。他表示 NVIDIA 一年多来持续支持 llama.cpp，工程师参与代码贡献、与社区协作并提供开发测试硬件。他同时说明 llama.cpp/ggml 将继续坚持硬件无关的创始原则，各后端开发与支持仍由社区驱动，并认为有 NVIDIA 和 Hugging Face 团队支持，长期目标更易实现。
匹配字段标题、摘要、正文
NVIDIA 采用中心身份网关模式，让区域网关通过共享会话存储校验用户身份，而非各自维护独立 OIDC 流程，在横跨 AWS 和 OCI 的 Kubernetes 内部开发者平台上将重复登录事件减少 55%。该架构基于标准 OpenID Connect、极简 /gateway/userinfo 校验端点、无状态区域网关和带显式 TTL 的 Redis 共享会话存储，实现统一平台外壳与具备委派用户身份的 AI 助手。安全措施包括网关间双向 TLS 或工作负载身份、剥离入站身份头后再注入可信头，以及为会话存储不可用定义明确失败行为。
匹配字段标题、摘要、正文
Nvidia 将以 129 亿美元收购开源 AI 平台 Hugging Face，交易预计在 2027 年上半年完成，尚待监管批准。Hugging Face 目前拥有超过 1800 万开发者和 20 万家企业用户，托管 300 万个模型、100 万个应用和 50 万个数据集。Hugging Face CEO Clément Delangue 表示，公司主动接洽 Nvidia，原因是开源 AI 社区规模扩张所需资源已超出自身能力。
匹配字段标题、摘要、正文
Satya Nadella表示，期待开放模型生态与NVIDIA和Hugging Face继续蓬勃发展，并延续合作伙伴关系。他还向Jensen Huang和Clement Delangue表示祝贺。
匹配字段标题、摘要、正文
NVIDIA 将成为 Hugging Face、其社区及开放模型未来发展的新家。黄仁勋表示，开放模型有助于加强安全与网络安全、加速创新和普及、推动自主可控，并让开发者、初创企业、大学、行业和各国都能构建、定制和受益于 AI。
匹配字段标题、摘要、正文
NVIDIA 提出用投机解码加速 LLM 推理：小草稿模型一次提议多个 token，由大目标模型并行验证，在不改变输出序列的前提下减少解码迭代次数。文章给出五条准则来选取最优草稿长度与机制，并比较外部草稿模型、EAGLE-3、MTP、DFlash、DSpark 及后缀/n-gram 方法。NVIDIA 的 SPEED-Bench 基准用于衡量编码、摘要等任务的接受长度，EAGLE-3、DFlash、DSpark 的训练示例已开放在 NVIDIA/Model-Optimizer 中。
匹配字段标题、摘要、正文
SemiAnalysis 分析韩国主权 AI 布局，指出其 2025 年 6 月启动的独立 AI 基础模型竞赛中，Motif 以约 1500 万美元训练成本做出全球最好的非中国开源模型，却在 8 月 18 日公布的最新一轮评审中被淘汰。韩国还宣布 9190 亿美元投资，计划 2029 年建成 8.4GW、2035 年建成 18.4GW 数据中心，SK 集团、GS 集团和 Naver 分别承担一期 5GW、2.4GW 和 1GW。文章认为 Nvidia 是主权 AI 的最大受益者，而韩国的算力扩张未必与三星和 SK Hynix 股东利益一致。
匹配字段标题、摘要、正文
NVIDIA 与 CrowdStrike 在隔离环境中评估了一套攻防一体的智能体网络安全系统，防御侧由 Nemotron 3 Ultra 负责编排、微调后的 Nemotron 3 Super 负责检测生成与修复。回测显示，优化后的开源模型流水线在六个会话中平均检测率达 41.9%，是仅用 Nemotron 3 Ultra 默认配置的 2.5 倍；针对八种未见攻击的实弹测试中，开源模型检测有 45% 具备泛化能力，前沿系统为 29%。
匹配字段标题、摘要、正文
NVIDIA 提出按 AI Chatbots/Copilots、AI Agents、内容生成、翻译应用四类用例映射推理负载，并依据模型选择、DAU、并发、ISL/OSL、缓存命中率、延迟目标和合同期限来规划 GPU 容量。其核心加弹性（core-and-flex）模式用本地或预留云 GPU 承载稳态流量，用公有云 spot 或按需 GPU 应对突发。NVIDIA Model Optimizer 的 FP8 训练后量化将 Llama-3.1-8B 权重内存减少 43.5%，对 Qwen3-8B 教师模型剪枝加蒸馏得到约 6B 参数学生模型。
匹配字段标题、摘要、正文
Exponential View 最新周报显示，Nvidia 上季度营收同比增长逾一倍，达到 962 亿美元。报告还指出，自 2024 年 4 月以来前沿模型能力加速提升，而美国超大规模数据中心对周边家庭电费的总体影响仅为边际水平。
匹配字段标题、摘要、正文