搜索“NVIDIA”

TensorRT端侧基准提速6.4倍

NVIDIA TensorRT Edge-LLM 完成基准测试并将耗时缩短至参考方案的约六分之一 Jetson AGX Thor上的MLPerf Edge Agentic基准

查看事件：TensorRT端侧基准提速6.4倍

英伟达加速JAX无丢弃MoE训练

2026年9月14日,英伟达宣布优化基于Transformer Engine的JAX无丢弃MoE训练。据英伟达开发者博客,该方案结合JAX,在NVIDIA GB200上把DeepSeek-V3的MoE训练吞吐从103 TFLOPS/GPU提升到1,068 TFLOPS/GPU,达10.4倍。其分组GEMM内核可在单次调用中处理各专家不等的token数量,实现无丢弃MoE;NCCL EP融合dispatch与combine并去重token以降低网络流量。在GB300 NVL72上训练DeepSeek-V3 671B时,该方案在1,024块GPU下保持97%扩展效率。目前尚无后续发展事实。

OpenAI公布首款自研推理芯片Jalapeño基准

2026年8月26日,OpenAI公布其首款自研推理芯片Jalapeño的基准测试结果。SemiAnalysis在OpenAI实验室用InferenceX实测,称该芯片在多个开源模型上的每兆瓦token吞吐超过NVIDIA Blackwell,在DeepSeek R1上并发1时达到每用户700 tokens/s以上,全程未使用投机解码。该芯片由OpenAI与Broadcom合作,2024年中启动设计,2025年11月完成CoWoS流片,采用HBM4、单封装15.4TB/s带宽,架构上不做prefill与decode分离。SemiAnalysis认为更公平的对手是同样使用HBM4的Rubin,两者每美元输出token数接近,但Jalapeño尚未启用投机解码,量产计划从2027年起逐步爬坡。后续IEEE Spectrum报道称,OpenAI于8月25日完整发布该芯片,提供最高13.4 petaflops的4-bit算力和232 GB内存,端到端延迟相比Nvidia GB300最多降低3.6倍。

英伟达与Palantir构建供应链智能系统

2026年9月10日,英伟达与Palantir宣布构建并部署一套供应链物料分配决策系统。据英伟达开发者博客介绍,双方在Palantir Foundry中搭建数字供应链智能指挥中心,将材料、制造基地、产能、分配等数据统一到Ontology数据层,并采用开源GPU加速决策优化库NVIDIA cuOpt求解关键材料分配问题,目标是最小化Time of Ownership(TOO)。cuOpt以混合整数线性规划求解,还能报告哪些约束成为瓶颈,让规划者快速探索不同情景。英伟达称Vera Rubin的供应链规模是Grace Blackwell的两倍。目前尚无后续发展事实。

ThunderKittens支持Vera Rubin

2026年9月10日,Together AI的kernels团队在获得NVIDIA Vera Rubin NVL72平台访问权限后,将ThunderKittens扩展至支持在Vera Rubin上编写NVFP4与FP8 GEMM。据该团队介绍,旧Blackwell内核在Vera Rubin上仅达到roofline的42.1%(NVFP4)和44.4%(FP8);团队利用64字节K步长、576列tensor memory、328 KiB共享内存等新特性优化后,将NVFP4内核提升至超过22 PFLOPS,与cuBLAS和CuTE DSL相当。目前该支持已随官方博客发布,暂无后续发展事实。

Together AI推出可抢占计算

2026年9月10日,Together AI为Together GPU Clusters推出可抢占计算公开预览,该功能已在所有区域的Kubernetes集群上线。据Together AI Blog介绍,可抢占容量按需费率的固定50%计费,计费粒度低于一小时、每1至2分钟计量一次;可抢占节点使用相同的NVIDIA加速计算,从闲置容量中获取,被回收时最多有5分钟排水时间,节点移除后集群会自动回补至目标数量。该容量适合短实验、推理突发和批处理等可中断任务。官方同时表示,Slurm支持、更多区域和计算类型原地转换已在规划中。目前尚无后续发展事实。

Dynamo加速多模态模型服务

2026年9月9日,NVIDIA Dynamo 采用编码预填充解码(EPD)解耦优化多模态模型推理服务,将视觉编码与 LLM prefill、decode 阶段拆开。据 NVIDIA Developer 介绍,在图像密集提示、短到中等输出和量化 MoE 模型上,该方案实现最高 5 倍更快的首 token 时延(TTFT)和 7 倍更快的端到端响应时间。在混合文本与多模态流量中,EPD 消除队头阻塞,使文本请求平均 TTFT 降低 42.2%、图像请求降低 30.8%;将 LLM 权重量化为 NVFP4 而视觉编码器保持 BF16,可把共置 EPD 的 goodput 从聚合服务的 1.78 倍提升到 2.64 倍。同时,当 decode 主导延迟或大型稠密模型削弱视觉编码器算力占比时,收益会缩小。目前尚无后续发展事实。

黄仁勋称Astra标志AGI到来

2026年9月7日,黄仁勋表示,OpenAI的GPT-6 Astra使用约10万颗以上的NVIDIA Grace Blackwell NVLink72进行训练,并将其称为AGI。他回顾称,从ChatGPT、o1发展到Astra历时4年。黄仁勋还表示,接下来将有40万颗GPU上线。目前输入材料未提供Astra的独立技术验证、OpenAI方面回应或后续进展。

H Company发布NeoMME多语言多模态编码器

2026年9月3日,H Company发布NeoMME多语言多模态编码器及检索模型。据Hugging Face介绍,NeoMME是一个包含260M和800M两种规模的多语言多模态编码器家族,使用单个双向Transformer同时处理文本token和原始图像patch,从零以掩码离散扩散目标训练,不依赖独立视觉塔或因果语言模型。微调后的NeoMME-Retriever用于视觉文档检索,两种规模均位于ViDoRe v3的nDCG@10与模型规模Pareto前沿;在NVIDIA L40S上,260M模型以2048×2048输入每秒编码约51页,约为ColModernVBERT吞吐的两倍。模型已在Hugging Face Transformers提供,检查点以Apache 2.0许可发布。目前尚无后续发展事实。

英伟达评测智能体攻防系统

2026年9月2日,NVIDIA与CrowdStrike在隔离环境中评测了一套基于Nemotron的闭环智能体网络攻防系统。据NVIDIA Developer发布的官方信息,防御侧由Nemotron 3 Ultra负责编排,微调后的Nemotron 3 Super负责检测生成与修复。回测显示,优化后的开源模型流水线在六个会话中平均检测率达41.9%,是仅用Nemotron 3 Ultra默认配置的2.5倍;针对八种未见攻击的实弹测试中,开源模型检测有45%具备泛化能力,前沿系统为29%。目前该故事尚无后续发展事实,状态停留在上述评测结果。

BioNeMo接入Claude Science

2026年8月31日,NVIDIA与Anthropic将BioNeMo Agent Toolkit、NIM微服务接入Claude Science,使智能体能够编排MSA、OpenFold3和Boltz-2执行蛋白质结构预测。在Seh1–C1HCX1预测中,OpenFold3与Boltz-2使用MSA时的iPTM分别为0.85和0.82,不使用MSA时降至0.14和0.19。两种模型预测出相同的局部结构,但相关结果目前仅支持提出相互作用假设,仍需通过实验验证。

英伟达加速JAX无丢弃MoE训练

NVIDIA 优化 基于Transformer Engine的JAX无丢弃MoE训练

查看事件：英伟达加速JAX无丢弃MoE训练

英伟达与Palantir构建供应链智能系统

NVIDIA与Palantir 构建并部署 基于Nemotron、Foundry和cuOpt的供应链物料分配决策系统

查看事件：英伟达与Palantir构建供应链智能系统

ThunderKittens支持Vera Rubin

Together AI 为ThunderKittens新增支持 NVIDIA Vera Rubin上的NVFP4与FP8 GEMM

查看事件：ThunderKittens支持Vera Rubin

Dynamo加速多模态模型服务

NVIDIA Dynamo 采用编码预填充解码解耦优化 多模态模型推理服务

查看事件：Dynamo加速多模态模型服务

Cognition 宣布完成超 20 亿美元 E 轮融资

2026 年 9 月 9 日,Cognition 宣布完成 E 轮融资,融资规模超过 20 亿美元,估值达 480 亿美元。据 Cognition 模型 / Devin 博客发布的信息,本轮由 Andreessen Horowitz 和 Accel 领投,Founders Fund、General Catalyst、Avenir 等现有投资方跟投。公司称自 5 月上一轮融资以来,run-rate revenue 已从 4.92 亿美元增长至近 9 亿美元。Devin 被 NVIDIA、GE Aerospace、Citi、Mercedes-Benz、Modal 等公司的工程团队使用,目前具备 Auto-Triage 事件初查、Security Swarm 漏洞发现与分诊,以及从 Slack、GitHub、Linear 等系统事件触发任务的 Automations 能力。目前尚无后续发展事实。

黄仁勋称GPT-6 Astra推动AGI到来

Jensen Huang 称 GPT-6 Astra使用超10万颗NVIDIA Grace Blackwell NVLink72训练，AGI已经到来

查看事件：黄仁勋称Astra标志AGI到来

英伟达与Hugging Face延续合作

NVIDIA、Hugging Face 延续合作 开放模型生态

查看事件：英伟达与Hugging Face延续开放模型合作

英伟达评测智能体攻防系统

NVIDIA与CrowdStrike 评测 基于Nemotron的闭环智能体网络攻防系统

查看事件：英伟达评测智能体攻防系统

VMware推出VMware Private AI Cloud

2026年9月1日,VMware推出VMware Private AI Cloud。据The Next Platform报道,该产品在VMware Explore 2026上发布,底层为VMware AI Factory模型即服务,基于VCF 9,整合Dell、Cisco、Lenovo、Supermicro的AI ReadyNodes与AMD Instinct MI350系列GPU及ROCm。报道称AI Factory可运行超150个开源与商用模型,新增Nvidia Nemotron 3、Gemma 4、Qwen 3.7-Max、NEC cotomi和GLM 5.2。报道还提到VMware 6月对1800名IT决策者的调查显示,56%计划或已在私有云运行生产推理,51%因安全顾虑回迁AI负载。目前尚无后续发展事实。