LMSYS 宣布 SGLang 与 Miles 在 Day 0 支持 NVIDIA Nemotron 3 Ultra，这是一款面向长时自主智能体的开源前沿推理模型，总参数 550B、激活参数 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16。SGLang 提供高性能推理服务，Miles 支持在 128 张 H200 上以 GRPO 进行强化学习训练，并已验证 dapo-math-17k 上的端到端流程。官方称该模型在智能体生产力、指令遵循和长上下文任务上领先，成本最多节省 30%。
匹配字段标题
Prime Intellect 宣布加入 NVIDIA Nemotron 联盟，与 Black Forest Labs、Cursor、LangChain、Mistral AI、Perplexity 等成员共同推进前沿开源模型。其贡献集中在后训练与强化学习环境层，包括 2500+ 开源 RL 环境、verifiers 框架、Prime Sandbox 及 NeMo Gym 集成，全部以 Apache-2.0 / CC-BY-4.0 随 Nemotron 模型发布同步开源。
匹配字段标题
今年 Computex 上本地 AI 释放出强烈信号。NVIDIA 和微软等大厂正在拥抱并讨论本地 AI 工作负载。专用消费级硬件和模型即将到来。
匹配字段标题
Sakana AI 与 NVIDIA 合作发布 ICML 2026 论文，提出 TwELL（Tile-wise ELLPACK）稀疏打包格式及配套 CUDA kernel，将 99% 高稀疏 token 走快速路径、以稠密备份矩阵兜底重 token，从而适配 GPU 的规则计算。在十亿参数规模上训练与评测稀疏 LLM，推理和训练提速超过 20%，峰值内存与能耗节省更高。
匹配字段标题
Together AI 已上线 NVIDIA Nemotron 3 Nano Omni，为开发者提供托管式生产级多模态推理服务。该开放模型采用混合 Transformer-Mamba MoE 架构，总参数量为 30B、每个 Token 激活约 3B 参数，并支持最高 256K Token 的共享多模态上下文。开发者可通过 API 部署，也可在云端、本地或隔离环境中自行部署。
匹配字段标题
SGLang 在 NVIDIA GTC 2026 上参与了五场活动，包括亮相 Jensen Huang 主题演讲的 NVIDIA AI 生态幻灯片、一场开源 AI 现状圆桌、一场官方训练实验室，以及与 RadixArk 合办的 Happy Hour。训练实验室覆盖 SGLangCookbook 性能调优、性能瓶颈分析和 SGLang × Miles RL 集成演示。LinkedIn 团队还分享了仅 prefill 的 serving 路径在 H100 上带来 2–3× 吞吐提升，并已上游回 SGLang。
匹配字段标题
Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron Coalition，双方计划联合开发前沿开源 AI 模型，结合 Mistral AI 的模型架构与全栈平台和 NVIDIA 的算力、模型开发工具及合成数据生成管线。联盟首个项目是一个在 NVIDIA DGX Cloud 上训练的基础模型，将支撑即将推出的 NVIDIA Nemotron 4 系列并开源。Mistral AI 将贡献专有训练技术、多模态能力和企业级微调工具，此前双方曾合作开发 Mistral Nemo 模型。
匹配字段标题
Together AI在NVIDIA GTC 2026公布Dynamo 1.0、NemoClaw、Nemotron 3 Super和语音AI相关进展。NemoClaw可访问其150多个优化模型；具120B参数和1M-token上下文的Nemotron 3 Super支持专属部署，Parakeet TDT 0.6b V3也已进入模型库。
匹配字段标题
Prime Intellect 公布与 NVIDIA 的合作细节：训练与推理负载运行在 NVIDIA Blackwell 及即将推出的 Vera Rubin 机架级系统上，并用 NVIDIA Dynamo 承担全球推理编排，支持 LoRA 服务与 Arcee Trinity 等大规模 MoE 推理。其沙盒基础设施适配 Vera CPU，单路 88 核、SMT 开启后 176 线程可稳定运行 176 台 VM，真实 RL 沙盒负载下每 CPU 吞吐较 AMD Zen 5 平均高 30%。
匹配字段标题
SGLang 宣布在发布当天支持 NVIDIA Nemotron 3 Super，并给出安装与推理部署步骤。Nemotron 3 Super 是 120B 参数的混合 MoE 模型，每次前向仅激活 12B 参数，支持 1M token 上下文，官方称其吞吐效率最高可达上一代 Nemotron Super（Llama Nemotron Super 1.5）的 5 倍，并支持 Multi-Token Prediction 与 Thinking Budget。模型权重已在 Hugging Face 提供 BF16、FP8 和 NVFP4 版本，可配合 SGLang 在 4xH200 等配置上部署。
匹配字段标题
goose 公布 10 万美元资助计划获奖项目 Goose In A Pond，由肯尼亚内罗毕五人团队 Jarida 基于 goose 开源智能体框架打造，部署在 NVIDIA Jetson Orin Nano 上，可本地运行 1–7B 量化模型、速度 40–70 tokens/秒。该项目用 Whisper、Vosk、Coqui TTS 实现离线语音，并计划开源 Moonbeam 等 MCP 服务器。
匹配字段标题
SGLang 与 NVIDIA 合作，在 InferenceXv2 基准上于 GB300 NVL72 运行 DeepSeek R1 时相比 H200 实现最高 25 倍性能提升，该对比基于 50 TPS/user 的低延迟场景。借助 NVFP4 GEMM、计算通信重叠和 NVIDIA Dynamo 等优化，SGLang 在 GB200 NVL72 上的性能也在不到 4 个月内提升最高 8 倍。后续将推进 GB300 NVL72 的 MTP 支持及 Qwen 3.5 等模型的调优。
匹配字段标题
Microsoft 与 NVIDIA 正合作推动 AI 原生时代的软件开发，通过 Azure AI Foundry 与加速计算支持智能体（agentic）系统。Microsoft 2025 Work Trend Index 显示，81% 的全球领导者预计 AI 智能体将在未来 12 至 18 个月内深度融入组织；Dow 借此每年节省数百万美元，Bayer 研发团队每周节省 6 小时研究时间。Microsoft 客户报告开发者效率提升 30%、成本降低 40%、上市速度加快 50%。
匹配字段标题
NVIDIA Nemotron Nano 2 VL 开源视觉语言模型发布，面向视频理解与文档智能，并获 vLLM 推理支持。模型采用混合 Transformer–Mamba 架构，通过 EVS 剪除冗余视频帧以减少 token。vLLM 夜间版本支持以 BF16、FP8 和 FP4 精度部署 OpenAI 兼容的推理服务器。
匹配字段标题
vLLM 现已支持部署 NVIDIA Nemotron 开放模型家族，可在数据中心和端侧硬件上运行智能体推理。Nemotron Nano 2 采用混合 Transformer–Mamba 架构并提供可配置的 thinking budget，开发者可调节精度、吞吐量和成本；其模型权重及超过 9T tokens 的训练数据已在 Hugging Face 提供。
匹配字段标题
Ollama 在 NVIDIA DGX Spark 发布日固件（580.95.05）和 Ollama v0.12.6 上完成性能测试，每次测试运行 10 次、温度设为 0、限制输出 500 tokens 并禁用缓存。DGX Spark 的 120GB VRAM 由 GB10 Grace Blackwell Superchip 提供，可完整容纳更大的 gpt-oss-120b 模型。
匹配字段标题
Ollama 与 NVIDIA 合作，确保最新 NVIDIA DGX Spark 开箱即用、快速高效运行。该设备搭载 NVIDIA GB10 Grace Blackwell Superchip，提供 1 petaFLOP 性能，配备 128GB 内存，可运行 Qwen、DeepSeek、Llama、Mistral、Gemma、Gpt-oss 等模型，也支持上传自定义或微调模型。双方正针对聊天、文档处理、代码任务和多模态工作流优化 Ollama 性能。
匹配字段标题
vLLM 与 NVIDIA 针对 Blackwell 优化大语言模型推理，在相近延迟下，gpt-oss 120B 和 Llama 3.3 70B 的吞吐量较上一代 Hopper 最高提升约 4x。双方通过一百多个 pull request 优化注意力、GEMM、MoE 内核、图融合和异步调度，并加入自动量化后端选择与 FlashInfer 自动调优。SemiAnalysis InferenceMAX 每日更新测试结果，以不同输入输出长度和 Pareto 前沿比较吞吐量与响应速度。
匹配字段标题
NVIDIA 推出面向推理 prefill 阶段的 Rubin CPX，以更高算力占比和低成本内存减少 HBM 与 NVLink 资源浪费。单芯片提供 20 PFLOPS 稠密 FP4 算力、128GB GDDR7 和 2TB/s 带宽，并通过 PCIe Gen 6 联网。该产品将用于固定配置的 VR200 NVL144 CPX 或更灵活的 Vera Rubin CPX 双机架方案。
匹配字段标题
Zyphra 发布 Zyda-2，一个约 5 万亿 token 的宽松许可数据集，由 DCLM、FineWeb-Edu、Zyda-1 和 Dolma v1.7 的 Common Crawl 部分经跨数据集去重与模型过滤组合而成，已在 HuggingFace 上开放。借助 NVIDIA NeMo Curator 的 GPU 加速，数据处理从 CPU 上的 3 周缩短到 2 天，总拥有成本降低 2 倍。Zyphra 称用 Zyda-2 退火训练的模型在 MMLU、Hellaswag 等聚合评测上优于 DCLM 和 FineWeb-Edu，其 Zamba2 系列模型即基于该数据集的早期版本训练。
匹配字段标题