搜索“NVIDIA”

llama.cpp多GPU与张量并行取得进展

2026年6月4日,llama.cpp维护者Georgi Gerganov介绍称,llama.cpp的多GPU与张量并行支持取得新进展。据其说明,llama.cpp维护者与NVIDIA工程师合作数月,改进了ggml的多GPU性能,在RTX系统上取得显著性能提升,同时为ggml的硬件无关张量并行打下基础。相关更多细节可见NVIDIA RTX Spark的技术博客。目前该进展处于介绍阶段,后续具体实现与性能数据有待进一步披露。

Prime Intellect Lab支持Nemotron 3 Ultra后训练

2026年6月4日,Prime Intellect 宣布其托管后训练平台 Lab 对 NVIDIA Nemotron 3 Ultra 提供 day-0 支持,可在 Blackwell B200/B300 上进行托管强化学习训练,配合 vLLM 推理、NCCL 权重广播和 Prime-RL 训练器。平台提供 Environments Hub 中 2,500+ 个开放 RL 环境,并支持 SWE-bench Verified、BrowseComp、τ2-Bench Telecom、Terminal-Bench Hard、IFBench、AA-LCR、GPQA Diamond、RULER-1M 等评测,以及 LoRA 与全权重适配器的一键推理。同日,Prime Intellect 还宣布加入 NVIDIA Nemotron 联盟,贡献 2,500+ 开源 RL 环境、verifiers 框架、Prime Sandbox 及 NeMo Gym 集成,以 Apache-2.0 / CC-BY-4.0 随 Nemotron 模型发布同步开源。此外,NVIDIA Nemotron 3 Ultra 同

Gerganov称Computex释放本地AI强信号

2026年6月3日,llama.cpp 作者 Georgi Gerganov 就当年 Computex 发表评论,认为本届展会释放出本地 AI 的强烈信号。他指出,NVIDIA 和微软等大厂正在拥抱并讨论本地 AI 工作负载,并判断专用消费级硬件和模型即将到来。目前该评论为这一故事的最新进展,尚无更多后续事实披露。

Prime Intellect推出Lab训练平台

2026年5月7日,Prime Intellect宣布其训练平台Lab结束beta测试并正式开放。该平台面向自我改进智能体,将任务定义、harness、评测、奖励信号训练、rollout检查、adapter部署和推理整合到一处,以环境为基本单元。其中Hosted Training负责大规模强化学习,按token计费而非按集群小时计费。正式版首批支持来自NVIDIA、OpenAI、Meta和Qwen的14个模型,参数规模在1B到70B之间。据披露,beta期间已有数百名用户运行超过10,000次训练任务,训练完成的LoRA adapter可通过Prime Inference以OpenAI兼容API部署。

SpaceXAI与Anthropic达成算力合作

2026年5月6日,SpaceXAI与Anthropic签署算力合作协议,SpaceXAI将向Anthropic提供Colossus 1超级计算机的算力访问。据xAI News报道,Colossus 1配备超过220,000块NVIDIA GPU,包含H100、H200和下一代GB200加速器的密集部署,面向大语言模型、多模态系统和生成式AI的训练、微调与推理。Anthropic还表示有兴趣合作开发数吉瓦级的轨道AI算力容量。目前该合作暂无后续发展事实,状态停留在协议签署及意向表达阶段。

Mistral AI与英伟达共建开放模型

2026年3月17日,Mistral AI宣布作为创始成员加入NVIDIA Nemotron Coalition,与英伟达联合开发开放前沿基础模型。据Mistral AI发布的信息,双方将结合Mistral AI的模型架构与全栈平台,以及英伟达的算力、模型开发工具和合成数据生成管线。联盟首个项目是一个在NVIDIA DGX Cloud上训练的基础模型,将支撑即将推出的NVIDIA Nemotron 4系列并开源。Mistral AI将贡献专有训练技术、多模态能力和企业级微调工具。此前双方曾合作开发Mistral Nemo模型。目前该合作尚无进一步有证据的发展。

Prime Intellect推出Lab全栈训练平台

2026年2月10日,Prime Intellect发布Lab全栈训练平台,将Environments Hub、Hosted Training和Hosted Evaluations整合为面向智能体后训练的平台,覆盖大规模智能体RL、推理与评测。平台以环境为核心,包含任务数据集、模型harness和评分rubric;当前Hosted Training支持基于prime-rl的LoRA智能体RL,后续将加入SFT、DPO等算法。私有测试期间已完成3000多次RL运行,Environments Hub累计有250多位创作者构建1000多个环境、下载量超过10万次。2026年3月16日,Prime Intellect公布与NVIDIA在开放超级智能栈上的合作细节:训练与推理负载运行在NVIDIA Blackwell及即将推出的Vera Rubin机架级系统上,并用NVIDIA Dynamo承担全球推理编排,支持LoRA服务与Arcee Trinity等大规模MoE推理;其沙盒基础设施适配Vera CPU,单路88核、SMT开启后176线程可稳定运行176台VM,真实RL沙盒负载下每CPU吞吐较

Prime Intellect发布INTELLECT-3模型

2025年11月26日,Prime Intellect发布INTELLECT-3模型。该模型为106B参数的Mixture-of-Experts架构,在GLM-4.5-Air基座上进行SFT和大规模RL训练,在数学、代码、科学和推理基准上取得同规模SOTA。团队开源了模型权重、训练框架prime-rl、verifiers环境库及全部训练与评测环境,训练在512张NVIDIA H200 GPU上完成。模型可在chat.primeintellect.ai或通过Inference API使用。

Suno完成2.5亿美元C轮融资

2025年11月19日,Suno宣布完成2.5亿美元C轮融资,投后估值24.5亿美元。本轮由Menlo Ventures领投,NVentures(NVIDIA旗下风投)、Hallwood Media、Lightspeed和Matrix参投。Suno称过去两年有近1亿人在其平台上创作音乐,资金将用于为专业用户提供更复杂的工具、优化普通创作者的体验,并建设创作者、听众与音乐社区共同参与的生态。

Zyphra发布MI355X上推理端到端基准

2026年5月18日,Zyphra Research发布了Zyphra Inference在AMD Instinct MI355X GPU上的首个端到端基准,并与Nvidia B200基线配置进行对比。该基准覆盖Kimi K2.6、GLM-5.1和DeepSeek V3.2三个模型。硬件方面,MI355X每卡提供288 GB HBM3E,B200为180 GB,两者HBM带宽均约8 TB/s;MI355X采用全连接xGMI点对点互联,8路集合通信峰值537.6 GB/s。测试使用ShareGPT与LMSYS-Chat-1M数据集,仅限vLLM框架、单节点且无真实流量。目前尚无后续发展事实。

Qwen 开源 FlashQLA 线性注意力内核库

2026 年 4 月 28 日,Qwen 团队开源 FlashQLA 线性注意力内核库。据 Qwen Blog 介绍,该库基于 TileLang,对 GDN Chunked Prefill 的前向与反向流程做算子融合,在 NVIDIA Hopper 上相比 FLA Triton 内核实现 2-3× 前向加速和 2× 反向加速。其通过门控驱动的自动卡内上下文并行(CP)和硬件友好的代数重写,提升 TP、长序列、小头数场景下的 GPU SM 利用率。代码与基准已开源于 github.com/QwenLM/FlashQLA。目前尚无后续发展事实。

Anthropic 发布 Mythos Preview 模型

2026年4月8日,Anthropic 发布 Mythos Preview 模型,并以受限预览形式开放。安全研究者 Johann Rehberger 同日博文引用该模型数据:在利用 Firefox JS 引擎漏洞的测试中,Opus 4.6 在数百次尝试中仅两次成功,而 Mythos Preview 成功 181 次。Anthropic 同时宣布 Project Glasswing,联合 AWS、Cisco、Microsoft、Linux Foundation、CrowdStrike、Palo Alto Networks、NVIDIA 等公司加固关键软件,并捐赠最高 1 亿美元额度加 400 万美元给开源软件。Rehberger 认为能力提升主要改变攻击者的吞吐量而非人数,组织快速部署补丁将成为最大挑战,并预计 6-12 个月后开源权重模型将具备接近能力。目前该模型仍处于受限预览阶段。

Ollama 预览基于 MLX 的 Apple Silicon 版本

2026 年 3 月 30 日,Ollama 发布预览版,在 Apple Silicon 上改用 Apple 的机器学习框架 MLX 驱动,利用统一内存架构加速,并在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。据 Ollama Blog 介绍,测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行,Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求,并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间,需 Mac 统一内存超过 32GB。目前尚无后续发展事实。

LMSYS 将 Elastic EP 集成进 SGLang 框架

2026 年 3 月 25 日,LMSYS 将 Elastic EP 集成进 SGLang 框架,为 DeepSeek MoE 部署提供部分故障容错。据 LMSYS Blog 介绍,该集成通过解耦专家与 GPU 的固定映射并保留冗余专家,实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时,可容忍最多 16 个 rank 故障,服务中断控制在 10 秒以内,相比完整重启所需的 2 至 3 分钟减少约 90%,静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数,NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。目前尚无后续发展事实。

Cognition 分享 SWE-1.6 训练早期预览

2026年3月1日,Cognition 公布 SWE-1.6 的早期预览。该模型与 SWE-1.5 基于同一预训练模型做后训练,推理速度同为 950 tok/s,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%。团队称通过改进 RL 配方和扩展基础设施获得两个数量级算力,训练步骤比 3 个月前快 6 倍,并使用低至 NVFP4 的精度和 NVIDIA Multi-Node NVLink 加速。目前该模型向少量用户开放早期访问以收集反馈,团队同时指出大规模 RL 带来了过度思考、过多轮次等影响模型使用体验的行为。

SGLang在GB300 NVL72上实现最高25倍推理性能提升

2026年2月20日,SGLang宣布与NVIDIA合作,在InferenceXv2基准上于GB300 NVL72运行DeepSeek R1时,相比H200实现最高25倍推理性能提升,该对比基于50 TPS/user的低延迟场景。据LMSYS Blog介绍,这一提升借助NVFP4 GEMM、计算通信重叠和NVIDIA Dynamo等优化实现。同一来源还提到,SGLang在GB200 NVL72上的性能在不到4个月内提升最高8倍。后续计划推进GB300 NVL72的MTP支持以及Qwen 3.5等模型的调优。目前该事件尚无其他独立发展事实。

Together AI上线Nemotron模型

Together AI 上线 NVIDIA Nemotron 3 Nano Omni

查看事件：Together AI上线Nemotron模型

Mistral AI与英伟达共建开放模型

Mistral AI、NVIDIA 宣布合作开发 开放前沿基础模型

查看事件：Mistral AI与英伟达共建开放模型

Together AI发布多项GTC产品进展

Together AI 发布并集成 NVIDIA模型、智能体与语音AI能力

查看事件：Together AI发布多项GTC产品进展

goose 公布资助项目 Goose In A Pond

2026年2月24日,goose 公布其 10 万美元资助计划的获奖项目 Goose In A Pond。据 goose 官方博客介绍,该项目由肯尼亚内罗毕五人团队 Jarida 基于 goose 开源智能体框架打造,部署在 NVIDIA Jetson Orin Nano 上,可本地运行 1–7B 量化模型,速度达 40–70 tokens/秒。项目使用 Whisper、Vosk、Coqui TTS 实现离线语音,并计划开源 Moonbeam 等 MCP 服务器。目前尚无后续发展事实,状态停留在公布阶段。