2026 年 3 月 30 日,Ollama 发布预览版,在 Apple Silicon 上改用 Apple 的机器学习框架 MLX 驱动,利用统一内存架构加速,并在 M5、M5 Pro 和 M5 Max 上借助 GPU Neural Accelerators 提升首 token 时间与生成速度。据 Ollama Blog 介绍,测试于 2026 年 3 月 29 日使用阿里 Qwen3.5-35B-A3B 模型进行,Ollama 0.19 在 int4 量化下可达 1851 token/s prefill 和 134 token/s decode。该版本还引入 NVIDIA NVFP4 格式以降低内存带宽和存储需求,并升级缓存以复用跨对话缓存、在提示词中设置智能检查点并延长共享前缀存活时间,需 Mac 统一内存超过 32GB。目前尚无后续发展事实。
匹配字段摘要
2026 年 3 月 25 日,LMSYS 将 Elastic EP 集成进 SGLang 框架,为 DeepSeek MoE 部署提供部分故障容错。据 LMSYS Blog 介绍,该集成通过解耦专家与 GPU 的固定映射并保留冗余专家,实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep_size=dp_size=32 与 256 个冗余专家时,可容忍最多 16 个 rank 故障,服务中断控制在 10 秒以内,相比完整重启所需的 2 至 3 分钟减少约 90%,静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数,NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。目前尚无后续发展事实。
2026 年 3 月 25 日,LMSYS 将 Elastic EP 集成进 SGLang 框架,为 DeepSeek MoE 部署提供部分故障容错。据 LMSYS Blog 介绍,该集成通过解耦专家与 GPU 的固定映射并保留冗余专家,实现单实例内的部分故障容错。在 4 节点 32 GPU 上运行 DeepSeek V3.2、设置 ep size=dp size=32 与 256 个冗余专家时,可容忍最多 16 个 rank 故障,服务中断控制在 10 秒以内,相比完整重启所需的 2 至 3 分钟减少约 90%,静态性能与标准 DeepEP 持平。启用需配置 --elastic-ep-backend mooncake、--moe-a2a-backend mooncake、--ep-num-redundant-experts 等参数,NVIDIA Dynamo 团队的 NIXL EP 也可通过 --moe-a2a-backend nixl 试用。目前尚无后续发展事实。
匹配字段摘要
2026年3月1日,Cognition 公布 SWE-1.6 的早期预览。该模型与 SWE-1.5 基于同一预训练模型做后训练,推理速度同为 950 tok/s,当前 checkpoint 在 SWE-Bench Pro 上比 SWE-1.5 高 11%。团队称通过改进 RL 配方和扩展基础设施获得两个数量级算力,训练步骤比 3 个月前快 6 倍,并使用低至 NVFP4 的精度和 NVIDIA Multi-Node NVLink 加速。目前该模型向少量用户开放早期访问以收集反馈,团队同时指出大规模 RL 带来了过度思考、过多轮次等影响模型使用体验的行为。
匹配字段摘要
2026年2月20日,SGLang宣布与NVIDIA合作,在InferenceXv2基准上于GB300 NVL72运行DeepSeek R1时,相比H200实现最高25倍推理性能提升,该对比基于50 TPS/user的低延迟场景。据LMSYS Blog介绍,这一提升借助NVFP4 GEMM、计算通信重叠和NVIDIA Dynamo等优化实现。同一来源还提到,SGLang在GB200 NVL72上的性能在不到4个月内提升最高8倍。后续计划推进GB300 NVL72的MTP支持以及Qwen 3.5等模型的调优。目前该事件尚无其他独立发展事实。
匹配字段摘要
2025年8月29日,Microsoft AI 发布首个高表现力语音生成模型 MAI-Voice-1。据 Microsoft AI Blog 同日发布的信息,该模型已在 Copilot Daily 和 Podcasts 中上线,并在 Copilot Labs 提供体验;其可在单张 GPU 上不到一秒生成一分钟音频。同一来源还提到,微软 AI 首个端到端训练的基础模型 MAI-1-preview 已在 LMArena 开启公开测试,这是一个在约 15,000 块 NVIDIA H100 GPU 上完成预训练和后训练的 MoE 模型,未来数周将逐步用于 Copilot 的部分文本场景。目前没有后续发展事实,状态停留在发布与公开测试阶段。
匹配字段摘要
2024年12月10日,Zyphra 展示其为 AMD Instinct MI300X 编写并优化的反向内核,称这是首个在 transformers(Flash Attention v2)和混合模型(Mamba2)上超越 NVIDIA H100 的反向内核。据 Zyphra Research 发布的信息,FA2 反向内核在 2k、4k、8k 序列长度上分别比 H100 快 1%、2%、4%,使稠密/MoE Transformer 等注意力模型可在 MI300X 上高效训练并达到高 MFU。目前该事实仅有这一条第一方证据,尚无后续发展事实。
匹配字段摘要
2026年3月17日,Mistral AI宣布作为创始成员加入NVIDIA Nemotron Coalition,与英伟达联合开发开放前沿基础模型。据Mistral AI发布的信息,双方将结合Mistral AI的模型架构与全栈平台,以及英伟达的算力、模型开发工具和合成数据生成管线。联盟首个项目是一个在NVIDIA DGX Cloud上训练的基础模型,将支撑即将推出的NVIDIA Nemotron 4系列并开源。Mistral AI将贡献专有训练技术、多模态能力和企业级微调工具。此前双方曾合作开发Mistral Nemo模型。目前该合作尚无进一步有证据的发展。
匹配字段摘要
2026年2月10日,Prime Intellect发布Lab全栈训练平台,将Environments Hub、Hosted Training和Hosted Evaluations整合为面向智能体后训练的平台,覆盖大规模智能体RL、推理与评测。平台以环境为核心,包含任务数据集、模型harness和评分rubric;当前Hosted Training支持基于prime-rl的LoRA智能体RL,后续将加入SFT、DPO等算法。私有测试期间已完成3000多次RL运行,Environments Hub累计有250多位创作者构建1000多个环境、下载量超过10万次。2026年3月16日,Prime Intellect公布与NVIDIA在开放超级智能栈上的合作细节:训练与推理负载运行在NVIDIA Blackwell及即将推出的Vera Rubin机架级系统上,并用NVIDIA Dynamo承担全球推理编排,支持LoRA服务与Arcee Trinity等大规模MoE推理;其沙盒基础设施适配Vera CPU,单路88核、SMT开启后176线程可稳定运行176台VM,真实RL沙盒负载下每CPU吞吐较
匹配字段摘要
2025年11月26日,Prime Intellect发布INTELLECT-3模型。该模型为106B参数的Mixture-of-Experts架构,在GLM-4.5-Air基座上进行SFT和大规模RL训练,在数学、代码、科学和推理基准上取得同规模SOTA。团队开源了模型权重、训练框架prime-rl、verifiers环境库及全部训练与评测环境,训练在512张NVIDIA H200 GPU上完成。模型可在chat.primeintellect.ai或通过Inference API使用。
匹配字段摘要
2025年11月19日,Suno宣布完成2.5亿美元C轮融资,投后估值24.5亿美元。本轮由Menlo Ventures领投,NVentures(NVIDIA旗下风投)、Hallwood Media、Lightspeed和Matrix参投。Suno称过去两年有近1亿人在其平台上创作音乐,资金将用于为专业用户提供更复杂的工具、优化普通创作者的体验,并建设创作者、听众与音乐社区共同参与的生态。
匹配字段摘要
2025年10月23日,vLLM宣布支持部署NVIDIA Nemotron开放模型家族,使其可在数据中心及端侧硬件上运行智能体推理。其中,Nemotron Nano 2采用混合Transformer–Mamba架构,并提供可配置的thinking budget,开发者可据此调节精度、吞吐量和成本。相关模型权重及超过9万亿tokens的训练数据已在Hugging Face提供。
匹配字段摘要
2025年8月5日,vLLM宣布新增对gpt-oss模型的支持,可在NVIDIA Blackwell、Hopper以及AMD MI300x、MI355x GPU上运行。为适配模型,其集成了面向MXFP4混合专家架构、高效注意力和混合KV缓存的专用内核与内存管理方案,并支持通过OpenAI Responses API、gpt-oss toolkit或外部MCP工具服务器进行工具调用。
匹配字段摘要
2025年3月5日,Cartesia发布Llamba-1B、3B、8B模型权重。该系列采用MOHAWK架构蒸馏方法,将Llama-3.X转换为Mamba-2架构,训练数据量比从头预训练少1000倍。Llamba-8B在NVIDIA H100上生成8192 tokens时吞吐量比Llama-3.1-8B高12倍,并已针对Apple Silicon和MLX框架优化。
匹配字段摘要
2025年1月27日,vLLM发布V1核心架构升级Alpha版,重构调度器、KV cache管理器、Worker、采样器和API服务器,吞吐量较V0最高提升至1.7倍。V1默认启用低开销前缀缓存,并增强多模态模型支持;用户可设置VLLM_USE_V1=1,在不修改现有API的情况下启用。目前该版本仅支持Ampere或更新的NVIDIA GPU,尚不支持LoRA、结构化解码、推测解码和流水线并行等功能。
2025年1月27日,vLLM发布V1核心架构升级Alpha版,重构调度器、KV cache管理器、Worker、采样器和API服务器,吞吐量较V0最高提升至1.7倍。V1默认启用低开销前缀缓存,并增强多模态模型支持;用户可设置VLLM USE V1=1,在不修改现有API的情况下启用。目前该版本仅支持Ampere或更新的NVIDIA GPU,尚不支持LoRA、结构化解码、推测解码和流水线并行等功能。
匹配字段摘要
Mistral AI、NVIDIA 宣布合作开发 开放前沿基础模型
English translation is being prepared.
匹配字段摘要
Together AI 发布并集成 NVIDIA模型、智能体与语音AI能力
English translation is being prepared.
匹配字段摘要
2026年2月24日,goose 公布其 10 万美元资助计划的获奖项目 Goose In A Pond。据 goose 官方博客介绍,该项目由肯尼亚内罗毕五人团队 Jarida 基于 goose 开源智能体框架打造,部署在 NVIDIA Jetson Orin Nano 上,可本地运行 1–7B 量化模型,速度达 40–70 tokens/秒。项目使用 Whisper、Vosk、Coqui TTS 实现离线语音,并计划开源 Moonbeam 等 MCP 服务器。目前尚无后续发展事实,状态停留在公布阶段。
匹配字段摘要
NVIDIA 发布并通过vLLM提供支持 Nemotron Nano 2 VL开放视觉语言模型
English translation is being prepared.
匹配字段摘要
vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能
English translation is being prepared.
匹配字段摘要
NVIDIA 发布 Rubin CPX预填充专用加速器及机架方案
English translation is being prepared.
匹配字段摘要