搜索“推理”

Mamba-3发布并开源推理内核

Together AI等研究团队 发布并开源 Mamba-3及其推理内核

查看事件：Mamba-3发布并开源推理内核

Mistral AI发布Mistral Small 4开源多模态推理模型

2026年3月17日,Mistral AI发布Mistral Small 4,这是Mistral Small系列的下一个主要版本,也是Mistral首个把Magistral的推理、Pixtral的多模态和Devstral的智能体编码能力统一到单一模型中的版本,采用Apache 2.0许可。该模型为MoE架构,128个专家、每token激活4个,总参数119B、每token激活6B(含嵌入和输出层为8B),上下文窗口256k,支持文本与图像输入,并可通过reasoning_effort参数在快速响应与深度推理之间切换。官方称相比Mistral Small 3,端到端完成时间减少40%,每秒请求数提升3倍;推理模式下在三项基准上匹配或超过GPT-OSS 120B,且输出更短。目前尚无后续发展事实。

Redwood Research 辨析推理扩展与更大任务

2026年2月12日,Redwood Research 发表分析文章,讨论推理成本上升的两种不同原因。文章指出,一种原因是 LLM 承担了人类耗时更长的更大任务,另一种原因是在同一任务上消耗了相对人类成本更高比例的算力。作者认为只有后者才算推理扩展,前者只是更大任务消耗更多 token。文章以 50% 可靠性时间跨度与人类成本占比构成的帕累托前沿进行分析,并推测 2025 年前沿主要以前一种方式移动。

推理时扩展方法分类与实验进展

2026年1月24日,Sebastian Raschka 梳理了用于提升大语言模型答案质量与准确性的推理时扩展方法,重点关注无需改变模型权重的训练后技术。他将相关方法归纳为思维链提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进及解题路径搜索等类别。材料显示,相关实验经过超参数调优并运行数千次后,基础模型准确率由约15%提升至约52%。

Liquid AI发布端侧推理模型LFM2.5-1.2B-T

2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

vLLM与英伟达优化Blackwell推理

2025年10月9日,vLLM与英伟达公布针对Blackwell架构的大语言模型推理优化及基准测试结果。双方通过一百多个拉取请求,改进注意力、GEMM、MoE内核、图融合和异步调度,并加入自动量化后端选择与FlashInfer自动调优。在相近延迟下,gpt-oss 120B和Llama 3.3 70B的吞吐量较上一代Hopper最高提升约4倍。SemiAnalysis InferenceMAX每日更新测试结果,按不同输入输出长度及Pareto前沿比较吞吐量与响应速度。

OpenAI推理模型攻克ICPC全题

2025年9月18日披露,OpenAI的推理模型参加2025年国际大学生程序设计竞赛世界总决赛,并在约5小时内解出全部12道题,最佳人类队伍解出11道。该模型族此前还在AtCoder Heuristics World Finals获得第二名,并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌。团队下一步将研究更开放、时间跨度更长的问题,以及长期运行模型的安全与对齐。

Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

2026年3月6日,Sarvam AI 开源发布 Sarvam 30B 与 Sarvam 105B 两款从零训练的推理模型。据官方信息,两款模型预训练分别使用 16T 和 12T token,训练全程在印度完成,采用 IndiaAI mission 提供的算力。架构上两者均为 MoE:30B 仅 2.4B 激活参数并使用 GQA,105B 采用 MLA。权重可从 AI Kosh 和 Hugging Face 下载,并支持 Transformers、vLLM、SGLang 本地推理。官方称两者在印度语言基准上取得领先结果,30B 已用于对话智能体平台 Samvaad,105B 用于 AI 助手 Indus。目前尚无后续发展事实。

SGLang在GB300 NVL72上实现最高25倍推理性能提升

2026年2月20日,SGLang宣布与NVIDIA合作,在InferenceXv2基准上于GB300 NVL72运行DeepSeek R1时,相比H200实现最高25倍推理性能提升,该对比基于50 TPS/user的低延迟场景。据LMSYS Blog介绍,这一提升借助NVFP4 GEMM、计算通信重叠和NVIDIA Dynamo等优化实现。同一来源还提到,SGLang在GB200 NVL72上的性能在不到4个月内提升最高8倍。后续计划推进GB300 NVL72的MTP支持以及Qwen 3.5等模型的调优。目前该事件尚无其他独立发展事实。

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

2026年1月26日,Qwen 团队发布旗舰推理模型 Qwen3-Max-Thinking。据 Qwen Blog 介绍,该模型通过扩大参数规模并投入大量算力做强化学习,在事实知识、复杂推理、指令遵循、人类偏好对齐和智能体能力上均有提升,在 19 项基准上表现与 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini 3 Pro 相当。模型新增自适应工具调用能力,可在对话中自主调用内置的 Search、Memory 和 Code Interpreter,已在 chat.qwen.ai 上线;同时采用经验累积的多轮测试时扩展策略,在 GPQA、HLE、LiveCodeBench v6 等基准上优于标准并行采样。API 模型名为 qwen3-max-2026-01-23,兼容 OpenAI 与 Anthropic 接口协议,可直接配合 Claude Code 使用。目前尚无后续发展事实。

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

2025 年 11 月 19 日,Modal 官方工程博客发布文章称,Reducto 已将 30+ 模型的推理工作负载迁移至 Modal,迁移后 P90 延迟降低 3 倍。同一来源还提到,GPU 内存快照把冷启动从约 70 秒缩短到约 12 秒,降幅约 83%。在一次 10 万页/分钟吞吐测试中,其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收,并帮助其拿下大型企业客户。目前该故事仅有这一条事实证据,尚无后续发展事实。

Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

Sarvam AI 开源发布 Sarvam 30B 与 Sarvam 105B 模型

查看事件：Sarvam AI 开源发布 Sarvam 30B 与 105B 推理模型

SGLang在GB300 NVL72上实现最高25倍推理性能提升

SGLang 实现 在GB300 NVL72上运行DeepSeek R1相比H200最高25倍性能提升

查看事件：SGLang在GB300 NVL72上实现最高25倍推理性能提升

Redwood Research区分推理扩展与更大任务

Redwood Research 发表 关于推理扩展与更大任务使用更多算力之区别的分析文章

查看事件：Redwood Research 辨析推理扩展与更大任务

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

Qwen Team 发布 Qwen3-Max-Thinking

查看事件：Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

Raschka梳理推理时扩展方法

Sebastian Raschka 梳理 LLM推理时扩展方法分类

查看事件：推理时扩展方法分类与实验进展

Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking

Liquid AI 发布 LFM2.5-1.2B-Thinking

查看事件：Liquid AI发布端侧推理模型LFM2.5-1.2B-T

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

Reducto 迁移推理工作负载 30+ 模型的推理工作负载至 Modal，P90 延迟降低 3 倍

查看事件：Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

vLLM优化Blackwell推理性能

vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能

查看事件：vLLM与英伟达优化Blackwell推理