搜索“推理”

SGLang在GB300 NVL72上实现最高25倍推理性能提升

2026年2月20日,SGLang宣布与NVIDIA合作,在InferenceXv2基准上于GB300 NVL72运行DeepSeek R1时,相比H200实现最高25倍推理性能提升,该对比基于50 TPS/user的低延迟场景。据LMSYS Blog介绍,这一提升借助NVFP4 GEMM、计算通信重叠和NVIDIA Dynamo等优化实现。同一来源还提到,SGLang在GB200 NVL72上的性能在不到4个月内提升最高8倍。后续计划推进GB300 NVL72的MTP支持以及Qwen 3.5等模型的调优。目前该事件尚无其他独立发展事实。

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

2026年1月26日,Qwen 团队发布旗舰推理模型 Qwen3-Max-Thinking。据 Qwen Blog 介绍,该模型通过扩大参数规模并投入大量算力做强化学习,在事实知识、复杂推理、指令遵循、人类偏好对齐和智能体能力上均有提升,在 19 项基准上表现与 GPT-5.2-Thinking、Claude-Opus-4.5、Gemini 3 Pro 相当。模型新增自适应工具调用能力,可在对话中自主调用内置的 Search、Memory 和 Code Interpreter,已在 chat.qwen.ai 上线;同时采用经验累积的多轮测试时扩展策略,在 GPQA、HLE、LiveCodeBench v6 等基准上优于标准并行采样。API 模型名为 qwen3-max-2026-01-23,兼容 OpenAI 与 Anthropic 接口协议,可直接配合 Claude Code 使用。目前尚无后续发展事实。

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

2025 年 11 月 19 日,Modal 官方工程博客发布文章称,Reducto 已将 30+ 模型的推理工作负载迁移至 Modal,迁移后 P90 延迟降低 3 倍。同一来源还提到,GPU 内存快照把冷启动从约 70 秒缩短到约 12 秒,降幅约 83%。在一次 10 万页/分钟吞吐测试中,其摄取流水线在不到一小时内扩展到 1000+ GPU 后干净回收,并帮助其拿下大型企业客户。目前该故事仅有这一条事实证据,尚无后续发展事实。

SGLang在GB300 NVL72上实现最高25倍推理性能提升

SGLang 实现 在GB300 NVL72上运行DeepSeek R1相比H200最高25倍性能提升

查看事件：SGLang在GB300 NVL72上实现最高25倍推理性能提升

Redwood Research 辨析推理扩展与更大任务

2026年2月12日,Redwood Research 发表分析文章,讨论推理成本上升的两种不同原因。文章指出,一种原因是 LLM 承担了人类耗时更长的更大任务,另一种原因是在同一任务上消耗了相对人类成本更高比例的算力。作者认为只有后者才算推理扩展,前者只是更大任务消耗更多 token。文章以 50% 可靠性时间跨度与人类成本占比构成的帕累托前沿进行分析,并推测 2025 年前沿主要以前一种方式移动。

推理时扩展方法分类与实验进展

2026年1月24日,Sebastian Raschka 梳理了用于提升大语言模型答案质量与准确性的推理时扩展方法,重点关注无需改变模型权重的训练后技术。他将相关方法归纳为思维链提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进及解题路径搜索等类别。材料显示,相关实验经过超参数调优并运行数千次后,基础模型准确率由约15%提升至约52%。

Liquid AI发布端侧推理模型LFM2.5-1.2B-T

2026年1月20日,Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking,该模型完全在设备端运行,在手机上内存占用低于900 MB,并已在Hugging Face、LEAP和Playground上线。模型为1.2B参数,相比LFM2.5-1.2B-Instruct,在MATH-500上从63提升到88,Multi-IF从61提升到69,BFCLv3从49提升到57,并在多数推理基准上匹配或超过参数量多40%的Qwen3-1.7B。训练采用课程式RL与模型合并,通过偏好对齐和n-gram重复惩罚把doom loop比例从15.74%降到0.36%,并获Qualcomm、Ollama、FastFlowLM、Cactus Compute等新发布伙伴支持。

vLLM统一TPU推理后端

2025年10月16日,vLLM宣布其TPU支持改由tpu-inference驱动,通过统一的JAX到XLA降低路径兼容PyTorch与JAX,无需修改模型代码时吞吐量提高约20%。新版默认采用SPMD,并引入RPA v3,支持任意模型规格、量化数据类型和张量并行;其在Trillium(v6e)上的吞吐量较RPA v2提高约10%。目前整体性能已接近2025年2月首个TPU原型的5倍,同时支持稠密模型、多模态输入、前缀缓存、分块预填充和结构化解码等能力。

vLLM与英伟达优化Blackwell推理

2025年10月9日,vLLM与英伟达公布针对Blackwell架构的大语言模型推理优化及基准测试结果。双方通过一百多个拉取请求,改进注意力、GEMM、MoE内核、图融合和异步调度,并加入自动量化后端选择与FlashInfer自动调优。在相近延迟下,gpt-oss 120B和Llama 3.3 70B的吞吐量较上一代Hopper最高提升约4倍。SemiAnalysis InferenceMAX每日更新测试结果,按不同输入输出长度及Pareto前沿比较吞吐量与响应速度。

OpenAI推理模型攻克ICPC全题

2025年9月18日披露,OpenAI的推理模型参加2025年国际大学生程序设计竞赛世界总决赛,并在约5小时内解出全部12道题,最佳人类队伍解出11道。该模型族此前还在AtCoder Heuristics World Finals获得第二名,并在国际数学奥林匹克和国际信息学奥林匹克中获得金牌。团队下一步将研究更开放、时间跨度更长的问题,以及长期运行模型的安全与对齐。

vLLM发布语义推理路由层

2025年9月11日,vLLM推出开源意图感知推理路由层Semantic Router,可依据查询复杂度选择快速路径或思维链推理模式。官方试验显示,该设计使准确率提高约10%,延迟和token用量均减少约50%,并支持通过Kubernetes和Envoy部署。其v0.1路线图还包括语义缓存、多因素路由、性能测试和路由策略可视化。

vLLM详解高吞吐推理架构

2025年9月5日,vLLM官方博客发布技术解析,系统介绍vLLM V1从单GPU离线推理扩展至多GPU、多节点异步服务的架构与机制。文章涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、预填充与解码分离,以及分布式请求链路,并说明如何使用vllm bench衡量延迟和吞吐量。该分析基于2025年8月9日的commit 42172ad。

Redwood Research区分推理扩展与更大任务

Redwood Research 发表 关于推理扩展与更大任务使用更多算力之区别的分析文章

查看事件：Redwood Research 辨析推理扩展与更大任务

Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

Qwen Team 发布 Qwen3-Max-Thinking

查看事件：Qwen 发布旗舰推理模型 Qwen3-Max-Thinking

Raschka梳理推理时扩展方法

Sebastian Raschka 梳理 LLM推理时扩展方法分类

查看事件：推理时扩展方法分类与实验进展

Liquid AI发布端侧推理模型LFM2.5-1.2B-Thinking

Liquid AI 发布 LFM2.5-1.2B-Thinking

查看事件：Liquid AI发布端侧推理模型LFM2.5-1.2B-T

Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

Reducto 迁移推理工作负载 30+ 模型的推理工作负载至 Modal，P90 延迟降低 3 倍

查看事件：Reducto 将 30+ 模型推理迁移至 Modal 后 P90 延迟降低 3 倍

vLLM优化Blackwell推理性能

vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能

查看事件：vLLM与英伟达优化Blackwell推理

OpenAI推理模型完成ICPC全部题目

OpenAI推理模型 解决 2025年ICPC全部12道题目

查看事件：OpenAI推理模型攻克ICPC全题

vLLM解析高吞吐推理系统架构

vLLM 发布技术解析 高吞吐LLM推理系统的核心架构与扩展机制

查看事件：vLLM详解高吞吐推理架构