搜索“推理”

Together发布编码智能体推理基准

Together AI介绍高效推理研究

推理时扩展方法分类与实验进展

2026年1月24日,Sebastian Raschka 梳理了用于提升大语言模型答案质量与准确性的推理时扩展方法,重点关注无需改变模型权重的训练后技术。他将相关方法归纳为思维链提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进及解题路径搜索等类别。材料显示,相关实验经过超参数调优并运行数千次后,基础模型准确率由约15%提升至约52%。

vLLM与英伟达优化Blackwell推理

2025年10月9日,vLLM与英伟达公布针对Blackwell架构的大语言模型推理优化及基准测试结果。双方通过一百多个拉取请求,改进注意力、GEMM、MoE内核、图融合和异步调度,并加入自动量化后端选择与FlashInfer自动调优。在相近延迟下,gpt-oss 120B和Llama 3.3 70B的吞吐量较上一代Hopper最高提升约4倍。SemiAnalysis InferenceMAX每日更新测试结果,按不同输入输出长度及Pareto前沿比较吞吐量与响应速度。

vLLM详解高吞吐推理架构

2025年9月5日,vLLM官方博客发布技术解析,系统介绍vLLM V1从单GPU离线推理扩展至多GPU、多节点异步服务的架构与机制。文章涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、预填充与解码分离,以及分布式请求链路,并说明如何使用vllm bench衡量延迟和吞吐量。该分析基于2025年8月9日的commit 42172ad。

vLLM深化编译优化推理

2025年8月20日,vLLM 官方介绍了 torch.compile 的工作原理及其与 vLLM 的集成方式。该方案结合编译缓存、动态批量大小、分段 CUDA Graphs 和自定义编译器 pass 优化大语言模型推理,并已在 vLLM V1 的在线与离线推理中默认启用。部分融合优化最高可带来15%的性能提升。后续方向包括缩短启动时间、采用更稳定的 API,以及探索与 MPK、Mirage 编译器的集成。

vLLM解析分布式推理扩展

2025年2月17日,vLLM介绍了在多GPU或多节点环境中部署超出单卡容量大模型的分布式推理方案。该方案结合张量并行与流水线并行:张量并行能够降低延迟,但依赖高带宽互连;流水线并行的通信开销较低,更适合跨节点部署。案例显示,从TP=1扩展至TP=2后,KV cache block增加13.9倍,token吞吐量提升3.9倍。目前输入材料未提供此后的新进展。

vLLM公布MI300X推理优化方案

2024年10月23日,vLLM官方博客发布在AMD MI300X上部署大语言模型的优化指南,介绍分块预填充、多步调度、前缀缓存、图捕获、KV cache和张量并行等共8项设置。其性能测试显示,在服务Llama 3.1 405B时,vLLM相较TGI的吞吐量高1.5倍、首个令牌生成时间快1.7倍;在服务Llama 3.1 70B时,吞吐量高1.8倍、首个令牌生成时间快5.1倍。目前输入材料未提供该指南发布后的新增进展。

Together发布编码智能体推理基准

Together AI 发布基准测试 Together Inference Engine在Kimi K2.5编码智能体负载下的规模化推理性能

查看事件：Together发布编码智能体推理基准

Together AI介绍高效推理研究

Together AI 介绍 规模化推理优化研究与技术栈

查看事件：Together AI介绍高效推理研究

Raschka梳理推理时扩展方法

Sebastian Raschka 梳理 LLM推理时扩展方法分类

查看事件：推理时扩展方法分类与实验进展

vLLM优化Blackwell推理性能

vLLM与NVIDIA 联合优化并完成基准测试 Blackwell架构上的大模型推理性能

查看事件：vLLM与英伟达优化Blackwell推理

vLLM解析高吞吐推理系统架构

vLLM 发布技术解析 高吞吐LLM推理系统的核心架构与扩展机制

查看事件：vLLM详解高吞吐推理架构

vLLM介绍分布式推理方案

vLLM 介绍 张量并行与流水线并行推理方案

查看事件：vLLM解析分布式推理扩展

ARC Prize公布DeepSeek V4.1 Flash 1017评测结果

ARC Prize于2026年11月3日公布DeepSeek V4.1 Flash 1017在ARC-AGI上的验证成绩:ARC-AGI-2为78.1%、每任务0.16美元,ARC-AGI-1为94.5%、每任务0.06美元;ARC-AGI-3在provider adapter harness下为5.8%、成本1.2K美元,标准harness下为0.2%、1.0K美元。ARC Prize称该模型在ARC-AGI-3和ARC-AGI-2上领先开源权重模型,在ARC-AGI-1上追平开源权重模型最好成绩。与2026年9月10日的原版V4.1 Flash相比,1017的ARC-AGI-3半私有集分数从2.68%升至5.81%,公开集从11.05%降至8.97%;在最大推理强度下,其首个动作消耗的推理token在25个公开游戏上平均减少36%,在55个半私有游戏上减少48.6%。

AWS发布在SageMaker AI上用SeqKD蒸馏购物Agent教程

2026年11月3日,AWS Machine Learning官方博客发布教程,介绍如何在Amazon SageMaker AI上用序列级知识蒸馏(SeqKD)构建高效购物智能体。教程以Amazon Bedrock上的GLM-5.3为教师模型生成轨迹,用ShoppingBench评分器只保留解出任务的轨迹,再对Qwen3.5-4B学生模型做服务端无服务器SFT。在324道留出测试题上,蒸馏后4B学生平均绝对成功率从0.297提升到0.541,与教师模型和中等规模前沿模型基本持平;去掉教师推理过程只学工具调用时,平均成功率降至0.415。目前该教程已随官方博客公开。

ARC Prize公布Muse Spark Open在ARC-AGI上的评测结果

ARC Prize于2026年10月29日公布Meta的Muse Spark Open在ARC-AGI上的验证成绩:ARC-AGI-1为89.0%、每任务0.29美元,ARC-AGI-2为57.5%、每任务0.73美元,ARC-AGI-3在标准harness下为0.1%、每任务3.9K美元。ARC Prize称其v1/v2得分与Haiku 5.5和GPT-6 Luna相近,但成本约为后者的9倍;该模型在OpenRouter上定价为每百万输入1.25美元、每百万输出4.25美元。随推理档位提升,ARC-AGI-2从medium的29.4%(平均每任务55k tokens)升至xhigh的57.2%(每任务180k tokens)。

Addy谈Claude Opus 5.5时代Claude Code用法

Anthropic Claude Code团队成员Addy Osmani于2026年10月30日发文,谈Claude Opus 5.5时代如何用Claude Code。他提出,从Claude 5系列起应减少堆提示词和手把手拆任务,改为用一条提示说清目标与验收方式,让模型自己跑完并停下;推理强度可从/effort medium起步,目标不清时先让Claude采访出规格再新开会话实现。他提到Claude Code曾针对Claude Opus 5、Claude Fable 5等模型删掉超过80%的系统提示词,编程评测未见可测量下降,并建议用/doctor prompt-audit找出针对旧模型编写的提示。他还称Claude Code交互式终端近期默认auto mode,但这不是安全保证;子agent应少人为拆分,单agent加skills往往质量更好。

Elorian与Mercor发布DecoyCount基准

2026年10月30日,Elorian与Mercor联合发布DecoyCount基准,用于测试模型是真正数清物体还是依赖视觉捷径。据Latent Space报道,前沿模型在该基准上的准确率均低于50%,最高为GPT-6 Astra的43.17%。Elorian称其视觉推理模型Glimpse在1,660道题上单次运行得分50.48%,是唯一超过50%的模型,但该结果来自内部测试且未使用智能体或工具框架,而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai表示,该基准同时考察视觉与推理,可区分模型是没看到物体还是数错了。

Google发布世界模型Genie 4

2026年10月27日,Google DeepMind发布世界模型Genie 4,主打实时交互模拟,并首次在该系列中引入原生音频。官方介绍称,该模型基于Gemini家族能力,Gemini Omni负责让模拟贴合真实世界的外观与行为,其他Gemini模型提供维持模拟连贯性所需的复杂推理;用户可用自然语言实时操控场景,每个世界还会即时生成环境音、音乐和交互对话。次日,Google DeepMind进一步说明,Gemini 3.8 Flash在循环中拆解目标、检查画面以维持多步事件的因果连贯,Gemini 4 Argon也已用于与Gemini Robotics联合模拟任务;官方称其仍属早期实验模型,长时运行下物体恒常性与复杂物理交互仍会漂移,生成内容均带SynthID水印,目前先向可信测试者开放预览。10月28日,Ethan Mollick发帖称Genie 4能运行DOOM,并实测其边生成边产出游戏式环境,表示体验并不完美。10月29日,Peter Yang用Genie 4实时构建5个世界,认为世界模型是LLM之后AI的下一个大方向。