支撑大规模高效推理的基础研究
Together AI 介绍其通过算法、系统工程和硬件协同优化大规模推理的方法，旨在提升速度与成本效率，同时维持输出质量和可靠性。生产 AI 系统的推理约占全生命周期成本的 80–90%，尽管 GPT-3.5 水平的推理成本曾下降逾 280 倍，总支出仍随用例扩张而增长。其技术包括可实现 1.5–3x 加速的推测解码，以及 ATLAS 和开源 RL 框架 Aurora 所支持的自适应推测解码。
匹配字段标题、摘要
←搜索结果
搜索“推理”
Aurora：从实时推理轨迹持续学习的开源推测解码框架
Together AI 发布 Aurora，通过强化学习从实时推理轨迹持续更新推测解码的草稿模型，相比训练良好的静态模型额外加速 1.25x，更新期间不中断服务。在涵盖五个领域的 40,000 条提示词混合流实验中，从零开始在线训练的接受长度达 3.08，高于静态基线的 2.63 和预训练后微调方案的 2.99，吞吐量稳定在 302.3 tokens/s。
匹配字段标题、摘要
提升 LLM 推理能力的推理时扩展方法分类
Sebastian Raschka 将提升 LLM 答案质量与准确性的推理时扩展方法归纳为多个类别，重点讨论不改变模型权重的训练后技术。内容涵盖 CoT 提示、自洽性、Best-of-N 排序、验证器拒绝采样、自我改进和解题路径搜索；相关实验经超参数调优后进行了数千次运行，使基础模型准确率从约 15% 提升至约 52%。
匹配字段标题、摘要
vLLM 与 TorchTitan 实现训练推理逐位一致的在线强化学习
vLLM 与 TorchTitan 开源展示了逐位一致的在线强化学习方案，使 Qwen3 1.7B 的训练与推理数值完全匹配。实验中启用逐位一致性后，模型用更少步骤取得更高总奖励，但当前运行速度比非逐位一致方案慢 2.4x。
匹配字段标题、摘要
SemiAnalysis InferenceMAX 评测解析：vLLM 与 NVIDIA 加速 Blackwell 推理
vLLM 与 NVIDIA 针对 Blackwell 优化大语言模型推理，在相近延迟下，gpt-oss 120B 和 Llama 3.3 70B 的吞吐量较上一代 Hopper 最高提升约 4x。双方通过一百多个 pull request 优化注意力、GEMM、MoE 内核、图融合和异步调度，并加入自动量化后端选择与 FlashInfer 自动调优。SemiAnalysis InferenceMAX 每日更新测试结果，以不同输入输出长度和 Pareto 前沿比较吞吐量与响应速度。
匹配字段标题、摘要
深入 vLLM：高吞吐 LLM 推理系统架构解析
文章系统解析 vLLM V1 如何从单 GPU 离线推理扩展到多 GPU、多节点异步服务。内容涵盖调度器、PagedAttention、连续批处理、前缀缓存、引导解码、推测解码、P/D 分离及分布式请求链路，并说明如何用 vllm bench 衡量延迟与吞吐量。分析基于 2025 年 8 月 9 日的 commit 42172ad。
匹配字段标题、摘要
如何使用 vLLM 加速 GLM-4.5 与 GLM-4.5V 推理
vLLM 介绍了如何在 NVIDIA Blackwell 和 Hopper GPU 上加速 GLM-4.5 与 GLM-4.5V 系列推理，其最新主分支已支持两类模型。GLM-4.5 与 GLM-4.5V 均提供 FP8 和 BF16 精度版本，可使用相同命令运行；8x H100 显存不足时需添加 `--cpu-offload-gb 16`，遇到 flash_infer 问题可暂用 `VLLM_ATTENTION_BACKEND=XFORMERS`。GLM-4.5V 还支持根据复杂描述逐步推理并输出目标对象的边界框坐标。
匹配字段标题、摘要
MiniMax-M1 混合架构如何借助 vLLM 实现长上下文快速推理
vLLM 通过内存管理与底层计算优化支持 MiniMax-M1 的混合架构，实现长上下文高效推理与部署。MiniMax-M1 总参数量为 456B，推理时动态激活约 45.9B 参数；其 Lightning Attention 已通过 Triton 集成至 vLLM。文章还提供了使用 vLLM 和 Docker 部署该模型的快速指南。
匹配字段标题、摘要
vLLM 分布式推理中的张量并行与流水线并行
vLLM 介绍了如何结合张量并行和流水线并行，在多 GPU 或多节点上部署超出单卡容量的大模型。张量并行可降低延迟但依赖高带宽互连，流水线并行通信开销较低且更适合跨节点部署。案例中从 TP=1 扩展到 TP=2 后，KV cache block 增加 13.9x，token 吞吐量提升 3.9x。
匹配字段标题
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 上的评测结果
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 系列基准上的成绩：ARC-AGI-3 得 5.81%，ARC-AGI-2 得 78.1%，ARC-AGI-1 得 94.5%，在开源权重模型中领先。相比 2026 年 9 月 10 日的原版 DeepSeek V4.1 Flash，1017 的 ARC-AGI-3 半私有集分数从 2.68% 升至 5.81%，公开集则从 11.05% 降至 8.97%。在最大推理强度下，1017 首次动作使用的推理 token 在 25 个公开游戏上平均减少 36%，在 55 个半私有游戏上减少 48.6%。
匹配字段摘要、正文
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 上的评测结果
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 上的验证成绩：ARC-AGI-2 为 78.1%、每任务 $0.16，ARC-AGI-1 为 94.5%、每任务 $0.06，ARC-AGI-3 在 provider adapter harness 下为 5.8%、$1.2K，标准 harness 下为 0.2%、$1.0K。该模型在 ARC-AGI-3 和 ARC-AGI-2 上领先开源权重模型，在 ARC-AGI-1 上追平开源权重模型的最好成绩。相比 2026 年 9 月 10 日的原版 V4.1 Flash，1017 的 ARC-AGI-3 半私有集分数从 2.68% 升至 5.81%，公开集从 11.05% 降至 8.97%；在最大推理强度下，其首个动作消耗的推理 token 在 25 个公开游戏上平均减少 36%，在 55 个半私有游戏上减少 48.6%。
匹配字段摘要
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 上的评测结果
ARC Prize 公布 DeepSeek V4.1 Flash 1017 在 ARC-AGI 上的评测结果：ARC-AGI-3 半私有集得分 5.81%，ARC-AGI-2 为 78.1%，ARC-AGI-1 为 94.5%，在开放权重模型中领先。相比 2026 年 9 月 10 日的原版 V4.1 Flash，其 ARC-AGI-3 半私有集分数从 2.68% 提升到 5.81%，公开集则从 11.05% 降至 8.97%。在最大推理强度下，该模型首次动作消耗的推理 token 在 25 个公开游戏上平均减少 36%，在 55 个半私有游戏上减少 48.6%。
匹配字段摘要
在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体
AWS 官方博客介绍如何用序列级知识蒸馏（SeqKD）在 Amazon SageMaker AI 上微调购物智能体：以 Amazon Bedrock 上的 GLM-5.3 作为教师模型生成轨迹，用 ShoppingBench 评分器只保留解出任务的轨迹，再对 Qwen3.5-4B 学生模型做服务端无服务器 SFT。在 324 道留出测试题上，蒸馏后 4B 学生平均绝对成功率从 0.297 提升到 0.541，与教师模型和中等规模前沿模型基本持平；去掉教师推理过程只学工具调用时，平均成功率降至 0.415。
匹配字段摘要、正文
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的评测结果
ARC Prize 公布 Meta 的 Muse Spark Open 在 ARC-AGI 上的验证成绩：ARC-AGI-1 为 89.0%、每任务 $0.29，ARC-AGI-2 为 57.5%、每任务 $0.73，ARC-AGI-3 在标准 harness 下为 0.1%、$3.9K。ARC Prize 称其 v1/2 得分与 Haiku 5.5 和 GPT-6 Luna 相近，但成本约为后者的 9 倍；该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25。随推理档位提升，ARC-AGI-2 从 medium 的 29.4%（平均 55k tokens/任务）升至 xhigh 的 57.2%（180k tokens/任务）。
匹配字段摘要
ARC Prize 实测 Meta Spark Open：ARC-AGI-2 得分 57.5%，成本约为同分模型 9 倍
ARC Prize 在 ARC-AGI 上实测 Meta Spark Open，ARC-AGI-1 得 89.0%、ARC-AGI-2 得 57.5%、ARC-AGI-3 仅 0.4%，v1/v2 分数与 Haiku 5.5、GPT-6 Luna 接近但成本约为其 9 倍。在 OpenRouter 各提供商上，该模型输入 $1.25/M、输出 $4.25/M，而 Haiku 5.5 和 GPT-6 Luna 均为输入 $0.10/M、输出 $0.50/M。随推理档位提升，ARC-AGI-2 从 medium 的 29.4%（平均 55k tokens/task）升到 xhigh 的 57.2%（180k tokens/task）。
匹配字段摘要
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 各版本的评测成绩
ARC Prize 公布 Meta Muse Spark Open 在 ARC-AGI 上的验证成绩：ARC-AGI-1 为 89.0%、每任务 $0.29，ARC-AGI-2 为 57.5%、每任务 $0.73，ARC-AGI-3 在 provider adapter harness 下为 0.4%、$3.0K，标准 harness 下为 0.1%、$3.9K。ARC Prize 称其在 v1/v2 上的分数与 Haiku 5.5、GPT-6 Luna 相近，但成本约为后者的 9 倍；该模型在 OpenRouter 上定价为每百万输入 $1.25、每百万输出 $4.25，而 Haiku 5.5 与 GPT-6 Luna 均为每百万输入 $0.10、每百万输出 $0.50。在公开任务上，随着推理规模提升，ARC-AGI-2 的得分从 medium 档平均 55k token/任务对应 29.4%，升到 high 档 150k 对应 51.0%，再到 xhigh 档 180k 对应 57.2%；ARC-AGI-1 在 high 档已达 92.8%，xhigh 档升至 94.0%。
匹配字段摘要
Elorian 发布 DecoyCount 基准，前沿模型视觉计数准确率均低于 50%
Elorian 与 Mercor 联合发布 DecoyCount 基准，测试模型是真正数清物体还是依赖视觉捷径，前沿模型准确率均低于 50%，最高为 GPT-6 Astra 的 43.17%。Elorian 称其视觉推理模型 Glimpse 在 1,660 道题上单次运行得分 50.48%，是唯一超过 50% 的模型，但该结果来自内部测试且未使用智能体或工具框架，而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai 表示，该基准同时考察视觉与推理，可区分模型是没看到物体还是数错了。
匹配字段摘要、正文
Amazon SageMaker AI 多轮强化学习实操指南：用 Wordle 示例训练 gpt-oss-20b
AWS 发布在 Amazon SageMaker AI 上做多轮强化学习（MTRL）的实操指南，以 Wordle 为例，把智能体与奖励函数部署到 Amazon Bedrock AgentCore，训练作业通过 GRPO 更新 LoRA 适配器。示例中 gpt-oss-20b 在默认推理强度下对留出单词的解题率从 61% 提升到 84%，训练 token 花费约 339 美元，AgentCore 运行时约 79 美元。文章还给出奖励设计的两处反转错误、并发下 token 失效、工具调用退化为纯文本等失败细节，并建议在最终服务的解码设置下做评测。
匹配字段摘要、正文
DeepSeek Search 登榜 Artificial Analysis 搜索指数第 17 名
DeepSeek Search 在 Artificial Analysis 搜索指数上得分 69，在 27 个搜索产品中排第 17，是榜单上价格最低的付费搜索 API。其每 1k 次搜索收费 $0.75，单任务成本约 $0.032，在 27 个产品中排第 5 便宜。AA-Omniscience 上准确率 70% 排第 10，但需要多跳推理的 BrowseComp 仅 63%，排第 25；每次搜索返回约 7k token，使模型成本升至榜单第 2 高。
匹配字段摘要
MIT 6.S950 更新第五讲 Harness 讲义：用 300 行教学 Agent 拆解 Agent 工程
MIT 公开课 6.S950 Agency with AI 更新了第五讲 The Harness 讲义，用一个约 300 行 Python、仅含 search 和 read_lines 两个工具、本地跑 Ollama 的教学 Agent Baby Anigans 拆解 Harness 的工作方式。讲义把 Agent 概括为 LLM 加 Harness，讨论可观测性上厂商把上下文摘要、推理过程加密封装到 API 后的透明度取舍，并把上下文管理、强制拦截、最小权限等做法追溯到 1965 至 1975 年的系统原则。讲义还指出没有通用最优解，5 个模型里有 4 个在不同基准上的最佳 Harness 不同。
MIT 公开课 6.S950 Agency with AI 更新了第五讲 The Harness 讲义，用一个约 300 行 Python、仅含 search 和 read lines 两个工具、本地跑 Ollama 的教学 Agent Baby Anigans 拆解 Harness 的工作方式。讲义把 Agent 概括为 LLM 加 Harness，讨论可观测性上厂商把上下文摘要、推理过程加密封装到 API 后的透明度取舍，并把上下文管理、强制拦截、最小权限等做法追溯到 1965 至 1975 年的系统原则。讲义还指出没有通用最优解，5 个模型里有 4 个在不同基准上的最佳 Harness 不同。
匹配字段摘要、正文