搜索“推理”

Augment Code推出Prism模型路由

2026年5月3日,Augment Code推出Prism模型路由选项,在模型选择器中自动为每个用户轮次选择最合适的底层模型,声称每月可节省约2万美元或降低30%成本,同时质量与前沿推理模型相当。Prism采用缓存感知路由,仅在切换收益超过缓存驱逐成本时切换模型,并在内部多轮编码基准、Terminal Bench 2.0和SWE-Bench Pro上验证了质量与成本表现。

Anthropic介绍Claude Code自动权限模式

2026年3月25日,Anthropic发布并详解Claude Code auto mode(自动权限模式),用输入层的提示注入探针和输出层基于Sonnet 4.6的transcript分类器替代人工逐条批准,以缓解审批疲劳。官方说明,该分类器分两阶段运行:第一阶段以单token快速过滤,第二阶段仅在命中时启用链式推理,将误报率从8.5%降至0.4%。在52条真实过度主动行为样本上,其漏报率为17%;官方称多数漏判源于把会话中的批准痕迹误当作对当前操作范围的授权。目前尚无后续发展事实。

Prime Intellect推出Lab全栈训练平台

2026年2月10日,Prime Intellect发布Lab全栈训练平台,将Environments Hub、Hosted Training和Hosted Evaluations整合为面向智能体后训练的平台,覆盖大规模智能体RL、推理与评测。平台以环境为核心,包含任务数据集、模型harness和评分rubric;当前Hosted Training支持基于prime-rl的LoRA智能体RL,后续将加入SFT、DPO等算法。私有测试期间已完成3000多次RL运行,Environments Hub累计有250多位创作者构建1000多个环境、下载量超过10万次。2026年3月16日,Prime Intellect公布与NVIDIA在开放超级智能栈上的合作细节:训练与推理负载运行在NVIDIA Blackwell及即将推出的Vera Rubin机架级系统上,并用NVIDIA Dynamo承担全球推理编排,支持LoRA服务与Arcee Trinity等大规模MoE推理;其沙盒基础设施适配Vera CPU,单路88核、SMT开启后176线程可稳定运行176台VM,真实RL沙盒负载下每CPU吞吐较

Gemini 3深度思考模式上线

2025年12月5日,Google DeepMind面向Ultra用户上线Gemini 3 Deep Think模式。该模式采用并行思路处理推理任务;输入材料称,其在ARC-AGI-2和HLE等关键推理评测中取得明显提升。目前材料仅说明该模式已向Ultra用户开放,未提供其他用户群体的开放安排。

vLLM新增支持Nemotron模型家族

2025年10月23日,vLLM宣布支持部署NVIDIA Nemotron开放模型家族,使其可在数据中心及端侧硬件上运行智能体推理。其中,Nemotron Nano 2采用混合Transformer–Mamba架构,并提供可配置的thinking budget,开发者可据此调节精度、吞吐量和成本。相关模型权重及超过9万亿tokens的训练数据已在Hugging Face提供。

vLLM完善智能体训练接口

2025年10月22日,vLLM官方博客介绍其从v0.10.2起在OpenAI兼容API中新增`return_token_ids`参数。启用后,接口可在返回文本的同时提供输入对应的`prompt_token_ids`和生成结果对应的`token_ids`,避免推理文本在训练阶段重新分词时产生不同的Token序列。Agent Lightning v0.2会自动启用该参数,并通过追踪能力收集训练所需数据。

Anthropic推出提示生成器

2024年5月20日,Anthropic在开发者控制台推出提示词生成器。用户描述任务后,Claude会运用角色设定、链式推理等技巧生成可编辑的提示词模板。该功能基于一个长提示词实现,并支持将模板变量用于评估。ZoomInfo称其将提示词优化时间减少了80%。

Together AI上线DeepSeek V4 Pro

Together AI 上线 DeepSeek V4 Pro推理服务

查看事件：Together AI上线DeepSeek V4 Pro

LMSYS 宣布 SGLang 与 Miles 发布日支持 DeepSeek-V4

2026年4月25日,LMSYS 宣布 SGLang 与 Miles 在 DeepSeek-V4 发布当天提供推理与 RL 训练支持,覆盖 1.6T Pro 和 284B Flash 两个版本。针对 DeepSeek-V4 的混合稀疏注意力、mHC 和 FP4 专家权重,团队引入 ShadowRadix 前缀缓存、HiSparse CPU 扩展 KV、MTP 投机解码等机制,并集成 FlashMLA、FlashInfer TRTLLM-Gen MoE、DeepGEMM Mega MoE 等内核。RL 侧 Miles 支持 DP/TP/SP/EP/PP/CP 六种并行策略与 FP8 训练,已在 32 张 GB300 上完成 285B 模型训练,首步 rollout 与训练 log-prob 偏差约 0.023。目前尚无后续发展事实。

Sakana AI 开放 Sakana Fugu 早期 Beta 测试申请

2026年4月23日,Sakana AI 发布旗舰商用产品 Sakana Fugu,并开放早期 Beta 测试申请。据 Sakana AI 官方博客,Sakana Fugu 是一个多智能体编排系统,通过动态协调多个前沿基础模型,在编码、数学、科学推理等任务上取得高性能。该产品以 API 形式提供,兼容 OpenAI 格式端点,现有使用 GPT、Gemini 或 Claude API 的工作流几乎无需改动即可接入,背后由 Fugu 自动完成协作拓扑搭建、角色分配和子任务分发。产品分为侧重延迟的 Sakana Fugu Mini 和面向高难度任务的 Sakana Fugu Ultra 两个版本,方法基于其 ICLR 2026 论文 Trinity 和 Conductor 并做了进一步改进。目前尚无后续发展事实。

Cognition 与 Applied Compute 合作 RL 训练 SWE-check

2026年4月14日,Cognition 宣布与 Applied Compute 合作,通过强化学习训练出缺陷检测模型 SWE-check。据 Cognition 模型 / Devin 博客,该模型在内部分布内评测中与 Opus 4.6 的 F1 差距从 0.09 降到 0,分布外评测差距从 0.49 降到 0.29,同时运行速度和推理成本优于前沿模型。SWE-check 以结构化输出给出缺陷描述与修复建议,已在 Windsurf Next 提供预览(cmd+U 唤起),并将很快进入正式版 Windsurf。训练上采用与生产环境原生集成、将全局指标转为样本级奖励的 reward linearization,以及先最大化能力再做产品对齐的两阶段后训练。目前尚无后续发展事实。

Sakana AI启动Sakana Marlin封闭β测试者招募

2026年4月1日,Sakana AI开始招募其商用研究助手Sakana Marlin的封闭β测试者,测试期间免费。据Sakana AI官方博客介绍,Sakana Marlin是该公司首个商用产品,面向商业调研场景,用户只需给出调研主题,AI即可自主研究近8小时,输出结构化摘要幻灯片和数十页调研报告,全程无需人工介入。该产品基于AB-MCTS的推理时搜索与AI科学家的工作流自动化技术,可调用多个模型协同调研;官方称此前验证中,其在信息深挖方面获得比现有聊天服务内置研究功能更实用的反馈。目前该故事尚无后续发展事实,状态为招募启动。

SGLang 宣布 Day-0 支持 NVIDIA Nemotron 3 Super

2026年3月11日,SGLang 宣布在发布当天支持 NVIDIA Nemotron 3 Super,并给出安装与推理部署步骤。据 LMSYS Blog 同日发布的信息,Nemotron 3 Super 是 120B 参数的混合 MoE 模型,每次前向仅激活 12B 参数,支持 1M token 上下文,官方称其吞吐效率最高可达上一代 Nemotron Super(Llama Nemotron Super 1.5)的 5 倍,并支持 Multi-Token Prediction 与 Thinking Budget。模型权重已在 Hugging Face 提供 BF16、FP8 和 NVFP4 版本,可配合 SGLang 在 4xH200 等配置上部署。目前该事件尚无后续发展事实,状态停留在首日支持与部署说明。

Sarvam AI 发布文档智能工作台 Akshar

2026年2月15日,Sarvam AI 发布文档智能工作台 Akshar。据 Sarvam AI Blog 介绍,Akshar 构建在 Sarvam Vision 之上,从被动文本抽取转向主动推理,提供视觉定位、版面语义理解和块级抽取,并支持智能体自动校对与纠错;所有智能体操作都以可审阅建议的形式提交,由用户接受或拒绝。Akshar 已在 akshar.sarvam.ai 开放 Preview,2 月整月免费,用户可上传文档试用 Agent Mode,生产使用需加入等待名单。目前尚无后续发展事实。

Ollama 发布 macOS 和 Windows 桌面应用

2025 年 7 月 30 日,Ollama 发布 macOS 和 Windows 版新应用,提供下载模型并直接对话的图形界面。据 Ollama Blog 介绍,新应用支持拖放文件,可对文本或 PDF 进行推理;处理大文档时可在设置中提高上下文长度,但会占用更多内存。应用还基于新的多模态引擎支持向 Gemma 3 等模型发送图片,并能处理代码文件。纯 CLI 版本仍可在 Ollama 的 GitHub releases 页面单独下载。目前尚无后续发展事实。

LMSYS 宣布 SGLang 与 Miles 在发布日支持 DeepSeek-V4

LMSYS 宣布 SGLang 与 Miles 在发布日支持 DeepSeek-V4 的推理与 RL 训练

查看事件：LMSYS 宣布 SGLang 与 Miles 发布日支持 DeepSeek-V4

Together AI扩展微调服务

Together AI 扩展 Together Fine-Tuning的工具调用、推理和视觉微调能力

查看事件：Together AI扩展微调服务

vLLM推出语义路由器

vLLM 推出 开源意图感知推理路由层Semantic Router

查看事件：vLLM发布语义推理路由层

Mistral AI更新Le Chat

Mistral AI 更新 Le Chat深度研究、语音、推理、项目及图像编辑功能

查看事件：Mistral AI更新Le Chat

字节跳动开源AIBrix

ByteDance 在vLLM项目下开源 AIBrix大规模LLM推理控制平面

查看事件：字节跳动开源大模型推理平台AIBrix