智源 FlagOpen 开源 Reason-RFT：面向视觉推理的强化微调框架
智源 FlagOpen 开源 Reason-RFT 强化微调框架，采用 CoT 监督微调加 GRPO 强化学习的两阶段训练，提升视觉语言模型的泛化能力。该框架支持 RoboBrain、Qwen2-VL、Llava-VL 系列，覆盖视觉计数、结构感知、空间变换及具身规划等任务，论文已被 NeurIPS 2025 接收。
匹配字段标题
←搜索结果
搜索“推理”
RoboBrain 2.5 发布：面向具身智能的 3D 空间推理与稠密时间价值估计
智源 FlagOpen 推出 RoboBrain 2.5，在 RoboBrain 2.0 基础上新增精确 3D 空间推理与稠密时间价值估计两项能力，从 2D 像素相对定位升级为带深度的 3D 坐标预测和绝对度量约束理解。该模型已陆续开源 4B、8B 权重，8B 分为 NVIDIA 集群训练的 NV 与摩尔线程集群训练的 MT 两个版本，架构与训练数据相同、性能相近。
匹配字段标题、摘要
智源 FlagOpen 开源 Action-Sketcher：用视觉草图连接推理与动作，入选 CVPR 2026
智源 FlagOpen 开源 Action-Sketcher，这是一个面向长程机器人操作、通过视觉草图把推理转化为动作的框架，已被 CVPR 2026 接收。它采用 See-Think-Sketch-Act 循环，由基础模型把高层指令分解为子任务并生成由点、框、箭头组成的视觉草图，再引导底层策略生成动作序列。团队已发布 Action-Sketcher-PI0-LIBERO 模型与推理代码，数据集和训练代码待发布。
匹配字段标题、摘要
MangoBoost 推出 Mango Inference 推理平台，目标明年营收超 1000 亿韩元
MangoBoost 于 10 月 12 日正式商用其 AI 推理平台 Mango Inference，用户可通过 API 接入按 token 消耗付费，支持 DeepSeek、GLM 和 MiniMax 等模型。公司称定价比竞争对手低 20% 以上，并计划明年一季度在首尔江南建成 1MW AI 数据中心，可扩展至 5MW，GPU 由 AMD 供应。其今年营收预计约 100 亿韩元，明年目标超过 1000 亿韩元。
匹配字段标题、摘要
Meta 如何将闲置 AI 推理容量转化为更好的广告推荐
Meta 构建了一套系统，把分散在各团队配额、区域和加速器类型中的闲置推理容量聚合成共享的机会容量池，用于提升广告推荐效果。系统通过 Rank More Ads（RMA）调整排序阶段评估的候选广告数量、Serve Better Models（SBM）调整路由到更强模型的请求比例这两个弹性杠杆，在不影响基线服务的前提下扩展可选工作负载。
匹配字段标题、摘要
英国 AISI：网络任务评测中推理预算扩大后成功率上升
英国 AI Security Institute（AISI）与 Irregular 对 2025 年 11 月前后发布的前沿模型运行私有网络任务评测，发现模型可有效利用比常规评测大 10-50 倍的 token 预算，成功率随之提高，并首次解决此前未解任务。AISI 使用 50M token 预算，约 8% 的任务只有在预算从 10M 提升到 50M 时才被解决；Irregular 使用 1000 轮次。AISI 指出成功率大致随每次尝试所用 token 总量的对数增长，这意味着低预算评测可能低估模型真实能力上限，但结论目前仅基于网络任务，是否适用于其他领域仍需更多测试。
匹配字段标题
Thinking Machines Lab 解析 LLM 推理不确定性并开源 batch-invariant 内核
Thinking Machines Lab 发文指出，LLM 推理不确定性的主因不是并发加浮点非结合性，而是内核缺少 batch invariance，导致请求结果随服务端负载和 batch size 变化。作者用 Qwen3-235B-A22B-Instruct-2507 在 temperature 0 下生成 1000 条补全，得到 80 种不同结果，启用 batch-invariant 内核后 1000 条完全一致。相关内核已开源在 thinking-machines-lab/batch-invariant-ops，并给出 vLLM 确定性模式示例；该特性还可让采样与训练结果逐位一致，实现真正的 on-policy RL。
匹配字段标题、摘要
Anthropic：模型自述推理不可信
Anthropic 明确表示，模型对自身推理的解释不能作为其行动原因的证据，这正是他们无法清晰判断这些失败各自严重程度的原因。
匹配字段标题、摘要
Anthropic：模型自述推理不可信
Rohan Paul 引述 Anthropic 的说法：模型对自身推理过程的解释不能作为其行为动机的证据，正因如此，Anthropic 无法准确判断这些失败各自的严重程度。
匹配字段标题、摘要
清华、牛津与斯坦福论文发现 LLM 关闭思考后仍会继续推理
清华大学、牛津大学与斯坦福大学的新论文发现，LLM 在关闭思考后仍会继续输出推理过程，在开放式问题上尤其明显。关闭思考时，DeepSeek-V4-Flash 在 99.9% 的开放式回答中仍写出了推理内容，缺少 think 标签或回复简短并不能证明模型跳过了推理。对 5 个模型强制只给答案可将开放式任务的遵从率提升到约 40%，但准确率下降约 15 个百分点。论文地址为 arxiv.org/abs/2610.11765。
匹配字段标题、摘要
Cohere 解析 Embed 与 Rerank 的共享推理与专用推理之争
Cohere 指出，选择共享（按量计费）还是专用（预置）推理，关键不在单价，而在请求形态与流量模式。Embedding 批量索引请求可达约 100 条描述、每条约 200 tokens，而单条搜索查询更看重延迟；Rerank 的工作量随候选文档数线性增长，从 20 个候选增至 100 个，单次搜索 token 量从约 4,400 升至约 22,000。持续稳定的流量适合专用推理，突发流量更适合按量计费。
匹配字段标题、摘要
Baseten 与 Goodfire AI 推出 Project Beacon，将安全信号引入开放模型推理
Baseten 宣布与 Goodfire AI 合作推出 Project Beacon，通过在生成过程中读取模型内部激活值，在推理层实现主动、内联的安全控制，可在输出到达用户或工具前检测并处置不安全事件。该计划针对提示词注入、越权操作、敏感数据泄露和网络滥用等风险，未来数月将先覆盖部分模型和受监控行为，再扩展至企业管控与开发者体验，并以少量早期合作伙伴推向市场。
匹配字段标题、摘要
Baseten 与 Goodfire AI 合作推出 Project Beacon，为开源模型推理引入安全信号
Baseten 宣布与 Goodfire AI 合作推出 Project Beacon，通过在生成过程中读取模型内部激活值，为开源模型推理带来主动、内联的安全控制，可在输出到达用户或工具前检测并处置不安全事件。该计划针对提示词注入、越权操作、敏感数据泄露和网络滥用等推理层风险，将 Goodfire 的行为监控信号接入 Baseten 推理路径。未来数月将先覆盖部分模型和受监控行为，再扩展至企业管控与开发者体验，并以少量早期合作伙伴推向市场。
匹配字段标题、摘要
MyMagic AI 批量推理集成 LlamaIndex：使用指南
MyMagic AI 的批量推理 API 已集成进 LlamaIndex，支持 Llama 70B、Mistral 7B、Mixtral 8x7B、CodeLlama70b 及 Embedding 模型，可处理数据提取、摘要、分类、情感分析、训练数据生成和嵌入等任务。用户将文件放入 AWS S3 或 GCS 的 session 文件夹后，通过 LlamaIndex 封装发起请求，可动态指定 prompt、模型和 max_tokens；官方建议尽量使用异步 acomplete 接口，目前不支持 chat/achat 方法。其训练数据生成速度相比 GPT-3.5 可提升 5-10 倍。
匹配字段标题、摘要
TensorZero 研究：程序化数据筛选蒸馏让小模型推理成本降低 5-30 倍
TensorZero 工程博客发布研究，用 GPT-4.1 生成的高质量对话微调 Gemini 2.0 Flash/Flash Lite、GPT-4.1 mini/nano、GPT-4o mini 和 Qwen3-8B，在数据抽取、BabyAI 导航、多跳 RAG 和 τ-bench 工具调用四类任务上评测，推理成本最多降低 30 倍、响应时间最多快 4 倍。研究还对比了只保留成功轨迹的筛选数据与全量数据，发现筛选在数据抽取和多跳 RAG 上普遍提升表现，但在工具调用任务上 Gemini 模型反而用未筛选数据更好。博客给出了基于 TensorZero 的微调与部署流程，并称无需 GPU 即可复现。
匹配字段标题、摘要
月之暗面开源 Kimi Vendor Verifier，用于校验开源模型推理实现准确性
月之暗面随 Kimi K2.6 模型发布开源 Kimi Vendor Verifier（KVV）项目，帮助开源模型用户校验推理实现的准确性。KVV 包含六项基准测试，覆盖 API 参数约束预校验、OCRBench、MMMU Pro、AIME2025、K2VV ToolCall 与 SWE-Bench，其中 SWE-Bench 因依赖沙箱未开源。官方称在 Two NVIDIA H20 8-GPU 服务器上完成全流程验证，顺序执行约需 15 小时，并已针对流式推理、自动重试和断点续跑优化脚本。
匹配字段标题、摘要
DeepSeek-V4-Pro 正式发布，支持推理强度分档与 OpenAI Responses API
DeepSeek 发布 DeepSeek-V4-Pro，主打智能体能力升级，并为 V4-Pro 与 V4-Flash 提供 low、high、max 三档推理强度，分别对应简单任务、日常智能体工作流和复杂任务。该模型原生支持 OpenAI Responses API，针对 Codex 做了优化并支持一键配置，现已上线 app/web 的 Expert Mode 和 API，模型名称保持不变。随 V4 系列发布，API 定价同步调整并引入高峰与低谷费率，低谷费率为高峰的 50%，新定价于 2026 年 8 月 16 日 16:00 UTC 生效。
匹配字段标题、摘要
DeepSeek 发布 V3.2 与 V3.2-Speciale 两款推理模型
DeepSeek 发布 DeepSeek-V3.2 与 DeepSeek-V3.2-Speciale 两款面向智能体的推理优先模型，V3.2 已在 App、Web 和 API 上线，Speciale 暂仅提供 API。V3.2 定位日常使用、推理与长度更均衡，官方称达到 GPT-5 水平；Speciale 主打极限推理能力，官方称可与 Gemini-3.0-Pro 竞争，并在 IMO、CMO、ICPC World Finals 和 IOI 2025 中取得金牌级成绩。V3.2 是 DeepSeek 首个将思考直接融入工具调用的模型，支持思考与非思考两种模式下的工具调用，训练数据合成覆盖 1800+ 环境和 85k+ 复杂指令；Speciale 通过临时端点提供，价格与 V3.2 相同，不支持工具调用，可用至 2025 年 12 月 15 日 15:59（UTC）。
匹配字段标题、摘要
AWS 正式发布 Amazon Bedrock AgentCore payments，支持智能体按次付费调用推理
Amazon Bedrock AgentCore payments 正式可用，为 AI 智能体提供按需付费的托管能力，支持 x402 协议端点，包括 Amazon Bedrock 推理端点。Incarna 借助该服务让智能体逐次向 BlockRun 支付模型推理费用，集成工作从原计划的 2 至 3 个月缩短到 3 天，约 200 行应用代码。测试期间智能体已处理超过 1000 笔支付，单次金额在 0.001 至 0.05 美元之间，每笔在链上独立结算，花费上限由基础设施层强制执行。
匹配字段标题、摘要
NVIDIA Dynamo 如何用 Session ID 实现会话感知的智能体推理
NVIDIA Dynamo 通过统一的会话级标识符 session_id 与 parent_session_id，把请求级推理服务改造成程序感知系统，实现会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的缓存调度。Dynamo 可直接识别 Claude Code、Codex、OpenCode 等编码智能体发出的身份头，无需配置；其他 harness 可通过 X-Dynamo-Session-ID 头或 agent-plugins 仓库中的插件接入。
匹配字段标题、摘要