Architect Financial Technologies 推出 Liquid Inference，这是一个对每次 LLM 推理请求进行实时拍卖的路由器，提供方为指定模型报价，买方按最低且符合自身规则的报价成交。买方可在生成前锁定最高价格，并设置单任务成本上限、首 token 时延、最低吞吐、区域、零数据保留和提供方或模型白名单等规则，计费仅按实际用量。该服务兼容 OpenAI 与 Anthropic 客户端，官方称支持 Claude Code、Codex、OpenCode、Cursor、Pi 和 Cline，前 500 名用户可获 20 美元免费推理额度，推荐可获被推荐方费用的 20%。
匹配字段标题
@Tebbers343 @paulg 他们会通过为这些机器人提供推理服务来弥补。
匹配字段标题
Google AI Edge 团队以 Apache 2.0 协议开源端侧 GPU 计算引擎 ML Drift，它抽象 OpenGL ES、OpenCL、Metal 和 WebGPU，是 LiteRT 的核心 GPU 加速引擎，也可作为独立库使用。相比旧版 TFLite GPU delegate，它引入张量虚拟化统一 shader、可扩展自定义算子框架、5D 张量支持和针对 LLM 的阶段性优化，并新增 Windows 和 Linux 桌面预览。官方称 Gemma 基准中内存开销最多降低 12%，YouTube Shorts 平均帧延迟最多降低 40%，Google Photos 提速最多 2 秒，Adobe Lightroom 与 Photoshop 端侧性能最多提升 30%，Snapchat 镜头模型延迟改善 30%。旧版 TFLite GPU delegate 将不再获得新功能更新。
匹配字段标题
llama.cpp 作者 Georgi Gerganov 表示，llama.cpp 可以通过 ggml RPC 后端在异构设备上分发推理，目前属于高级设置，他预计未来会降低普通用户的使用门槛。被引用的演示显示，MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本运行，在 10 GbE 下达到 40 tokens/sec，llama.cpp 开箱支持。
匹配字段标题
Simon Willison 发布 llm-mistral 0.16，新增对推理模型的支持，包括新近发布的 Mistral Large 4。
匹配字段标题
@SpaceXAI Grok 4.7 的推理 token 用量与其 ARC-AGI-2 公开得分相关：low 档平均每次测试对尝试用 10k tokens，得分 25%；而 medium 到 xhigh 档为 86k 至 120k tokens，得分 57.5% 至 60%。low 档更低的 token 用量可能有助于解释其更低的得分。https://t.co/uRWS99ddwk
匹配字段标题
ARC Prize 测试显示，Grok 4.7 在 ARC-AGI-2 semi-private 任务上平均消耗的推理 token 多于 Grok 4.6，导致单任务成本上升。按每次 test-pair 尝试计，medium 多用 136%、high 多用 125%、xhigh 多用 173%，low 则少用 27%。Grok 4.7 在 ARC-AGI-2 最佳成绩为 61.4%、$2.01/task，低于 Grok 4.6 的 67.1%、$0.76/task。
匹配字段标题
Together AI 宣布与 IBM、NVIDIA 合作扩展企业级 AI 推理能力，首批在 IBM Cloud 上部署大规模 NVIDIA B300 GPU 集群，并采用 NVIDIA Spectrum-X 以太网网络，这是 IBM Cloud 上首个此类专用大规模推理集群，Together AI 也是首个客户。Together AI 负责推理层，IBM 提供云，NVIDIA 提供芯片与网络。其平台每月服务超百万开发者、处理数百万亿 token。
匹配字段标题
ARC Prize 公布 DeepSeek V4.1 Flash 在 ARC-AGI-1 上 high reasoning 得分 88.5%，低于 low 的 90.5%；8 个任务分数有差异，high 在 5 个任务上更差（-4.5 分）、3 个更好（+2.5 分），且输出 token 多 35% 却未带来更稳定答案。ARC-AGI-2 上 max 与 high 的每任务成本在 106 个共同完成任务中对比，max 实际贵 4.5%。ARC-AGI-3 结果将在未来几周测试完成后公布。
匹配字段标题
AI 公司 Reflection 发布首款免费开放模型 Beam，面向编码、逻辑推理和智能体任务，采用 MoE 架构，每 token 激活 5010 亿总参数中的 230 亿。Reflection 称 Beam 在推理任务上可匹配 GLM 5.2，算力消耗仅为后者的三分之一到四分之一，并已用 10500 块 Nvidia GB300 GPU 进行超过四周的强化学习训练。模型权重将以 Apache 2.0 许可在本月晚些时候发布，目前早期版本仅向部分用户开放。
匹配字段标题
Cohere 提出通过数据混合实现“母语推理”（L2 reasoning），并发布 Tiny Aya L2-Thinker（3.35B），在 60 种语言中以提示词语言推理的比例超过 93%，准确率损失极小。该模型基于 32K 上下文长度的 Tiny Aya 基座，训练覆盖 45 种语言，并能泛化到未见推理示例的语言。Cohere 同时开源模型权重与多语言推理数据。
匹配字段标题
Reka 发布 19B 全模态推理模型 Rho-1 的研究预览版，单一网络可理解并生成文本、图像和视频，同时输出机器人动作，官方称其可直接替代在多个模态专用模型间传递任务的智能体流水线。模型每个 Transformer 块包含理解与生成两套专家权重流，共享注意力和同一 KV cache，离散 token 承载文本与高层指令，连续 token 承载图像潜变量、视频帧、机器人动作和本体感知。蒸馏版本把去噪步数从 99 步降到 8 步，约 1 秒返回 5.3 秒片段；训练使用 320 张 H100 历时 3 个月，视频分辨率上限 672×384，目前仅研究预览，未公开权重、API 或定价。
匹配字段标题
Anthropic 的 Felix Rieseberg 表示，新版 Cowork 把模型推理和 VM 都放到云端运行，每个会话拥有独立沙箱、不与其他会话共享状态。旧版在云端做模型推理、但把 Anthropic 提供的 VM 装到用户电脑上执行工具调用，用户不满其磁盘、电量和性能开销，以及合上笔记本工作就中断。当 VM 需要访问用户设备上的文件时，由桌面应用负责该文件访问的工具调用。
匹配字段标题
Prime Intellect 的文章指出，推理扩展虽有效，但上下文窗口上限约 1M tokens，靠 compaction（压缩交接）只能提升“总上下文容量”，且每次压缩都是对未来需求的猜测。子智能体（sub-agent）相当于在问题已知后再写摘要，比 compaction 更省主智能体上下文，但会遗忘已读内容、无法追问。
匹配字段标题
每一步都是 DJev 在 DiffusionGemma 上的一次前向传播，零 token 生成。我们的开源引擎 DJev-serve 在 NVIDIA GB200 NVL72 和 B200 上，把每个决策作为一张 CUDA graph 运行。
匹配字段标题
Amazon SageMaker AI 优化生成式 AI 推理推出 aws-ai-ml 技能，通过 Agent Toolkit for AWS 提供给 Kiro、Claude Code、Codex 等编码智能体，使其能对端点做基准测试、推荐部署配置、对比性能并生成可执行的 SageMaker Python SDK v3 代码。该技能基于 Model Context Protocol（MCP），可在本地或 SageMaker Studio JupyterLab 空间安装，10 分钟即可开始使用。
匹配字段标题
Gartner预测2026年全球推理支出将达233亿美元，首次超过190亿美元的训练支出，占AI IaaS总支出的55%；中国信通院报告预计2026年推理算力占AI算力总负载的70.5%。多位业内人士指出，Hugging Face权重下载量与OpenRouter Token调用量常被混同为出海成绩，但Token调用量不等于收入，Token出海本质是推理服务出海，与实际收入关系更直接。公有云巨头、独立MaaS推理服务商和GPU厂商正纷纷布局Token工厂，合规与全球低延迟分发是当前主要卡点。
匹配字段标题
UC San Diego 博士生 William Yijiang Li 在 ICML 2026 的访谈中介绍了论文《Vision Language Models Cannot Reason About Physical Transformation》，研究视觉语言模型能否随时间变化维持对物理世界的表征。团队提出 ConservationBench，覆盖数量、长度、体积、大小四类属性，并为每个守恒场景配对一个几乎相同但数量真正发生变化的非守恒对照。在 112 个模型上，多数系统仅略高于 33.3% 的随机水平，人类参与者约 98%；要求同时答对配对两题时，112 个模型中有 82 个低于 10% 准确率。增加帧数、改进帧选择、链式推理提示、模型规模扩大以及物理推理后训练均未消除这一失败模式，注意力分析显示模型在出错时更关注初始帧。
匹配字段标题
Baseten 工程博客研究栏目收录了多篇文章，包括《How we built the fastest GLM-5 on Artificial Analysis》、与 Harvey 合作的后训练前沿法律智能体、无暗面蒸馏、BYO SWE-grep 自动训练搜索子智能体（第一部分）、Lumina 客户在环自改进评估、基于注意力的归因以及带提示词变异的稳健样本高效 SFT。页面列出的热门模型包括 DeepSeek V4.1 Flash、GLM-5.3 Fast、GLM-5.3、GLM-5.3-Flash、Kimi K3 和 Whisper Large V3。
匹配字段标题
Baseten 工程博客作者基于 MetaInfer 技能框架，让 Claude Code 在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）自主构建推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍，并发 32 时单副本吞吐高出 71%。整个项目约一周、消耗约 17 亿 token 和 200 B200 小时，成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie，在单张 H100 上达到 91 张图/秒，比 Facebook 参考服务吞吐提升 50%，耗时数天、约 2 亿 token。
匹配字段标题