韩国 AI 实验室 Upstage 发布专有推理模型 Solar Mini 4，官方称其 35B 总参数、3B 激活参数，在 3B 激活以下模型中创下 Intelligence Index 与激活参数的新帕累托最优点，比上一代旗舰 Solar Pro 3 高 16 分，价格降至每 1M 输入/输出 token 0.10/0.40 美元。Artificial Analysis 测得它在 AA-LCR v1.1 上得 83%，与 MiniMax-M3、GPT-6 Luna (max) 持平；但智能体编码较弱，Terminal-Bench 4.0 仅 1%、AutomationBench-AA 22%。该模型为专有模型、权重未公开，仅支持文本输入输出，知识截止 2026 年 2 月。
匹配字段标题、摘要
期待看到当模型推理几乎瞬时完成时，人们接下来会抱怨哪些新的瓶颈 🙃 神圣的不满！
匹配字段标题、摘要
Baseten 宣布与 OpenAI 合作，成为 OpenAI B2B Marketplace 中首批开源模型推理供应商之一，并在 Codex 内提供原生集成。OpenAI 企业客户可用现有 OpenAI 承诺额度，在 Codex 或 Responses API 中调用由 Baseten 服务的开源模型。Baseten 称其推理运行在美国基础设施上，对所有提示词实行零数据保留（ZDR），并支持将部署固定到特定区域。
匹配字段标题、摘要
Cognition 指出 GPT-6.1 Sol 在低推理档位下得分为 58.1%，单任务成本 0.21 美元，高于同档位 GPT-6 Sol 的 50.5%。该成绩是排行榜上单任务成本低于 0.30 美元的模型中最高分。Cognition 同时给出了试用入口。
匹配字段标题、摘要
Inception 发布 Mercury 2，称其为全球最快的推理语言模型，采用扩散式并行精炼而非自回归逐 token 解码，生成速度提升超过 5 倍。官方数据为 NVIDIA Blackwell GPU 上 1,009 tokens/sec，定价 $0.25/1M 输入 token、$0.75/1M 输出 token，支持可调推理、128K 上下文、原生工具调用和 schema 对齐的 JSON 输出，并兼容 OpenAI API。该模型面向编码补全、智能体循环、实时语音和搜索 RAG 等延迟敏感场景，现已可用。
匹配字段标题、摘要
Artificial Analysis 开源 AA-AgentPerf-Local，通过回放真实智能体会话在笔记本和工作站上测试本地模型推理性能，并发布配套榜单。默认负载为 8 个记录任务、168 个模型轮次，上下文增长至约 56K tokens，默认跳过工具执行以隔离推理速度。首批硬件包括 NVIDIA DGX Spark（128 GB）、AMD Ryzen AI Halo（128 GB）、MacBook Pro M5 Pro（64 GB）和 NVIDIA GeForce RTX 5090（32 GB），首批模型为 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B 和 Ling 3.0 Flash（124B / 5B active），均采用 4-bit 量化。
匹配字段标题、摘要
Inception Labs 发布 Mercury 2，称其为全球首个推理扩散语言模型，在标准 NVIDIA GPU 上解码速度超过 1000 tokens/秒，300 token 的推理轨迹可在 300 毫秒内完成，把推理等待从 3 秒降到 300 毫秒。该模型提供 instant、low、medium、high 四档 reasoning_effort，其中 medium 在 IFBench 上比 GPT 4.1 高 27 分、在 Tau3Bench Telecom 上高 24 分，且仍快于 GPT 4.1 的非推理解码。Mercury 2 定价为输入 $0.25/M tokens、输出 $0.75/M tokens，兼容 OpenAI API，可接入 LiveKit、Pipecat、Vapi、Retell 等现有编排栈，API 已在 platform.inceptionlabs.ai 上线。
匹配字段标题、摘要
Inception Labs 宣布 Mercury 2 上线 Azure AI Foundry，该模型采用扩散架构并行生成 token，官方称生成速度提升超过 5 倍，在 NVIDIA Blackwell GPU 上达到 1,009 tokens/sec。模型定价为每百万输入 token 0.25 美元、每百万输出 token 0.75 美元，支持 128K 上下文、原生工具调用和 JSON schema 结构化输出，API 兼容 OpenAI，目前在美国和加拿大区域提供。
匹配字段标题
我们造出了超智能模型。 然后问人类： 低、中、高、XHigh，还是 Max？
匹配字段标题
GitHub 开源项目 Colibrì 用纯 C 实现分层推理，把 MoE 模型不常用的路由专家放在 NVMe SSD 上按需读取，让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB 左右 RAM 的机器上运行，GPU 不是必需品，项目已获 32k Star。作者最初的开发机只有 12 核 CPU 加 25GB RAM，冷缓存时速度约 0.05～0.1 token/s，靠 LRU 缓存、专家使用频次统计和提前一层预测专家（可预测性 71.6%）把速度提上来，128GB RAM 纯 CPU 桌面机约 1.8 token/s，6 张 RTX 5090 可达 5.8～6.8 token/s。目前它已覆盖 9 个模型家族，从 GLM-5.2/5.3、DeepSeek V4 Flash、Qwen 到 975B 的 Inkling 和 2.8T 参数的 Kimi K3，后者约需 1.6TB 存储、RAM 32GB 起步。
匹配字段标题、摘要、正文
斯坦福大学 Jacky Kwok 等人发布新方式 Contrastive Language Model（CLM）及基于 Qwen3-8B 的 CLM-v0.1-8B，用于让 AI 智能体从给定候选中快速选择下一步操作或工具。在计算机操作、游戏和工具调用任务中，CLM-8B 性能与 TypeSafe AI 的判断模型 Jev 相当，零样本评测下推理速度最高提升 9 倍，候选多或动作可复用时提速最明显。代码在 GitHub、模型在 Hugging Face 以 Apache 2.0 许可公开，团队还在训练多模态版 CLM-35B，计划 10 月上旬发布。
匹配字段标题、摘要
Debian 项目在 Scaleway 赞助下推出 Debian Inference Portal，持有 Salsa 账号的 DD 和 DM 可免费通过 API 调用 DeepSeek V4 Flash 与 GLM-5.2 两个模型。默认预算为 DD 每周 25 美元、DM 每周 10 美元，支持任何兼容 OpenAI API 格式的编辑器或工具接入，用途限于打包、缺陷分类修复、工具开发与文档撰写等贡献工作。
匹配字段标题
Modal 与卡内基梅隆大学 Full Stack Data Lab 合作推出面向 AI-SQL 的查询感知推理层 Quail，在单个 H100 GPU 上处理速度超过 10 亿 tokens/分钟，比同硬件的 vLLM 基线快 10 倍以上，Modal 上成本低于每 10 亿 tokens 6 美分。在 AI-SQL 查询基准上，Quail 几何平均比 vLLM 快 1.84 倍。其核心思路是利用结构化查询预先编排请求，改进 KV 缓存与淘汰，并降低小模型大量小请求的主机开销。
匹配字段标题、摘要
微软研究院发布首个针对机器人工作负载的系统性研究，聚焦移动机器人操作任务，评估语义建图与规划、导航、操作三类模型在机载、边缘和云端算力配置下的表现。结果显示，卸载推理可提升响应时间与准确率并延长续航：在内存足够的 GPU 上，建图与规划相比 A100 最多慢 383%，轻量 GPU 上导航的障碍物及时检测下降 30%，VLA 模型准确率下降 50%；用 Raspberry Pi-5 替代机载 GPU 后，Jetson Thor 等较大机载 GPU 最多消耗 160% 的电池。微软同时在 Physical AI Toolchain 中加入物理 AI 推理卸载能力，提供 SO-101 与 UR10e 的示例项目，并演示将 Rho 模型推理卸载到 Jetson Thor 以控制 Mobile Aloha 机器人。
匹配字段标题、摘要
NVIDIA 发布 SWE-Serve，用 53 个源自 83 个已合并 SGLang PR 的推理工程任务评测 AI 编码智能体，覆盖模型启用、解码、缓存、调度、服务 API 和分布式执行六类。在 19 个启动真实服务器的任务中，同一批补丁完整验证通过率为 45.9%，去掉实时服务检查后升至 69.4%，约三分之一补丁在真实服务路径上失败。11 个模型在 mini-swe-agent 闭卷条件下平均 pass@1 为 34.6% 至 75.5%，Claude Opus 5 与 GPT-5.6 Sol 最高约 75%。
匹配字段标题、摘要
Modal 官方工程博客复盘了为编码智能体提供推理服务的优化过程，以 Moonshot AI 的 Kimi K2.6 为例，单副本每用户性能提升 2.8 倍、副本整体提升 5.6 倍。他们用 NVFP4 微缩放格式在 B200 上部署约一万亿参数的模型，基于 SGLang 打补丁并回馈上游，通过 DFlash 投机解码、KV cache 量化与 HiCache 扩展缓存，再配合负载感知的有状态路由，把服务扩展到每天处理数千亿 token。相关代码与配置已作为 Modal Auto Endpoints 的开源后端发布。
匹配字段标题、摘要
NVIDIA 机密计算（CC）通过内存加密的机密虚拟机、机密 GPU 和加密 NVLink，让生产级 AI 推理运行在可信硬件上。在 8 块 NVIDIA B200 GPU 上运行 DeepSeek-R1 的受控对比中，CC 开启后保留了基线 96.1%–98.2% 的输出 token 吞吐，单 token 延迟（TPOT）仅增加 1.2%–4.3%（并发 1–16）。TensorRT LLM 为此改用可分页内存、异步 token 回读，并以 GPU %globaltimer 替代 CUDA events 做内核自动调优。
匹配字段标题、摘要
OpenRouter 上线 Batch API，把请求打包提交后由服务商在 24 小时窗口内自行安排完成时间，价格通常为正常每 token 单价的 50%，部分模型更低，目前支持 70 多个模型。两周 beta 期间完成的 23 万多个批次中，中位完成时间为 7 分钟，90% 在一小时内完成；太平洋时间 5 点至中午提交的批次明显更慢。该接口为异步设计，支持 chat completions、responses、messages 和 embeddings 等请求形态，输入与结果保留 30 天。
匹配字段标题
NVIDIA Dynamo-Triton 26.07 启用 TensorRT 后端的多设备推理能力，一个 KIND_MODEL 实例可占用多块 GPU 并通过单个 gRPC 端点对外提供分布式推理服务，TensorRT 11.0 起完整支持该能力。以 Cosmos 3 Nano 视频生成为例，Ulysses 上下文并行把 44,160 个视频 token 分配到最多八块 GPU，端到端生成延迟从单 GPU 的 156.6 秒降至八 GPU 的 34.2 秒，transformer RPC 加速比达 6.09 倍。CP2、CP4、CP8 的输出通过 MAE ≤ 25 与 PSNR ≥ 18 dB 的质量阈值校验，但该基准未测量并发吞吐、单视频成本或 TCO。
匹配字段标题、摘要
SemiAnalysis 梳理了 MoE 模型映射到推理硬件时的计算与数据搬运问题，指出 MoE 改变了服务结构与推理经济性：每个 token 激活的张量不同，对本地带宽、网络链路和内存搬运的要求也不同。文章把推理流程拆为 Prefill、Midfill、Decode attention、Decode experts 四个阶段，并讨论聚合与分离部署的取舍。
匹配字段标题、摘要