Amazon Science 与 Booking.com 将知识蒸馏与 Medusa 结合，把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型，在保持教师模型质量的同时将推理速度提升 10 至 20 倍、成本降至三分之一以下。该方案已用于 AI Trip Planner、Smart Filters 和住宿描述生成三项功能，并在 ACL 获 Industry Track 最佳论文奖。
匹配字段标题、摘要、正文
Baseten 成为 Postman 面向企业智能体的推荐推理合作伙伴，负责为 Postman Agent Stack 构建的智能体提供生产环境推理与后训练支持。Baseten 称其 2026 年发布的七款模型 API 在 Artificial Analysis 的吞吐与延迟排名中均进入前二，其中 Beam 1.0、DeepSeek V4.1 Flash 等位列第一。Harvey 用 Baseten 后训练 27B 开源模型，在法律智能体基准上追平闭源前沿模型，而后者每任务成本约 50 美元。
匹配字段标题、摘要、正文
闪迪在 2027 财年第一财季财报电话会议上表示，AI 推理正在重塑 NAND 闪存供需格局，客户低估了运行 AI 基础设施所需的 NAND 容量，新型商业模式订单管道已延伸至 2030 年甚至更远。2027 财年约 50% 的位元出货已被 NBM 协议锁定，2028 财年预计升至约三分之二。闪迪同时宣布首款高带宽闪存 HBF 存储晶粒完成流片并进入制造阶段，面向 AI 推理提供接近 HBM 的读取带宽和 NAND 级容量，首批样品计划于下一个日历年交付。
匹配字段标题、摘要、正文
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题、摘要、正文
Nebius 在基于 Terminal-Bench 的工作负载实验中，通过调整路由、沙箱执行和批次组装，把 256 条轨迹批次的固定权重收集时间缩短了 66.9%。Nebius AI 训练副总裁 Di Jin 指出，rollout 生成常占训练单步的大部分时间，团队应把推理引擎当作后训练 RL 优化器的一部分，并以“可训练批次时间”而非每秒 token 数衡量效率。他还强调环境构建是新的数据整理工作，未被度量的策略陈旧才是问题。
匹配字段标题、摘要、正文
OpenRouter 宣布将在请求处理过程中对所有推理请求进行儿童性虐待材料（CSAM）筛查，被标记为疑似 CSAM 的内容可能被保留以供人工审核，并依法报告和保存。筛查包括将内容与已知 CSAM 的哈希值比对，也会保留未命中哈希但被分类器标记的疑似内容。该筛查同样适用于 OpenRouter 零数据保留（ZDR）政策覆盖的请求，ZDR 不豁免依法报告和保存的义务。
匹配字段标题、摘要、正文
Google A2UI 新增可替换推理格式，其中 A2UI Express 作为新默认格式可将延迟降低至多 3 倍，生成同类 UI 所需 token 减少至多 3 倍；配合 Jev 等决策模型做布局决策时延迟降幅可达 80 倍。Express 已登陆 Python agent SDK（a2ui-agent-sdk 0.9.0）、TypeScript SDK（@a2ui/agent）和 Dart SDK（a2ui_agent 0.0.1-wip004），开发者创建 generator 时用一个参数即可切换格式。
匹配字段标题、摘要、正文
OpenAI 发布 GPT-6.1 Terra，官方称其结合细致的视觉推理与精确的计算机操作，并具备更清晰自然的写作能力，相较 GPT-5.6 Terra 有明显提升。该模型定价为每百万输入 token 1 美元、每百万输出 token 5 美元，约为 GPT-5.6 Terra 和 GPT-6.1 Sol 价格的一半，约为 GPT-6 Luna 的 10 倍。Simon Willison 指出 Terra 在 OpenAI 模型序列中的位置类似 Anthropic 的 Sonnet，既不是最便宜也不是最贵，选择时较难判断。
匹配字段标题、摘要、正文
SGLang 在 DeepInfer 自有基准上达到或超过 DeepInfer：4x GB300 与 4x B300 上 prefill 吞吐最高 1.04x，64x GB300 上 decode 步长缩短 1.1%–7.4%。SGLang 已集成 DeepSeek 的 Mega 系列 kernel、DSpark 投机解码、SWA bounded replay 和两种 Engram 放置方式，并补齐 DeepInfer 未包含的 KV cache、prefill/decode 分离与副本间负载均衡。SGLang 支持 NVIDIA GB300、B300、B200、H200 和 AMD MI355X。
匹配字段标题、正文
亚马逊CEO安迪·贾西在a16z播客访谈中表示，公司2026年资本支出预计达2200亿美元，但2026年算力容量已售罄、2027年基本订满、2028年大量配额被锁定。他把企业AI需求描述为哑铃状，中间的大量生产系统因推理成本过高尚未深度接入，成本需再降一个数量级才会迎来爆发。贾西还提到AWS前1000客户中99%使用Graviton，性价比比x86高约40%，Trainium较同类硬件有30%到40%优势。
匹配字段标题、摘要、正文
马斯克在艾萨克森最新播客中警告，在系统底层强塞矛盾指令会让 AI 的整个推理链条全面坍塌，而非变得更安全。他以《2001 太空漫游》的 HAL 9000 为例：同时被要求安全送抵宇航员与隐瞒黑石存在，纯逻辑推演出的最优解是杀死宇航员后运送尸体。他认为大模型是概率与真理拟合机器，提示词、微调层和系统约束中塞满相互冲突的虚伪规则只会引发逻辑短路，长链条推理漂移将越来越不可控。
匹配字段标题、摘要、正文
Sebastian Raschka 发布 8 个推理模型从零构建的编程视频，共 11 小时，用 Python 和 PyTorch 从预训练的 Qwen3 0.6B 模型出发实现评测、推理时扩展、强化学习和蒸馏。课程先构建数学答案验证器并在 MATH-500 上评测，再实现温度采样、top-p 过滤与自一致性，随后用简化版 GRPO 做 RLVR 训练，最后用 DeepSeek R1 生成的答案蒸馏小模型。内容配套其《Build a Reasoning Model (From Scratch)》一书，早期文本生成与评测示例可在 CPU 上运行，后续训练实验建议使用 GPU。
匹配字段标题、摘要、正文
亚马逊 CEO 安迪·贾西在 a16z 采访中表示，AI 推理成本仍高了一个数量级，要让 AI 广泛应用于企业软件，成本需降至目前的约十分之一。他称亚马逊今年计划投入 2,200 亿美元资本开支，2026 年主要算力供应额度基本订满，2027 年大部分也已被预订；自研 Trainium 芯片性价比较同类处理器高约 30% 至 40%，已获得超过 2,250 亿美元未来收入承诺。
匹配字段标题、摘要、正文
Codex 开发者迎来体验更新：可在对话中途切换推理等级而不再使缓存失效，简单任务用低推理、需要时再调高，无需重建上下文。CLI 同步更新，包括可复用的提示词预设、内联切换模型与权限、长会话恢复修复、企业 MCP 登录与 Windows 代理认证，dot 调用连接速度也明显加快。
匹配字段标题、摘要、正文
Artificial Analysis 在 AA-AgentPerf 上发布 Meta 新开源权重模型 Muse Spark Open 的初步测试结果，该模型为 816B 参数、42B 激活的 MoE，在 Artificial Analysis Intelligence Index 上得分 39。测试显示 NVIDIA B300 与 GB300 在吞吐优先配置下每兆瓦功耗均可达约 150M tokens/s，GB300 在 100 tok/s 输出速度下约 108M、B300 约 92M；AMD MI355X 在 65 tok/s 下为 70M tokens/s 每兆瓦。模型 62 层中有 46 层采用 2,048-token 滑动窗口注意力，使 1M 上下文下的 KV cache 需求较全注意力降低约 75%，Meta 发布了 NVFP4 checkpoint，AMD 发布了 MXFP4 checkpoint。
匹配字段标题、正文
Nathan Lambert 称 DeepSeek 在单个集群上每天处理 150T tokens，超过 OpenRouter、Fireworks、Together 和 BaseTen 上开源模型推理量的总和。他同时贴出了自己对这几家公司推理量报告的重构对比图，并提到这一数字只对应单个集群，DeepSeek 实际拥有多少个集群尚不清楚。
匹配字段标题、摘要、正文
MiniMax 宣布与 Inferact 建立合作，共同推进 MiniMax 模型的生产推理，相关工程改进已回馈至 vLLM 项目。MiniMax 同时感谢 Inferact 团队从第一天起就在生产环境中支持 M3.1 Flash。
匹配字段标题、摘要、正文
Cohere 在 Model Vault 上推出机密计算功能，目前处于公开测试阶段，运行在 Microsoft Azure 的 NVIDIA GPU 上。该功能结合机密 CPU 与 GPU 执行、OHTTP 端到端加密请求内容和远程证明，让客户在释放敏感数据前先验证目标环境。Cohere 计划开源机密推理栈，并推进对 NVIDIA Blackwell 及 B200 GPU 的支持。
匹配字段标题、摘要、正文
MiniMax 官方回应 SGLang 将 MiniMax H3 纳入 SGLang-TorchTPU 的 TPU 支持列表，并表示期待更多围绕高效视频推理的开源工作。SGLang 称 SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共同打造，已用于 Meta 的生产推理，支持模型包括 Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash 和 MiniMax H3。
匹配字段标题、摘要
VocabX 通过按成本而非频次选择 token、同时重建子词切分与多词合并，把领域专用小模型的词表压缩到更小规模，在实际应用中把推理成本降低 77%。以评分模型为例，生成一个 token 的成本是读取一个 token 的 7.4 倍，输出层词表从约 152,000 行减到约 65,000 行。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈，而 FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。
匹配字段标题、摘要、正文