DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，后者把官方线上 API 的 Token 编解码逻辑原样公开。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，官方称后续新模型的推理代码也会持续合入该仓库。据仓库 README，此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内，硬件仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，模型仅限 V4.1-Flash。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，Attention DP 与均衡 CP、MoE EP 加 EPLB 等并行策略，以及 DSpark 与置信度调度验证、SWA 有界重放、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。马东锡 NLP 转发了这一消息并称 Respect。
匹配字段标题、摘要
DeepSeek 开源了支撑其线上服务的高性能推理框架 DeepInfer，采用 Apache 2.0 许可证，本次聚焦离线推理，主要基于 vLLM 构建并借鉴 SGLang 和 TensorRT-LLM。它把此前分散开源的 FlashMLA、DeepGEMM、DeepEP、EPLB 等内核集成为完整引擎，补齐调度、并行与投机解码等系统层，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。原文还拆解了 DSpark 投机解码、YoCo SWA 有界重放、异步调度、批不变确定性推理和 regex/JSON schema/EBNF 结构化输出等设计。
匹配字段标题、摘要、正文
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB，并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
匹配字段标题、摘要
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担。
匹配字段标题、摘要
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段标题、摘要
MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。该模型在 Humanity's Last Exam 上得 48%，CritPt 得 22%，AA-Omniscience 事实准确率 56%，但幻觉率达 93%。它支持 100 万 token 上下文和文本、图像输入，API 定价为每百万输入 token 0.15 美元、输出 0.60 美元，计划 10 月 23 日开放权重。
匹配字段标题、摘要
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐；DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
匹配字段标题、摘要、正文
vLLM 新增基于 push 的 NIXL connector，把 prefill 后的传输协调与建立过程移出关键路径，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证，随后作为与加速器无关的特性贡献给 vLLM，pull 模式下由 decode 实例发起 NIXL READ 的串行步骤被改为由 prefill 侧后台线程发起 NIXL WRITE。
匹配字段标题
MiniMax 于 10 月 19 日更新模型 MiniMax M3.1 Flash，其早期版本曾以匿名身份“太空兔”（Space Bunny）测试，已处理超过 200T Token。该模型在 Agentic 任务、编程、Computer Use 及网络安全能力上实现代际提升，线上推理速度提升近 3 倍，使用成本降低 70%。MiniMax 称追求智能上限的 Pro 版本也会在稍后推出。
匹配字段标题、摘要、正文
由前 Google DeepMind 研究负责人、AlphaGo 共同创造者 Thore Graepel 联合创办的伦敦 AI 公司 Metis Reasoning 正式成立，寻求一条区别于 Anthropic 和 OpenAI 前沿模型的算力高效路线，据信初期融资数千万美元。公司团队共 12 人，涵盖研究者、数学家、机器人专家和技术创业者，认为 LLM 在推理上存在根本局限、结果难以验证且缺乏审计轨迹，其方法更可验证、更稳健也更安全，并称已在前沿推理问题上以远低于前沿模型的成本取得一些积极结果。Metis 尚未公布首个 AI 模型的发布时间。
匹配字段标题、摘要、正文
稀宇科技（MiniMax）于 10 月 19 日上线 MiniMax M3.1 Flash 模型，线上推理速度较此前提升近 3 倍，Agent 类任务综合使用成本降低 70%。该模型在 BankerToolBench 取得 76.2 分、DeepSWE v1.1 取得 73.7%，OSWorld V2 和 ALE 分别为 61.7 分和 29.6 分，官方称两项 Computer Use 成绩均位列国产模型第一。M3.1 Flash 已上线 MiniMax API、MPlan 和 MiniMax Code，API 输入价格为每百万 Token 1 元、输出 4 元，模型权重计划稍后开放。
匹配字段标题、摘要、正文
Mistral AI 发布首个时间序列基础模型系列 Timestral，包含 5M、28M、123M、209M 四个零样本预测模型，支持最长 32,768 个时间步的上下文。据 Mistral 自测，209M 版本在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第一，fev-bench SQL skill 得分为 50.39，高于 TimesFM-3 的 48.99。模型无需 GPU，在 8 线程服务器 CPU 上 209M 版本单次预测耗时 140 ms，权重以 Modified MIT 许可开放，可通过 pip 安装并部署在本地、VPC 或隔离环境。
匹配字段标题
北京存算协同芯片企业铭芯启睿完成超4亿元A轮融资，由博原资本领投，米哈游、兆易创新等跟投，小米战投等老股东加注，并宣布启动第一代推理芯片LPU研发。前Graphcore总裁兼大中华区总经理卢涛加入担任CEO和联合创始人，资金将用于RRAM产业化与商业化及LPU研发。该公司成立于2024年5月，由中科院刘明院士团队孵化，累计融资近6亿元。
匹配字段标题、摘要、正文
Simon Willison 发布 LLM 调试插件 llm-echo 0.5，该插件提供一个不涉及 LLM 的 echo 模型，只回显输入的提示词。新版本更新了模拟 token 用量统计，将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 个输入 token、24 个输出 token。
匹配字段标题、摘要
斯坦福 CS336 第 10 讲「Inference」由 Percy Liang 讲授，用一条数学主线串起架构、算法与系统三层推理优化：架构层用 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏压缩 KV cache 与参数，算法层用投机采样实现无损加速，系统层引入连续批处理、分页、前缀共享与写时复制。讲义为可执行形式，公式由 sympy 逐步推导并断言验证。Percy 认为 KV cache 是 Transformer 对推理不友好的结构性根源，为推理原生设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是最大改进空间。
匹配字段标题、摘要、正文
Intel 于 10 月 16 日发布 Intel Inference Microservice，这款容器化软件用于在 Xeon 服务器 CPU 上最大化 AI 推理性能，可快速为 CPU 优化 LLM。软件启动时会检测 Intel 处理器并套用预先验证调优的推理设置，默认推理引擎为开源 vLLM，并支持 OpenAI SDK、LangChain、LlamaIndex、LiteLLM 和 Haystack 等框架。Intel 计划将支持扩展到其全部 GPU 产品线，包括面向 AI 推理的 D 系列 GPU。
匹配字段标题、摘要
美光（Micron）正在开发面向物理 AI 的边缘推理内存 EIM，将 LPDDR 堆叠在逻辑裸片上，以降低 AI 推理延迟并提升带宽。美光副总裁 Lee Cheol 在 SEDEX 2026 上表示，正与主要客户讨论适配自动驾驶、人形机器人、AR/VR 等新兴市场的产品，并计划将 EIM 应用于 LPDDR6，业界预计 2028 年下半年量产。美光预计未来高性能人形机器人需要约 200GB DRAM 和 4TB 存储，当前服务机器人仅 12GB DRAM 和 256GB 存储。
匹配字段标题、摘要
LMSYS 发布 SGLang Low-Latency Mode，通过插件框架把专用 kernel 接入 SGLang，在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace，单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s（1.38×）；在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s（1.56×）。NVIDIA 侧 kernel 位于 sgl-nvidia-mega，AMD 侧位于 sgl-amd-mono，均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段标题、摘要
北京大学与三星的论文提出 TORSI 方法，让慢推理模型在局间研究快模型的失败并写出指令，快模型 Jev 在实时游戏中平均得分从 13.51 提升至 24.19，6 类游戏全部改善。他们构建的 RealtimeBench 包含 Mario、Snake、Tetris 等 6 款游戏的 180 个任务，推理期间游戏持续运行；暂停时 GPT-6.1-sol 在 6 款游戏中 5 款胜过 Jev，但实时对局仅得 1.51 分，远低于 Jev 的 13.51 分。作者建议实时智能体保留快模型在环，用慢模型离线编写和测试指令。
匹配字段标题、摘要