DeepSeek 以 Apache-2.0 协议开源大规模推理框架 DeepInfer
DeepSeek 以 Apache-2.0 协议开源了高性能大规模推理框架 DeepInfer。该框架支持优化后的 kernel、模型与采样器运行时，并行方面提供 Attention DP、balanced CP 以及 MoE EP + EPLB，并包含 DSpark 与置信度调度验证、SWA bounded replay、零开销批调度器的异步调度、批不变推理、确定性采样和结构化输出。
匹配字段标题、摘要
←搜索结果
搜索“推理”
DeepSeek 开源自研推理框架 DeepInfer
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。官方表示分享生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担。
匹配字段标题、摘要
蚂蚁 inclusionAI 开源 vLLM-Omni 全模态模型推理服务框架
蚂蚁 inclusionAI 在 GitHub 发布 vLLM-Omni 仓库，这是一个在 vLLM 基础上扩展全模态模型推理与服务的框架，支持文本、图像、音频、视频和动作数据处理，并支持 DiT 等非自回归架构。README 显示其已迭代至 0.30.0，对齐 vLLM 0.30.0，新增 MiniCPM-o 4.5 与 AURA 的全双工会话服务、Mooncake AR-to-DiT 跨阶段 KV 与多模态传输，以及在 NVIDIA Blackwell 和昇腾 950 上的 MiniMax H3 Turbo 实时推理。框架提供 OpenAI 兼容 API 服务、流式输出和分布式并行推理，并列出 Qwen3-Omni、MiniMax H3、Wan2.2、π0.5 等已支持模型。
匹配字段标题、摘要
MiniMax 发布 M3.1 Flash 推理模型，每任务成本约 0.22 美元
MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得 42 分，比前代 M3 高 13 分，每任务成本不到其一半。该模型在 Humanity's Last Exam 上得 48%，CritPt 得 22%，AA-Omniscience 事实准确率 56%，但幻觉率达 93%。它支持 100 万 token 上下文和文本、图像输入，API 定价为每百万输入 token 0.15 美元、输出 0.60 美元，计划 10 月 23 日开放权重。
匹配字段标题、摘要
DeepSeek 宣布全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源，目标是帮助开发者与企业优化大规模推理的吞吐与延迟、降低算力成本。DeepInfer 集成高性能算子与推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。同步开源的还有生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐；DeepSeek 已基于 DeepInfer 提供 DeepSeek V4.1 Flash 的大规模推理服务。
匹配字段标题、摘要、正文
vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT
vLLM 新增基于 push 的 NIXL connector，把 prefill 后的传输协调与建立过程移出关键路径，在 1P1D 的 Amazon EC2 P5en + EFA 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍、TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上构建验证，随后作为与加速器无关的特性贡献给 vLLM，pull 模式下由 decode 实例发起 NIXL READ 的串行步骤被改为由 prefill 侧后台线程发起 NIXL WRITE。
匹配字段标题
MiniMax 发布 M3.1 Flash 模型，推理提速近 3 倍、成本降 70%
MiniMax 于 10 月 19 日更新模型 MiniMax M3.1 Flash，其早期版本曾以匿名身份“太空兔”（Space Bunny）测试，已处理超过 200T Token。该模型在 Agentic 任务、编程、Computer Use 及网络安全能力上实现代际提升，线上推理速度提升近 3 倍，使用成本降低 70%。MiniMax 称追求智能上限的 Pro 版本也会在稍后推出。
匹配字段标题、摘要、正文
前 Google DeepMind 研究员创立伦敦 AI 公司 Metis Reasoning，主打算力高效推理
由前 Google DeepMind 研究负责人、AlphaGo 共同创造者 Thore Graepel 联合创办的伦敦 AI 公司 Metis Reasoning 正式成立，寻求一条区别于 Anthropic 和 OpenAI 前沿模型的算力高效路线，据信初期融资数千万美元。公司团队共 12 人，涵盖研究者、数学家、机器人专家和技术创业者，认为 LLM 在推理上存在根本局限、结果难以验证且缺乏审计轨迹，其方法更可验证、更稳健也更安全，并称已在前沿推理问题上以远低于前沿模型的成本取得一些积极结果。Metis 尚未公布首个 AI 模型的发布时间。
匹配字段标题、摘要、正文
MiniMax 发布 M3.1 Flash 模型，推理速度提升近 3 倍
稀宇科技（MiniMax）于 10 月 19 日上线 MiniMax M3.1 Flash 模型，线上推理速度较此前提升近 3 倍，Agent 类任务综合使用成本降低 70%。该模型在 BankerToolBench 取得 76.2 分、DeepSWE v1.1 取得 73.7%，OSWorld V2 和 ALE 分别为 61.7 分和 29.6 分，官方称两项 Computer Use 成绩均位列国产模型第一。M3.1 Flash 已上线 MiniMax API、MPlan 和 MiniMax Code，API 输入价格为每百万 Token 1 元、输出 4 元，模型权重计划稍后开放。
匹配字段标题、摘要、正文
Mistral AI 发布 Timestral 时间序列基础模型，最大 209M 参数可在 CPU 推理
Mistral AI 发布首个时间序列基础模型系列 Timestral，包含 5M、28M、123M、209M 四个零样本预测模型，支持最长 32,768 个时间步的上下文。据 Mistral 自测，209M 版本在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第一，fev-bench SQL skill 得分为 50.39，高于 TimesFM-3 的 48.99。模型无需 GPU，在 8 线程服务器 CPU 上 209M 版本单次预测耗时 140 ms，权重以 Modified MIT 许可开放，可通过 pip 安装并部署在本地、VPC 或隔离环境。
匹配字段标题
铭芯启睿完成超4亿元A轮融资，启动第一代推理芯片LPU研发
北京存算协同芯片企业铭芯启睿完成超4亿元A轮融资，由博原资本领投，米哈游、兆易创新等跟投，小米战投等老股东加注，并宣布启动第一代推理芯片LPU研发。前Graphcore总裁兼大中华区总经理卢涛加入担任CEO和联合创始人，资金将用于RRAM产业化与商业化及LPU研发。该公司成立于2024年5月，由中科院刘明院士团队孵化，累计融资近6亿元。
匹配字段标题、摘要、正文
llm-echo 0.5 发布：LLM 调试插件新增工具调用与推理 token 计数
Simon Willison 发布 LLM 调试插件 llm-echo 0.5，该插件提供一个不涉及 LLM 的 echo 模型，只回显输入的提示词。新版本更新了模拟 token 用量统计，将工具调用、系统提示词和推理 token 纳入计算。示例中 `llm -m echo 'hi there' -o thinking 1 --usage` 显示 2 个输入 token、24 个输出 token。
匹配字段标题、摘要
斯坦福 CS336 第10讲：Percy Liang 讲推理优化
斯坦福 CS336 第 10 讲「Inference」由 Percy Liang 讲授，用一条数学主线串起架构、算法与系统三层推理优化：架构层用 GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏压缩 KV cache 与参数，算法层用投机采样实现无损加速，系统层引入连续批处理、分页、前缀共享与写时复制。讲义为可执行形式，公式由 sympy 逐步推导并断言验证。Percy 认为 KV cache 是 Transformer 对推理不友好的结构性根源，为推理原生设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是最大改进空间。
匹配字段标题、摘要、正文
Intel 发布面向 Xeon CPU 的 AI 推理软件 Intel Inference Microservice
Intel 于 10 月 16 日发布 Intel Inference Microservice，这款容器化软件用于在 Xeon 服务器 CPU 上最大化 AI 推理性能，可快速为 CPU 优化 LLM。软件启动时会检测 Intel 处理器并套用预先验证调优的推理设置，默认推理引擎为开源 vLLM，并支持 OpenAI SDK、LangChain、LlamaIndex、LiteLLM 和 Haystack 等框架。Intel 计划将支持扩展到其全部 GPU 产品线，包括面向 AI 推理的 D 系列 GPU。
匹配字段标题、摘要
美光开发面向人形机器人的 EIM 边缘推理内存
美光（Micron）正在开发面向物理 AI 的边缘推理内存 EIM，将 LPDDR 堆叠在逻辑裸片上，以降低 AI 推理延迟并提升带宽。美光副总裁 Lee Cheol 在 SEDEX 2026 上表示，正与主要客户讨论适配自动驾驶、人形机器人、AR/VR 等新兴市场的产品，并计划将 EIM 应用于 LPDDR6，业界预计 2028 年下半年量产。美光预计未来高性能人形机器人需要约 200GB DRAM 和 4TB 存储，当前服务机器人仅 12GB DRAM 和 256GB 存储。
匹配字段标题、摘要
LMSYS 推出 SGLang 低延迟模式，NVIDIA 与 AMD GPU 推理提速
LMSYS 发布 SGLang Low-Latency Mode，通过插件框架把专用 kernel 接入 SGLang，在 NVIDIA 和 AMD GPU 上降低推理延迟。在四块 NVIDIA GB300 上回放 AgentX trace，单并发会话的 P90 每用户 token 生成速度从 671.2 提升到 928.4 tokens/s（1.38×）；在四块 AMD MI355X 上四并发会话从 331.6 提升到 516.0 tokens/s（1.56×）。NVIDIA 侧 kernel 位于 sgl-nvidia-mega，AMD 侧位于 sgl-amd-mono，均针对 DeepSeek-V4.1-Flash 与 DSpark 的验证和草稿执行做优化。
匹配字段标题、摘要
北大与三星论文：慢推理模型离线指导快模型，实时游戏得分从13.51升至24.19
北京大学与三星的论文提出 TORSI 方法，让慢推理模型在局间研究快模型的失败并写出指令，快模型 Jev 在实时游戏中平均得分从 13.51 提升至 24.19，6 类游戏全部改善。他们构建的 RealtimeBench 包含 Mario、Snake、Tetris 等 6 款游戏的 180 个任务，推理期间游戏持续运行；暂停时 GPT-6.1-sol 在 6 款游戏中 5 款胜过 Jev，但实时对局仅得 1.51 分，远低于 Jev 的 13.51 分。作者建议实时智能体保留快模型在环，用慢模型离线编写和测试指令。
匹配字段标题、摘要
Elorian 发布视觉推理模型 Glimpse
Elorian 发布首个视觉推理模型 Glimpse，用于比较视频中不同时间点的场景变化，并在变化细微或快速时回看原片段。Elorian 将这种基于帧的推理称为 visual thinking，Glimpse 在推理过程中可回到源视频、裁剪区域、抽取指定帧或运行代码来测量和比较所见内容，该机制被称为 visual scratch space。联合创始人 Andrew M. Dai 称其在关键公开视觉推理基准上具备与 Astra 竞争的前沿性能。
匹配字段标题、摘要、正文
Jeff Dean 称赞 Elorian 发布视觉推理模型 Glimpse
Andrew M. Dai 宣布推出 Glimpse，称这是 Elorian 首个视觉思考模型，在关键公开视觉推理基准上达到与 Astra 相当的前沿性能，并解决了模型只看单张静态图像、遇到运动或视角变化就失效的问题。Jeff Dean 转发并称赞 AndrewDai 和 Elorian 团队的工作。
匹配字段标题、摘要
Elorian 发布首个模型 Glimpse，以视觉草稿空间做图像推理
Elorian 发布首个模型 Glimpse，以研究预览形式开放 API，聊天界面需排队等候。该模型在推理过程中可裁剪图像区域、抽取视频帧或运行代码来测量和比较所见内容，Elorian 称之为视觉草稿空间。Glimpse 定价为每百万 token 输入 0.60 美元、输出 3 美元，据 Elorian 评测在科学图表推理和短视频描述上超过 GPT-6 Astra。公司称该模型用数百块 GPU 训练，规模明显小于对标的 frontier 系统，初期面向机器人、科研实验室和媒体创意等拥有大量视频的企业。
匹配字段标题、摘要、正文