DeepSeek 开源了用于生产环境服务其模型的自研推理框架 DeepInfer，采用 Apache 2.0 许可，可让开发者在自有基础设施上运行 DeepSeek-V4.1-Flash，并计划支持后续模型。该框架包含 FlashMLA、DeepGEMM、DeepEP 等优化计算内核与通信库，支持投机解码、异步调度和结构化输出，同时开源了处理请求与响应转换的 deepseek-recipe 库（提供 Rust 和 Python 版本）。硬件方面首日支持 Nvidia SM100（Blackwell）架构和华为昇腾 950 NPU 系列，Hopper 等旧架构未列入；批量不变推理与确定性采样仅在 Nvidia 硬件上可用，公开性能数据也基于 Nvidia GPU。当前版本支持离线推理，但缺少 KV cache 管理、跨机推理阶段分离和副本负载均衡等完整生产服务组件。
匹配字段标题、摘要、正文
Zyphra 发布第二代推理优化 ZOE，在 AMD Instinct MI355X 上把 GLM-5.3 在 512K 上下文下的首 token 延迟（TTFT）从 178.8 秒降至 64.6 秒（2.8 倍），90% 前缀缓存命中时从 42.3 秒降至 11.8 秒（3.6 倍）。其 CSA top-K 选择 HIP kernel 让 DeepSeek-V4-Pro 在 1M 上下文下单用户解码吞吐从 43.5 提升到 61.1 tokens/s（1.40 倍）。GLM-5.3 的 AMD MXFP4 量化把模型从 756 GB 压到 410 GB，AIME25 等基准分数与 FP8 相差 3 分以内。
匹配字段标题、摘要、正文
DeepSeek 以 Apache 2.0 协议开源了其生产服务所用的推理框架 DeepInfer，该框架目前只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 和华为昇腾 950 上。官方称单个集群每天可服务 155 万亿 token，在 131,072 上下文、64 卡解码配置下解码吞吐超过 25,000 tokens/s/GPU。此次发布仅覆盖离线推理，KV cache 系统、P/D 分离和负载均衡未包含在内，DeepSeek 表示这些组件与内部基础设施紧密耦合。
匹配字段标题、摘要
Google 发布基于 TorchTPU 的 vLLM 与 SGLang 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。官方称在 Ironwood TPU（TPU 7x）上跑 Qwen 3.5 时，高并发配置下每百万 token 成本为 2.01 美分，并已在 SemiAnalysis InferenceX 的 AgentX 赛道提交结果。功能上支持前缀缓存与 KV cache 卸载、投机解码、分离式服务以及图像视频输入的多模态模型，SGLang-TorchTPU 已在 Meta 生产环境使用。
匹配字段标题
DeepSeek 开源了自研推理框架 DeepInfer，并同时放出 deepseek-recipe 等用于部署 DeepSeek 模型的关键组件。DeepInfer 已在生产环境中支撑 DeepSeek-V4.1-Flash 的大规模服务，主打高吞吐与低延迟。DeepSeek 表示公开生产栈是希望帮助社区降低算力成本、减少能耗，并让更多机构部署 DeepSeek 模型。
匹配字段标题、摘要
DeepSeek 宣布开源内部推理框架 DeepInfer，该框架支撑 DeepSeek-V4.1-Flash 的大规模运行，主打高吞吐和低延迟。DeepSeek 表示公开这套生产栈是为了帮助社区降低算力成本、减少能耗，让 AI 更可负担，并附上了仓库链接。Yuchen Jin 转发该消息并评论 Real Open AI。
匹配字段标题、摘要
Hugging Face 的 Thomas Wolf 转发 DeepSeek 开源推理框架 DeepInfer 的消息，并盘点其此前开源的项目：FlashMLA 在 H800 上实现 580 TFLOPS 注意力、DeepEP 负责 MoE 通信、DeepGEMM 实现 1350+ FP8 TFLOPS 矩阵乘、3FS 是自建文件系统。DeepSeek 称 DeepInfer 支撑 DeepSeek-V4.1-Flash 的大规模高吞吐低延迟推理，此次以 Apache 2.0 协议开放生产栈，目标是帮助社区降低算力与能耗成本。
匹配字段标题、摘要
DeepSeek 以 Apache 2.0 许可证开源了其生产服务所用的推理引擎 DeepInfer，8 小时内获得 6.3K+ stars。该版本只支持 DeepSeek-V4.1-Flash，运行在 NVIDIA SM100 GPU 或华为昇腾 950 芯片上，覆盖离线推理而非完整服务栈，缺少 KV cache、prefill 与 decode 分离以及副本间负载均衡。随附的加速层包含 DSpark，可提前草拟最多 5 个 token 并用置信度估计安排验证；bounded replay 只重算 140 token 后缀以覆盖滑动注意力窗口，从而压缩 prefill。配套库 deepseek-recipe 将把 Chat Completions、Responses 和 Messages 请求转换为与官方 API 行为一致的 DeepSeek V4 与 V4.1 提示词。
匹配字段标题、摘要
DeepSeek 宣布将自研推理框架 DeepInfer 完全开源，该框架用于支撑 DeepSeek-V4.1-Flash 的大规模高吞吐、低延迟运行。官方称分享生产栈是为了帮助社区降低算力成本与能耗，让 AI 更可负担。Nathan Lambert 评论称这是获得模型采用的特别方式，对社区是好事，并提到时机微妙，因为政府刚在联邦机构禁用 DeepSeek。
匹配字段标题、摘要
DeepSeek 开源自研推理框架 DeepInfer（Apache 2.0）和生产级 Token 编解码组件 deepseek-recipe（MIT），支撑 DeepSeek V4.1 Flash 单集群一天服务 155 万亿 Token。官方线上统计显示平均每请求输入 77K Token、首字延迟约 400 毫秒，生成阶段每秒输出 230 个 Token，平均 96% 的输入命中缓存。DeepInfer 目前支持 V4.1 Flash，开源版本仅提供离线推理，KV 缓存管理与负载均衡代码因与内部基础设施绑定暂未完整开源。
匹配字段标题、摘要、正文
llm-d 项目在 PyTorch Conference North America 上发布 1.0 版本，这是一个 Kubernetes 原生的分布式推理服务栈，由 Red Hat、IBM 和 Google 主导维护，CNCF 以沙箱项目托管。1.0 版本新增多租户服务质量保障，包括按优先级和公平性调度的流控与可控降载，并支持路由器热备、安全滚动更新，以及把 prefill 和 decode 副本作为整体管理的 DisaggregatedSet 控制器。项目公布的测试显示，在 544 张 NVIDIA H100 上部署 GLM-5.2 可服务最多 3000 个并发编码智能体且零抢占，按当前云租赁价格计算，每 token 成本比同等商业 API 低 5 到 10 倍。
匹配字段标题、摘要
IBM、Red Hat 与 Google 等 llm-d 项目贡献者发布分布式 AI 推理框架 1.0 版本，新增多租户服务质量、零停机升级和面向 AI 智能体的服务模式。框架基于 Kubernetes，可与 vLLM、SGLang 等推理引擎配合，通过路由把请求导向已缓存相关上下文的副本，并在 GPU 内存、CPU 内存和存储之间迁移缓存。IBM 称在一项智能体编码测试中路由器捕获了 97% 的可用缓存复用，IBM 与 Red Hat 还在自建基础设施上并发运行 3000 个软件工程智能体，成本比通过托管服务运行同一开源模型低 5 到 10 倍。
匹配字段标题、摘要
DeepSeek 宣布全面开源内部推理框架 DeepInfer，集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾平台。技术报告披露，基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的大规模推理服务，单一集群服务吞吐为 155 万亿 Tokens/天，整体收入为每卡每小时 38 美金（按谷价）。DeepSeek 同时开源生产级 Token 编解码组件 deepseek-recipe，与官方 API 处理逻辑完整对齐。
匹配字段标题、摘要、正文
Cohere 提出 CALIBER 方法，训练推理模型在推理前估计解题成功率、推理后评估具体答案的正确概率。在数学基准上，7B 模型的校准误差从最强单置信度基线的 0.059 降至 0.028，降幅 52.5%，AUROC 达 0.806、Brier 分数 0.130。研究用 30,000 道数学题训练 7B 和 30B 模型，并在 1,000 道留出题及三个问答基准上评测。
匹配字段标题、摘要
Nebius 应用 AI 高级副总裁 Ryan Hanrui Wang 指出，公开基准测试只反映模型的最优表现，无法说明生产环境中智能体能否准确完成任务，因此应结合内部基准和 harness 评估整个推理栈。Nebius 以约 6.43 亿美元收购推理优化初创公司 Eigen AI，并通过 Token Factory 平台提供推理服务。他建议用大模型作参照扫描多个模型寻找规模甜点，例如客服任务 10B 参数可能已足够，100B 甚至 1T 参数带来的精度提升很小。
匹配字段标题、摘要、正文
DeepSeek 开源了支撑其生产服务的推理框架 DeepInfer，采用 Apache 2.0 许可证发布在 GitHub 上。目前该框架只支持 DeepSeek-V4.1-Flash 一个模型，默认加载周末发布的 1017 版本，可运行在 Nvidia SM100 Blackwell GPU 和华为昇腾 950 NPU 上，不支持 Hopper 等较旧的 Nvidia 架构。DeepSeek 称单个集群每天服务 155 万亿 token，并暂未开源与内部基础设施强耦合的 KV cache 管理和负载均衡代码。
匹配字段标题、摘要
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，该框架是支撑 V4.1-Flash 模型大规模快速生成回答的服务软件。DeepInfer 基于 vLLM 构建，包含优化的计算内核、多芯片分布式处理和更快的文本生成技术，未来 DeepSeek 模型的代码也将开源。DeepSeek 同时发布 deepseek-recipe，可复现官方 API 的 token 处理，使自托管部署行为保持一致，官方称目标是帮助社区降低算力成本与能耗。
匹配字段标题、摘要
DeepSeek 以 Apache 2.0 协议开源了支撑其线上服务的推理框架 DeepInfer 和 API 同款编解码组件 deepseek-recipe，官方称后续新模型的推理代码也会持续合入该仓库。框架包含高性能算子、分布式推理、投机解码、SWA Bounded Replay 和结构化输出，但 README 显示此次只放出离线推理引擎，KV 缓存系统、预填充与解码分离部署、多副本负载均衡未包含在内。硬件上目前仅支持英伟达 Blackwell 架构 SM100 和华为昇腾 950，支持的模型也仅限 V4.1-Flash。
匹配字段标题、摘要、正文
Aditya Agarwal 认为，推理时扩展 → 子智能体 → 智能体集群的演进路径，与 CPU 线程 → 多核 CPU → 多节点分布式系统的发展历史颇为相似，并感叹“历史总是惊人地相似”。
匹配字段标题、摘要
DeepSeek 在官方公号发文称，决定将内部推理框架 DeepInfer 全面开源。DeepSeek 表示，希望通过分享内部部署经验，帮助开发者与企业优化大规模推理的吞吐与延迟，高效构建私有化及公有云部署，降低算力成本、减少能源消耗。
匹配字段标题、摘要、正文