DeepSeek 开源推理引擎 DeepInfer，披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer，即 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术，并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算，与 GPU 前向重叠，并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开，官方也未单独公布该调度机制相对同步方案的端到端加速数据。
用其内存。雷峰网DeepInfer 使用 DeferredRelease 延迟回收 SequenceMetadata、RequestOutput 以及相关缓存块的固定引用。待释放资源先进入队列，再在后续的 pre sampler sync 阶段统一处理。对于涉及 GPU 状态复制的资源，系统利用 CUDA Event 确认操作完成后再解除引用，避免缓存提前被其他请求占用。请求抢占也要遵循相同的状态边界。如果某条序列已经离开运行集合，先前提交的计算结果返回时，就不能继续按照原状态更新 Token 计数或缓存位置，否则可能影响重新排程后的序列。这些处理让提前调度能够跨越多个尚未完成的 Step，避免序列位置、缓存分配和资源回收之间发生冲突。 03 保证多卡执行步调一致 DeepSeek-V4.1-Flash 的部署规模进一步增加了调度难度。官方方案中，Prefill 通常采用 EP2 至 EP8，Decode 则使用 EP64 至 EP128 的宽专家并行。扩大专家并行规模可以分散 MoE 权重读取压力，但参与同一个通信域的 GPU 必须采用一致的执行步型。对于同时承担 Prefill 和
匹配字段正文
