DeepSeek 开源推理引擎 DeepInfer,披露单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer,即 DeepSeek-V4.1-Flash 背后的推理引擎,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术,并披露单集群每天需处理约 155 万亿个 Token。其 Zero-Overhead Batch Scheduler 让 CPU 提前一轮安排计算,与 GPU 前向重叠,并通过 total_inflight_tokens 记账、Remap 映射和 DeferredRelease 延迟回收处理跨轮次状态错位。目前开放的是离线推理能力,线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开,官方也未单独公布该调度机制相对同步方案的端到端加速数据。
匹配字段标题