DeepSeek开源推理框架DeepInfer
2026年10月20日,DeepSeek宣布开源其内部生产级推理框架DeepInfer。据Latent Space报道,该框架支撑DeepSeek-V4.1-Flash,基于vLLM定制,支持分布式推理、投机解码、SWA Bounded Replay和结构化输出,目标平台为NVIDIA SM100与华为昇腾950;公布的单集群生产数据为每天处理155万亿token、96%输入缓存命中、首token延迟400ms、生成速度230 tokens/s。报道同时指出,KV cache管理和负载均衡等组件尚未完全开源。次日,DeepSeek在知乎发布DeepInfer技术报告,公开Prefill与Decode的硬件选型、KVCache目标等内部细节,并给出单一集群服务吞吐155万亿Tokens/天、按谷价每卡每小时38美金的数据。目前该框架已开源,但完整服务所需的KV缓存系统、Prefill/Decode解耦和负载均衡未完全包含在本次开源项目中。
匹配字段标题