DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe,后者与官方 API 处理逻辑完整对齐。DeepInfer 集成高性能算子与推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台。DeepSeek 表示已基于该框架实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务,未来新模型的推理代码及后续优化也将持续更新。
#开源/仓库#推理#部署/工程