DeepSeek 开源生产级推理框架 DeepInfer
DeepSeek 于 10 月 20 日宣布开源内部生产级推理框架 DeepInfer,整合分布式推理、投机解码等技术,已兼容英伟达 SM100 GPU 和华为昇腾 950 NPU。彭博社指出,推理技术通常被 AI 公司视为核心竞争力而较少公开,此次开源让外界得以了解 DeepSeek 如何压低运行成本。文档同时说明,构建完整服务还需 KV 缓存系统、Prefill/Decode 解耦和数据并行副本间的负载均衡,这些未完全包含在本次开源项目中。
#开源/仓库#推理#DeepSeek
