Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2 倍
Liquid AI 为 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 发布 DSpark 投机解码草稿模型,GPU 上吞吐最高提升 3.18 倍,端侧最高 2.87 倍,且不改变输出质量。草稿模型约 300M 参数,采用 5 层、block size 9 的简化注意力结构,已在 Hugging Face 提供 Safetensors 与 GGUF 权重,并开源集成到 llama.cpp 和 SGLang。在 BFCL 多工具函数调用场景中,LFM2.5-2.6B 的延迟平均降低 57%;LFM2.5-8B-A1B 受 llama.cpp Metal 后端 MoE 实现影响,端侧仅提升 18%。
匹配字段摘要、正文
