Polymathic AI 与普林斯顿大学发布 FlashMap:用流映射草稿器实现 6.14 倍 LLM 解码加速
Polymathic AI、普林斯顿大学等机构发布 FlashMap,用连续流映射替代离散扩散草稿器,一次前向传播草拟 16 个 token 的完整块。在 Qwen3-8B 上,GSM8K 温度 0 时实现最高 6.14 倍无损加速,草稿器仅 0.5B 参数。Qwen3-8B 和 Qwen3-4B 的草稿器权重已上架 Hugging Face,并提供 vLLM 和 SGLang 插件。
B 平均加速,T=0(匹配,FlashMap 论文)4.36 倍4.07 倍2.55 倍未测试 GSM8K 加速,T=0(匹配)6.14 倍5.77 倍3.20 倍未测试 权重许可证Apache-2.0MITApache-2.0(代码)未披露 服务Transformers、vLLM、SGLangTransformers、vLLM、SGLangSGLang 等DeepSeek-V4 服务 平均加速由 Marktechpost 根据 FlashMap 论文图 1(c) 计算。匹配行使用作者重新训练的基线。 如何部署 FlashMap? flashmap 包仅需 torch 和 transformers =4.56。使用 uv pip install flashmap 安装。spec generate 调用会在 1 块 GPU 上同时运行草稿器和目标模型。 对于服务部署,项目页面给出 2 种路径: vLLM 0.31:在 --speculative-config 中传入草稿器,并将 num speculative tokens 设为 16。 SGLang 0.5.20:使用 --specul
匹配字段正文


