Cohere 论文：细粒度 MoE 上投机解码在 batch size 1 仍有效
New @cohere paper finds that speculative decoding works well on fine-grained MoE models even at batch size 1, where prior work predicted small gains.
Cohere 新论文发现，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能带来明显收益，推翻了此前认为低 batch 下增益有限的判断。相邻 token 实际共享 20%–45% 的专家，远高于独立路由预期的 4%–12%；在 FP8 下 Qwen3-235B 的验证步骤速度达到普通解码步骤的 89%，而此前预测仅为 52%。研究测试了 30B 至 1T 参数的 10 个 MoE 模型，并在 H100 GPU 上做了性能剖析。
正文 · AI 翻译
Cohere 新论文发现，投机解码在细粒度 MoE 模型上即使 batch size 为 1 也能表现良好，而此前的工作曾预测收益很小。
研究发现，在混合专家模型中，相邻 token 共享 20% 至 45% 的专家，而预期为 4% 至 12%，这使得投机解码的成本低于预期。
投机解码让一个小型草稿模型提出 token，由大模型在一次前向传播中验证。对于 MoE 模型，此前的工作认为验证多个 token 会加载许多额外的专家，从而限制低 batch size 下的收益。
他们测试了 10 个参数规模从 30B 到 1T 的 MoE 模型，并在 H100 GPU 上进行了性能剖析。连续 token 会复用许多专家，而小型专家能很好地利用 GPU 带宽，因此验证额外 token 的成本很低。
相邻 token 共享了 20% 至 45% 的专家，而独立路由的预期为 4% 至 12%。对于 FP8 下的 Qwen3-235B，验证步骤的运行速度达到普通解码步骤的 89%，而此前预测为 52%。
对于低 batch 的 MoE 服务，例如智能体工作负载，应在你的硬件上对投机解码进行基准测试，而不是直接排除它。