Amazon Science 与 Booking.com 用知识蒸馏加 Medusa 将 LLM 推理提速最高 20 倍
Amazon Science 与 Booking.com 将知识蒸馏与 Medusa 结合,把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型,在保持教师模型质量的同时将推理速度提升 10 至 20 倍、成本降至三分之一以下。该方案已用于 AI Trip Planner、Smart Filters 和住宿描述生成三项功能,并在 ACL 获 Industry Track 最佳论文奖。
然而,添加Medusa头后,推理速度又额外提升了2至3.6倍。 我们测试了两种Medusa变体:在Medusa-1中,我们先微调基础LLM,然后冻结其权重并单独微调Medusa头;在Medusa-2中,我们在单个阶段中训练所有内容。两者都实现了相当的加速,且没有明显的质量损失,但Medusa-2更简单的流水线使其对管理多个模型的生产团队来说更实用。结果将KD与Medusa-2结合同时带来了两方面收益:我们的最终模型在质量上匹配700亿参数教师模型,同时根据用例不同,运行速度快10到20倍。对于三个用例中的每一个,我们都使用上述流水线,以领域特定数据微调了一个专用模型。对于AI行程规划器,我们展示了相比GPT-3.5用户参与度提升2.9%。对于智能筛选,我们实现了99%的查询响应速度快15倍。对于AI生成的住宿描述,我们展示了用户“有帮助”评分提高1.4%,而成本不到GPT-4的三分之一。感谢我们的AWS同事Aleksandra Dokic以及Booking.com团队:Emmanouil Stergiadis、Eran Fainman、Ilya Gusev和Moran Beladev。
匹配字段正文



