Amazon Science 与 Booking.com 用知识蒸馏加 Medusa 将 LLM 推理提速最高 20 倍
Amazon Science 与 Booking.com 将知识蒸馏与 Medusa 结合,把 70B 参数的 Llama-3.1 教师模型压缩为 1.1B 的 TinyLlama 学生模型,在保持教师模型质量的同时将推理速度提升 10 至 20 倍、成本降至三分之一以下。该方案已用于 AI Trip Planner、Smart Filters 和住宿描述生成三项功能,并在 ACL 获 Industry Track 最佳论文奖。
颈——转化为并行计算的框架。我们与领先的在线旅行社Booking.com合作,将KD和Medusa技术应用于为其用户体验各方面提供支持的LLM,旨在改善延迟或成本效益。我们尤其聚焦于三项功能:AI行程规划器(AI Trip Planner):一个对话式助手,必须在不到一秒内从对话中提取旅行偏好(延迟);智能筛选器(Smart Filters):一项将自然语言搜索查询实时转换为结构化信息筛选条件的功能(延迟);住宿描述生成(Accommodation Description Generation):一项以数百万房源规模生成房源描述的功能(成本效益)。 我们证明,将KD与Medusa结合使用,能够在成本不到三分之一的情况下保持最佳开源LLM的质量,同时运行速度最高提升至20倍。我们的框架确保旅游平台或其他依赖LLM的应用能够在真实场景中提供快速、高性价比且准确的响应。我们在去年的计算语言学协会(ACL)会议上展示了这些技术,并获得了Industry Track最佳论文奖。我们的方法:Medusa加知识蒸馏。Medusa是一个旨在降低聊天和代码生成等实时应用中LLM延迟的框架。它在运行时——
匹配字段正文

