Apple 提出 SupportNet 与 KeyNet:用小型神经网络加速 MIPS 检索,提升 RAG 效率
Apple 研究团队在 ICML 2026 论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中提出,针对固定 key 数据库离线训练小型神经网络,把 MIPS 视为凸分析中的支撑函数来学习,从而在推理时更快、更准地路由查询。方法包含 SupportNet(用 ICNN 学习支撑函数,可按簇计算以改进路由)和 KeyNet(直接输出最佳匹配 key 向量,并用基于 Euler 齐次函数定理的一致性损失约束)。两者均基于相关查询分布采样训练,以一次性摊销成本换取推理阶段更高效的 RAG 检索。

内容类型:重点报道发布于 2026 年 11 月 5 日 更快的检索,带来更好、更高效的 RAG 最大内积搜索(MIPS)是推荐系统、搜索和检索增强生成(RAG)的核心。给定一个查询向量,MIPS 系统会在包含数百万个候选键向量的数据库中搜索与查询最匹配的那一个。随后,与该最佳匹配键相关联的原始数据点被用于处理该查询:在 RAG 中,最适合回答该问题的文档通常会被前置到查询之前。 随着键的数量增长到数百万、向量维度达到数千,将查询与所有键逐一进行穷举比较的计算成本会急剧上升。人们已经提出了许多近似方法,利用聚类和量化来以精度换取速度。这些基线方法关注的是键集合的性质,以构建巧妙的索引结构,但它们的几何论证粗略地假设查询集合本身会与键集合相似,或者完全回避了对查询形态的任何考量。这在两个方面可能带来问题:在关键的 RAG 场景中,查询来自用户生成的简短问题,而键则代表冗长、信息丰富且经过精心整理的文本片段,这使得键与查询存在显著差异。 此外,生产环境中部署的大多数 MIPS 用例面向的是已有的用户群体,其查询分布稳定且特征明确——这一信号表明,通用的、与查询无关的方法尚有未被利用的空间。
匹配字段正文












