开源 AI-SQL 引擎 Quail 发布,29 条查询基准比 vLLM 快 1.84 倍
Full Stack Data Lab 的 Shreya Shankar 等人与 Modal 共同发布开源 AI-SQL 引擎 Quail,可在 SQL 中用自然语言条件让 LLM 判定数据的筛选与连接,代码以 MIT 许可证在 GitHub 公开。Quail 将查询计划与 LLM 推理统一优化,通过批处理流水线和 KV 缓存复用来减少 GPU 等待与重复计算。在 29 条查询的 QUAIL-B 基准上(Qwen3 4B FP8、单卡 H100),Quail 有 27 条快于 vLLM 基线,几何平均加速 1.84 倍;医疗报告查询 BIO-4 上为 29.26 分钟对 6.84 小时,快 14.04 倍,但 AGENT-1 上 vLLM 反而快 2.32 倍,因为 Quail 尚不支持跨行前缀缓存。
#开源/仓库#数据/训练#部署/工程




