Zyphra 提出分层注意力 ZHA,实现亚二次复杂度稀疏注意力
Zyphra 提出分层注意力 ZHA,通过构建并搜索 KV cache 的压缩树为每个查询挑选相关 token,在合适 top-p 阈值下实现亚二次复杂度。ZHA 只需用几十亿 token 的 KL 蒸馏即可把已有预训练模型适配过来,在 Qwen3.6-35B-A3B 上仅新增 81,920 个可训练参数;RULER-13 256K 上宽树达 96.2%、深树 93.3%,LongBench v2 深树 63.4% 高于稠密注意力的 58.0%,SWE-bench Verified 上与稠密基线相当。其 GPU 性能模型预测在约 48K token 时快于稠密注意力、约 480K token 时快于 MSA,一千万 token 上下文下相对稠密注意力约 32–35 倍加速。

#论文/研究#推理#数据/训练