Kwai Summary Attention Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告提出序列级 KV 压缩注意力 KSA 与 sliding chunk attention，给出 block-sparse 训练/预填内核与解码用 summary KV 布局；开展从零与 CPT 实验、RULER 等评测与消融，并开源训练脚本与计算内核。
关键要点
- KSA 在输入序列规则间隔注入可学习 summary token 分块；summary token 仅 attend 块内文本，文本 token 见局部 sliding chunk 与过往 summary。
- hybrid-KSA 在长上下文建模上显著优于其他 hybrid 变体，RULER-128K 从零/CPT 设定下较 hybrid-GDN 高 3.69%/5.48%。
- 推理中 KSA 序列级压缩与 GQA、MLA 正交，与之组合可在保持性能下进一步实现 8× KV 缓存压缩。
- CPT 下最长 128K 上下文时 Hybrid-KSA 在 RULER-128K 得 71.67，较 Full attention 高 5.81 分。
- 从零训练 RULER-128K 上 Hybrid-KSA 得 65.35，较 Full attention 高 16.60 分。
- 128K 上下文 Hybrid-KSA KV 缓存为 6.47 GB，小于 Full attention 的 18.6 GB。