Kwai Summary Attention V2 Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
arXiv 技术报告，阐述 C-KSA/S-KSA 架构、KV 缓存与 Full 层算力优化；基于 1.9B MHA 与 4B GQA Hybrid KSA 持续预训练适配，RULER 等评测，并提供 retrofit 与 GPU kernel。
关键要点
- Summary token 承担 KV memory 与 sparse indexer 两种角色，对应 C-KSA 与 S-KSA 两类可插入层。
- C-KSA 将每 k_m 个连续 Summary KV 聚合为层内 Meta KV；k_s=8、k_m=128 时远端历史压缩倍率为 k_s·k_m，即 1024×。
- 骨干保持 Hybrid KSA 的 3:1 布局，即三层 C-KSA 接一层 S-KSA。
- 1.9B（MHA）128K 规模下，相对 Hybrid KSA 常驻缓存降低 40.4%。
- 同设定下 prefill 与 decode 吞吐分别为 Hybrid KSA 的 1.51× 与 1.27×。
- 128K 时 C-KSA+S-KSA 常驻缓存 6.31 GiB；相对 Full（24.00 GiB）缓存降 73.7%，prefill 吞吐为 Full 的 2.16×。