Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
系统分析分块KV压缩的相位敏感性与弱区，含多设计从零预训练、因果干预机制与跨相位评测，属长上下文推理基础设施级研究。
关键要点
- 分块KV-cache在固定步长将连续token窗口压成更少缓存项，降低长上下文内存与注意力成本。
- 开放权重大模型中，长上下文检索准确率跨相位最多相差40个百分点，暴露周期性弱区。
- 从零预训练多种KV压缩设计变体，均复现相位敏感性。
- 因果干预表明不同注意力组件在各源相位上贡献不对称，即相位特化。
- 理想化检索模型分析显示梯度流动力学可能促成尖锐相位特化。
- 评测须跨压缩相位测量；高平均准确率可与系统性位置失败并存。