MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为arXiv论文，说明稀疏与线性注意力混合架构、层选择、HyPE与Transformer转混合的持续训练流程，含标准及长上下文benchmark与单卡推理评测，并给出权重与代码链接。
关键要点
- 模型交错稀疏与线性attention层，按1:3比例配置，并用层选择算法确定稀疏模块放置。
- 稀疏层采用InfLLM-V2，线性层采用Lightning Attention，并引入QK-Normalization、HyPE与输出门。
- Transformer转混合的持续训练总数据量约2T tokens，约为从头训练同骨干所需数据量的大约25%。
- 在NVIDIA A6000D上，256K序列长度时相对全attention基线推理速度最高约3.5倍。
- 单卡A6000D与5090上可支持最长1M token上下文；对比中8B全attention模型因显存在该规模失败。
- 标准OpenCompass类评测平均76.53；长上下文RULER、MRCR、NoLiMa评测平均38.97。