Post-LayerNorm Is Back: Stable, ExpressivE, and Deep
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 架构论文，重访 Post-LN 并归因 ResNet 式残差的梯度消失，提出 Highway 连接的 Keel Transformer，含极深训练及相对 Pre-LN 的 perplexity 与深度缩放实验。
关键要点
- 加宽模型收益递减，延长上下文长度不能改善根本表达力；深度缩放理论上表达力更优，但现有 Transformer 在极深深度难以可靠训练。
- Post-LN 在规模扩大时不稳定，因而被现代 LLM 中的 Pre-LN 取代；其核心失效模式来自 ResNet 式残差路径在深网中引入梯度消失。
- Keel 为 Post-LN Transformer，以 Highway 式连接替代该残差路径，保持残差分支梯度流，防止自顶层至底层的信号消失。
- 与既有方法不同，Keel 在极深深度稳定训练无需专门初始化或复杂优化技巧。
- Keel 在超过 1000 层的深度上稳健训练，并在 perplexity 与深度缩放特性上 consistently 优于 Pre-LN。
- Post-LN 配合 Highway 式连接，可为构建深度可扩展 LLM 提供简单有效的基础。