6. 斜率截距与天花板

6. 拆开 Scaling Law：什么决定了斜率、截距与天花板

到这里，我们已经知道 scaling law “长什么样”（第 2–4 章），也看过”为什么是幂律”的几种候选解释（第 5 章）。但一个 CEO、一个架构师、一个数据工程师真正想问的，是更落地的一句话：我手里这个旋钮，到底拧动了曲线的哪个部位？

把 4.8 节那条经验公式再抄一遍 —— 很多 scaling law 都能写成这个形状： [ L(x) ;\approx; \underbrace{E}{\text{天花板}} ;+; \underbrace{A}{\text{起点 / 截距}} \cdot; x^{-,\overbrace{\alpha}^{\text{斜率}}} \tag{36} ]

行业里吵得不可开交的许多因素 —— 架构、稀疏性、精度、优化器、数据质量、语种、模态、context 长度…… —— 落到这张图上，大体可以先对应到三个数上：斜率 (\alpha)、截距 (A)、天花板 (E)。Vlad Feinberg 有个很传神的说法：scaling 的工作分两种 flavor —— “加点”（adding points to the quality × model-size plot）和”提斜率”（increasing the slope of the plot）^[1]。借到本章的语言：**“加点”是在动 (A)，“提斜率”是在动 (\alpha)**注1 —— 而这两件事的难度，差着十万八千里。

图：本章的核心心智模型。(\alpha) 定陡度，(A) 定高低（“加点”把整条线往下压，蓝色虚线），(E) 是同一道题上砸 (N, D) 砸不穿的地板，换题、换条件才下移到 (E’)（换模型族压低的是训练方式那一层，见 6.5 节）。纵轴是总 loss，所以曲线的局部斜率是 (-\alpha(L-E))、越贴近地板越平；两条线的纵向间距是 (\Delta A\cdot x^{-\alpha})，不等于 (A) 本身。示意图，非实测数据。

本章先把四个量钉死，再用一张总表把行业里的主要因素逐一对号入座，然后分三节钻进 (\alpha)、(A)、(E)，最后把三者接成一个”下一块钱投谁”的判据。

提前剧透本章的主框架（一句话）：在”只改一个因素、其余因素固定”且 scale 已跑进足够宽的渐近区间的前提下，(\alpha) 最难改 —— 它主要随数据与任务走，但架构族（含 MoE）、训练区制与激进的数据剪枝也能动它；(A) 是工程的主战场，但干净地只压 (A) 的手段不多；(E) 由评测任务与条件信息决定，同一道题上砸 (N)、(D) 砸不穿。

丑话说在前面：这是经验规律的总结，不是定理（反例见 6.3 节），有限规模下 (\alpha) 和 (A) 还会互相”串味”（6.1 节末、7.1.4 节）。下面每一条对号入座，都请当成”主要影响”而不是”唯一影响”来读。

读全章要随身带一对比较标签：只改一个因素、其余固定，在同一函数形式、同一坐标下把前后两条曲线各拟一遍。(a) 前后共享 (\alpha) 与 (E)，只差 (A) 或资源换算 —— 整条线平移，或横轴重新刻度（权重稀疏只进 (N) 项前因子^[2]；自回归下多训几个 epoch 折成有效数据）。(b) (\alpha) 或 (E) 变了（MoE 让 (N) 轴斜率随专家数变；新增语种换了地板）；MoE、长上下文、RAG、RL、带裁判或纯自产的合成数据、多模态、新语种与新领域数据，多半落在这里。标签只说明哪几个数要重测：(a) 只重测 (A) 或换算系数，(b) 要把 (\alpha) 与 (E) 一起重测、旧外推作废。

6.1 先把四个量钉死：x、α、A、E

第 3 章拟合 Chinchilla 时我们见过完整形态 (L(N, D) = E + A/N^{\alpha} + B/D^{\beta})。(36) 是把它沿一根轴切一刀得到的单轴式，所以第一个要钉死的是资源 (x) 指哪根轴 —— 同一句”斜率 0.3”，在 (N) 轴、(D) 轴、(C) 轴上是三件事：切 (N) 轴时 (x = N)、指数是 (\alpha)；切 (D) 轴时 (x = D)、那个指数其实是 (\beta)（前因子同理是 (B)）；沿 compute-optimal 路径走时 (x = C)。还要说清”等什么”：同一个改动按等参数、等 FLOPs 还是等显存比，(a)/(b) 的归类乃至正负号都可能翻转（例子见 6.2 节 MoE 与”等效参数倍率”两行）；下文未特别说明时，按被引文献自己的基准。切出来的常数也不是裸的 (E)：固定 (D = D_0) 切 (N) 轴，平台是 (E + B,D_0^{-\beta})。单轴实验里”继续堆 (N) 打不穿的平台”，完全可能只是 (D) 不够；想把裸 (E) 分出来，至少要两根轴同时扫。（这套写法还默认 (L) 对 (N)、(D) 加性可分；换成不可分的函数形式，“动的是 (\alpha) 还是 (A)“可能给出不同答案注2。）另外三个量是：

• 斜率 (\alpha)：(\log(L-E)) 对 (\log x) 那条直线斜率的绝对值，量的是”scaling 的速度”。报数先说清是哪一套：Chinchilla 加性模型下可约项的指数是 (\alpha \approx 0.34)、(\beta \approx 0.28)^[3]（(15) 式）；流传更广的 Kaplan (\alpha_N \approx 0.076)^[4] 是不含 (E) 的单幂律对总 loss 拟合的表观指数，两者差 4–5 倍、不可互换；沿 compute-optimal 路径，可约 loss 的指数是 (\alpha_C = \alpha\beta/(\alpha+\beta) \approx 0.15)（第 2 章 (3) 式里 Kaplan 那个 (\alpha_C \approx 0.050) 是对总 loss 的，同名不同物）。哪一套下这个数都很小：(\alpha \approx 0.34) 意味着 (N) 翻 10 倍，(N) 那一项可约 loss 只降到原来的 46%，翻 100 倍才降到 21%；换成 Kaplan 的 0.076，同样翻 10 倍，总 loss 只降 16% —— 砸钱的回报本就温和，这是幂律的数学宿命，不是谁的工程没做好。

• 截距 (A)：在可约坐标里，(\log A) 是那条直线在 (x = 1) 处的截距，量的是”scaling 的起点 / 效率”。斜率相同时 (A) 小一截，意味着每一个算力档位上 loss 都更低，且不付任何指数代价 —— 这是”加点”派全部的发力点。但 (x = 1) 是”1 个参数 / 1 个 token”，离真实拟合区间约有 8–12 个数量级（参数轴约 8–10、token 轴约 10–12），(\log A) 是一路外推回原点的量，方差很大注3：跨论文比 (A) 的绝对值意义有限，能比的是同一拟合里的相对变化。

• 地板 (E)：对 loss 是地板，从能力分数那一侧看过去才叫”天花板”。这个符号在文献里至少有四层含义，混用是大量乌龙结论的来源：

层 含义 多投资源能不能砸穿 | 层 | 含义 | 多投资源能不能砸穿 |

① Bayes 下界 评测分布自身的条件熵 (H_P(Y \mid X)) 不能；只随题目本身变 | ① Bayes 下界 | 评测分布自身的条件熵 (H_P(Y \mid X)) | 不能；只随题目本身变 |

② 模型族与训练方式的极限 该模型族在该训练数据与训练方式下、资源无限时收敛到的点，(\ge S(\text{True}) + \inf_\theta D_{\mathrm{KL}}(\text{True},\Vert,\text{Model}\theta) \ge) ①注4 不能；换逼近能力更强的模型族、更好的训练数据可降 | ② 模型族与训练方式的极限 | 该模型族在该训练数据与训练方式下、资源无限时收敛到的点，(\ge S(\text{True}) + \inf\theta D_{\mathrm{KL}}(\text{True},\Vert,\text{Model}_\theta) \ge) ①注4 | 不能；换逼近能力更强的模型族、更好的训练数据可降 |

③ 单轴切片的平台 (E + B,D_0^{-\beta})，含另一根轴的残项 能：补另一根轴即可 | ③ 单轴切片的平台 | (E + B,D_0^{-\beta})，含另一根轴的残项 | 能：补另一根轴即可 |

④ 拟合值 (\hat{E}) 论文报出来的那个数，吸收了 tokenizer、拟合窗口截断、优化差距与评测集偏移 可能被更大的扫描或更好的拟合协议推翻 | ④ 拟合值 (\hat{E}) | 论文报出来的那个数，吸收了 tokenizer、拟合窗口截断、优化差距与评测集偏移 | 可能被更大的扫描或更好的拟合协议推翻 |

机制性论断说的是 ① / ②（“再多资源也砸不穿”、6.5 节的”降 (E) 只有两条路”），论文里的报数是 ④（下面的 1.69 / 1.82、6.2 节里 ^[5] 那组 (E)），两层不能互相担保。朝向也要说准：对答案唯一确定的下游任务，(E > 0) 并不意味着分数上不了满分 —— 多数 benchmark 按 argmax 判对错，loss 大于 0 时照样可以满分；loss 到分数的映射又高度非线性，方向甚至可能相反注4。这道缝留给第 8 章。(37) 讲的是 ② 那一层，Henighan et al.^[6] 把 loss 拆成可约与不可约两段： [ L(x) = \underbrace{L_\infty}{\approx, S(\text{True}),=,E} ;+; \underbrace{\left(\frac{x_0}{x}\right)^{\alpha}}{\approx, D_{\mathrm{KL}}(\text{True},\Vert,\text{Model})} \tag{37} ]

在 Henighan 明确假设”无限大的 Transformer 能精确建模数据分布”之下，② 与 ① 重合：不可约项 (E) 约等于真实数据分布的熵 (S(\text{True}))，可约的幂律段约等于模型分布到真分布的 KL 散度。这正接上第 1 章埋的钩子和 3.5 节的 (23) 式：**(E) 由”预测什么”（数据熵 + 任务定义）和”基于什么预测”（conditioning）共同决定。**Henighan 还指出，曲线贴近 (E) 不等于”模型饱和了”：可约项若真是 KL，趋于 0 恰恰说明模型越来越接近真分布，更大规模仍可能带来新的语义信息。

三个数能不能分开估，取决于窗口宽度与噪声：两轴、跨两个数量级以上的扫描，(E) 能钉到 ±0.03 左右^[7]。最难分开的是前因子与指数那一对：(\log A) 靠远端外推，窗口一窄，“整条线下移”和”把线掰陡”就能互换（Besiroglu 的 bootstrap 里 (B) 的相对标准误高达 62%注3）。(E) 与 (\alpha) 则同向耦合注5。Hoffmann^[3] 与 Besiroglu^[7] 的 (E = 1.69) vs (1.82) 不是可辨识性问题，而是原拟合程序的问题（7.1.2 节）；修正后 (A)、(\alpha) 与 (E) 一起上行，正是同向耦合的样子。这 0.13 nats 与 70B / 1.4T 全部的可约 loss（0.16–0.23 nats）同量级 —— 拟合协议上的一个细节，就足以改写”离地板还有多远”。判别流程见 7.1.4 节。

这组数顺带给出一个值得 CEO 记住的量级：在 Chinchilla 那个配置上，总 loss 约 1.9–2.0 nats，其中可约的只有 0.16–0.23 nats，大约一成（这一成不能按比例折算成能力）。继续 scale 争的就是这一成；沿 compute-optimal 路径再砸 10× 算力，按 (\alpha_C \approx 0.15)，这一成也只再降三成左右。地板附近的每一分进步都越来越贵 —— 这正是后面几节反复要回答”钱该投哪”的原因。

6.2 一张总表：每个因素到底动了哪个数

下面这张表是全章的骨架。读法：每一行都是”只改这一个因素、其余固定”时，在同一函数形式、同一坐标下拟合出的差异。第二列写它主要动了哪个量（不是唯一），括号里是引子那对标签。第二列的 (\alpha) 一律读作”该行那根轴的指数”注6；“有效 (N) / (D)“是资源换算，“成本换算”只改每美元买到多少有效 FLOP，“单位”是换了记账单位，“新轴”是在 (N)、(D) 之外另起一根轴（折回旧轴还是另起新轴，判据见 6.7 节第 4 条）。最后一列是证据强度（强 / 中 / 弱，口径见 0.1 节的阅读约定）。其余”固定”的是参数、FLOPs 还是显存，按该行文献，见 6.1 节。

因素 主要影响 机理（一句话） 出处 证据 | 因素 | 主要影响 | 机理（一句话） | 出处 | 证据 |

数据的内在维度 (d) / 流形几何 (\alpha)（b） 模型在 (d) 维数据流形上做分片逼近，(\alpha \approx 4/d)：维度越低、scaling 越快；语言上只得到下界 ^[8][9]注7 中 | 数据的内在维度 (d) / 流形几何 | (\alpha)（b） | 模型在 (d) 维数据流形上做分片逼近，(\alpha \approx 4/d)：维度越低、scaling 越快；语言上只得到下界 | ^[8][9]注7 | 中 |

数据的重尾 / 频谱结构（Zipf） (\alpha)（b） 特征频率的幂律尾指数直接设定学习曲线指数，如 (38)；只在可解的玩具模型里推出，按 5.6 节的统一猜想可与上一行写进同一副谱骨架 ^[10][11][12] 弱 | 数据的重尾 / 频谱结构（Zipf） | (\alpha)（b） | 特征频率的幂律尾指数直接设定学习曲线指数，如 (38)；只在可解的玩具模型里推出，按 5.6 节的统一猜想可与上一行写进同一副谱骨架 | ^[10][11][12] | 弱 |

输入分布 / 模态（语言 / 视觉 / 视频 / 推荐 / 机器人） (\alpha) 与 (E)（b） 不同模态是不同的谱：语言吃参数、视觉吃数据，地板也不同；^[13] 里语言用 next-token、视觉用扩散，模态与目标同时变了 ^{[4][14][13][9][6]} 强 | 输入分布 / 模态（语言 / 视觉 / 视频 / 推荐 / 机器人） | (\alpha) 与 (E)（b） | 不同模态是不同的谱：语言吃参数、视觉吃数据，地板也不同；^[13] 里语言用 next-token、视觉用扩散，模态与目标同时变了 | ^{[4][14][13][9][6]} | 强 |

任务定义 / 标签结构 (E)（b），(\alpha) 基本不变 按语义超类合并标签，(\alpha_D) 基本不变 ^[9]注8 中 | 任务定义 / 标签结构 | (E)（b），(\alpha) 基本不变 | 按语义超类合并标签，(\alpha_D) 基本不变 | ^[9]注8 | 中 |

优化目标 / 损失函数 数据充足时近 (a)；数据受限时换算规则变（b） CE 内换掩码与预测顺序几乎不动 (\alpha)；换成掩码扩散，数据充足时 (L(C)) 斜率与自回归相当、约差 16 倍算力，数据受限时重复耐用得多（(R_D^{}\approx 500)，自回归约 15–32）；(E) 能否跨损失族比未检验（扩散报的是似然上界） ^[5][15][16]注9；4.5 节 中 | 优化目标 / 损失函数 | 数据充足时近 (a)；数据受限时换算规则变（b） | CE 内换掩码与预测顺序几乎不动 (\alpha)；换成掩码扩散，数据充足时 (L(C)) 斜率与自回归相当、约差 16 倍算力，数据受限时重复耐用得多（(R_D^{}\approx 500)，自回归约 15–32）；(E) 能否跨损失族比未检验（扩散报的是似然上界） | ^[5][15][16]注9；4.5 节 | 中 |

架构小改（Transformer 族内：深宽比等形状） (A)（a） 固定 (N) 调深宽比，loss 几乎不变；GLU 截距略好、斜率略低，按 7.1.4 节的门槛分不开，不计入本格 ^[4][17]注10 强 | 架构小改（Transformer 族内：深宽比等形状） | (A)（a） | 固定 (N) 调深宽比，loss 几乎不变；GLU 截距略好、斜率略低，按 7.1.4 节的门槛分不开，不计入本格 | ^[4][17]注10 | 强 |

注意力形式（softmax / 线性 / 混合） 未定（同 GLU，分不开） 混合架构的 (L(C)) 前因子 3.71 → 3.48、表观指数 0.080 → 0.076（总 loss 的单幂律，不能与 (\alpha) 比），与 GLU 同型；原文最优 (N)、(D) 的配比指数之和不为 1（1.22 / 1.14），自身不自洽，暂不据此判定动 (A) 还是动斜率 ^[18][19]；4.4 节 中 | 注意力形式（softmax / 线性 / 混合） | 未定（同 GLU，分不开） | 混合架构的 (L(C)) 前因子 3.71 → 3.48、表观指数 0.080 → 0.076（总 loss 的单幂律，不能与 (\alpha) 比），与 GLU 同型；原文最优 (N)、(D) 的配比指数之和不为 1（1.22 / 1.14），自身不自洽，暂不据此判定动 (A) 还是动斜率 | ^[18][19]；4.4 节 | 中 |

架构族 / 激进归纳偏置（LSTM / MLP-Mixer / Performer） (\alpha)（b） 已测到的多是往下拽：LSTM 在长上下文上渐近落后，激进偏置斜率偏低；前沿规模未验证；新一代线性 / 混合注意力没有复现这种下拽 ^[4][17]注11 中 | 架构族 / 激进归纳偏置（LSTM / MLP-Mixer / Performer） | (\alpha)（b） | 已测到的多是往下拽：LSTM 在长上下文上渐近落后，激进偏置斜率偏低；前沿规模未验证；新一代线性 / 混合注意力没有复现这种下拽 | ^[4][17]注11 | 中 |

稀疏激活 / MoE (\alpha)（b） 效率杠杆随算力按幂律上升，不是固定的 (A)（4.4 节）；^[20]、^[17] 固定训练 token 数，测到专家收益随 (N) 递减、Switch 斜率只有 0.23（vanilla 0.54），方向相反，差在比较基准；最优配比往多数据、少激活挪，dense 上拟的律不能直接套 ^{[20][13][17][21][22][23]}注12 强 | 稀疏激活 / MoE | (\alpha)（b） | 效率杠杆随算力按幂律上升，不是固定的 (A)（4.4 节）；^[20]、^[17] 固定训练 token 数，测到专家收益随 (N) 递减、Switch 斜率只有 0.23（vanilla 0.54），方向相反，差在比较基准；最优配比往多数据、少激活挪，dense 上拟的律不能直接套 | ^{[20][13][17][21][22][23]}注12 | 强 |

条件记忆（查表参数） 新轴（b） 另起”槽数”一轴、不增每 token 计算；稀疏参数在 MoE 与记忆之间按 U 形最优分配 ^[24]；4.4 节 中 | 条件记忆（查表参数） | 新轴（b） | 另起”槽数”一轴、不增每 token 计算；稀疏参数在 MoE 与记忆之间按 U 形最优分配 | ^[24]；4.4 节 | 中 |

权重稀疏（置零，不是 MoE） (A)（a） 稀疏度只进 (N) 项前因子，指数与数据项不变；最优稀疏度随训练时长上升 ^[2]注13 中 | 权重稀疏（置零，不是 MoE） | (A)（a） | 稀疏度只进 (N) 项前因子，指数与数据项不变；最优稀疏度随训练时长上升 | ^[2]注13 | 中 |

等效参数倍率（循环深度 / 并行流） 有效 (N)（a，按等参数比） 折成”(k) 倍独立参数”：被循环的那段参数循环 (r) 次只值 (r^{0.46}) 份，(P) 路并行约值 (O(\log P)) 倍；(k) 不随规模变时是纯换算，收益多记在显存与延迟上。按等 FLOPs 比循环是亏的；等参数下它是一根花 FLOPs 的旋钮，循环次数宜随数据同增 ^[25][26][27]；4.4、4.8 节 中 | 等效参数倍率（循环深度 / 并行流） | 有效 (N)（a，按等参数比） | 折成”(k) 倍独立参数”：被循环的那段参数循环 (r) 次只值 (r^{0.46}) 份，(P) 路并行约值 (O(\log P)) 倍；(k) 不随规模变时是纯换算，收益多记在显存与延迟上。按等 FLOPs 比循环是亏的；等参数下它是一根花 FLOPs 的旋钮，循环次数宜随数据同增 | ^[25][26][27]；4.4、4.8 节 | 中 |

超参协议（LR、batch、µP） 测得的 (\alpha)（测量协议，非旋钮） 各档没调到最优，会系统性扭曲测到的配比指数；修正协议是在恢复真实曲线（^[28] 从 0.88 修到 0.50 的三步里，两步属此类；机制见 7.1.1 节） ^[29][28][30]注14 强 | 超参协议（LR、batch、µP） | 测得的 (\alpha)（测量协议，非旋钮） | 各档没调到最优，会系统性扭曲测到的配比指数；修正协议是在恢复真实曲线（^[28] 从 0.88 修到 0.50 的三步里，两步属此类；机制见 7.1.1 节） | ^[29][28][30]注14 | 强 |

新优化器（Muon、Soap 等） 未定 相对调好的 AdamW，加速比随规模缩小、随数据量增大（跨规模比较固定约 8 倍 Chinchilla 数据量）；只压参数项前因子解释不了这种缩小（6.4 节）；拟合只到 1.2B ^[31]注14 中 | 新优化器（Muon、Soap 等） | 未定 | 相对调好的 AdamW，加速比随规模缩小、随数据量增大（跨规模比较固定约 8 倍 Chinchilla 数据量）；只压参数项前因子解释不了这种缩小（6.4 节）；拟合只到 1.2B | ^[31]注14 | 中 |

系统效率与低精度训练（MFU、FP8） 成本换算（a） 只改每美元买到的有效 FLOP；在 (L(N,D)) 里 MFU 不碰任何参数，低精度训练还略抬高 (A) ^[32][33]注15 强 | 系统效率与低精度训练（MFU、FP8） | 成本换算（a） | 只改每美元买到的有效 FLOP；在 (L(N,D)) 里 MFU 不碰任何参数，低精度训练还略抬高 (A) | ^[32][33]注15 | 强 |

训练后量化（部署端） 新增项（b） 叠加一个随预训练 token 数增大、固定 token 数时随 (N) 减小的退化项，沿 (D) 轴出现最优点（低比特时才显著） ^[34][33]注15 强 | 训练后量化（部署端） | 新增项（b） | 叠加一个随预训练 token 数增大、固定 token 数时随 (N) 减小的退化项，沿 (D) 轴出现最优点（低比特时才显著） | ^[34][33]注15 | 强 |

数据量 (D)（分布固定） 位置（a） 在既定曲线上往右走，三个数都不动；新增 token 若换了分布，就落回 (b) ^[4][3] 强 | 数据量 (D)（分布固定） | 位置（a） | 在既定曲线上往右走，三个数都不动；新增 token 若换了分布，就落回 (b) | ^[4][3] | 强 |

数据质量（去重 / 过滤 / 剪枝） 未定（a 或 b） 受控证据互相打架（6.4 节）；LLM 只有非受控旁证 ^{[35][36][37][38]}注16 中 | 数据质量（去重 / 过滤 / 剪枝） | 未定（a 或 b） | 受控证据互相打架（6.4 节）；LLM 只有非受控旁证 | ^{[35][36][37][38]}注16 | 中 |

数据重复 / 迁移 有效 (D)（a） 都折算成有效数据：重复至约 4 轮时与新数据几乎等价，此后边际价值递减，约 16 轮后接近走平（自回归、常规正则；扩散目标下晚得多，见”优化目标”行）；迁移的倍数随微调数据增多而衰减，高数据区还可能僵化 ^[39][40][41]注17注18 强 | 数据重复 / 迁移 | 有效 (D)（a） | 都折算成有效数据：重复至约 4 轮时与新数据几乎等价，此后边际价值递减，约 16 轮后接近走平（自回归、常规正则；扩散目标下晚得多，见”优化目标”行）；迁移的倍数随微调数据增多而衰减，高数据区还可能僵化 | ^[39][40][41]注17注18 | 强 |

数据混合比例 (E)（b） 按混合评测集计，一阶上是各域 (E) 的加权平均（6.5 节）；模态混合有可被算力突破的竞争壁垒；二阶上与 (N)、(D) 交互，最优配比随预算移动（4.6 节） ^{[5][42][43][44]}注19 中 | 数据混合比例 | (E)（b） | 按混合评测集计，一阶上是各域 (E) 的加权平均（6.5 节）；模态混合有可被算力突破的竞争壁垒；二阶上与 (N)、(D) 交互，最优配比随预算移动（4.6 节） | ^{[5][42][43][44]}注19 | 中 |

数据多样性（加新域） 可约项（(A) 或 (\alpha)，未分开） 不在同一评测分布上直接降 (E)，价值主要在更通用的表征与下游泛化 6.5 节 弱 | 数据多样性（加新域） | 可约项（(A) 或 (\alpha)，未分开） | 不在同一评测分布上直接降 (E)，价值主要在更通用的表征与下游泛化 | 6.5 节 | 弱 |

语种（中 / 英 / 代码） (E)（b） 不同分布、不同条件熵：代码低熵、自然语言高熵；跨语种比 (E) 要先换成 bpb；多语种联合训练有跨语种正迁移，每个语种所需数据反而减少 ^[5][45][46]注20 强 | 语种（中 / 英 / 代码） | (E)（b） | 不同分布、不同条件熵：代码低熵、自然语言高熵；跨语种比 (E) 要先换成 bpb；多语种联合训练有跨语种正迁移，每个语种所需数据反而减少 | ^[5][45][46]注20 | 强 |

tokenizer / 词表 单位（a，按 bpb 比） 每 token 的 nats 随词表变，先换成 bpb 才能比；重训时词表还是随算力变的容量旋钮 ^[4][45][47]注20 强 | tokenizer / 词表 | 单位（a，按 bpb 比） | 每 token 的 nats 随词表变，先换成 bpb 才能比；重训时词表还是随算力变的容量旋钮 | ^[4][45][47]注20 | 强 |

context 长度 / conditioning（长上下文 / RAG / 多模态输入） (E)（b） (H(Y\mid X,Z)\le H(Y\mid X))：给更多相关输入会压低条件熵下界（6.5 节） ^[6][48][49]；4.4 节 中 | context 长度 / conditioning（长上下文 / RAG / 多模态输入） | (E)（b） | (H(Y\mid X,Z)\le H(Y\mid X))：给更多相关输入会压低条件熵下界（6.5 节） | ^[6][48][49]；4.4 节 | 中 |

推理与 RL 算力（test-time search / CoT / RL 后训练） 新轴（b） 不在 (N)、(D) 上，而是在新轴上另起一条曲线；RL 曲线近 sigmoid，平台能被 recipe 与更大的基座抬高（6.5 节） ^[50][51][52] 强 | 推理与 RL 算力（test-time search / CoT / RL 后训练） | 新轴（b） | 不在 (N)、(D) 上，而是在新轴上另起一条曲线；RL 曲线近 sigmoid，平台能被 recipe 与更大的基座抬高（6.5 节） | ^[50][51][52] | 强 |

蒸馏 (E)（b） 学生的地板是 teacher；预算小时蒸馏占优，预算足够大时直接训练反超 ^[53]注21 中 | 蒸馏 | (E)（b） | 学生的地板是 teacher；预算小时蒸馏占优，预算足够大时直接训练反超 | ^[53]注21 | 中 |

竖着读是三块：顶上几行（数据几何、频谱、模态、任务、目标）几乎全落在 (\alpha) / (E)；中间架构与训练那一块，能折成”等效 (k) 倍参数 / 算力”的不少，但只有 (k) 不随规模变时才是干净的 (A)（MoE 的 (k) 随算力放大，是 (b)；超参协议是测量问题；注意力形式、新优化器与数据质量归属未定）；底下数据工程那一块，多是资源换算（有效 (D)）或换分布（(E)），最后两行开了新轴、换了地板。

最容易读错的是**“数据量 (D)“**一行：加 (D) 只是沿既定曲线往右走，这只在数据分布固定时成立；真实前沿训练里新增的 token 多半是新语种、新领域、多模态、代码与推理 trace，以及带裁判或纯自产的合成数据 —— 那是在改分布、改目标，是 (b)，而不是纯粹的 (D) 轴平移（改写真实语料按现有证据更像资源换算，见 6.5 节）。

按 5.6 节的谱猜想也能重述这张表：(\alpha) 行改谱衰减率或拾取指数，(E) 行改学不动的那截，(A) 行（深宽比、权重稀疏）只改拾取常数 —— 但这是事后的解释语言，不能事前判断某个改动落在哪一格。

6.3 主导斜率 α 的首先是数据与任务——但架构族（含 MoE）、训练区制与数据剪枝都动得了它

证据分三层看：理论、直接观测、反例。

理论线：四条理论工作都把指数归到数据的结构上 —— Sharma & Kaplan^[8] 的流形分片逼近给出 (\alpha \approx 4/d)（5.4 节）；Bahri et al.^[9] 的四个区制里，方差受限区的指数普适为 1、与架构和数据都无关，我们关心的分辨率受限区，指数取决于数据分布的细节（5.6 节 (34) 式）；Maloney, Roberts & Sully^[12] 的随机特征模型里，指数由数据协方差谱的衰减决定（5.6 节）；Hutter^[11] 的玩具模型里，数据特征服从 Zipf 分布（第 (i) 频繁特征的频率 (\propto i^{-(1+s_H)})；(s_H = s - 1)，(s) 是 5.3 节 (27) 式的 Zipf 指数）时，样本学习曲线的指数是 [ \alpha_H = \frac{s_H}{1+s_H} \qquad (\text{在该玩具模型内，换损失函数只改前因子、不改指数}) \tag{38} ]

但它们未必是互相独立的四票：5.6 节的统一猜想（本文判断，低置信）把它们写进同一副谱骨架注22；而且每一个都固定了模型族 —— 回答的是”给定模型族，指数由什么定”，并没有检验”架构中性”。合起来只支持一个较弱的共同点：**在这些可解模型里，指数由数据的结构决定。**落到语言上还要再退一步：^[8] 自己的语言模型那一点只满足不等式、离等式很远注7。

直接观测站在同一边，但各有边界。Hestness et al.^[54] 在四个领域都测到 (D) 轴幂律，换模型只平移曲线、不改指数（原话与限定见 9.6 节）。Mayilvahanan et al.^[55] 在 6000 多个 LLM checkpoint 上发现，loss-to-loss 的换算关系由预训练数据决定；模型规模、优化超参、tokenizer，乃至 Llama 与 Mamba 这样的架构差异，影响都有限注11 —— 注意它量的是两种 loss 之间的映射，不是 (L(N)) 的 (\alpha)。

Kaplan^[4] 真正测到的”同指数、差常数”是 Fig. 8：在 WebText2 上训、换别的文本分布去测，指数几乎相同，只差一个很小、随规模缓慢增长的偏移 —— 更像评测分布的地板高了一截；这里换的是评测分布，不是训练分布。Frantar et al.^[2] 的权重稀疏只进 (N) 项前因子、指数不变；^[5] 附录 A.2 只换目标函数，指数的变动约 0.01注9。

反例同样具体，来自三个方向：

• 架构族：Kaplan^[4] 的 Fig. 7 里，LSTM 在 context 靠前的 token 上与 Transformer 打平、靠后的 token 上追不上 —— 差距渐近拉大，不是平移；流传很广的”LSTM 与 Transformer 只差一个与 (N) 无关的因子”，出自 ^[8] 引言的转述，比原文宽了一圈。Tay et al.^[17] 的头条结论是”architecture is indeed an important consideration”，激进归纳偏置（MLP-Mixer、Performer、LConv）在中等规模上把斜率往下拽，ALBERT 式的跨层共享在下游甚至越大越差；不过它的表格比措辞温和注11，^[17] 真正支持的是”偏离主流越远越危险”，不是”族内小改就改斜率”。MoE 是主流架构里少见的正向例子：计算最优下与 dense 的差距随规模拉大^[21]，等效算力倍率随算力按幂律上升^[22]；^[20] 与 ^[17] 固定训练 token 数，测到的是相反方向，差在比较基准注12。

• 训练区制：Bahri^[9] 测到宽度未饱和时加宽会改 (\alpha_D)（前沿 LLM 大概率已在饱和宽度之上，但这是推断，临界宽度是在 CIFAR / WRN 一类设定里测的）；Bordelon, Atanasov & Pehlevan^[56] 用平均场理论推导：对目标不在初始 NTK 的 RKHS 里的难任务，feature learning 改善训练时间与算力轴的指数，(N) 轴的指数不变；易任务上都不变。Paquette et al.^[57] 在可解的幂律随机特征模型里测到，loss 的指数随相而变，相由模型容量、优化器噪声与特征嵌入谁占主导决定。换句话说，“怎么训”本身也能进指数，不只是”训多少”。

• 数据选择：受控证据互相打架 —— Sorscher^[37] 只有”池子越大、留得越少”的剪枝才改指数，Goyal^[35] 的指数差异依赖建模约束（6.4 节）。

一句更稳妥的总结：数据与任务给出了 (\alpha) 最重要的那条约束，所以它最难改；但它不是数据的独占属性。已知能动它的：换架构族（Kaplan Fig. 7）、MoE（^[21][22]，按计算最优比较，属拟合外推）、feature learning（^[56]，时间 / 算力轴）、宽度未饱和（^[9]），以及”池子越大、留得越少”的激进剪枝（^[37]）。

落到工程上是两句话。其一，在主流架构范围内，深宽比这类族内小改动的主要是 (A)（经验规律，不是理论上限）；GLU（^[17] 里 0.49 对 0.54）与混合注意力都是截距略好、斜率略低，按 7.1.4 节的门槛分不开；新优化器归属未定（6.4 节）。想系统性地改 (\alpha)，除了 MoE 这类已有多组拟合支持的例外，主要还得换数据、换任务。其二，小规模前哨实验最容易踩进区制陷阱：宽度未饱和、没跑进渐近区时，截距的改善会被读成斜率变化（6.1 节）。读一篇”新架构改善了 scaling”的论文，先问三件事：斜率测过几个数量级？每一档是否独立调过超参？有没有留出最大一档做外推检验？答不上来，报的”更陡”多半是截距的功劳（7.1.4 节）。

6.4 A 是工程的主战场——但干净地只动 A 的手段比想象的少

如果 (\alpha) 最难改，那行业里大部分算力效率创新打在哪？答案是 (A)：**把同一条幂律整体往下平移一截 —— 不改斜率，但在动辄上亿美元的预算里，省下的是实打实的成本。**麻烦在于，拿 (a)/(b) 标签逐条核对，报成”等效 (k) 倍参数 / 算力”的手段不少，真正只动 (A) 的不多。判据是 (k) 随不随规模变：不变，(A’ = A,k^{-\alpha})，只动 (A)；变了，斜率跟着变注15。大致分五类：

• 干净的 (A)（a）：Transformer 族内的形状小改（Kaplan 测到固定 (N) 时深宽比等形状超参影响很弱^[4]），以及权重稀疏（^[2] 里稀疏度只进 (N) 项前因子）；倍率与规模无关的等效参数也在这里（并行流约 (O(\log P)) 倍，循环深度按等参数比时）。

• 资源换算（a）：数据重复与迁移不改公式形状，只把资源重新记账（有效 (D)；换算规则随训练目标变，见 6.2 节”优化目标”行）。

• 成本轴上的换算，根本不在 (L(N, D)) 里：MFU、并行、数据吞吐只改”同样一笔钱买到多少有效 FLOP”。MFU 从 30% 提到 50%，等于把成本轴整体左移约 1.67 倍，(\alpha)、(E) 乃至 (A) 本身都一动不动；Epoch AI^[32] 那个”算法效率每年约 0.5 OOM”里也不含 MFU，它按理论 FLOP 计。FP8 的账要两头算：成本轴上每美元买到更多 FLOP；(L(N, D)) 里同样的 (N)、(D) 下 (A) 反而略升注15，净收益是两者之差，而不是”FP8 压低了 (A)“。并行流的收益主要落在显存与延迟上（4.8 节），账也记在这一侧。

• 看着像 (A)、其实换了曲线（b）：MoE，以及另起”槽数”一轴的条件记忆^[24]（不增每 token 计算，代价记在存储上，4.8 节）。MoE 因”每 token 只激活一部分参数”常被归进”压 (A)“，但按”只改一个因素”去比，它动的是斜率（6.3 节），最优配比也往”多数据、少激活”挪（^[13]，4.2.3 节）注12：dense 上拟出的 scaling 律要在 MoE 上重拟。超参协议常被列在这一类，其实它是测量前提，不是旋钮（7.1.1 节）。

• 归属未定：注意力形式（混合架构截距略好、斜率略低，与 GLU 同型，但原文的配比指数本身不自洽，见 6.2 节）；新优化器（Wen et al.^[31]：Muon、Soap 这类矩阵型优化器相对调好的 AdamW，在固定约 8 倍 Chinchilla 数据量下，加速比从 0.1B 的约 1.3–1.4× 缩到 1.2B 的约 1.1×，同一规模下随数据量增大。按 Chinchilla 式推算，若只压参数项前因子，这种口径下的加速比应大致不变甚至上升，与实测不符，所以不能解释为”只压前因子”；原文的联合拟合里两轴指数与地板一起变，但规模只到 1.2B。它动的是 (A) 还是斜率、是否与数据量或训练区制交互，目前未定注14）；数据质量（下一段）。

数据质量是”压 (A) 还是动指数”证据最不齐的一项。Goyal et al.^[35]（4.6 节）的结论是最优过滤强度随算力变 —— 算力少时挑食保质量，算力多时把中档数据当新鲜 token 吃进来；但它的指数差异是在”前因子各桶共用”的建模约束下拟出来的注16。Sorscher et al.^[37] 按”原始池越大、越激进地只留最难样本”剪枝，测到幂律被打破、向指数 scaling 逼近。机器翻译上结论相反：Bansal et al.^[36] 测到过滤只降乘性常数，换架构、加噪声也几乎不动数据 scaling 指数 —— “marginally worse architectures or training data can be compensated for by adding more data”；但”不动”部分来自组内共享指数的拟合约束，加噪声抬高的渐近值多喂数据也补不回来，back-translation 合成数据则把指数从约 0.27 拖到约 0.20注10。LLM 上只有非受控的旁证：DeepSeek LLM^[38] 换用质量更高的数据后，最优模型规模的配比指数从 0.450 升到 0.578，但几份数据的来源本身不同注16。受控证据互相打架，所以总表那一格只能写”未定”。翻译那组对照倒留下一个清楚的判据：能被”多花钱”补偿的，几乎都是 (A)；补偿不了的，才是 (\alpha) / (E)。

迁移是资源换算最漂亮的一例。Hernandez et al.《Scaling Laws for Transfer》^[40] 把预训练的好处量化成有效迁移数据： [ D_{T} = k,(D_{F})^{\alpha_t},N^{\beta_t} \tag{39} ]

其中 (D_F) 是下游微调数据量，(N) 是模型规模：预训练等于给你的下游数据集乘了一个倍数，大小取决于分布有多近（(\alpha_t)）和模型多通用（(\beta_t)）。但这个倍数随微调数据增多而衰减注18：迁移做的是资源重参数化，不是给曲线加一个固定截距；而且 (39) 只在低数据区验证过，高数据区还有预训练权重”僵化”（ossification）、反不如从头训的情形。对数据工程师，预训练分布离下游越近，同样的微调数据越值钱；微调数据一多，乘数衰减到接近 1，该投的就是下游数据本身。还要提防：预训练与下游对不齐、微调数据又少时，下游交叉熵照样按幂律下降，BLEU 却可能变差（Isik et al.^[41]）—— 迁移的收益在分数上可以是负的，loss 上却看不出来。

“DeepSeek 为什么能用更小算力逼近一线”也可以这样拆：公开路线里 FP8 与工程效率属于成本换算，MoE、RL 与推理时策略属于换曲线，合成数据按 6.5 节的三类分别记账，数据清洗归属未定；双方都没公布 ((E, A, \alpha))，跨实验室比 (A) 没有意义。压 (A) 的手段便宜、可复制、可叠加，本身不构成护城河 —— 护城河与 ((\alpha, A, E)) 是两套坐标。

6.5 天花板 E：同一道题上砸 N、D 砸不穿 —— 降它要换题、换条件，或换模型族

三个量里，(E) 是最”硬”的那个。在固定的评测分布、tokenizer、context 与目标函数下，同分布地多堆 (N) 和 (D)，乃至换优化器、改架构，改善的都是可约项（(A/N^{\alpha})、(B/D^{\beta})），砸不穿 (E)。按 3.5 节的 (23)，(E) 由”预测什么”和”基于什么预测”决定，所以在 6.1 节的 ① 层，降 (E) 只有两条路：

• 改 conditioning（最干净的一条）：(H(Y \mid X, Z) \le H(Y \mid X)) —— 给模型更多相关输入（更长 context^[58][59]、RAG、原生多模态通道），条件熵单调不增；经验上训练上下文越长验证 loss 越低^[48][49]（4.4 节总表”上下文长度”行）。关键词是”相关”：给代码补全加上同一仓库的其他文件，是相关的 conditioning；塞进无关网页只多花算力、不降 (E)。

• 改任务定义 / 目标分布：换一道题，例如把”开放式聊天的困惑度”换成”能否通过单元测试”（数学证明、代码执行、工具调用这类可验证、低噪声的任务），地板立刻换了一个 —— 这是换了一条曲线，不是在同一分布上把 (E) 压低。去掉评测集里的高熵噪声残渣（乱码、编码错乱、翻译残渣）是它的特例：只有评测集同样过滤，下界才真的降了，而那已经是换题；广告、模板低熵好预测，筛掉反而抬高评测集的平均 loss，不在此列。评测集要不要跟着清洗，因此是一个”换不换题”的产品决策，应当单独拍板、单独记账。

训练侧的手段都不在这两条之内：评测分布不变，① 层就不动，改善落在 ② / ④ 层或 (\alpha)、(A) 上。只清洗训练集动的是哪个数尚无定论（6.4 节）；把数学证明、代码执行 trace、工具调用记录这类可验证数据加进训练集，能显著改善推理类任务的曲线，降的也是 ② / ④ 层。落到 ② 层还多一条路：换一个逼近能力更强的模型族，把 (\inf_\theta D_{\mathrm{KL}}) 压下去 —— n-gram 模型再大也够不着长程依赖里那部分可预测性，换成 Transformer，② 层的地板就下来了。

训练侧的合成数据按信息从哪来分三类，判据是两问：生成流程里有没有不来自被训模型本身的信息源？有的话，有没有裁判或环境反馈？带外部锚的（验证器、真实环境反馈、人工反馈）有新信息从模型外面进来，让模型在同一张卷子上离 ① 更近，降的是 ② / ④ 层，① 本身不动。改写的（用别的模型改写真实语料）有原文与改写模型两个外部信息源，但没有裁判，是 2025 年最常见的一类：Kang et al.^[60] 测到约 1/3 改写加 2/3 网页，在大数据预算下达到同一验证 loss 快 5–10 倍，纯改写并不更快 —— 按现有证据更像资源换算（有效 (D)），但原文没有拟合地板，动没动 (E) 未检验（4.6 节）。纯自产的（模型改写自己的输出、自己出题自己答）按数据处理不等式不会引入关于真实分布的新信息，能带来什么目前没有受控证据，还会把模型自身的偏置固化进训练分布、截掉分布的尾部：Dohmatob et al.^[61] 表明，尾部被截断时再多的自产样本也不再带来提升，尾部只是变窄时衰减变慢，混入少量真实数据即可缓解 —— 这正是第 8 章 model collapse^[62] 的上游。

这也是 Chinchilla 之后长 context、原生多模态、带外部锚的合成数据与数据筛选成为核心战场的原因：改善有效数据分布与 conditioning，往往比在原曲线上多跑一小段更值钱。

RL 的平台也落在这张分层表里。ScaleRL^[52] 的 sigmoid 平台 (R_\infty)（11.3 节 (48) 式）是在固定基座、固定生成预算下拟合的：换更大的基座能抬高它，那是 ③ 层 —— 补的是另一根轴；换 recipe（损失函数类型、LM head 的数值精度）、放长生成长度、加大 batch 也能抬高它，那是 ② 层 —— 训练方式的极限（4.7 节）。总 batch 不变时，每题 rollout 数怎么分只是二阶因素；把每题 rollout 从 16 提到 512、总量随之加大，能让已饱和的模型继续提升^[63]，同属 ② 层。loss 聚合、归一化、课程与 off-policy 算法这类细节主要改算力效率、不实质移动渐近值，与”工程多动 (A)、少动 (E)“同构。所以”砸不穿”只对 ① 层严格：同一配置上多跑 RL 步数砸不穿平台，换配置（②）或换更大的基座（③）才抬得高。

反过来，几个常被误当成”能降 (E)“的操作，其实不行 ——

• 语种 / tokenizer：换语种是换了 (p_{\text{data}})，那是换了一道题；tokenizer 只改 (E) 的记账单位，跨 tokenizer 比 loss 要先换成 bits-per-byte：(\text{bpb} = (\text{nats/token}) \times (\text{tokens/byte}) / \ln 2)，Delétang et al.^[45] 正是按它跨模态报数，“代码的条件熵低于自然语言”也只在 bpb 下站得住；词表本身还是随算力变的容量旋钮^[47]注20。Chinchilla 的 ~20 tokens/参数^[3] 同样随分布、语种与预算漂移（4.3 节）；从语料统计推导数据受限指数的理论工作^[64]，为”(\alpha)、(E) 随 (p_{\text{data}}) 走”提供了早期的机理背书注23。

• “多样性” / 混合更多领域：不能拿”熵的凹性”论证混合会抬高地板 —— (E) 是自回归条件熵率，混合带来的超出项每 token 不超过 (\log|Z|/T)，可以忽略注19。所以一阶结论是加权平均 (E_{\text{mix}} \approx \sum_z \lambda_z E_z)：混进低熵域（代码）会拉低混合评测集上的 (E)，混进高熵域才抬高，方向由混了什么、评测集怎么加权决定，不存在系统性的”混合惩罚”。多领域的价值主要在表征通用性与下游泛化（动可约项），与柏拉图表征假说^[65] 相容；“多样性”真能降低有效下界时，起作用的其实是顺带进来的更有用的 conditioning（第 1 条路）或连评测集一起换掉的高质量子集（第 2 条路），只换训练集则动的是 ② / ④ 层。Aghajanyan et al.^[5] 在生成式混合模态上测到竞争壁垒（小规模下模态互相拖累，过了可被算力突破的门槛翻转成协同），拟出的混合地板还比单模态地板的平均低一个协同项 (C_{i,j}) —— 这只说明单模态各自拟合的地板偏高，是 ④ / ② 层的现象；① 层的混合地板不低于加权平均。训练配比到评测 loss 的映射另是一层经验回归^[42][43]，一阶线性直觉在那里不成立。

这里藏着一层反讽：(E) 被排成”最硬”，可它是在你选定的评测分布上定义的 —— 而 2023 年以来产业界改得最频繁的，偏偏就是评测分布：新 benchmark、新 harness、新的”能力”定义。按实际被移动的频率排，(E) 反倒是三者里最常被动的那个。所以读任何”天花板被抬高了”的说法，先问一句：是同一张卷子上分数更高了，还是换了一张卷子？

6.6 杠杆判据：固定预算下，下一块钱该投谁？

三个量分开讲完，落到决策上是同一个问题：**下一块钱投哪个旋钮，回报最大？**把 (36) 写成可约 loss (r \equiv L - E = A,x^{-\alpha})，对资源求边际收益： [ -\frac{\mathrm{d}(L-E)}{\mathrm{d}\ln x} ;=; \alpha,(L-E) ;=; \alpha,A,x^{-\alpha} \tag{40} ]

它是可约 loss 对资源的对数导数（半弹性）：资源每增加 1%，可约 loss 约减少 (\alpha)%（弹性恒为 (\alpha)），翻倍时减少 (1-2^{-\alpha})。(\alpha) 与 (E) 都按 (x) 那根轴取（6.1 节）：(N) 用 0.34、(D) 用 0.28、沿 compute-optimal 路径用 (\alpha_C \approx 0.15)；切 (N) 轴时 (E) 是切片平台 (E + B,D_0^{-\beta})，不是裸 (E)注24。三个推论对应三个旋钮：

• 推论一 · (\alpha) 是所有花钱回报的总乘子，却最难拧：(\alpha = 0.34) 时资源翻倍，可约 loss 只降约 21%；它主要随数据与任务走（6.3 节）。按 5.6 节的谱猜想，(33) 把它写成 (\alpha = \rho,\alpha_s)，想抬它得动谱衰减率或拾取指数。

• 推论二 · 压 (A) 是一次性的免费下移：它把整条 (r = A,x^{-\alpha}) 等比下压，不付指数代价、不动弹性 (\alpha)。换算成资源更实用：把 (A) 压到原来的 (q) 倍，等价于把资源乘以 (q^{-1/\alpha})；(\alpha \approx 0.34) 时，(A) 降 21% ≈ 白赚 2× 算力，降 50% ≈ 白赚 7.7×。但这组换算只对只压 (N) 项系数的改进成立：整条可约项一起减半要用 (\alpha_C)，约相当于 90 倍算力；只作用在数据项系数 (B) 上的要用 (\beta)，约 12 倍（Besiroglu 参数下的对应值见注24）。同一预算下可约 loss 随 (A) 线性变，同一目标 loss 下省下的资源才要被 (\alpha) 折一次；指数在分母上，这些倍数对 (\alpha) 极敏感：误用 Kaplan 的 0.076，会把 7.7× 算成四位数。

• 推论三 · 降 (E) 不进 (40)：只把 (E) 降下去、(A) 与 (\alpha) 不动，可约段 (L - E) 一点没变，(40) 的回报也一分没多。换题之所以”开闸”，是因为它换掉了整条曲线 —— 新曲线的 ((\alpha, A, E)) 都要重测，新的可约段有多厚是经验问题，不是代数保证。

把预算在 (N)、(D) 之间分配时，约束是 (C \approx 6ND) 的乘性耦合，Lagrange 条件是两个可约项的半弹性相等： [ \alpha,A,N^{-\alpha} ;=; \beta,B,D^{-\beta} \tag{41} ]

它就是第 2 章 (10) 在 Chinchilla 形式下的同一条件，解即 3.2 节 (16)–(18) 式。Besiroglu^[7] 修正后的参数恰好让 Chinchilla 实际选用的 70B / 1.4T 满足它，原报参数不满足注24。(N)、(D) 之外的旋钮同理该拉平，只是成本结构因项目而异 —— 所以”下一块钱投哪”几乎永远不是”再 scale 一点”这么简单。

但这笔账只算了训练。推理量会改变 (N{:}D) 的最优点：把整个生命周期的推理算力算进目标函数，高调用量模型的最优解会偏向”更小、训得更久”（3.4 节^[66]）—— 下一块钱投谁，还取决于这个模型之后要被调用多少次。蒸馏也在这笔账里，但它动的是 (E)（总表”蒸馏”行）。

适用边界：(40)(41) 是把 (36) / (14) 直接求导得到的，可靠性不超过母式 —— 同一条曲线、跑进渐近区时是硬代数；换了曲线或没进渐近区，这套边际账就要重算。它是想清楚钱该投哪的判断框架，不是可以盲套的预算公式。(40) 还只对幂律段成立：RL 训练算力的曲线是带基线的 sigmoid，上升段的边际回报递增，不能照搬（4.7 节）。判别流程（四级嵌套的拟合阶梯，以及声称”(\alpha) 变了”的门槛）见 7.1.4 节；事前决策把 scaling law 当否决器更便宜（7.2 节）。

6.7 Takeaway

• (\alpha) 最难改：主要随数据与任务走；架构族（含 MoE）、训练区制能动它，MoE 在计算最优比较下是主流架构里少见的正向例子；数据选择只在激进剪枝下测到过。

• (A) 是工程的主战场：报成”等效几倍参数 / 算力”的手段很多，但只有倍率不随规模变时才只动 (A)；MFU、FP8、并行流的收益大多记在成本、显存与延迟上；注意力形式、新优化器与数据质量归属未定。

• (E) 在同一道题上砸 (N)、(D) 砸不穿，降它要改条件或改任务；换模型族、换训练方式能压低训练方式那一层的地板。RL 平台能被 recipe（训练方式那一层）和更大的基座（补另一根轴）抬高，都不违背”同一道题上砸不穿”。

• 常数比指数易变：同族同任务内 (\alpha) 相对稳定，跨模态会变，别拿语言的斜率外推视觉。新维度分两种：能折回旧轴、倍率不随规模变的，是老曲线跑快了；倍率随规模变、换算规则变或另起新轴的，才是换了曲线，旧外推作废 —— 2024 年前后行业陆续换轴（o1 一类 test-time compute、RL 后训练），Ilya 以”数据不再增长”判断”pretraining as we know it will end”，指向同一方向。先问比较基准是等参数、等 FLOPs 还是等显存。

• 前因子与指数最难分开：窄窗口里的”斜率变了”，先当截距变化来看（判别流程见 7.1.4 节）。

**口诀：(\alpha) 是天赋，(A) 是努力，(E) 是天花板（助记，不是定理）。**下次再听到”我们提升了 scaling law”，可以礼貌地追问一句：你提的是斜率、截距，还是天花板？按什么基准比的？

暗线回扣：本章把暗线③（范式演化）落到可操作的判据上 —— 把曲线拆成 (\alpha)、(A)、(E) 三个部位后，干净地只动一个数的手段比想象的少；新维度是折回旧轴（老曲线跑快了）还是另起新轴（换了曲线），决定了暗线①（可预测性）里的旧外推还能不能用。

本章拆的是曲线的解剖学；这条曲线怎么量出来、量出来之后不同角色拿它做什么决策，是下一章的测量学：拟合为什么脆弱、用进研发要注意什么、自己的团队怎么复现一条可信的 scaling law。

第 6 章证据与口径注

正文用”注 N”上标指到这里。这里收的是原文措辞、论文小节号、设置条件与参数细节；正文结论不依赖读者读完这些注。

展开全部注释（共 24 条）

注1　Feinberg 原 slide 的语境是 Gemini 的 tick-tock 迭代；本章取”把同一个点往下压”的读法，是转译，不是原话。

注2　加性可分是可证伪的前提：Kaplan 的括号式（(4) 式）与 ^[12] 的 (L \approx L_0(1/N + 1/T)^{\alpha}) 都不可分（后者连不可约项都没有）；两种形式一般不互相嵌套，要拿留出外推或非嵌套检验来比。

注3　Besiroglu^[7] 的 bootstrap 里，(A) 的相对标准误约 26%、(B) 约 62%，(\alpha) 约 6%、(\beta) 约 5%。本章的”截距""压 (A)“都指可约坐标下的 (\log A)。Kaplan 的 (N_c) 与 Chinchilla 的 (A) 更不是一个东西：(N_c^{\alpha_N} = (8.8\times 10^{13})^{0.076} \approx 11.5)，而 (A_{\text{Chinchilla}} = 406.4)，差 35 倍。

注4　表中 ② 那一格，后一个不等号严格的准确条件是 (\inf_\theta D_{\mathrm{KL}} > 0) —— “模型族里没有哪个成员恰好等于真分布”并不够：模型族在 KL 意义下稠密时，下确界仍可以是 0。④ 在论文里通常仍是一个拟合参数（4.8 节）。loss 与分数方向相反的实例见注18 的 ^[41]。

注5　推导见 7.1.4 节：固定两个观测点、假定单幂律时，(\alpha) 对 (E) 的导数恒正；真正与 (E) 反向走的是”窗口内还剩多少可约 loss”。外推到 (x = 1) 的 (A) 还要乘一个随 (\alpha) 暴涨的杠杆臂，实际也跟着 (E) 同向走。

注6　表中 (\alpha) 按被引文献实际测的轴读：^[8] 与 ^[4][6] 在 (N) 轴；^[11] 只给 (D) 轴；^[10] 两轴都给且指数不同（(\alpha_N = s_H)、(\alpha_D = s_H/(1+s_H))）；^[9] 的模态与标签实验在 (D) 轴。Tay^[17] 的斜率是 FLOPs–困惑度平面上的直线拟合，^[14][13][6] 另有 (L(C)) 平面或配比指数，都不能直接与 (36) 的 (\alpha) 比大小。

注7　^[9] 对核模型给出更一般的 (\alpha \approx t/d)（(t) 为核的光滑阶）；(4/d) 是 ^[8] 在分片线性逼近下的结果，原文写的是不等式 (\alpha \gtrsim 4/d)。语言模型那一点的原话：“For language modeling with GPT …, we know 4/α ≈ 53 while we measure the intrinsic dimension as d ≥ 90 …, in accord with the inequality, but quite far from equality”。

注8　给输入加噪声才显著改 (\alpha_D) —— 网络学的是输入流形（^[9]，视觉）。^[36] 在 NMT 上的结论相反（注10）。保守读法：噪声对指数的影响依赖模态与噪声类型。

注9　^[5] 附录 A.2 在同一批数据上只换目标函数（causal-masked vs causal）：Text 的 (A) 492.51→485.16、(E) 2.42→2.45、(\alpha) 0.18→0.17，两个模态的指数变动都 ≤ 0.01。跨损失族的受控对照至少有两项：Nie et al.^[16] 在同一语料（SlimPajama，数据充足）上做 IsoFLOP（(6\times10^{18})–(10^{20}) FLOPs），掩码扩散的最优验证 loss 按幂律下降、斜率与自回归相当，只差一个约 16 倍的常数算力（“a rate matching that of ARMs … a constant computation gap of 16 times”）；^[15] 用同一套数据受限律分别拟合两者，差别主要落在有效数据的换算（(R_D^{*}) 约 500 对约 15–32）与数据充足时的算力效率。(E) 能否跨损失族比还没有检验：掩码扩散报的验证 loss 是负对数似然的上界（ELBO），不能与自回归的精确 NLL 直接比。^[6] 比的是同一交叉熵下的不同模态，^[67] 没做幂律拟合。常被当作”反 scaling”例子的 Gao et al.^[68] 不属于这张表：它的横轴是优化压力（(\sqrt{\mathrm{KL}})），而且 RM 越大、过优化越轻。

注10　^[36] 的拟合式是 (L(D) = a,(D^{-1} + c)^{p})，渐近值为 (a,c^{p})；比较架构与噪声时组内共享 (p)，所以”指数不变”部分来自这个约束，而架构同时改了 (a)（≈ (A)）与 (c)（进入渐近值，≈ (E)）。噪声实验只在一个模型规模上做过：加 iid 噪声不改指数、只抬高渐近值，与视觉上”加噪声才显著改指数”相反（注8），原文自己写明 “in contrast with observations in the vision domain (Bahri et al. 2021)“。back-translation 的指数在 Table 1 里是 0.198、平行数据是 0.271。^[36] 的架构对照都不是”固定 (N) 调深宽比”，所以不放在族内小改那一行。

注11　Tay^[17] Table 2 的上游斜率 vanilla 0.54、GLU 0.49、MoS 0.43、Switch 0.23、ALBERT 0.08，ALBERT 的两列下游斜率为负（−0.12、−0.21）；Switch 的四列斜率都低于 vanilla（比较基准见注12）。论文把 MoS 与 GLU 一并归入 “retain similar scaling behaviours” —— 张力在它的定性措辞与自家表格之间。Mayilvahanan^[55] 的自训模型最大约 0.42B，另有至多 20B 的公开模型。常被一并引用的 Rosenfeld et al.^[69] 说明的是同一个函数形式能横跨多种架构拟合；指数则按数据集分别拟合、彼此不同（图像任务上的数据指数从 0.40 到 1.10），不能当共同指数的证据。

注12　MoE 的证据方向不一，差在比较基准。^[20] 的联合式里 (N) 轴斜率是 (s(n_e) = s_0 + c\log \hat{n}_e)（原文记作 (a(E))，(E) 指专家数）。这个斜率与 (17) 式的配比指数 (a = \beta/(\alpha+\beta)) 是两个量；后者变了，就至少有一根轴的指数变了。各项证据的比较基准：

文献比较基准测到的| 文献 | 比较基准 | 测到的 |

^[20]固定 130B token专家带来的收益随 (N) 递减| ^[20] | 固定 130B token | 专家带来的收益随 (N) 递减 |

^[17]固定 (2^{19}) 步（C4）Switch 的 FLOPs–困惑度斜率 0.23，vanilla 0.54，四列都更低；原文自称最大一档 Switch 缩放欠佳，末点要打折扣| ^[17] | 固定 (2^{19}) 步（C4） | Switch 的 FLOPs–困惑度斜率 0.23，vanilla 0.54，四列都更低；原文自称最大一档 Switch 缩放欠佳，末点要打折扣 |

^[21]各配置取 compute-optimal（含 token 数与粒度）与 dense 的差距随规模拉大，明言与 ^[20] 相反；实测只覆盖 129M–3.7B 参数、16B–130B token，属拟合外推| ^[21] | 各配置取 compute-optimal（含 token 数与粒度） | 与 dense 的差距随规模拉大，明言与 ^[20] 相反；实测只覆盖 129M–3.7B 参数、16B–130B token，属拟合外推 |

^[22]效率杠杆：同 loss 时 dense 与 MoE 所需算力之比随激活比降低、随算力增大都按幂律上升，外推到 (10^{22}) FLOPs、激活比 3.1% 时超过 7 倍；原文另训一个模型做了验证| ^[22] | 效率杠杆：同 loss 时 dense 与 MoE 所需算力之比 | 随激活比降低、随算力增大都按幂律上升，外推到 (10^{22}) FLOPs、激活比 3.1% 时超过 7 倍；原文另训一个模型做了验证 |

^[13]compute-optimal 配比指数16× 稀疏把语言的配比指数从 0.47 拉到 0.41，往多数据、少激活挪| ^[13] | compute-optimal 配比指数 | 16× 稀疏把语言的配比指数从 0.47 拉到 0.41，往多数据、少激活挪 |

^[23]同 loss、同训练预算下的显存专家不多时 MoE 的显存也可比 dense 更省| ^[23] | 同 loss、同训练预算下的显存 | 专家不多时 MoE 的显存也可比 dense 更省 |

前两项固定训练 token 数，问的是”同样多 token 下专家能帮多少”；^[21][22] 让每个配置各取最优，问的是”同样多算力下能压到多低”，两种问法的答案可以相反。^[13][23] 量的是配比与显存，另成一维。

注13　^[2] 在 ViT/JFT-4B 与 T5/C4 上拟合 (L(S,N,D) = \big(a_S(1-S)^{b_S} + c_S\big),N^{-b_N} + (a_D/D)^{b_D} + c)（(S) 为稀疏度、(N) 为非零参数量）：(b_N) “stays fairly consistent”，“sparsity and data scaling are mostly independent”。

注14　^[28] 把 Kaplan 的 (a \approx 0.88) 逐项修到 Chinchilla 的 0.50：三个因子里两个是超参协议（warmup 时长、逐尺度调 LR / batch），一个是 FLOP 计数（归因见 7.1.2 节）；(a) 是 (17) 式的配比指数，0.88 是 Kaplan 对训练算力 (C) 的原始拟合，2.3 节的 0.73 是换成 (C_{\min}) 后的调整值。Wen et al.^[31] 在 0.1B–1.2B、1–8× Chinchilla 数据量上比了十种优化器，加速比按”达到同一 loss 所需 token 数之比”计，1.2B 的超参由超参 scaling 律外推；原文写道 “The speedup ratio increases with data budget yet decreases with model size”，跨规模的比较则固定在 8× Chinchilla 数据量（“diminish to around 1.1× for 1.2B parameter models at 8× Chinchilla Ratio”）。只压 (N) 项前因子（(A \to qA)）时，固定 (N) 的加速比为 ((u/(u-\delta))^{1/\beta})，(u = B/D^{\beta})、(\delta = (1-q)A/N^{\alpha})；数据倍数固定（(D \propto N)）时 (\delta/u \propto N^{\beta-\alpha})，加速比随规模升还是降只取决于 (\alpha-\beta) 的符号。把 130M 一档校准到 1.4×，到 1.2B 时：Hoffmann 参数（(\alpha \approx 0.34 > \beta \approx 0.28)）下约 1.35×，Besiroglu 参数下约 1.42×，按原文 AdamW 自拟的指数（(N) 轴 0.156 < (D) 轴 0.280）约 1.57× —— 都解释不了实测的约 1.1×。只压 (B) 则恒为 (q^{-1/\beta})，也不随规模缩。附录 B.1 用 16 个 run 各拟了一条 (L(N, D))，两轴指数与地板一起变（(N) 轴 0.156 → 0.186、(D) 轴 0.280 → 0.207、地板 1.732 → 1.806），并外推 7B、1× Chinchilla 时 Muon 的 loss 反而高于 AdamW；直接拿这两条拟合算，1× 下加速比随规模从约 1.5× 缩到约 1.2×，8× 下却基本持平（约 1.2×），说明拟合本身也粗。规模只到 1.2B，正是 (A) 与 (\alpha) 分不开的窄窗口。

注15　^[33] 把低精度训练折成有效参数量 (N_{\text{eff}} = N,f(P))；固定精度 (P) 时即 (A_{\text{eff}} = A,f(P)^{-\alpha})，精度越低 (A) 越高。训练后量化的退化是叠加在原 loss 上的新项，随 (D) 增长、随 (N) 减小（^[33] 拟到 (\propto D^{0.51}/N^{0.34}) 再乘精度因子，^[34] 独立拟到 (D^{0.53}/N^{0.23})），于是存在 (D_{\text{crit}})；但要在严重过训练（(D/N \gg 1000)）时才显著，约 5-bit 起变得明显。等效倍率的通用判据：倍率不随规模变时只动 (A)（(A’ = A,k^{-\alpha})）；倍率本身随规模变（例如 MoE 的效率杠杆随算力上升^[22]），连斜率都会变。

注16　Goyal^[35] 拟合 (y = a,n^{b} + d)，随质量变的是效用指数 (b) 与重复衰减半衰期 (\tau)，前因子 (a) 被设为各桶共用（附录 E.4：“we fix (a) to be same across the pools, we let (b) and (\tau) to vary”）—— 建模选择，只算弱证据。Sorscher^[37] 的条件：固定比例剪枝会退回幂律；剪枝指标不完美时 crossover 回幂律；数据稀缺时反而该留最容易的样本。DeepSeek LLM^[38] Table 4 三份数据上最优模型规模的配比指数依次为 0.450、0.524、0.578，作者归于数据质量 —— 三份数据的来源本身不同，属非受控对比。

注17　Muennighoff^[39] 把重复数据折成有效数据 (D’ = U,(1 + R_D^{}(1 - e^{-R/R_D^{}})))，(U) 为唯一 token 数、(R) 为 epoch 数减 1。(R_D^{} \approx 15.4) 原文称为”半衰期”，数学上是价值衰到 (1/e) 的尺度（半衰期是 (R_D^{}\ln 2 \approx 10.7)）。上界：重复多少次都不会优于拿 16× 原始 token 训一个 epoch —— 这是该拟合式自己的饱和值 (U(1+R_D^{}))，不是模型无关的硬上限。原文的读法是约 4 个 epoch 内与新数据几乎等价（“negligible changes to loss”），约 16 个 epoch 后收益迅速走平（“returns diminish extremely fast”）。这些都是自回归、常规正则下的值；掩码扩散的 (R_D^{}) 约 500（^[15]，4.5 节）。

注18　(39) 的倍数不是常数：总倍率 (1 + k,N^{\beta_t} D_F^{\alpha_t - 1}) 随微调数据增多而衰减，局部指数随之在 (\beta,\alpha_t)（迁移项主导）与 (\beta)（实际数据主导）之间滑动。它只在低数据区验证过（原文定义 (D/D(N) < 10%)），ossification 只在小模型上观测到。^[41]（T5-3B，MC4 预训练 + WMT 微调）的措辞是 “there are cases where”：预训练与下游翻译不够对齐、且微调数据不多时，下游 cross-entropy 仍按幂律单调降，BLEU / COMET 却波动甚至变差；翻车只出现在 en-fr、且只在 42M 与 210M token 这两档小微调集上。微调数据足够多时，预训练带来的分数改善趋近于零。

注19　为什么不能拿”熵的凹性”论证混合抬高地板：凹性 (H(\sum_z \lambda_z p_z) \ge \sum_z \lambda_z H(p_z)) 讲的是单符号分布，而 (E) 是自回归条件熵率。按链式法则，混合分布的熵率是 (h_{\text{mix}} = \sum_z \lambda_z h_z + I(Z; Y^T)/T)（(Z) 是域标签，(T) 是域标签不变的那段块长，context 只是上限）；(I(Z; Y^T)) 随 (T) 单调不减，但上界 (\log|Z|) 与 (T) 无关，摊到每 token 不超过 (\log|Z|/T) —— 8 个域、整段 4K 同域时约 (5\times 10^{-4}) nats，文档只有几百 token 时松到 (10^{-3})–(10^{-2}) 量级，仍可忽略。这个上界与算力无关，所以解释不了 ^[5] 的竞争壁垒为什么能被算力突破 —— 随算力变的是离地板还有多远。^[5] 的双模态式里 (C_{i,j}) 与 (N)、(D) 无关，属于地板一侧，但比的是单模态各自拟合出的地板（④ / ② 层）。训练配比那一层：^[42] 拟 (L_i(r) = c_i + k_i \exp(\sum_j t_{ij} r_j))，带全套跨域交叉项；^[43] 直接回归搜索。

注20　^[5] 按模态各拟一条 Chinchilla 式曲线，(E_{\text{code}} = 0.16)、(E_{\text{text}} = 2.42)：两者用同一个 BPE，但每 token 覆盖的字节数随领域不同，比较 (E) 仍要换成 bpb，且都是 ④ 层的拟合值。^[47] 测到最优词表参数随算力走 (N_v \propto C^{0.42})，慢于非词表参数的 (C^{0.50}) —— 那个 0.50 来自”非词表参数与数据等比缩放”这条强加的约束，自由拟合的只有 0.42。ATLAS^[46] 逐语种拟合的指数也不尽相同，但原文把各语种曲线判为”近乎平行”（“similar exponents”），差异里混有数据量与重复，所以总表只记 (E)。

注21　^[53] 的学生 loss 式第一项是 teacher 的交叉熵 (L_T)，学生在 (N_S, D_S \to \infty) 时收敛到 (L_T)；数据一多，监督训练能逼近 (N) 允许的最优解，蒸馏却被 teacher 封顶，所以交叉点必然存在，teacher 已经存在（或成本可被多个学生摊薄）时蒸馏才占优。capacity gap：teacher 强过学生的学习容量之后，再提升 teacher 反而可能拉低学生。这个效应在 ^[53] 里很弱，Feinberg^[1] 还指出它不在常见区制，调高蒸馏温度就能把 teacher”调弱”，与监督目标加权也能消掉 —— 当作”别默认挑最强 teacher，先调温度”的提醒即可。单篇工作，宜当可算的判据用。

注22　Hutter^[11] 的频率 (\propto i^{-(1+s_H)}) 对应 5.6 节的谱衰减 (i^{-(1+\alpha_s)})（(s_H = \alpha_s)），(38) 即 (33) 取拾取指数 (\rho = 1/(1+\alpha_s)) 的特例；5.6 节的统一猜想里，有文献支撑的只是几何与频率两支各自的推导，两支同源仍是猜想。“与损失函数无关”只对学习曲线里的 Zipf 项成立，且只在确定性、无标签噪声的记忆型学习器里成立；Hutter 自己把它标成未决：“We do not know whether the discovered specific relation … is an artifact of the model, or has wider validity beyond this model.”

注23　Cagnetta et al.^[64] 把数据受限指数写成”下一 token 条件熵随上下文长度的衰减率”除以”两倍的 token 相关性随间隔的衰减率”；TinyStories 上两者实测约 0.325 与 0.88，预测 (0.185 \pm 0.013)，直接拟合学习曲线约 0.15–0.19。证据仍属早期。

注24　切片 (E) 的数值例：70B / 1.4T 处，拿裸 (E) 算 (\alpha(L-E)) 得 0.077，用切片平台算得 0.029，高估 2.7×（Hoffmann 原报参数）。(41) 的检验：Besiroglu 参数（(A = 482.0)、(\alpha = 0.3478)、(B = 2085)、(\beta = 0.3658)）下两个可约项为 0.0815 与 0.0752，半弹性约 0.0283 与 0.0275；Hoffmann 参数（(A = 406.4)、(\alpha = 0.3392)、(B = 410.7)、(\beta = 0.2849)）下为 0.0289 与 0.0405，差 1.4 倍 —— 这正是 Besiroglu §3.3 的论据（按原报参数，最优配比约 70 token/参数）。推论二的倍数：按 (\alpha = 0.34)、(\beta = 0.28)（(\alpha_C \approx 0.154)），可约项整体减半 ≈ 91 倍（(2^{1/\alpha_C})）、只压 (B) ≈ 12 倍、只压 (A) ≈ 7.7 倍；按 Besiroglu 的 (\alpha = 0.3478)、(\beta = 0.3658)（(\alpha_C \approx 0.178)），依次约 49 倍、6.7 倍、7.3 倍。