1. Scaling Law 是什么

1. Scaling Law 是什么 —— 以及它不是什么

1.1 原教旨主义

Scaling Law 指的是：当模型在一个足够大的区间内扩张时，测试损失（loss）与模型参数量 (N) 、训练数据量 (D) 、训练算力 (C) 之间，呈现出可预测的、跨越多个数量级的幂律（power law）关系。

关于这里的”loss”到底指什么：严格来说 Kaplan 2020 ^[1] 拟合的是 WebText2 留出集上的 held-out test loss（early stopping 主要用于 (L(D)) 那组实验，见 2.1 节），Chinchilla 2022 ^[2] 拟合的是 MassiveText 上的 training loss：方法二、三取跑完整个 cosine 周期后的最终值，方法一取四种 cosine 周期长度下训练曲线的最低包络（3.2 节）。在单 epoch、无数据重复、泛化 gap 很小的预训练设置中，二者常被近似比较，所以文献里常常混用 “test loss” / “training loss” / “pretrain loss” 来指代同一件事 —— 一个模型”在分布内的压缩能力”。两篇的 loss、(N)、(C) 口径并不相同，二者结论分歧的来源见 7.1.2 节。

三个关键词：

• 幂律（power law）：不是线性、不是指数、不是对数，是 (y \propto x^{-\alpha}) 这种形式。在 log-log 坐标系里画出来是一条直线。

• 可预测（predictable）：不仅仅是”变好了”，是”能提前算出会变好多少”。这是 Scaling Law 真正的价值。

• 跨越多个数量级：跨的数量级越多，外推越可信 —— Kaplan 的参数轴跨约 6 个数量级（768 到 15 亿非 embedding 参数），Chinchilla 的参数轴只跨两个多数量级（7000 万到 160 亿）。

这里先预告一处后文要点：这条”直线”并不会无限延伸下去。真实的 loss 含有一个不可约下界 (E)（由数据本身的熵和任务定义决定）—— 按幂律往下掉的只是”可约”的那一部分，越贴近 (E) ，每多砸一份钱换来的下降就越小。所以严格讲，幂律量的是”距离地板还有多远”，而不是”loss 能归零”。这个 (E) 在 3.2、3.5 节随 Chinchilla 的 (L = E + A/N^\alpha + B/D^\beta) 初次登场，6.1、6.5 节正式展开。

一句话：Scaling Law 是一张”花多少算力能换来多少 loss”的价目表。

1.2 五大常见误解

误解一：Scaling Law = 越大越好。

Scaling Law 说的是”在合理的算力分配策略下，可预测地越来越好，且边际递减”。幂律 (y = x^{-\alpha}) 的一阶导数是 (-\alpha x^{-\alpha-1}) ，其绝对值会随 (x) 增大而变小。换句话说，投入成本每翻 10 倍，loss 中可约的那一部分（扣掉不可约下界后的 (L-E)）只按 (10^{-\alpha}) 这个固定比例下降（按 3.2 节 (15) 式的 Chinchilla 原报参数，沿 compute-optimal 路径 (\alpha_C \approx 0.15)，每 10 倍约降三成；常被引用的 0.05–0.1 是 Kaplan 不含 (E) 对总 loss 拟合的表观指数，不能代入这里，见 6.1 节）；含下界 (E) 的总 loss 只在远离地板时才近似如此（这个区分留到第 5、6 章讲透）—— 从”相对回报”上看每次都一样，但从”绝对成本”上看，代价却是指数级增长的。

一句话：Scaling Law 不承诺”投入越大、必有奇迹”，只承诺”投入与回报之间的关系可以被预先估算”。

误解二：Scaling Law 只关心参数量。

(N) 、 (D) 、 (C) 三者相互约束、彼此制约。Kaplan 2020 ^[1] 原文的说法是：只要 (N) 和 (D) 同步放大，性能就可预测地提升；固定其一、只加另一个，就进入边际递减区，损失多少由 (N^{0.74}/D) 决定。最优点永远是约束优化的结果，不是”把任何一个维度拉到无穷大”。

一句话：Scaling Law 不是单体问题。

误解三：Scaling Law 是物理定律。

它是经验律（empirical law），不是 (F = ma) 那样的物理定律，而是用大量真实算力（GPU）跑出来的一条经验拟合曲线。这意味着，下面任何一项一换，拟合出的常数都得重测（截距 (A) 最常变，斜率 (\alpha) 与地板 (E) 也可能变，见第 6 章）：

• 换一种架构（Transformer → Mamba？），常数会变；

• 换一种数据分布（全中文 vs 全代码），常数会变；

• 换一种优化器（AdamW → Shampoo？），常数会变；

• 换一种训练精度（fp16 → fp8 → int4），常数会变。

斜率（exponent）通常比截距（constant）更稳定，但也不是跨任务不变的物理常数。

斜率 (\alpha) 主要由数据 / 任务的信息结构决定，截距 (A) 是工程实现的主战场，地板 (E) 由评测任务与条件信息决定 —— 三处都是”主要”，不是”只有”（第 6 章逐一核对）。

误解四：Scaling Law 通向 AGI。

这也是最常见的误解之一。Scaling Law 严格预测的是 loss（一个信息论意义上可外推的量），不是”AGI”这种连可测量定义都没有的东西。

但也要小心反向的过度简化。Wei et al. 2022 ^[3] 认为，涌现能力无法靠外推小模型的表现来预测；这一判断到 2023–24 年被部分修正：

• 选对指标时，不少下游能力可以预测 —— GPT-4 用算力至多小 (10^3) 倍的模型成功外推了 HumanEval 子集上的平均 log 通过率 ^[4]（限于小模型在大采样预算下也能解出的题）；Schaeffer 2023 ^[5] 指出许多”涌现”现象可以由非线性或不连续的指标解释（换成线性或连续的指标就变成平滑趋势）；Ruan et al. 2024 ^[6] 的观察研究发现，把多个 benchmark 做 PCA 压成少数几个 “principal capability measures” 后，很多能力在已发布模型范围内可被 scaling 预测。但这并不普遍：Lourie et al. 2025 ^[7] 复查 46 个下游任务，只有约 39% 随预训练验证 loss 平滑、可预测地改善（8.1.1 节）。

• 但仍有一部分目前还没有可靠的预测方法，主要是四类：质变阈值的精确位置、全新能力类别（tool use / 反思 / 心智理论）、用户主观可用性、对齐 / 安全表现（8.1.3 节）；另有跨分布泛化（8.2 节）。

“AGI 通不通”关键取决于后面这几类，而它们目前恰恰是 scaling law 曲线还探不到的地方（本文判断，中置信；详见 8.1 节）。

一句话：Scaling Law 是一张 loss 价目表，不是 AGI 时间表。能力的可预测性是个光谱，不是非黑即白。

误解五：Scaling Law 已经失效。

2024 年开始，“Scaling Law 失效”这个调子唱得很响。最常被拿来当论据的是 Ilya Sutskever 在 NeurIPS 2024 “Test of Time” 演讲 ^[8] 里的一段话（节选，按原顺序）：

“Pre-training as we know it will unquestionably end. … We have but one internet. … data is the fossil fuel of AI. … We’ve achieved peak data and there’ll be no more.”

很多人把这段话听成”scaling law 不管用了”。但 Ilya 的原意要精确得多：

• 他没有谈幂律本身：演讲里没有说曲线 (L(N, D, C)) 的斜率或形状变了；

• 他说的是输入端不再增长：算力还在涨，互联网上公开、可爬、高质量的人类文本却只有一个互联网的量。按 Epoch 的估计，训练集规模约在 2028 年前后追平这部分存量（区间 2026–2032，见第 10 章）^[9]；

• 所以”按老套路继续 pretrain”的空间会越来越小（加更多互联网数据 + 更大模型）。他同时补了一句，现有数据”仍能让我们走得相当远”（still let us go quite far）—— 不是定律错了，而是燃料不再增长。

把这点说清楚很重要，因为它决定了行业下一步的战略方向。Ilya 在那场演讲里列举了业内正在探索的去向 —— agent、合成数据、推理时计算（test-time compute）。每一条都是在”数据这一维不再增长”的前提下，换一个维度继续 scale。

所以”Scaling Law 失效”准确的说法是：失效的不是幂律本身，也不是曲线的斜率或常数，而是经典 ((N, D, C)) 三根轴里 (D) 这一根的供给正在逼近上限（第 10 章”数据墙”；“墙”只是个通俗标签，第 10 章会说明它为什么容易误导），整个行业因此要开辟新的 scaling 维度（test-time / 合成数据 / 多模态 / agent，见 4.7 节与第 10–11 章）。

1.3 Takeaway

Scaling Law 不是信仰，也不是魔法。它是一张可以被反复修订、但始终存在的”可预测投资回报表”。

暗线回扣：本章先给暗线①（可预测性）划了边界 —— 能外推的是 loss，下游能力只有一部分可预测（8.1 节）；误解五则预告了暗线②（数据约束）—— “失效”之说真正指向的是 (D) 这根轴的供给（第 10 章）。

下面看现在的 Scaling Law 长什么样。