9. 近七十年

9. 过去：Scaling 思想的近七十年漫游

Scaling Law 常被叫做”2020 年 OpenAI 发现的定律”。这个说法对 OpenAI 很抬爱，但对历史很不公平。事实上，Scaling 的思想从早期连接主义和统计学习理论时代就已经在场。

9.1 1958 · Rosenblatt 的 Perceptron：神经网络里最早的学习曲线之一

1958 年，Frank Rosenblatt 发表 ^[1]了《The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain》，这是现代可训练连接主义最重要的早期论文之一。

图：Rosenblatt 1958 ^[1] Fig. 11。横轴是每个响应的训练刺激数 (n_{sr})（对数轴），纵轴是正确率：虚线 (P_r) 是对已训练过的刺激的正确率，实线 (P_g) 是对同类新刺激的泛化正确率。三组曲线对应关联单元数 (N_e) = 100 / 200 / 500，渐近正确率分别为 0.887 / 0.964 / 0.998。曲线由概率模型算出（参数取自方—圆判别的测量），不是训练实测。

有意思的是，Rosenblatt 在论文里就画出了学习曲线：泛化正确率随训练刺激数上升，逼近一个渐近值；关联单元越多，这个渐近值越高，原文说它”随关联单元数增加迅速逼近 1”。加数据让曲线逼近渐近值、加规模抬高渐近值，这两件事 1958 年就同时出现了，只是还没有幂律拟合，也没有外推的说法。（“学习曲线”这个概念在心理学里早已有之。）

然后来了一个小插曲：1969 年 Minsky 和 Papert 出版了《Perceptrons》，指出单层感知机连异或（XOR）都学不会。这本书常被认为是第一次 AI winter / 连接主义低潮的重要因素之一，虽然真实历史当然还叠加了算力、数据和资金周期。

9.2 1971 · Vapnik–Chervonenkis：悲观的泛化误差界

1971 年，Vapnik 和 Chervonenkis 提出 ^[2]了 VC 维（VC dimension），这是经典统计学习理论的基石。它给出一个漂亮的不等式： [ R(f) \le \hat R(f) + O\left(\sqrt{\frac{d_{VC} \log(n/d_{VC})}{n}}\right) \tag{43} ]

其中 (R) 是真实风险， (\hat R) 是经验风险， (d_{VC}) 是函数类的 VC 维， (n) 是样本数。这个界以至少 (1-\delta) 的概率成立（此处略去 (\log(1/\delta)) 项），且只在 (n > d_{VC}) 时有意义。

人话翻译：模型越复杂、样本越少，泛化误差的上界越大。注意它给的是保证（上界的松紧），不是对实际误差的预测：样本数 (n) 越多上界越紧；VC 维越大上界越松，但这不等于实际误差一定变大。后一条若被机械套用，就会得出一个非常悲观的直觉：参数远多于样本的模型应该会严重过拟合。

然而现实中，参数量超过训练样本数、甚至能把随机标签也背下来的深度网络 ^[3]，在真实数据上照样泛化得很好。这道理论与实践之间的裂缝在深度学习兴起后变得尖锐，被称为”深度学习的泛化悖论”，也是后来 Double Descent（9.7 节）试图回答的问题：为什么过参数化的模型不过拟合？（LLM 预训练的情形不同：token 数远多于参数，见 9.7 节。）

图：经典偏差-方差权衡的 U 形曲线。横轴是假设类的容量（模型复杂度），纵轴是风险（误差）。虚线是训练风险，随容量单调下降；实线是测试风险，先降后升，两侧分别对应欠拟合与过拟合，最低点即经典理论所说的”最优复杂度（sweet spot）“。它与 (43) 式那条上界给出的直觉一致，但严格说画的是偏差–方差意义上的测试风险，不是上界本身。示意图，非实测数据。

9.2.1 1992 · Amari：被忽视的另一条理论线 —— 学习曲线早就指向幂律

VC 维给的是最坏情况的悲观上界；另有一条走平均情况的理论线（统计力学 / 贝叶斯学习曲线）常被忽略，在它适用的受控设定里比最坏情况界贴近实际。1992 年，Shun-ichi Amari 等 ^[4] 用贝叶斯方法在”退火近似（annealed approximation）“下推导出，学习曲线的渐近形态可以分成四类，都能写成一条幂律加一个常数项： [ \varepsilon(D) \sim c \cdot D^{-\alpha} + E \tag{44} ]

其中 (\varepsilon) 是泛化误差（对新样本做出错误判断的平均概率）、 (D) 是训练样本数（原文记作 (t)）， (\alpha \in {1, 2, 1/2})，常数项 (E) 只在第 4 类中不为 0。分类依据是：机器（模型的输入—输出映射）是确定性的还是随机的、教师信号有没有噪声、正确参数是否唯一：

• 确定性机器 + 无噪教师信号 + 正确参数唯一： (\varepsilon \sim c,D^{-1})（(\alpha = 1)）；

• 确定性机器 + 无噪教师信号 + 正确参数的集合有有限（正）测度： (\varepsilon \sim c,D^{-2})（(\alpha = 2)）—— 正确参数不是一个点，而是参数空间里有正体积的一整块区域，误差下降得更快；

• 确定性机器 + 有噪教师信号： (\varepsilon \sim c,D^{-1/2})（(\alpha = 1/2)）—— 噪声让学习变慢；

• 随机机器 + 有噪教师信号： (\varepsilon \sim c,D^{-1} + E)（(\alpha = 1)）—— 随机机器即使参数完全正确，也会以一定概率判错，这部分误差 (E) 再多数据也消不掉。

把这件事放到本书的主线上看：早在 1992 年，理论侧就已经给出了”泛化误差随数据量呈幂律下降、并可能带一个不可约常数 (E)“的形式，与 30 年后 Chinchilla 式 (L = E + A/N^{\alpha} + B/D^{\beta}) 在固定 (N) 时沿 (D) 轴的形式同形（Amari 只有数据这一根轴）；Amari 的 (E) 是随机机器固有的判错概率，性质上接近 6.1 节的 ① 层。

下面这张示意图据 Hestness et al. 2017 ^[5] 的 Fig. 6 重绘，把真实应用的学习曲线分成三段；被大量经验工作反复观测到的是中间的幂律区，两端主要是示意：

图：幂律学习曲线的三段式示意。小数据区学习信号不足，误差几乎贴着”随机猜测”基线；中段是真正的幂律区，误差与数据量在双对数坐标下呈直线下降；最后进入不可约区，曲线贴向数据/任务本身决定的下界 (E)（真实应用中尚未观测到这一段，见 9.6 节）。Amari (1992) 是渐近理论，不含小数据区；Kaplan (2020) 的主拟合是纯幂律，不含 (E) 和小数据平台 —— 三者共享的是中间的幂律区（示意图，非实测数据）。

**别过度神化：**Amari 的推导针对判别（分类）任务、在退火近似下取渐近极限，四类曲线的干净指数（(\alpha) = 1 / 2 / 1/2）是受控设定下的结论；把它当成”正确的机制直觉”来读，而不是能直接套到真实大模型上的精确公式。

9.3 1993 · Cortes 等：Learning Curves 的现代雏形

1993 年，Corinna Cortes、Larry Jackel、Vladimir Vapnik 等人发表 ^[6]了《Learning Curves: Asymptotic Values and Rate of Convergence》，这是较早明确把”学习曲线”拟合成幂律加常数的经典工作之一： [ \varepsilon(n) \approx a \cdot n^{-\alpha} + b \tag{45} ]

其中 (\varepsilon) 是错误率， (n) 是训练样本数， (\alpha) 是 scaling 指数， (b) 是该模型在无限数据下的渐近误差（相当于 Chinchilla 里固定 (N) 时的 (E + A/N^{\alpha})，而不只是 (E)）。

图：Cortes et al. 1993 ^[6] Figure 3。1993 年的 log-log 直线：横轴 (\log l)（训练样本数的对数），纵轴 (\log \varepsilon)（错误率的对数）。(\log(\varepsilon_{test} - \varepsilon_{train})) 是一条斜率 (-\alpha) 的直线，(\log(\varepsilon_{test} + \varepsilon_{train})) 渐近到 (\log(2a))（图中沿用原文记号：(a) 是渐近误差、(b) 是系数，与 (45) 式的 (a)、(b) 恰好相反）。用少量数据拟合、外推渐近值，这是后来”小拟合、大外推”的早期版本。Source: Cortes et al., NeurIPS 1993

但它的目的与 2020 年的 OpenAI 不同：Cortes 等要解决的是”不必在全量数据上训练差的分类器，就能预测哪个候选最值得投入资源”，拟合的是固定模型随样本数变化的曲线，而不是跨模型规模的 scaling。

9.4 2001 · Banko & Brill：NLP 的”换数据 > 换算法”

2001 年 Michele Banko 和 Eric Brill 发表 ^[7]了只有 8 页的小文章《Scaling to Very Very Large Corpora for Natural Language Disambiguation》。他们做的事情简单到令人发指：拿 4 个完全不同的算法，在 100 万到 10 亿词的语料上对比效果。

结果是：4 种算法在这约 3 个数量级上各自保持近似 log-linear、均未饱和、也未收敛成同一条（排名甚至出现交叉）；但算法间的差距被“多加数据”的收益压得很小——即“换数据胜过换算法”。

图：Banko & Brill 2001 ^[7] Figure 1，confusion set 消歧任务上 4 种算法（Memory-Based / Winnow / Perceptron / Naive Bayes）在 (10^6)–(10^9) 词语料上的学习曲线。Source: Banko & Brill, ACL 2001

这是 Rich Sutton “苦涩的教训 ^[8]（The Bitter Lesson）“非常早、非常清晰的 NLP 实证版本，比那篇著名的博客早了 18 年。

9.5 2010s · 深度学习时代：Scaling 的工程化

AlexNet (2012)、ResNet (2015) ^[9]、Transformer (2017)、GPT-1 (2018) —— 这一连串 breakthroughs 的背后既有架构创新，也有更大的数据、更大的模型、更大的 GPU 集群。Ilya Sutskever 在 NeurIPS 2024 的 Test of Time 演讲 ^[10] 里回顾 2014 年 seq2seq 报告的结论页，说它”可以说是 scaling 假说的开端”：

“If you have a very big dataset and you train a very big neural network, then success is guaranteed.”

顺便贴一张吴恩达 2010 年展示过的图（出自 Coates、Lee、Ng 的 NeurIPS 2010 深度学习 workshop 论文 ^[11]；吴恩达回忆曾在 CIFAR 2010 会议上展示），他说正是这张图让他确信”模型越大，效果越好” ^[12]：

图：Coates / Lee / Ng 2010 ^[11]。无监督特征学习中，特征数量（横轴，线性刻度）上升，交叉验证准确率（纵轴）大体单调上升。这里没有做幂律拟合；吴恩达把”性能在 log-log 坐标上随规模线性提升”的发现归于几年后他在百度的团队。

但在深度学习里，这些曲线还没有被系统地测量和拟合。

9.6 2017 · Hestness（百度）：跨四个领域的系统实证

2017 年 12 月，百度硅谷实验室的 Joel Hestness 等发表 ^[5]《Deep Learning Scaling is Predictable, Empirically》。这是较早的一项跨多个领域、同时刻画数据量与模型规模的系统实证，比 Kaplan 早两年多（arXiv 首版 2017-12 对 2020-01）。

他们发现了三件极其重要的事：

• 幂律是跨模态的：机器翻译、语音识别、语言模型、图像分类 —— 四个完全不同的任务，都在约 2–3 个数量级上呈幂律；

• 学习曲线带常数项：固定规模模型的学习曲线可以写成 (\varepsilon(D) = a D^{-\alpha} + \gamma) ，常数 (\gamma) 是该模型族容量耗尽时的误差平台（固定 (N) 时相当于 Chinchilla 的 (E + A/N^{\alpha})）；论文另外设想了由贝叶斯误差等决定的不可约误差下界，但明确指出真实应用尚未进入不可约误差区（下界的存在仅由 toy problem 验证）；

• 模型改进主要平移误差曲线：原文是 “model improvements only shift the error but do not appear to affect the power-law exponent” —— 四个领域都测到了幂律，但换模型或优化器的对照只在语言模型与语音上做过，横轴都是训练集规模；偏离主流更远的架构族会改斜率（6.3 节）。

图：百度 Hestness ^[5] 等 2017 年论文 Figure 1 的神经机器翻译学习曲线。左图是两个固定规模模型的学习曲线，如每层 208 个隐单元（约 17M 参数）的模型 (\varepsilon(m) = 41.2 \cdot m^{-0.36} + 0.39)，常数 0.39 是该规模模型容量耗尽时的误差平台，不是任务的不可约误差；右图是每档数据取最优规模后的复合曲线 (\varepsilon(m) = 3.87 \cdot m^{-0.13})，为纯幂律，看不到不可约区。Source: Hestness et al., arXiv:1712.00409

9.6.1 2020 · Rosenfeld 等：把单轴幂律推广成 N×D 联合曲面 —— Chinchilla “方法三” 的原型

Hestness 主要在单根轴（数据量 (D) ）上把幂律拟干净。紧接着，Rosenfeld 等 ^[13]《A Constructive Prediction of the Generalization Error Across Scales》（ICLR 2020）把它推进了关键一步：同时对模型规模 (N) 和数据规模 (D) 建模，而且横跨 ResNet / WRN / LSTM / Transformer 多种架构与 Adam / SGD 多种优化器。他们观察到，固定一根轴时，误差沿另一根轴先按幂律下降、再饱和到由固定那根轴决定的水平；在幂律主区，两条观察可以合并成一个加法形式（记号已按 Chinchilla 改写；原文 (4) 式里 (\alpha) 是数据指数、(\beta) 是模型指数，正好相反）： [ \hat{L}(N, D) \approx \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} + E \tag{46} ]

它和第 3 章 Chinchilla “方法三（参数式拟合）” 的加法式同形。但 (46) 只是主区的简化形：Rosenfeld 的完整函数式在它外面套了一个有理包络（rational envelope），用过渡极点 (\eta) 刻画误差从”随机猜测”平台进入幂律区、再趋向不可约误差的过渡；原文拟合的是这个包络函数的五个参数 (\theta = {\alpha, \beta, b, c_\infty, \eta})（原文记号：两个指数、一个系数、渐近项和过渡极点；(a) 归一为 1，语言模型另估随机猜测误差 (\epsilon_0)）。所以严格说，Rosenfeld 是”(N\times D) 联合曲面 + 小拟合大外推”这一思路的原型。它的核心贡献在用法：只在一批便宜的小 ((N, D)) 配置上拟合这几个参数，就能外推大得多的模型 / 数据规模下的误差 —— 在 ImageNet 与 WikiText-103 上，用 1/16 参数、1/8 数据的配置外推到全尺寸，相对误差的均值和标准差都在 5% 以内。这套做法（单轴上的早期版本见 9.3 节 Cortes 等）比 Chinchilla 早两年，是后来 scaling-law 工程实践（以及 7.1 节”拟合陷阱”）的方法论起点。它的验证范围是 6 个图像分类、3 个语言建模数据集，模型最大约几千万参数（单一研究、规模有限，证据中）；加法形态是经验拟合而非第一性原理推导，形状可借鉴，具体指数和系数不能跨域照搬。

把这条线接起来，现代 scaling law 的家谱就清楚了：Hestness 2017（单轴经验幂律 + 常数项）→ Rosenfeld 2020（(N\times D) 联合曲面、小拟合大外推）→ Kaplan 2020（系统化、算力轴跨约 7 个数量级、写进行业肌肉记忆）→ Chinchilla 2022（修正 (N{:}D) 配比）。Kaplan 不是从石头里蹦出来的，它站在前面整整一串肩膀上。Lilian Weng ^[14] 梳理 Amari、Hestness、Rosenfeld 这段早期史时也指出：这些工作倚重 VC 维一类直觉来代表”容量”，但在现代深度学习里 VC 维往往太粗；经验幂律反倒比最坏情况界干净、实用得多。

9.7 2019 · Belkin：Double Descent 把经典 U 形往右延伸

2019 年，Mikhail Belkin 等发表 ^[15]《Reconciling Modern Machine Learning Practice and the Classical Bias–Variance Trade-off》，提出 Double Descent（双重下降）。

经典统计学给的图是一条 U 形曲线（上面 9.2 节已经看过）：模型复杂度 → 偏差下降、方差上升、泛化误差先降后升。Belkin 他们把这条经典曲线往右延伸，系统地展示并命名了这样一段：过了”插值阈值”之后，泛化误差会再次下降，甚至低于经典 U 形的最低点。这一段此前并非无人画过（见 Loog et al. 2020 的考证 ^[16]）：1989 年 Vallet 等已用人工数据，在伪逆解（最小范数线性回归）训练的分类器上观察到学习曲线的双下降 —— 横轴是样本数，峰落在样本数等于特征数处；1990 年 Opper 等给出了理论结果；Duin（2000）首次在真实数据上画出以特征数为横轴、与 Belkin 很像的曲线；Belkin 等的推进在于把它扩展到两层神经网络、随机森林等现代模型，并与”过参数化仍能泛化”的现代实践联系起来。

图：Belkin et al. 2019 ^[15] Figure 1。左 (a) 是经典的 U 形曲线；右 (b) 是 Belkin 提出的 double descent —— “under-parameterized 区” 是经典 U 形，过了 interpolation threshold 进入 “over-parameterized 现代区” 之后 test risk 再次下降（LLM 预训练并不处在插值区，见下文）。Source: Belkin et al., arXiv:1812.11118

这个现象后来被 Nakkiran et al. 2020 ^[17]《Deep Double Descent》在真实深度模型上系统复现，画成一张非常震撼的热力图：

图：Nakkiran et al. 2020 ^[17] Figure 2，ResNet-18 + CIFAR-10（加 15% 标签噪声）。横轴是模型宽度，纵轴是训练 epoch（对数轴），越亮误差越大。左图 test error：顶部水平虚线是 model-wise double descent（训练足够久、只变宽度），右侧竖直虚线是 epoch-wise double descent（固定宽度、只变训练时长）。右图 train error：细线是插值阈值，线的右上方训练误差已接近 0。Source: Nakkiran et al., arXiv:1912.02292

人话翻译：在固定的训练集上，模型大到刚好能背下训练集（插值阈值附近）时过拟合最严重；越过这个阈值继续变大，测试误差反而再次下降。

它推翻了”模型越大越过拟合”的机械推论，但不构成 LLM scaling law 的理论依据：LLM 预训练通常只过约一遍数据，token 数远多于参数（Chinchilla 为 70B 参数、1.4T token ^[18]），训练 loss 与验证 loss 接近，模型根本插值不了训练集；它们不过拟合，主要是因为数据足够多、几乎不重复。数据不足时，大模型照样会过拟合 —— Kaplan 等发现过拟合程度取决于 (N^{0.74}/D) ^[19]，数据重复多轮后收益递减（4.5 节）。

至于过参数化模型”为什么”还能泛化，理论界还没完全干净的答案。主流解释之一是：神经网络在过参数化区倾向于收敛到”最简单的解”（implicit regularization + Occam 剃刀），所以泛化反而更好 —— 也就是所谓的”简单性偏置（simplicity bias）”。

9.8 2020 · Kaplan（OpenAI）：把幂律刻进肌肉记忆

2020 年 1 月，Kaplan 等 ^[19] 没有提出新理论，而是把 (N)、(D)、(C) 三个维度的幂律系统地拟合了一遍（算力轴跨约 7 个数量级，参数约 6 个、数据约 3 个），用大规模实验让整个行业信服；详拆见第 2 章，方法学问题见 7.1.2 节。从 1993 年 Cortes 的 log-log 学习曲线到这里隔了 27 年，“Scaling Law”从此成了行业硬通货。

9.9 2022 · Chinchilla（DeepMind）：数据被严重低估了

2022 年 3 月，DeepMind 的 Hoffmann 等 ^[18]（Chinchilla）指出当时的大模型普遍训练不足，把 Kaplan 的”大 (N) 小 (D)“修正成”(N) 与 (D) 等比放大”；详见第 3 章。

9.10 2024–2025 · 新维度开辟

• 推理时计算与 RL（o1 / R1）：o1 报告显示，在所测区间内，性能随 RL 训练算力与推理时思考算力大致对数线性提升 ^[20]；后来的工作发现 RL 训练算力在限定条件下呈 S 形、同一 recipe 会饱和，推理时计算又分并行采样、顺序思考、交互步数三支（4.7 节）。ARC Prize 测试的 o3 预览版靠推理时搜索，在 ARC-AGI-1 半私有评测集上达到 75.7%，172 倍算力的配置达到 87.5%、每题成本数千美元（该版本在 75% 的公开训练集上训练过，见 A.3）；报告强调这来自新方法，而不是把 2019–2023 年的做法单纯放大 ^[21]；

• 能力密度（Densing Law ^[22]）：Xiao et al. 定义”能力密度”（有效参数量 / 实际参数量），发现开源基座模型的最大能力密度约每 3.5 个月翻倍，即同等能力所需参数量约每 3.5 个月减半（Nature Machine Intelligence 2025 正式版，基于 51 个模型、依赖所选基准；早先的 arXiv 版称约每三个月）；这是时间趋势，不是资源 → 效果的 scaling law；

• 多模态：视觉 / 语音 / 视频各有自己的曲线（4.2.1 节）。

图：OpenAI o1 技术博客 ^[20] 的两条扩展曲线：纵轴是 AIME pass@1 准确率，横轴分别是 RL 训练算力与推理时算力（均为对数轴）。所测区间内大致随对数上升，不代表会一直涨下去（4.7 节）。

Scaling Law 的时代没结束，它只是从”一条曲线”变成了”一个坐标系”。

9.11 Takeaway

Scaling 不是 2020 年的突然发现，而是”用经验曲线预测投入产出”这一思想近七十年的反复确认与收紧：从 Perceptron 的学习曲线、VC 维的悲观上界，到 Hestness 的系统幂律、Kaplan 与 Chinchilla 的钉死与修正，再到推理时 scaling 等新维度 —— 每一步都在拓宽它的适用范围，同时校准它的边界。

暗线回扣：本章补的是暗线①（可预测性）的前史，从 1958 年的学习曲线一路走到 Kaplan 与 Chinchilla；9.10 的新维度则接上暗线③（范式演化）。

梳理清楚来路与现状之后，下一章把视线投向将来：当经典的 ((N, D, C)) 三轴逐一变贵、逼近资源供给的上限，scaling 还能沿哪些方向继续。