0. 开场

什么是 Scaling Law？

过去六年，如果要在大模型圈评选”出镜率最高的词”，那一定是 Scaling Law。投资人拿它讲故事，HR 拿它招人，CEO 拿它融资，研究人员拿它立项，研发人员拿它要卡要预算。

但只要连续追问三个问题，能给出准确回答的人就会迅速变少：第一，“Scaling Law 的公式到底是什么？“；第二，“OpenAI（Kaplan）Scaling Law 和 Chinchilla Scaling Law 的区别是什么？“；第三，“为什么是幂律（power law），而不是指数、对数或 S 型曲线？” 越往后，能给出完整答案的人越少。

这是行业常态。Scaling Law 是这样一个词：它传播得比任何概念都远，但被准确理解的次数却非常少。大多数人对它的认识停留在”越大越好、越多越好”上。

另一个问题：为什么按”过去、现在、将来”来讲？

原因是方法论上的：要判断一个高速演化领域的走向，较稳妥的做法是先把它的来路（过去）和现状（现在）都梳理清楚，再据此审慎外推，而不是只盯着最新的结果。

要看清”将来”，前提是把”过去”和”现在”同时搞清楚。

Scaling Law 恰好是一个容易被”后视镜”扭曲的概念 —— 很多人接触它是从”GPT-3 → GPT-4 越大越好”这一印象开始的，往往跳过了它的前身、内涵与边界。

0.1 全文导览：阅读顺序与三条暗线

这里需要先就本材料的编排顺序作一说明：标题虽为”过去、现在、将来”，但正文并不按严格时间线展开，而是先讲”现在”（第 2–4 章：Kaplan、Chinchilla 两套定量框架与各领域的 scaling 曲线），接着拆机制与用法（第 5–8 章：为什么是幂律、曲线的三个部位、怎么拟合与使用、它管不到什么），再回看”过去”（Scaling 思想近七十年的形成史，第 9 章），最后外推”将来”（第 10–11 章）。这样安排，是为了先有一套可计算的当代框架作参照，回看历史时才不至于把早期工作的意义后置或拔高；待”现在”与”过去”都校准之后再谈”将来”，外推才有可检验的依据。

下面这张主线图给出全书的脉络与阅读顺序，并标出三条贯穿全书的暗线，供读者随时定位。

图：全文主线图。上排（第 1 → 6 章）自左向右、中排（第 7 → 10 章）自右向左、再折向下排的第 11 章，箭头方向即阅读顺序。附录 A（实录）不在主线上，是旁挂的工业界对照材料（虚线框），可随时单独查阅、也可最后再读。

三条暗线展开来讲：

暗线①　实证可预测性的建立与收紧：从 Perceptron 的学习曲线（1958）、Banko–Brill 的”换数据胜过换算法”（2001）等早期观察，到 Hestness（2017）较早地跨四个领域系统实测误差与模型规模随数据量的幂律、Kaplan（2020）把指数拟合到较高精度，再到 Chinchilla（2022）修正其方法学前提；2024 年前后，观察性 scaling 与主成分能力度量等工作进一步表明，部分下游能力在选对度量指标后亦呈现出一定程度的可预测性，但仍有相当一部分能力（尤其是涌现式、阈值式的行为）尚难以由现有指标提前外推，可预测的范围与误差也因任务而异。
暗线②　数据从充裕走向受限、逐渐成为关键约束：Kaplan 给出偏向”重模型、轻数据”的分配建议，Chinchilla 则指出数据在其框架下被系统性低估、宜与参数同步放大；随后”数据受限 / 数据重复 scaling”开始量化重复利用的边际收益，并逐渐引出关于”数据墙”的讨论（公开的高质量人类文本可能正趋于耗尽）。
暗线③　从”一条 loss 曲线”到”一个多维坐标系”：早期的 scaling 多被写成单一的 (L(N, D, C))；第 4 章显示几乎”万物皆可 scaling”，坐标轴逐步扩展到数据质量、上下文长度、精度、专家数、推理时计算等；第 6 章把一条曲线拆成 (\alpha / A / E) 三个部位，并逐一核对各因素动的是哪个数（干净地只动一个数的手段比想象的少）；第 10–11 章则进一步讨论”换曲线、换基底”——从 coding、agent，到学习信号从静态语料换成交互经验、从 Digital 走向 Physical；附录 A 则把 2020–2026 年各家真实押注过的轴摊平，作为这条暗线的工业界对照。

篇幅与分层读法

正文约 14.1 万字符（按非空白字符计，含公式源码、图表与表格；其中汉字约 6.9 万）。按每分钟 300–400 字符粗估，通读约需 6–8 小时，建议分 3–4 次完成。若时间有限，可按目的取以下三条路径之一：

只要结论（约 9.8 千字符，25–33 分钟）：第 1 章 → 3.7（Chinchilla 一章的 Takeaway）→ 4.8（六条跨域 insight）→ 6.7、7.5、8.5、10.7、11.8 五节 Takeaway。这条路径能拿到全文的主要判断，但拿不到它们成立的条件。
要做决策（约 1.7 万字符，43–58 分钟）：在上一条基础上补 3.4（把推理成本算进目标函数）、6.6（固定预算下，下一块钱该投谁）、7.2（把 Scaling Law 用进研发的八条注意事项）、7.4（按角色的行动建议）、附录 A.4（附录 A 的总结）。做预算、定模型规格、评估技术路线，这一组基本够用。
要吃透机制（全读）：按正文顺序通读。其中第 5、6、7 三章密度最高、也最值得慢读；第 9 章（思想史）与附录 A（厂商实录）相对独立，可以最后看或跳读，不影响主线。

（以上时长为粗略估算，实际因专业背景与阅读习惯差异较大；含大量公式的 5.4、5.6 两节通常明显慢于均速。）

阅读约定：证据强度与置信度

全书用两套标注，把”文献证据有多硬”和”本文的判断有多大把握”分开：

证据：强 / 中 / 弱，用于文献给出的事实与结论。强：有拟合公式并跨多个数量级验证，或多个独立研究结论一致；中：有系统实验与单调趋势，但缺可外推的公式，或只有单一研究、有限规模；弱：个案、厂商自报、观点或推测。
本文判断，高 / 中 / 低置信，用于作者自己的归纳、推断与预测：这类结论没有文献直接给出，置信度表示作者的把握。

标注只加在需要区分的地方，各章表格里的”证据”列也按上面三档。证据档常附来源类型或验证规模，如”（单一研究，证据中）""（厂商自报，证据弱）“，4.4 表括号里是验证到的规模。图上注明”示意图，非实测数据”的，只表达定性关系。

下面进入正题。