Scaling Law

核心认知

1. 01

   幂律是可修订的投资表

   在足够大区间内 loss 对 N/D/C 呈幂律；它是测量结论而非物理定律或 AGI 保证。

   [1] Kaplan J, McCandlish S, Henighan T, et al. Scaling Laws for Neural Language Models . arXiv:2001.08361, 2020.官方

2. 02

   Chinchilla 翻转计数口径

   Kaplan 与 Chinchilla 的最优分配分歧，主因是参数计数、warmup 与逐档调参口径不同。

   [2] Hoffmann J, Borgeaud S, Mensch A, et al. Training Compute-Optimal Large Language Models (Chinchilla). arXiv:2203.15556, 2022.官方

3. 03

   涌现可能是度量假象

   平滑指标上的「涌现」需与 Schaeffer 等 Mirage 批评对照阅读，不能脱离评测定义。

   [27] Wei J, Tay Y, Bommasani R, et al. Emergent Abilities of Large Language Models . TMLR 2022 (arXiv:2206.07682).官方

章节导航

1. ①0. 开场开场从三个常被答不准的问题切入：Scaling Law 的公式是什么、Kaplan 与 Chinchilla 有何区别、为什么是幂律。本章说明全书先讲"现在"、再拆机制与用法、回看"过去"、最后外推"将来"的编排理由，给出主线图、三条暗线（
2. ②1. Scaling Law 是什么本章给出原教旨定义：在足够大的区间内，loss 与参数量 N、数据量 D、算力 C 呈跨越多个数量级、可预测的幂律关系。随后澄清五个常见误解：越大越好、只看参数量、是物理定律、通向 AGI、已经失效。结论是：它不是信仰或魔法，而是一张可反复
3. ③2. Kaplan Scaling Law本章拆解 Kaplan 2020：用隔离变量实验把 loss 对 N、D、C 的依赖拟合成跨多个数量级的幂律，并沿学习曲线与临界 batch 实测出"算力优先扩模型"的最优分配；在联合公式上用 Lagrange 求解只是一个练习，不是 Ka
4. ④3. Chinchilla 反转本章回答 Kaplan 的"最优"是否真的最优：Chinchilla 用三种相互校验的方法把分配翻了过来，在它的口径下参数与数据应等比放大，约 20 token/参数；同一组现象换一套测量口径，就能得出相反的最优分配。这个 20 不是常数，
5. ⑤4. 万物皆可 Scaling本章把 scaling law 取广义：任何"资源投入 → 可测效果"的稳定经验关系都算，用三张表铺开各资源轴。结论是：计算最优配比不是常数，随预算、推理计划与成本口径、表示与领域而变；推理时计算与 RL 已拆成几根形状不同的轴；幂律常见，
6. ⑥5. 为什么是幂律本章回答"为什么是幂律"，立场是目前没有公认的统一理论：知识单元的频率尾巴、数据流形的内在维度、表示向量的叠加、语言的层级与相关结构四种机制各自推出幂律，证据强弱不一。把它们串成"同一条重尾谱"是一种统一猜想（本文判断，低置信），有明确反例
7. ⑦6. 斜率截距与天花板本章回答各个旋钮拧动曲线哪个部位：把一条 scaling 曲线拆成斜率 α、截距 A、天花板 E，并给出"下一块钱投谁"的杠杆判据。经验结论（非定理）：α 最难改，主要随数据与任务走；A 是工程主战场，但只有倍率不随规模变才只动 A，注意力
8. ⑧7. 拟合与使用本章回答这条曲线怎么量、量出来怎么用。拟合是测量不是套公式：参数怎么数、loss 怎么聚合、warmup 与超参是否逐档调好，就足以把配比指数翻过来，所以要先冻结口径、逐档调参。它主要当否决器用：用小 run 提前否决站不住的主意；换语种、
9. ⑨8. 局限性本章回答 Scaling Law 自身答不了什么：loss 是观测分布上的平均压缩度量，由此有四条局限——loss 降不等于能力升、归纳外推有"火鸡科学家"问题、长尾被平均稀释、它不关心对齐与安全。作者归为三种边界：能力与对齐它不量，归纳超
10. ⑩9. 近七十年本章回答 Scaling 思想从哪里来：它不是 2020 年的突然发现，而是"用经验曲线预测投入产出"这一思想近七十年的反复确认与收紧——从 Perceptron 的学习曲线、VC 维的悲观上界，到 Hestness 的系统幂律、Kapla
11. ⑪10. 将来与限制本章回答继续放大会撞上什么：作者认为"墙"是会误导人的隐喻，把约束分为根本性、相对性、自消解三类，用最小因子律统一。单凭算法效率排不出几堵墙的先后；经济墙最难解除（中置信），因为资本在上游，融资能推迟它，最终要靠收入兑现。主线：scalin
12. ⑫11. 下一范式本章论证一个命题（本文判断，中置信）：下一轮 scaling 的增量越来越多来自交互与具身中的经验，走多远取决于可靠反馈的供给，也列出了反方证据。验证相对便宜是 coding 先成熟的最重要因素之一（本文判断，高置信），但自动判分仍高估真实
13. ⑬附录 A附录把 2020–2026 年主要厂商押注过的 scaling 维度按时间摊开：主战场从堆参数与数据，依次转向 Chinchilla 配比与数据质量、MoE 与长上下文、RLVR 与推理时计算，再到 agentic、原生多模态与高效长上下文
14. ⑭方法论与勘误迁移范围、图表处理与原型 research 参照边界。

信源分级概览

一手采访0官方203权威媒体76二手整理0社区分析0

采用的来源共 279 个，详见信源台账和引语索引。