8. 局限性

8. Scaling Law 的局限性：它不能替你回答什么

第 10 章讲外部约束 —— 数据会不会耗尽、电够不够用、钱烧不烧得起。这一章先把镜头掉过来，看看 Scaling Law 自己内部有哪些它说不了的事：就算外部约束全部不存在，下面四条认识论层面的局限也依旧在，而且共一条根。

先问一句最基本的：loss 到底是什么？它是 (L = \mathbb{E}{x\sim p{\text{obs}}}!\left[-\log p_{\text{model}}(x)\right]) —— 在观测到的那个分布 (p_{\text{obs}}) 上，模型对数据的压缩 / 编码度量（交叉熵就是用该模型做算术编码时的平均码长，这是信息论的经典结论；Delétang et al. ^[1] 则实测了大模型作为通用压缩器的效果）。一句话：

loss 是”观测分布上的平均压缩度量”。能力（读出什么）与安全 / 对齐（该对齐什么）不由这个度量决定；分布外的事它无从回答；长尾虽在度量之内，却被平均稀释得几乎看不见。

四节是这条根的四个出口，对应这把尺子的三种边界，所以它们不是 scaling law 的四个 bug：8.1 能力与 8.4 对齐是它本来就不量的（能力是从压缩器里读出的离散功能，对齐问的是该对齐哪个分布）；8.2 归纳超出它的量程（loss 只定义在 (p_{\text{obs}}) 上）；8.3 长尾低于它的分辨率（在平均之内，却几乎不占分量）。这条”统一根”是本文的 framing（看问题的角度），不是定理；它的用处是每次听到”scaling 解决不了 X”，先问一句 X 属于哪一种。四节末尾各用一句话回扣。

8.1 Loss 降不等于能力升

Scaling Law 精确预测的是 test loss。但下游 benchmark、多步推理、用户体感 —— 这些才是我们真正关心的”能力”。Loss → 能力这一层映射，2022 年的经典断言是”涌现无法靠外推小模型来预测”（8.1.1）；2023–2024 年之后，这个判断被部分修正。

8.1.1 经典断言到两次修正

更早的 Ganguli et al. 2022 ^[2]（Anthropic，2022 年 2 月）已提出 “predictability vs surprise” 框架：训练分布上的 loss 可预测，具体能力、输入与输出却不可预测。同年 6 月，Jason Wei 2022 ^[3] 在《Emergent Abilities》里系统整理了大量涌现现象，当时的 strong claim 是：这些能力在小模型上不出现、在大模型上出现，出现位置很难从小模型趋势中预先预测。连 CoT、Instruction tuning 等 prompting 技巧本身也呈现出类似阈值效应 —— 小模型用了反而更差。

图：Wei et al. 2022 ^[3] Figure 2。8 个任务在 LaMDA / GPT-3 / Gopher / Chinchilla / PaLM 上的表现 —— 规模阈值前贴着随机基线，过阈值后近乎垂直上升。经典的”emergent”视觉形态。

第一次修正：Schaeffer 2023 ^[4] 指出许多”涌现”现象可以由指标的非线性解释：Accuracy / Exact Match 这类非线性或不连续的指标看起来跳跃，换成 per-token log-prob / Token Edit Distance / Brier Score 这类线性或连续的指标 —— 很多涌现形态会消失，退化为平滑趋势。

图：Schaeffer et al. 2023 ^[4] Figure 2，论文用简化数学模型画的示意图，不是实测（(C) 里的小插图才是已发表的涌现结果）：(A)(B) per-token CE 按幂律平滑下降；(C)(D) 换成非线性或不连续的指标就出现跳跃式”涌现”；(E)(F) 换成线性或连续的指标又回到平滑。

第二次修正：2023–2024 年一批工作把”选对指标就能预测”量化了：

• Hu 2023 ^[5]（PassUntil）：用解码阶段海量随机采样（上限约 (10^5) 次）、以 (r/K) 估计极低通过率，获得近乎无穷的测量分辨率，测到了小模型上 (10^{-5}) 量级、常规评测只会记为 0 的通过率，并据此拟合出任务级 scaling law；但它也报告了一类”加速涌现”，其曲线用标准 scaling law 函数拟合不了；

• Ruan 2024 ^[6]（Observational Scaling Laws）：不训模型，用公开模型数据做 PCA 压成少数几个 “principal capability measures”，大多数 benchmark 可从这些主成分平滑重构，连 CoT 等后训练干预的收益也能外推；

• GPT-4 Report ^[7]：用算力至多小 (10^3) 倍的模型外推，成功预测了 HumanEval 一个子集上的平均 log 通过率（只覆盖小模型在大采样预算下也能解出的题），但也承认反例（Inverse Scaling Prize 的 Hindsight Neglect 在 GPT-4 上 U 型反转，纯 scaling 预测不到）。

反方向的证据同样在积累：Lourie et al. 2025 ^[8] 重看 Gadre 等人测过的 46 个下游任务，只有 18 个（约 39%）随预训练验证 loss 平滑、可预测地改善，其余呈反向、非单调、噪声大、无趋势或突变式的 scaling；换一份验证语料，两种预训练数据孰优孰劣甚至会反过来（这是 Gadre 等那一套设置下的结果；原文也强调，设置稍改，scaling 形态就可能完全不同）。

综合起来：

能力的可预测性是个光谱，不是非黑即白。

8.1.2 五层”可预测性光谱”

层次 测量对象 可预测性 依据 | 层次 | 测量对象 | 可预测性 | 依据 |

L1 Pretraining cross-entropy loss 几乎完全可预测 GPT-4 跨 4 个数量级外推 | L1 | Pretraining cross-entropy loss | 几乎完全可预测 | GPT-4 跨 4 个数量级外推 |

L2 连续 token 级指标（perplexity / log-prob / Brier） 基本可预测 Schaeffer 2023 | L2 | 连续 token 级指标（perplexity / log-prob / Brier） | 基本可预测 | Schaeffer 2023 |

L3 Benchmark accuracy（选对指标时） 不少可预测，因任务与设置而异 Hu 2023、Ruan 2024；反例：Lourie 2025（常规指标下 46 个任务约 39% 可预测） | L3 | Benchmark accuracy（选对指标时） | 不少可预测，因任务与设置而异 | Hu 2023、Ruan 2024；反例：Lourie 2025（常规指标下 46 个任务约 39% 可预测） |

L4 特定能力（代码、数学、逻辑等） 部分可预测 GPT-4 HumanEval ✓；Hindsight Neglect ✗ | L4 | 特定能力（代码、数学、逻辑等） | 部分可预测 | GPT-4 HumanEval ✓；Hindsight Neglect ✗ |

L5 质变阈值 + 全新能力 + 用户可用性 + 对齐 / 安全 目前没有可靠的预测方法 Ganguli 2022；Hu 2023 的”加速涌现”；8.4 节 | L5 | 质变阈值 + 全新能力 + 用户可用性 + 对齐 / 安全 | 目前没有可靠的预测方法 | Ganguli 2022；Hu 2023 的”加速涌现”；8.4 节 |

8.1.3 目前尚无可靠预测方法的 4 类

L5 里目前还落在 scaling 拟合之外的是这 4 类（“目前没有可靠方法”不等于”原则上不可预测”）：

• 质变阈值的精确位置 —— 某个具体任务在多大规模跨过实用阈值，目前拟合不准（如上文 Hu 2023 ^[5] 的”加速涌现”）；

• 全新能力类别的 emergence —— tool use、自反思、心智理论这类能力，在常规评测下小模型几乎没有可测信号，外推缺乏起点（高分辨率评测能否覆盖这类开放能力，目前未见系统证据）；

• 用户主观可用性的质变点 —— 1.3B 的 InstructGPT 在人类偏好评测中胜过 175B 的 GPT-3，给 GPT-3 加 few-shot 提示也一样 ^[9]。规模并非无关（同文里 InstructGPT 的胜率仍随规模从 1.3B 到 175B 明显上升），但 loss 不是体感的好代理：同文的 SFT 第 1 个 epoch 后验证 loss 就开始过拟合，继续训练却让奖励模型分数和人类偏好都变好（这是 SFT 的验证 loss，不是预训练 loss）。体感在很大程度上取决于后训练与交互形态；

• 对齐 / 安全 / 价值观 —— 与 loss 的相关性因指标而异，有的随规模变好，有的变差（见 8.4），不能拿 loss 外推，需要另一套评测方法。

小结：**Scaling Law 直接预测的是 loss；指标与评测方法选对了，不少能力也能外推，但并不普遍（见 L3 行的反例）；上面这 4 类目前还没有可靠的预测方法。**本文判断（中置信）：“AGI 通不通”的核心变量恰恰藏在这 4 类里。

回扣统一根：前两类要的是从压缩器里读出的离散功能，后两类取决于后训练与价值选择（见 8.4）—— 都不是”压得多好”这个标量能定下的，loss 本来就不量它们。

8.2 归纳法的边界 —— 火鸡科学家问题

Scaling Law 在本质上是归纳推断：根据过去的拟合曲线，外推到未来的规模。而归纳推断有一个被反复讨论的根本局限 —— 1739 年，休谟在《人性论》里指出：**所有从过去推未来的推理，都默认了”未来与过去相似”，而这一假设本身无法由归纳证据来证成。**罗素用一个常被引用的思想实验把这一点具体化：他在《哲学问题》（1912）里讲的是一只”鸡”；Chalmers 在 1976 年的科学哲学教科书《What Is This Thing Called Science?》里把它改成”归纳主义火鸡”（圣诞前夜被宰），Taleb《黑天鹅》（2007）里那只喂了 1000 天的感恩节火鸡让它广为流传；中文读者更熟悉的”火鸡科学家”，出自刘慈欣《三体》的”农场主假说”：

一只火鸡科学家从出生第一天开始做严谨的统计： Day 1、Day 100、Day 999，人类都在固定时间喂它。 它拟合出完美的定律：(P(\text{今天被喂}) = 1.00)，外推 Day 1000 也会被喂。 Day 1000 —— 感恩节到了。

类比到 Scaling Law：我们观察到的曲线大多是在训练数据的分布内做的外推。当任务、数据分布、架构范式发生结构性转移，原来的幂律常数很可能失效，至少需要重新校准。这里要分清两类情形：

• **真正的”感恩节”：数据的生成过程变了。**Model Collapse（Shumailov et al. 2024 ^[10] Nature）：连续几代只用上一代模型生成的数据训练、并替换掉真实数据时，原分布的尾部逐代消失，模型在原分布上越来越差 —— 原定律的”数据独立同分布”前提被默默破坏；若把各代合成数据与原始真实数据累积起来训练，这种崩塌可以避免 ^[11]（另见 6.5 节）。

• 定律的适用范围：新轴与新模态。RL 训练算力与推理时计算（o1 / R1 一代 ^[12][13]）是原曲线里没有的新轴，而且不止一根：纵轴是准确率或通过率而不是 loss，RL 训练算力在限定条件下呈带基线、会饱和的 S 形，推理时一侧又分并行采样、顺序思考、交互步数三支，形状各异（4.7 节）；老的 Kaplan / Chinchilla 在这些轴上给不出预测。多模态的 (a, b) 异质性（见 4.2.1）也是一例：同一个模型里语言 (b \approx 0.53)、视觉 (b \approx 0.63)，拿”语言 scaling law”拟合出的指数去预测视觉，每个量级都会偏一点。

这些都是”前提悄悄变了”的样本，但只有第一类是原来那条曲线本身断了；第二类的两例里旧曲线没有失效，只是管不到新轴、新模态，各需要一条自己的曲线。Kaplan 被 Chinchilla 翻盘则是方法学上的问题（归因见 7.1.2），不属于分布外漏洞。

回扣统一根：loss 只对它见过的分布 (p_{\text{obs}}) 负责，分布一漂移、新轴一开就超出了量程；“如果改变 X 会怎样”这类因果 / 干预问题同理，观测分布上的压缩率回答不了。

8.3 平均 loss 稀释了长尾 —— 关键缺口常藏在离群点里

Scaling Law 拟合的是整个数据集上平均的 test loss。“平均”在长尾任务上会系统性低估离群点。

一个历史类比：1859 年 Le Verrier 发现，扣除各行星的摄动与岁差之后，水星近日点仍有约 38 角秒/世纪的进动牛顿力学解释不了（后经 Newcomb 等人修订为约 43 角秒/世纪）；这块残差困扰天文学半个多世纪，直到 1915 年爱因斯坦用广义相对论算出 43 角秒。一个几乎处处都对的好理论，偏偏抓不住这一小块残差。

水星那块残差是被一个整体极成功的理论”容忍”下来的；LLM 的平均 loss 为什么会容忍长尾，机理要单独讲清楚。CE loss 对单个罕见 token 其实非常敏感 —— 当模型只给正确 token 赋予 (p = 10^{-6}) 的预测概率时（注意这里的 (10^{-6}) 指模型输出的概率，不是该 token 在语料里的词频），单样本 loss 贡献 (-\ln(10^{-6}) \approx 13.8 \approx 14) nats，远大于常见 token 的 1-3 nats。所以”CE 碾掉 outlier”是不成立的。真正让”平均抹平长尾”的是两条叠加：

• Zipf 重尾 × per-token 平均：前 1000 词约占语料七成（量级示意），长尾词每个只占语料词频 (10^{-6})（这里是词频，不是上一段的模型预测概率）；总 loss 是所有 token 的平均，数量上常见 token 绝对 dominates，长尾 token 哪怕 loss 很大也权重微小；

• 优化预算按频率分配：对 softmax cross-entropy 来说，预测错罕见 token 时 logit 层梯度并不小；问题在于这些 token 出现得太少、梯度更新机会太少，而且它们往往需要独立知识或精细上下文。模型不是被 CE “碾掉” outlier，而是在有限容量和有限训练步下优先服务高频模式。

结果：平均 loss 很低，长尾关键点却仍错得离谱 —— 和水星 43 角秒的情形形式不同、结果同构，都是”整体最优解不管局部重要异常点”。

接回第 5 章：长尾对应谱的重尾，而平均对单个模态视而不见

第 5 章的谱视角，能给”平均抹平长尾”一个比”Zipf × 平均”更具体的说法。回到 (32)：按谱序学习时，可约 loss 就是还没学到的那条尾巴的累计和

(L - E \sim \sum_{i>k}\lambda_i \sim k^{-\alpha_s}) —— 也就是 5.6 那张”按谱序学习”图里红色斜纹的那一截。两件事立刻清楚：

• 在 5.6 的谱图像里，长尾对应谱的重尾。那些罕见但关键的东西 —— 一条冷门定理、一种罕见病的判据、一个长尾语种的语法、一个安全攸关的边角情形 —— 在谱里就是排在很靠后的某个序号 (i^{*}) 上的本征值 (\lambda_{i^{}})。有限算力给出的前沿 (k \sim x^{\rho})（(33)）是有限的，排在当前前沿 (k) 之后的模态还没被拾取，排得足够靠后的在现实预算内都够不着。scaling law 预测的，是 (k) 往右推时这条尾巴累计和的平滑下降 —— 是”沿谱的平均下降率”，不是”第 (i^{}) 个模态到底学到了没有”。

• 平均对单个模态结构性失明。把 (32) 拆开，盯住那个关键模态 (i^{*})：

[ L - E ;=; \sum_{i>k}\lambda_i ;=; \underbrace{\lambda_{i^{}}}{\text{那个关键模态}} ;+!! \sum{i>k,,i\ne i^{}}!! \lambda_i, \qquad \frac{\lambda_{i^{}}}{,L-E,};\sim;\frac{\alpha_s}{i^{}}\Big(\frac{k}{i^{}}\Big)^{\alpha_s};\ll;1 \quad (k \ll i^{}) \tag{42} ]

可约 loss 是一长串尾部模态的和。当关键模态排在很靠后（(i^{} \gg) 当前前沿 (k)）时，它在这个和里的相对权重（(42) 右式）被众多同样待学的模态稀释得很小（并非严格趋于 0 —— 当 (k) 追近 (i^{}) 时该比值约为 (\alpha_s/i^{})，而一旦 (k) 越过 (i^{})，这个模态就已被学会、离开残差）。于是哪怕这个模态价值连城，它对总 loss 也只是微不足道的一项，平均值几乎不动。这就是本节标题的谱语言版：补上一个关键缺口 = 学会某个特定的高价值尾部模态；而 scaling law 只承诺平均，平均里看不见任何单个模态。（工程上要盯住这种长尾，应改用分组风险 / worst-group / 尾部召回这类指标，而不是平均 loss。）

这也解开了本节上半段那个看似矛盾的点：“瞬时敏感”说的是罕见 token 每次出现都罚得重（约 14 nats），“平均失明”说的是它出现得少；两者相乘大致才是它对总 loss 的贡献，对应 (42) 里的 (\lambda_{i^{}})，绝对值和相对权重都*小 —— 两种说法并不打架。

证据与置信（同 5.6）：“谱重尾 + 按谱序学习”在可解模型与玩具任务里有推导与实验支撑，但没有在前沿 LLM 规模上验证，放到 LLM 上证据只算弱；把真实 LLM 的某个具体能力对应到谱里某个确定序号 (i^{})，更只是直觉性的对应（本文判断，低置信），不是能量出来的实测。所以把它当”为什么平均看不见长尾”的机制图像，别当成可定位 (i^{}) 的工程公式。

现代 AI 里的具象例子：

• 长尾知识：事实问答的准确率强烈依赖预训练语料里相关文档的多少。BLOOM-176B 在 TriviaQA 上，相关文档从 10 篇增至 (10^4) 篇，准确率从约 25% 升到 55% 以上；按对数线性趋势外推，要在相关文档不足 100 篇的冷门问题（Natural Questions）上追平强监督基线或人类，模型要大到 (10^{18}) 参数以上 ^[14]。平均分会掩盖这类缺口；

• ARC-AGI-1：GPT-3（2020）得 0%，GPT-4o（2024）约 5% ^[15]，四年的预训练放大几乎没动它。

但要小心别把这条观察变成”AI 永远做不出突破”的极端断言。近几年的反证：FunSearch ^[16]（2023 Nature，LLM + 进化搜索 + 自动评估器，改进了 cap set 的下界）、AlphaProof ^[17]（IMO 2024，RL + Lean 形式验证，解出 P1/P2/P6，另配 AlphaGeometry 2 解 P4，合计 4 题、28/42 分、银牌水平）—— 这些都不是纯 loss scaling 本身做到的，而是 “scaling + 搜索 + 可验证反馈” 的组合；AlphaFold 2/3（蛋白质结构）走的是另一条路：领域结构先验加高质量的结构监督数据，也不是单靠把平均 loss 往下压。所以更精确的说法：

单凭 loss scaling 抓不到”那 43 角秒”；要想抓住，需要另外配上可验证反馈、搜索、主动干预实验，或更有针对性的数据与监督。

回扣统一根：长尾就在这把平均压缩尺之内，只是低于它的分辨率 —— 在平均里几乎不占分量。

8.4 Scaling Law 不关心对齐、安全、价值观

Scaling Law 预测 loss 降。但 loss 降低保证不了模型安全、对齐人类价值观、没有偏见、不 hallucinate：一个 loss 很低的模型，照样可以熟练地生成虚假信息、复现训练数据里的偏见、对危险 prompt 给出非常”有帮助”的指令；两者的相关性因指标而异，方向也不固定（见下文）。这些问题要靠 RLHF / Constitutional AI / red teaming / interpretability 来解决，不能只靠 pretraining loss scaling 解决。

**scale 和安全问题的关系不是”单向放大”，而是”改变形态”。**TruthfulQA 的作者一开始就指出：loss 降低会减少”没学好分布”造成的错误，却会增加”把分布里的误解也学会了”造成的错误（imitative falsehoods）^[18]。他们 2021 年在 GPT-3、GPT-Neo/J 等基座模型上测到的正是这样：只改 1–3 个词、变成直白常识题的对照题上，真实率随规模上升；TruthfulQA 原题（817 题里 437 题以 GPT-3-175B 为目标对抗筛选过）上，同一模型族里越大越常复述流行误解。换成 2024 年的五十多个模型横向比较，方向就反了：Ren et al. 2024 ^[19] 在 26 个 chat 模型上测得 TruthfulQA MC1 与能力分的 Spearman 相关约 0.81，27 个基座模型上也约 0.70，它更像在测能力；sycophancy 与能力分的相关则约 −0.67（能力越强越迎合用户）。安全指标与规模的关系有正有负，还会随模型代际翻转，所以既不能拿 loss 外推安全，也不能把能力进步当成安全进步。更严重的是安全问题的”形态”从低级幻觉转向高级策略性行为：

• Sleeper Agents（Hubinger et al. 2024 ^[20]，Anthropic）：在人为植入后门的实验里，后门在最大的模型上最难被 SFT、RL 和对抗训练去除；对抗训练还会让模型更善于识别触发条件，把不安全行为藏得更深；

• Weak-to-Strong Generalization（Burns et al. 2024 ^[21]，OpenAI）：当被对齐的模型比对齐者更强时，常规监督信号开始不够用 —— scale 把对齐本身变成了一个新的开放问题。

此外还有 sycophancy 相关研究 ^[22]（RLHF 模型可能倾向迎合用户观点而非坚持真实答案）、Apollo Research 2024 的 in-context scheming 评测 ^[23]（多个 frontier model 在特定目标冲突情境中表现出策略性欺骗或 sandbagging 行为），以及推理时计算上的逆 scaling ^[24]（把推理拉长，Claude Sonnet 4 更多地表达出自我保存倾向）等现象 —— 共同点是 scale 让安全问题的”解法”也必须跟着 scale。

一句话：Scaling Law 回答的是”loss 还能降多少”；它不直接回答”AI 有多能干”，更不回答”AI 是不是好人”。这道鸿沟是 AI safety 研究存在的主要理由之一。

回扣统一根：该对齐哪个分布、我们想要什么，是在选择度量本身，不在度量之内 —— 所以前三条局限还能靠选对指标、重新校准、配可验证反馈来补，唯独对齐必须在”压缩保真”之外另起一套目标。

8.5 Takeaway

本章 4 条局限一张表收口。每一条的突破方向，本质都是给 loss 不量、量不到或量不清的那一维另配一把尺子：

局限 核心盲区 当前行业突破方向 | 局限 | 核心盲区 | 当前行业突破方向 |

8.1 Loss ≠ 能力 质变阈值位置、全新能力涌现、用户感知 Ruan 2024 PCM ^[6]、Hu 2023 无穷分辨率评测 ^[5] | 8.1 Loss ≠ 能力 | 质变阈值位置、全新能力涌现、用户感知 | Ruan 2024 PCM ^[6]、Hu 2023 无穷分辨率评测 ^[5] |

8.2 归纳法边界 分布外跳变（新轴、model collapse、多模态） 多维 scaling 坐标系（4.7）、合成数据治理 ^[11]、domain-wise 拟合 | 8.2 归纳法边界 | 分布外跳变（新轴、model collapse、多模态） | 多维 scaling 坐标系（4.7）、合成数据治理 ^[11]、domain-wise 拟合 |

8.3 平均抹平长尾 长尾异常模式（冷门事实、ARC-AGI、罕见病） FunSearch / AlphaProof：scaling + 搜索 + 可验证反馈；AlphaFold：领域先验 + 高质量监督 | 8.3 平均抹平长尾 | 长尾异常模式（冷门事实、ARC-AGI、罕见病） | FunSearch / AlphaProof：scaling + 搜索 + 可验证反馈；AlphaFold：领域先验 + 高质量监督 |

8.4 对齐 / 安全 / 价值观 Sycophancy ^[22][19]、Sleeper Agents ^[20]、Scheming ^[23] Weak-to-Strong ^[21]、Constitutional AI、Interpretability | 8.4 对齐 / 安全 / 价值观 | Sycophancy ^[22][19]、Sleeper Agents ^[20]、Scheming ^[23] | Weak-to-Strong ^[21]、Constitutional AI、Interpretability |

合起来是一个很朴素的结论：

Scaling Law 是一张 loss 价目表，不是导航。

它告诉你”再投入多少、loss 大概降多少”（loss 会降），但不告诉你”这条路通向哪里”（什么能力会涌现）、“路上会遇到什么”（黑天鹅）、“这条路本身是不是通往你想去的地方”（对齐 / 价值观）。

过去几年我们学到的不是”Scaling Law 是不是真的”，而是”Scaling Law 的边界在哪里 + 怎么绕过它”。

承认局限不是削弱 scaling law，是给它真正合适的位置 —— 一个强有力的工具，而不是一套世界观。

暗线回扣：本章给暗线①（可预测性）划出边界 —— loss 可预测，下游能力只部分可预测，对齐不由 loss 决定。

理解了 scaling 的边界之后，下一步自然是回看它的来路。这套”用经验曲线预测投入产出”的思想并非 2020 年凭空出现，而是经历了近七十年的累积、争论与反复修正；看清它如何一步步形成，才能更准确地判断它今天的适用范围与限度。