Scaling

Module 05 · Scaling

Scaling：可预测性与意外性，为什么两者都成立

这一章要同时讲清两件看似矛盾的事：损失可以外推，而能力不能。把经验拟合写成物理定律是这个领域最普遍的误读，本章为每条曲线标注拟合区间与外推边界，并把「一个被引用上万次的解释其实从未被验证」这件事完整讲一遍。

可预测性主张幂律与算力分配Chinchilla 之争数据侧重心转移可靠性与第三方测量Claude 全代际失效边界与我的看法


  
  
  
  **第一维 · 来源距离**（药丸形）：这份材料离原始出处有多近。形状表示信息来源，颜色表示可信度，文字为准。本章的一手来源以 arXiv 论文原文、`anthropic.com` 官方发布页与官方 API 文档为主。



  
  
  
  
  
  
  **第二维 · 结论独立性**（方角 + 五格进度条）：这个结论被谁验证过。**「一手 · 高」只说明材料是真的，不说明结论被独立检验过**——本章大量数字来自 Anthropic 自己运行的评测，两枚徽章必须一起读。⚠️ 本章还有大量非 Anthropic 来源（Kaplan 2020 属 OpenAI、Chinchilla 属 DeepMind、Porian 等属学术界、Epoch AI 与 METR 属独立机构），它们**不属于**「公司自产」这一档；单篇未被复现的外部论文本报告只标第一维。



  本章速记
  
    

• Scaling laws 是 OpenAI 2020 年的工作，不是 Anthropic 2021 年的发现。《Scaling Laws for Neural Language Models》的作者是 Kaplan、McCandlish、Henighan、Brown、Chess、Child、Gray、Radford、Wu、Amodei 十人；Dario Amodei 排在末位。Anthropic 的创世叙事，建立在这批人加入 Anthropic之前做的工作上。

• **Scaling 的真实价值不是「保证 AGI」，而是把模型开发从赌架构突破改造成三件工程事务：预测损失、配置算力、诊断偏离。**这三件事都不需要相信任何关于智能的形而上学。

• **「Kaplan 与 Chinchilla 的差异源于学习率调度」这个流传最广的解释，是 Chinchilla 论文自己提出的假说，从未被验证，并已被 Porian 等人用 900 余次训练实验证否。**真因是三条：末层算力未计入、warmup 对小模型过长、优化器超参未随规模调优。学习率衰减只解释了约 8%。

• Chinchilla 论文发表的那组拟合常数，与它自己的另外两种方法自相矛盾。Epoch AI 的复现追出原因是「对不同数据点的 Huber 损失取了平均而不是求和」，并经 Hoffmann 等人本人确认。但这不影响它的主结论——20:1 法则来自另外两种方法。

• **预训练、RL、测试时算力、AI 辅助研发是几条可接续的曲线，但每次曲线更替都改变了「什么算 scaling」。**这让这一信念越来越难被证伪：Jared Kaplan 明说他「主要用缩放定律来诊断训练是不是出问题了」——一个用来判断实验对错的东西，就很难再被实验推翻。

• **本章不给这场争论一个总分，而是分三层裁决：工程可预测性——Anthropic 占上风且优势明显；预训练的边际收益——反方占上风；RL 与测试时算力的 scaling——悬而未决，双方都在用判断而不是数据说话。**Chollet（技能≠智能）、LeCun（缺世界模型与层级规划）与 Ilya（重回研究时代）反驳的都不是第一层。⛔ 而「Scaling 已死」同样不成立——Epoch AI 判断到 2030 年每年约 4× 的算力扩张在资源上仍然可行。完整对辩见 §8.3。

• 「能力会不可预测地涌现」这半句，被一篇 NeurIPS 2023 最佳论文正面反对：所谓涌现的「突变」形状，很大程度上是研究者选的离散度量造成的。同一份模型输出，换成连续度量后跃升消失；作者还在视觉自编码器与 Transformer 上按需制造出了全新的「涌现」。⚠️ 但这是一次度量学纠偏，不是「涌现不存在」——下游能力确实在变强，被质疑的只是变强的形状。⛔「斯坦福证明涌现是假的」这句流行说法本报告判定不成立。见 §1.5。

• **METR 2025 年那个「资深开发者用 AI 反而慢 19%」的结论，已经被 METR 自己 2026 年的后续研究反转了方向，但新一轮的两个置信区间都跨过 0。**正确的现状描述不是「AI 提速」，而是「不再有强证据支持显著变慢，是否提速仍未决」。即使是独立 RCT 也有时间索引。

• **2026 年不存在一个叫「Claude 5」的统一世代，也不存在 Haiku 5。**存在的是 Fable 5 / Mythos 5（同一套底座、区别只在护栏）、Sonnet 5、Opus 5 构成的四层阶梯。当安全配置成为产品身份的一部分时，统一世代号就失效了。

  怎么读这一章

本章有八组公式，每一组都配了变量定义与「假设与失效边界」。如果你只想读结论，看每节开头的粗体句和 §8 的边界汇总表就够了；如果你要引用数字，请务必连口径一起引——本章几乎每个数字后面都跟着一个括号，那个括号才是它能承载的信息量。另外提醒一句：本章大量使用「拟合区间」这个说法而不是「定律成立范围」，这是有意的。幂律不解释任何机制，它只是在一段被实测覆盖的区间里拟合得很好；把它外推到区间之外，是一个判断，不是一个推论。

1 · 可预测性主张：从经验拟合到工程学

外推在什么范围内成立、依赖哪些超参设置、历史上在哪里失准过——以及这套东西为什么不是 Anthropic 发现的。

这一章的核心命题只有一句：**损失可以外推，能力不能。**把这两件事分开，几乎解释了 Anthropic 后来所有奇怪的行为——为什么它一边说「我们能预测模型会变多强」，一边说「我们不知道它会具体学会什么」；为什么一家把 scaling 当作商业模型的公司，会同时把「不可预测性」写进自己的安全政策。

1.1　先把归属讲清楚：这是 OpenAI 2020 年的工作

中文语境里最常见的一个错误，是把「缩放定律」当作 Anthropic 的发现，甚至当作 Dario Amodei 个人的发明。都不是。《Scaling Laws for Neural Language Models》（arXiv:2001.08361）发表于 2020 年 1 月，署名十人：Jared Kaplan、Sam McCandlish、Tom Henighan、Tom B. Brown、Benjamin Chess、Rewon Child、Scott Gray、Alec Radford、Jeffrey Wu、Dario Amodei，机构署名是 OpenAI 与约翰霍普金斯大学。Dario 排在作者列表最后一位，不是第一作者，更不是唯一作者。

Anthropic 成立于 2021 年 1 月。也就是说，这家公司最重要的技术信念，是它的创始团队在上一家公司完成的工作；他们带走的不是论文，是对那条曲线的确信。这个事实值得写出来，倒不是为了拆台，而是因为它让「Anthropic 的独特认知」这个问题变得更精确：如果 scaling laws 不是它的独创，那它到底独有什么？本章后面会给出我的回答——独有的不是那条曲线，而是一整套关于「这条曲线什么时候会骗你」的研究（见 §4）与把不可预测性制度化的做法（见 §1.4）。

Dario 自己的表述其实相当克制。2026 年 1 月的《The Adolescence of Technology》里，他写的是：

My co-founders at Anthropic and I were among the first to document and track the “scaling laws” of AI systems—the observation that as we add more compute and training tasks, AI systems get predictably better at essentially every cognitive skill we are able to measure. — Dario Amodei，《The Adolescence of Technology》 2026-01-26 · darioamodei.com ^[1]（访问日期 2026-07-25）

「among the first to document and track」——最早记录并追踪它的人之一。这个措辞是准确的，也是谦抑的。中文转述常常把它压缩成「他发明了缩放定律」，这一步压缩丢掉了三样东西：他不是第一作者、这是团队工作、而且「document」（记录）与「invent」（发明）在科学上是两回事——幂律是被观测到的，不是被推导出来的。

顺带纠正一处经常被串到一起的履历：Dario 的学历是斯坦福本科（物理）、普林斯顿生物物理博士、斯坦福医学院博士后；约翰霍普金斯的理论物理教授是 Jared Kaplan，不是 Dario。上面那篇论文的机构署名里出现「Johns Hopkins」，来自 Kaplan。

1.2　方法论：为什么是这批人先看到

Jared Kaplan 在 2025 年 6 月的一次公开演讲里，把发现过程描述得几乎没有戏剧性：

    金句
    

「I was just sort of asking the dumbest possible question. As a physicist, that’s what you’re trained to do. You sort of look at the big picture and you ask really dumb things. I’d heard it was very popular in the 2010s to say that big data was important. And so I just wanted to know how big should the data be? How important is it? How much does it help?」

出处：Scaling and the Road to Human-Level AI，Y Combinator AI Startup School，2025-06-16 · youtube.com/watch?v=p8Jx4qvDoSo ^[2]（访问日期 2026-07-25）第二维在这里的含义是：这段发现过程由当事人自述，本报告未检索到独立的科学史考订。

这段话里有一个精确的结构：整个领域当时都在说「大数据很重要」——这是一个定性主张；他问的是「多大？多重要？帮多少？」——这是要求定量化。从定性共识走到定量测量，就是把工程学变成科学的那一步。他随后加了一句在 AI 高管里罕见的话：「we got really lucky」，并说被震撼的是「这些漂亮的趋势，精确程度不亚于你在物理或天文学中看到的任何东西」。

1.3　被忽略的前史：大批量训练与 gradient noise scale

要理解「为什么是这批人」，还得往前推两年。2018 年 12 月，McCandlish、Kaplan、Amodei 与 OpenAI 的 Dota 团队发表了《An Empirical Model of Large-Batch Training》（arXiv:1812.06162）。这篇论文回答的是一个纯工程问题：**加更多的 GPU，什么时候开始不划算？**它给出了一个可以直接测量的标量。

    FX-01

公式组 4 · 梯度噪声尺度与时间／算力的双曲权衡

    ① 直觉
      

小批量梯度是真梯度的一个带噪估计。当批量小到「噪声与信号等量齐观」时，再加机器就只是在平均噪声，不再加快学习。梯度噪声尺度就是这个临界点的位置：低于它，加卡近似线性提速；高于它，加卡基本是浪费。

    ② 推导
      

设参数 $\theta$，损失的二阶展开给出：走一步 $-\epsilon G_{\mathrm{est}}$ 后的期望损失中，噪声额外贡献一项 $\mathrm{tr}(H\Sigma)/B$。对步长 $\epsilon$ 求极值，最优步长与单步改善量都退化为同一个形状：

        $$\epsilon_{\mathrm{opt}}(B)=\frac{\epsilon_{\max}}{1+\mathcal{B}_{\mathrm{noise}}/B},\qquad \Delta L_{\mathrm{opt}}(B)=\frac{\Delta L_{\max}}{1+\mathcal{B}_{\mathrm{noise}}/B}$$
        式 4-1 · $B$ 为批量大小，$\epsilon_{\max}$ 为无噪声时的最优步长，$\Delta L_{\max}$ 为其对应的单步损失改善上限。
      
      

其中的临界量就是梯度噪声尺度（原文式 2.8）：

        $$\mathcal{B}_{\text{noise}}=\frac{\operatorname{tr}(H\Sigma)}{G^{\top}HG}$$
        式 4-2 · $H$ 为损失的 Hessian，$\Sigma$ 为逐样本梯度的协方差，$G$ 为真梯度。分子是「噪声在 Hessian 度量下的总能量」，分母是「信号在同一度量下的能量」。
      
      

实践中真正被计算的是不需要 Hessian 的简化版本 $\mathcal{B}_{\text{simple}}=\operatorname{tr}(\Sigma)/|G|^{2}$，原文说两者「通常只差一个小的常数倍」。把上式在整个训练过程上做适当平均，得到一条极简洁的双曲线：

        $$\left(\frac{S}{S_{\min}}-1\right)\left(\frac{E}{E_{\min}}-1\right)=1$$
        式 4-3 · $S$ 为实际优化步数，$S_{\min}$ 为批量趋于无穷时达到同一损失的最小步数；$E$ 为实际处理的样本数，$E_{\min}$ 为批量趋于零时的最小样本数。临界批量定义为 $\mathcal{B}_{\mathrm{crit}}=E_{\min}/S_{\min}$。
      
    
    ③ 数值例
      

在 $B=\mathcal{B}_{\mathrm{crit}}$ 处，式 4-3 的两个括号各等于 1，于是 $S=2S_{\min}$ 且 $E=2E_{\min}$——比最省步数的方案多花一倍步数，同时比最省数据的方案多花一倍数据，是一个完美对称的折中点。在 $B=\mathcal{B}_{\text{noise}}$ 处，训练速度降到理论最大值的 50%。这条双曲线的实际含义是：**「算力可以买到时间」是有汇率的，而这个汇率可以被测出来。**Anthropic 后来「用资本换智能」的整套商业逻辑，前提正是这个汇率不为零。

    ④ 假设与失效边界
      

这是一个「二阶 + 局部 + 单步」的三重近似。原文自列五条限制：① 短视偏差——推导只回答「下一步怎么走最好」，而贪心的下一步通常不是全局最优；若噪声本身有益（逃离坏极小值、隐式正则），$\mathcal{B}_{\mathrm{crit}}$ 会被低估。② 简化版 $\mathcal{B}_{\text{simple}}$ 只在 Hessian 条件数良好时才近似成立，「梯度的不同分量可以有非常不同的噪声尺度」。③ 整套推导假设学习率已调到最优。④ 噪声尺度本身依赖学习率。⑤ 对 RL，损失是代理策略梯度、数据分布非平稳。另有一条实践含义常被忽略：$\mathcal{B}_{\text{noise}}$ 随训练进程增长（$|G|$ 减小而 $\operatorname{tr}(\Sigma)$ 大致不变），所以固定批量在理论上一直是次优的。

    ⑤ 出处
      

McCandlish, Kaplan, Amodei, OpenAI Dota Team,《An Empirical Model of Large-Batch Training》，2018-12 · arXiv:1812.06162 ^[3]，式 (2.6)–(2.12)（访问日期 2026-07-25）

这条前史很重要，因为没有临界批量的概念，2020 年那三条幂律根本画不出来。Kaplan 2020 需要把「固定批量下的 $L(C)$」校正成「最优批量下的 $L(C_{\min})$」，而这个校正公式直接来自上面的双曲线。未经校正的曲线是弯的、不像幂律。Anthropic 的创始团队里有 McCandlish，不是巧合。

1.4　《Predictability and Surprise》：把不可预测性写成治理问题

2022 年 2 月，Anthropic 发表《Predictability and Surprise in Large Generative Models》（Ganguli、Hernandez、Lovitt 等）。这篇论文在技术上没有新公式，但它做了一件后果深远的事：它把「损失可预测」与「能力不可预测」这对张力，从一个技术观察升级成了一个治理命题。

论证很短：如果你能预测「花多少钱得到多低的损失」，却预测不了「这个损失对应什么能力」，那么**「负责任地发布」在原理上就很困难**——你没法在训练前写下一份完整的「这个模型会做什么」的清单。这条推理后来直接长成了 RSP 的评测逻辑：既然能力不能被预先推算，就只能在训练后、部署前，用评测去逐项检验。这条线索的下游在⑥ RSP 与治理政策那一章展开。🔴 但这条推理的经验前提——「能力不可预测」——本身有一个 S 级反方，就在下一节：§1.5 给出的 NeurIPS 2023 最佳论文论证，所谓「涌现」的锐利形状在很大程度上是研究者选的离散度量造成的。读到这里请不要停在这一段。

    关键洞察
    

Kaplan 2020 的结语里已经埋了这颗种子：「it will be important to investigate whether continued improvement on the loss translates into improvement on relevant language tasks. Smooth quantitative change can mask major qualitative improvements: ‘more is different’.」——这句对 Philip Anderson 1972 年那篇《More Is Different》的引用，两年后被 Anthropic 扩写成了一整篇政策论文。Anthropic 的安全议程，在技术上与 scaling law 的一个已知缺陷严丝合缝地对上了。⚠️ 但「对得上」不等于「因果上由它生出」——本报告没有证据判定这家公司是先看见曲线上的洞、还是先有安全立场再找到了这个技术理由，两种顺序都能产生今天看到的文本，而创始人们在 OpenAI 时期就已持有安全立场。这里能确证的只有较弱的一句：这条技术缺陷为该议程提供了一个可检验的技术锚点，而不是一句纯价值宣言。

    警示 · 不要把这条张力读成「所以 scaling 是危险的」
    

「损失可预测、能力不可预测」是一个方法论限制，不是一个风险断言。它同样支持一个更平淡的解读：我们缺的是「从损失到能力」的映射，而不是缺一个警报。事实上这条张力在 2026 年出现了它的镜像版本——见 §6：**当模型强到把外部评测的任务集跑饱和时，失效的是衡量工具，不是进步。**两种情形都是「测不准」，但含义完全相反。

1.5　反方：所谓「涌现」，有多少是研究者的度量选出来的

上面那句话——总损失可预测，具体能力不可预测——是 Anthropic 整套治理论证的经验前提：正因为能力不能被预先推算，才必须在训练后、部署前逐项评测。这个前提有一个必须并置的强反方，而且它不是一条评论，是 NeurIPS 2023 主赛道的最佳论文之一。本报告把它放在正文而不是脚注，是因为它冲击的不是某一个数字，而是这句话里「不可预测」这四个字的适用范围。

    **先约定一件事：从这里开始，本章每一条反方都会标出它属于哪一层。**这不是分类癖——**不标层，读者会以为所有争论都是同一种争论。它们不是。**能不能被证据解决，是这三层最重要的区别。
    经验层**可以被数据推翻。**「预训练语料还够不够用」「某个模型在 ARC 上得多少分」属于这一层——观测条件是明确的，剩下的只是等数据。
    测量层**可以被证明「目前测不了」。**它质疑的不是分数高低，而是**这个分数究竟在测什么**；它的典型结论是「这个数字承载不了你想让它承载的那个意思」。**本节这一条就属于这一层。**
    世界观层**原则上不能被现有证据判定。**「什么才算智能」属于这一层——双方使用的词汇本身不同，再多数据也不会让分歧自动收敛，能做的只是把分岔点标出来。
  

  

测量层Schaeffer、Miranda 与 Koyejo（斯坦福）：《涌现能力是海市蜃楼吗？》。arXiv:2304.15004，2023 年 4 月首发，NeurIPS 2023 正式发表并获主赛道最佳论文。摘要的核心句是：“for a particular task and model family, when analyzing fixed model outputs, emergent abilities appear due to the researcher’s choice of metric rather than due to fundamental changes in models with scale.”——对某个特定任务与模型族，在分析同一批固定的模型输出时，涌现之所以出现，是因为研究者对度量的选择，而不是因为模型随规模发生了根本性变化。这条只标第一维：它是一篇与 Anthropic 无关的外部论文，四档「结论独立性」衡量的是「Anthropic 的结论被谁验证过」，对它不适用；按本页图例末句的规则，单篇未被复现的外部论文本报告只标来源距离。

• ① 数学模型。假设 per-token 的交叉熵随规模平滑下降（这正是 §2 那三条幂律说的事），而你选的度量是「整串必须完全正确」的 exact match，那么曲线在对数横轴上必然呈现「贴地很久、然后突然起飞」的形状。这个形状是度量的性质，不需要模型内部发生任何突变。

• **② 实证复测。**在 InstructGPT / GPT-3 族上，把 exact match、multiple-choice grade 这类不连续度量换成 token edit distance、Brier score 这类连续度量后，同一批固定输出上的「涌现」消失了；对 BIG-Bench 的元分析进一步显示，被报告的涌现高度集中在少数几种不连续度量上。

• 🔴 ③ 反向构造——这一步才是杀手锏。他们主动挑选度量，在视觉自编码器与因果 Transformer 上制造出了从未被报告过的、全新的「涌现能力」。这把论证从「你们的解释可能有替代」升级成了「这套现象可以被按需生产」。一个能被研究者按需生产出来的形状，很难同时是一条关于模型本身的基本事实。

    必须同时说的另一半 · 这是一次度量学纠偏，不是「涌现不存在」
    

**① 作者自己的措辞是「可能不是」，不是「不是」。**原文写的是 emergent abilities “may not be a fundamental property of scaling AI models”。⛔ 因此「斯坦福证明了大模型的涌现能力是假的」这句流传很广的话，本报告判定为不成立——它把 may not be 读成了 is not，把「在这些度量下」读成了「在所有情形下」。凡引用这条批评的转述，必须在同一段里更正这个读法，否则会连同批评一起继承它的错误。

② 它没有、也没打算论证「模型能力没有随规模增长」。恰恰相反：整篇论证的出发点，就是承认 per-token 交叉熵随规模确实在平滑改善、下游表现确实在变强。被质疑的只有一件事——变强的形状是不是跳跃式的、事前不可预知的。把「形状之争」读成「进步之争」，是对该文最常见的误读。

③ 它的复测有明确的实验边界。论证限定在「分析固定的模型输出」这一设定下，实证部分覆盖的是 InstructGPT / GPT-3 族与 BIG-Bench 元分析。它不覆盖那些无法被拆成 per-token 正确率的能力（例如长时程 agent 任务的整体成败），也不覆盖 2023 年之后出现的推理模型。按本页 §8.2 的双向刀规则，这条限定必须写出来，正如本报告对 Anthropic 自家小模型结论所做的那样。

    Reviewer 裁决 · 五档取「实质削弱」
    

被削弱的是「不可预知的跃变」，不是「损失可预测」

    ① 裁决**对「具体能力以不可预测的跃变方式出现」这半句：测量层实质削弱。**证据是 S 级——同行评议、主赛道最佳论文、三条互相独立的验证路径（数学模型 + 已发布模型族复测 + BIG-Bench 元分析），且反向构造实验使结论**可被任何第三方按公开配方复制**。这不是一位知名人物的判断，是一个可以重跑的结果。
    ② 未被削弱**「总损失随算力平滑可预测」完全不受影响**——Schaeffer 等人的论证**以它为前提**。§1 前半章那条「损失可以外推」的主张，在这条反方面前非但没有变弱，反而被当作了公理使用。**请不要把这条反方读成对 scaling 的打击：它打击的是「意外性」，不是「可预测性」。**
    ③ 对治理论证的净影响这一条对 §1.4 的治理推理**是双向的**，两个方向都要写出来。**削弱的一侧**：如果下游能力在合适的连续度量下本来就是平滑可预测的，那么「训练前根本写不出能力清单」这条理由就变弱了——至少它需要重新论证。**不削弱的一侧**：要用连续度量把某项能力预测出来，**你得先知道自己在找哪一项能力，并为它设计一把连续的尺子**；而「事前不知道该找什么」恰恰是 Anthropic 当初要说的事。**换句话说，这条反方把问题从「能力会突然出现」搬到了「我们事前不知道该测什么」——难度没有消失，只是换了位置。**
    ④ 检索空白🔴 **截至 2026-07-25，本报告未检索到 Anthropic 或 Jared Kaplan 对这篇论文的任何公开回应。**该文已发表近三年，直接针对这家公司叙事的一半，而《Predictability and Surprise》之后 Anthropic 也没有再发布「涌现在连续度量下仍然锐利」的证据。**这个空白本身是一条可追踪的事实，本报告按空白记录，不替任何一方补话。**
    ⑤ 什么会翻转它▸ **推向 Anthropic 一侧**：任何一方给出一类能力，**在多种连续度量下都仍然呈现锐利跃变**，且在多个模型族上复现——这会把「涌现」从度量伪影里救回来。▸ **推向反方一侧**：把 Schaeffer 的复测扩展到 2024 年之后的推理模型与长时程 agent 任务，仍然得到同向结果。**这两个实验都不需要前沿算力，只需要有人去做——这也是本条判定为「可裁决」的原因。**
  




  

2 · 幂律与算力分配：完整推导

从损失函数各项的指数之比推出最优分配比例，给出完整推导而非只列结论——并说明这些指数是反解出来的，不是先验。

Kaplan 2020 的贡献可以概括成一句：**它把「语言模型能力」从工程玄学变成了一门可外推的定量科学。**损失 $L$ 与参数量 $N$、数据量 $D$、算力 $C$ 三者各自呈幂律关系，跨越六到八个数量级不弯，而架构细节（深宽比、注意力头数、前馈层宽度）几乎不影响结果。

2.1　三条单变量幂律

**每一条都有严格的前提，这是最常被误引的地方。**下面三式分别对应「其余两个因素不成为瓶颈」的三种情形。

    $$L(N)=\left(\frac{N_c}{N}\right)^{\alpha_N}$$
    式 1-1 · 参数瓶颈：模型参数有限，但在足够大的数据集上训练到收敛。拟合值 $\alpha_N\approx 0.076$，$N_c\approx 8.8\times10^{13}$（**非嵌入**参数）。
  
  
    $$L(D)=\left(\frac{D_c}{D}\right)^{\alpha_D}$$
    式 1-2 · 数据瓶颈：大模型、数据集受限、采用 early stopping。拟合值 $\alpha_D\approx 0.095$，$D_c\approx 5.4\times10^{13}$ tokens。
  
  
    $$L(C_{\min})=\left(\frac{C^{\min}_c}{C_{\min}}\right)^{\alpha_C}$$
    式 1-3 · 算力瓶颈：算力有限、数据充足、模型大小取最优、批量足够小以最优使用算力。拟合值 $\alpha_C\approx 0.050$，$C^{\min}_c\approx 3.1\times10^{8}$ PF-days。
  

  
    口径说明 · 两套 $\alpha_D$ 不能混用
    

原文摘要给的是 $\alpha_D\approx 0.095$、$N_c\approx 8.8\times10^{13}$、$D_c\approx 5.4\times10^{13}$；而 Table 2 对联合形式 $L(N,D)$ 做整体拟合时给的是 $\alpha_D\approx 0.103$、$N_c\approx 6.4\times10^{13}$、$D_c\approx 1.8\times10^{13}$。原文自己解释了差异来源：前者只拟合 $L(N,\infty)$ 或 $L(\infty,D)$，后者拟合完整的 $L(N,D)$。引用时必须说明是「摘要口径」还是「Table 2 联合拟合口径」，混用会得到互相矛盾的推论。

    **图 6 ·** 三条幂律各自的成立前提。**示意，非精确数据。**画这张图是为了强调一件容易被忽略的事：三条式子不是同一个实验的三个切面，而是**三种互斥的瓶颈情形**——式 1-1 要求数据不受限、式 1-2 要求模型足够大、式 1-3 要求批量取到最优。把它们当成「同时成立的三条定律」引用，是最常见的误用。
  

  

2.2　联合形式：为什么是这个奇怪的嵌套指数

把两个瓶颈合到一起，原文给出的形式是：

    $$L(N,D)=\left[\left(\frac{N_c}{N}\right)^{\alpha_N/\alpha_D}+\frac{D_c}{D}\right]^{\alpha_D}$$
    式 1-4 · 联合损失。内层指数是 $\alpha_N/\alpha_D$，外层是 $\alpha_D$——这个搭配不是凑出来的，它由下面三条原则唯一确定。
  

  

原文用三条原则挑出了这个形式，值得逐条讲，因为第三条正是后来所有争论的软肋：

• **原则一 · 重标度不变性。**换一套 tokenizer 会让每 token 的交叉熵整体乘一个常数 $\lambda$。要求存在新的常数把这个缩放吸收掉，只需取 $N_c'=\lambda^{1/\alpha_N}N_c$、$D_c'=\lambda^{1/\alpha_D}D_c$ 即可。**推论：只有指数 $\alpha_N,\alpha_D$ 是「物理常数」，前置常数 $N_c,D_c$ 只是单位选择。**原文原话是「the values of $N_c, D_c$ have no fundamental meaning」。这解释了为什么后续所有工作报告的常数天差地别却互不矛盾。

• 原则二 · 双向极限还原。$N\to\infty$ 时必须退回 $L(D)$，$D\to\infty$ 时必须退回 $L(N)$。逐一代入可验证式 1-4 两边都对，而且正是这个要求把内外层指数钉死成 $\alpha_N/\alpha_D$ 与 $\alpha_D$。原文还指出一个漂亮的推论：知道两个极限，就完全确定了联合式的全部参数——联合形式没有引入任何新的自由参数。

• **原则三 · 在 $D=\infty$ 处解析。**要求 $L$ 在 (1/D) 上有整数幂级数展开。动机是「过拟合应与数据集的方差／信噪比相关，而后者按 (1/D) 标度」。**原文自己说：「Theoretical support for this principle is significantly weaker than for the first two.」**作为对照，看起来更对称的写法 $\left[(N_c/N)^{\alpha_N}+(D_c/D)^{\alpha_D}\right]^{\beta}$ 展开会得到 (1/D^{\alpha_D}) 这样的非整数幂，且要多引入一个参数。

    失效边界
    

「模型要造得非常大」这个结论，部分地建立在原则三上——而原文自己承认这一条的理论支持「显著弱于」前两条。如果换成对称形式，$N$ 与 $D$ 的不对称性会变，最优分配的指数也会变。这不是事后诸葛：Kaplan 论文在 §4.2 就报告了这条原则在小数据端失效——数据缩到约 (2\times10^{7}) tokens、一个 epoch 只有 40 步更新时，拟合明显偏离，原文猜测「或许这样小的数据集代表了语言建模的另一个 regime」。Anthropic 2022 年的重复数据论文（见 §4）本质上就是在探索这条原则失效的区域。

2.3　算力近似与最优分配的完整推导

要谈「怎么分配算力」，先得有一个算力的表达式。Kaplan 用的是最简单的那个：

    $$C\approx 6NBS\approx 6ND$$
    式 2-1 · $B$ 为批量（tokens/step），$S$ 为优化步数，$D=BS$ 为总训练 token 数。系数 6 来自「前向约 \(2N\) + 反向约 \(4N\)」的每 token 浮点运算估计。
  

  

接下来是本节的主推导。原文的做法是先给学习曲线，再对模型大小求极值。

    FX-02

公式组 1 + 2 · 从三条幂律到 $N\propto C^{0.73}$

    ① 直觉
      

给定一笔算力，你可以把它花在「更大的模型」或「更多的数据」上。**两者的边际收益都在递减，最优点出现在两者边际收益相等的地方。**递减得更慢的那一维，应该分到更多。Kaplan 的结论是模型那一维递减得慢得多，所以「大模型比大数据更重要」。

    ② 推导
      

第一步：学习曲线。原文式 (1.6) 给出损失随参数量与「最小等效步数」的关系。注意这里是加法而不是式 1-4 那种嵌套幂——因为容量瓶颈与优化进度瓶颈的机制不同：

        $$L(N,S_{\min})=\left(\frac{N_c}{N}\right)^{\alpha_N}+\left(\frac{S_c}{S_{\min}}\right)^{\alpha_S}$$
        式 2-2 · $S_{\min}$ 为按式 4-3 校正后的等效最小步数。拟合值 $\alpha_S\approx 0.76$，$S_c\approx 2.1\times10^{3}$。
      
      

**第二步：把算力约束代进去。**在最优批量下，$S_{\min}=C_{\min}/(6NB)$。于是 $L$ 成为 $N$ 的单变量函数，对 $N$ 求导置零：

        $$\frac{\partial L}{\partial N}\bigg|_{C}=0\ \Longrightarrow\ \frac{\alpha_N}{\alpha_S}\left(\frac{N_c}{N}\right)^{\alpha_N}=\left(\frac{S_c}{S_{\min}}\right)^{\alpha_S}$$
        式 2-3 · 最优点的条件：两项按 $\alpha_N/\alpha_S$ 的比例配平。
      
      

**第三步：读出两个推论。**把式 2-3 代回式 2-2，得到一条与规模无关的停机判据：

        $$L\big(N_{\mathrm{eff}}(C),C\big)=\left(1+\frac{\alpha_N}{\alpha_S}\right)L\big(N_{\mathrm{eff}},\infty\big),\qquad \frac{\alpha_N}{\alpha_S}\approx 0.10$$
        式 2-4 · 「训到比收敛损失高约 10% 处就该停」。这条判据只依赖指数之比，因此比分配指数本身更稳健。
      
      

**第四步：三条幂律的指数联立，反解出算力指数。**由 $N\propto C^{\alpha_C/\alpha_N}$、$B\propto C^{\alpha_C/\alpha_B}$、$S\propto C^{\alpha_C/\alpha_S}$ 三式与 $C\approx 6NBS$ 自洽，得：

        $$\alpha_C^{\min}=\left(\frac{1}{\alpha_S}+\frac{1}{\alpha_B}+\frac{1}{\alpha_N}\right)^{-1}$$
        式 2-5 · 三条「速率」的调和组合。代入原文的三个拟合指数 $\alpha_S\approx0.76$、$\alpha_B\approx0.21$、$\alpha_N\approx0.076$，得 $\alpha_C^{\min}\approx 0.052$——这正是原文**附录式 (B.7)** 报出的值。
      
      

把 $\alpha_C^{\min}$ 除以 $\alpha_N$ 就得到最优模型规模对算力的指数。但这一步必须停下来讲清楚一件事——原文正文式 (6.5) 在这里报出的是 $C_{\min}^{0.71}$，而用上面那组指数直接代入只能得到 0.684。差别不在本报告的算术里，而在原文自己：

        $$\frac{\alpha_C^{\min}}{\alpha_N}=\frac{0.052}{0.076}\approx 0.684\qquad\text{vs.}\qquad \frac{0.054}{0.076}\approx 0.711$$
        式 2-6 · 左侧用附录 (B.7) 的 0.052，右侧用正文 (6.4) 的 0.054。**同一个定义式，原文给了两个值。**
      

      
        警示 · 原文对同一个量给了两个值，而只有附录那个能被验算
        

事实层，逐条可核对。原文正文式 (6.4) 写 $\alpha_C^{\min}\equiv\left(1/\alpha_S+1/\alpha_B+1/\alpha_N\right)^{-1}\approx\mathbf{0.054}$；原文附录式 (B.7) 写同一个定义式 $\alpha_C=\left(1/\alpha_S+1/\alpha_B+1/\alpha_N\right)^{-1}\approx\mathbf{0.052}$。公式一字不差，报出的数不一样。

**哪一个能被验算。**把原文自己印在式 (1.5)(1.6)(5.1) 里的三个指数代进去：(1/0.76+1/0.21+1/0.076=19.236)，取倒数得 (0.05199)。**附录的 0.052 是对的；正文的 0.054 无法由原文印出的这三个数复现。**顺着 0.052 走，$N$ 的指数是 0.684；顺着 0.054 走才是式 (6.5) 的 0.71。本报告采用 0.052 与 0.684，因为它是唯一可验算的那一组，并在此显式标注 0.71 的来源，以免读者以为它是由这三个指数算出来的。

它有后果，不是排版洁癖。原文用 0.71 与经验拟合的 0.73 相比，说两者「matches the scaling of Figure 14 to within a few percent」——那是 2.7%。换成可验算的 0.684，理论与经验的差距变成 6.3%。「理论与经验高度吻合」这个读感，有一部分来自那个取不出来的 0.054。⚠️ 但必须同时说清：即便按 6.3%，理论与经验仍算相当接近，这不推翻原文的结论——被削弱的是「吻合得有多好」这个修饰词的强度，不是「两者方向一致」这个事实。

为什么会差这一点，本报告不下结论。可以说的是：若把 $\alpha_B$ 取到 $\approx0.247$，代入恰好得到 0.054；而 0.247 与原文经验拟合出的批量对算力指数 0.24 数值相近——但这两个量是不同的东西（前者是 $B_{\text{crit}}=B_*/L^{1/\alpha_B}$ 里的指数，后者是 $B\propto C_{\min}^{0.24}$ 的指数），本报告没有依据断言原文在此处混用了它们。这是一条留给读者与原作者的开放疑问。

**这与本页 §3.4 是同一类问题，值得对读。**Chinchilla 发表的那组拟合常数与它自己的方法①② 隐含的 token/参数比自相矛盾（隐含约 70:1 而非 20:1），原因已由 Epoch AI 追出并经原作者确认。两处的共同教训是：同一篇论文里不同拟合口径给出的常数，不能互相代入。而这类不一致只能靠反代验算发现——读引用、读综述、甚至只读正文都发现不了，因为正文与附录不会印在同一页上。见 §3.4

作为对照，经验拟合给出：

        $$N\propto C_{\min}^{0.73},\qquad B\propto C_{\min}^{0.24},\qquad S_{\min}\propto C_{\min}^{0.03}$$
        式 2-7 · 原文式 (6.1)(6.2)。**三个指数之和为 1.00**，这是 $C\approx 6NBS$ 强制的恒等式，可直接用作验算。由 $D=BS$ 得 $D\propto C_{\min}^{0.24+0.03}=C_{\min}^{0.27}$。⚠️ 原文自陈 $S$ 的指数 0.03「小到我们的结果甚至可能与指数为零相容」。
      
    
    ③ 数值例
      

算力放大 10 倍时：模型应放大 (10^{0.73}\approx 5.4) 倍，数据只需放大 (10^{0.27}\approx 1.9) 倍——而且这 1.9 倍里大部分还应该用来增大批量而不是增加串行步数（$S$ 只放大约 1.07 倍）。原文 Figure 14 的说法是：「算力每增加 10 倍，最优模型大小增加 5 倍，处理的数据样本数只增加 2 倍。」由此得到那句被引用了无数次的结论：「Big models may be more important than big data.」

    ④ 假设与失效边界
      

先纠正一个常见的误述（本报告此前也犯过）：0.73 不是由 $\alpha_N,\alpha_S,\alpha_B$ 反解出来的，它是对 Figure 14 的数据直接做幂律拟合的结果（原文式 6.1：「can be fit very well with a power-law」）。真正被反解出来的是另外两个——$B\propto C_{\min}^{0.24}$ 由 $B\propto L^{-4.8}$ 与 $L\propto C_{\min}^{-0.05}$ 推得，$S_{\min}\propto C_{\min}^{0.03}$ 再由 $C\approx6NBS$ 的恒等式补齐。而由三个指数反解出的那个理论值是 0.684（原文正文报 0.71，见上面的警示框）。区分这两者很重要：0.73 是测量，0.684 是预测，两者接近是一个结论，不是一个定义。

无论如何，0.73 继承了实验配置的全部**系统偏差。**具体边界：① 拟合区间——模型规模 768 到 15 亿非嵌入参数，数据 2,200 万到 230 亿 tokens，训练集是 WebText2（20.3M 文档／96 GB），BPE 词表 50,257，上下文长度 1,024。所有关于「万亿参数」的说法都是外推三个数量级。② $L$ 是特定数据分布上的每 token 交叉熵，不是任何意义上的「智能」；常数依赖 tokenizer 与数据集，换一套就全变。③ 批量在大部分实验里固定为 (2^{19})，需要用临界批量事后校正，原文自承「these empirical results are not truly optimal」。**④ 正则化未随规模调优。**⑤ 原文明确写了一句后来极其致命的话：「We found that results at convergence were largely independent of learning rate schedule.」——见 §3。⑥ 从未跑到损失饱和：「performance must flatten out eventually before reaching zero loss.」

    ⑤ 出处
      

Kaplan et al.,《Scaling Laws for Neural Language Models》，2020-01 · arXiv:2001.08361 ^[4]，式 (1.1)–(1.8)、(4.1)–(4.4)、(5.6)、(6.1)–(6.5)、附录 B（访问日期 2026-07-25）

    **图 7 ·** 同一笔新增算力，两套定律给出的花法。**示意，非精确数据**；倍数由指数直接换算（\(10^{0.73}\approx5.4\)、\(10^{0.27}\approx1.9\)、\(10^{0.5}\approx3.2\)）。这张图的意义在于把一个抽象的指数之争翻译成一句采购决策：**是买更大的模型，还是买更多的数据。**2020 年到 2022 年间，整个行业按上面那条线做了采购。
  

  

  

2.4　Kaplan 自己给出的失效点（几乎从未被引用的一节）

原文 §6.3 标题叫「Contradictions and a Conjecture」，是全文最诚实的部分。构造是这样的：为控制过拟合，数据必须按 $D\gtrsim 5\times10^{3}N^{0.74}$ 增长；代入 $N\propto C^{0.73}$ 得 $D\propto C^{0.54}$。**但 compute-efficient 训练实际用掉的数据只有 $D\propto C^{0.26}$。**两者必然在某处相交——也就是说，Kaplan 在论文里预言了自己这套定律必须失效的位置：

    $$C^{\star}\sim 10^{4}\ \text{PF-days},\quad N^{\star}\sim 10^{12},\quad D^{\star}\sim 10^{12},\quad L^{\star}\sim 1.7$$
    式 2-8 · 原文式 (6.8) 的交点估计。$L^{\star}$ 单位为 nats/token，原文猜测它可能是「自然语言每 token 的熵」的粗估。
  

  

这里有两处值得停一下。第一，这个失效点早就被越过了。(10^{4}) PF-days 约合 (8.6\times10^{23}) FLOPs；Chinchilla 的训练预算是 (5.76\times10^{23}) FLOPs，2023 年之后的前沿训练更是高出一到两个数量级。而失效的方式恰恰是 Kaplan 猜的那种——不是曲线断掉，而是最优分配比例本身错了。第二，$L^{\star}\approx1.7$ 这个数字与 Chinchilla 独立拟合出的不可约损失 $E=1.69$ 几乎相同，两者方法完全不同（一个是两条外推线的交点，一个是直接拟合渐近截距）。tokenizer 不同使得严格可比性存疑，但量级撞在一起本身是一个有意思的一致性检验。

    关键洞察
    

原文还有一句更深的观察，藏在对 $\alpha_S$ 的解释里：幂律形式「应该提供关于损失 Hessian 谱的信息」，而「它的普适性暗示 Hessian 特征值密度大致与模型规模无关」。如果这是真的，那么大模型与小模型在优化动力学意义上是同一类物体的不同尺寸，而不是不同的物体。这正是「scaling 可以外推」这一信念的数学根基——也是它至今仍只是一个信念的原因：这个「统计力学」六年来没有被建立起来。Kaplan 自己在 §8 里写的是希望找到「一个支撑我们所观察到的热力学的统计力学」。

3 · Chinchilla 之争：一个被引用上万次的解释，其实从未被验证

本页最硬的一节。它讲的不是技术勘误，而是一个完整的科学自我修正案例：提出定律 → 推翻结论但误诊原因 → 四年后用 900 次训练找出真因。

2022 年 3 月，DeepMind 的 Hoffmann 等人发表《Training Compute-Optimal Large Language Models》。结论只有一句：在固定算力下，参数量与训练 token 数应当近似等比例增长（各正比于算力的 0.5 次方），因此当时所有大模型都严重训练不足。他们用一个 700 亿参数、1.4 万亿 tokens 的模型 Chinchilla，在同等算力下全面超过了 2,800 亿参数的 Gopher。Kaplan 的 0.73 错了。

但「Kaplan 错在哪里」这个问题，Chinchilla 论文给出的答案也是错的。而那个错误答案，被引用了上万次。

3.1　Chinchilla 用了三种方法，给出了三组不同的常数

这一点本身就值得写：同一篇论文用三种独立方法估计同一个指数，得到三个不一样的答案，而它们的分歧后来变成了这篇论文自己内部矛盾的来源。

      方法做法$a$（$N_{\text{opt}}\propto C^{a}$）$b$（$D_{\text{opt}}\propto C^{b}$）| 方法 | 做法 | $a$（$N_{\text{opt}}\propto C^{a}$） | $b$（$D_{\text{opt}}\propto C^{b}$） |

      
        方法 ①　训练曲线包络固定模型规模，扫 4 种不同的 cosine cycle 长度，对每个算力值取所有运行中损失最低者0.50（0.488, 0.502）0.50（0.501, 0.512）| 方法 ①　训练曲线包络 | 固定模型规模，扫 4 种不同的 cosine cycle 长度，对每个算力值取所有运行中损失最低者 | 0.50（0.488, 0.502） | 0.50（0.501, 0.512） |

        方法 ②　IsoFLOP 曲线固定 9 个算力预算，扫模型大小，每条曲线拟合抛物线取顶点0.49（0.462, 0.534）0.51（0.483, 0.529）| 方法 ②　IsoFLOP 曲线 | 固定 9 个算力预算，扫模型大小，每条曲线拟合抛物线取顶点 | 0.49（0.462, 0.534） | 0.51（0.483, 0.529） |

        方法 ③　参数化损失拟合拟合 $\hat{L}=E+A/N^{\alpha}+B/D^{\beta}$，再解析求最优0.46（0.454, 0.455）0.54（0.542, 0.543）| 方法 ③　参数化损失拟合 | 拟合 $\hat{L}=E+A/N^{\alpha}+B/D^{\beta}$，再解析求最优 | 0.46（0.454, 0.455） | 0.54（0.542, 0.543） |

        （对照）Kaplan 2020—0.730.27| （对照）Kaplan 2020 | — | 0.73 | 0.27 |

      
      表 1 · Chinchilla 三种方法的指数估计（括号内为 bootstrap 置信区间，对 80% 数据重采样 100 次）。注意方法 ③ 系统性地给出更小的 $a$；原文的解释是低算力点残差更大、被 Huber 损失当作离群点降权。**来源：Hoffmann et al., 2022, Table 2 ·** arXiv:2203.15556 [@src-ac31afbbba]（访问日期 2026-07-25）
    
  

  

  
    FX-03

公式组 3 · 从参数化损失到最优前沿（含拉格朗日推导）

    ① 直觉
      

把损失拆成三块：永远降不下去的那一块（数据本身的熵）、因为模型不够大而降不下去的那一块、因为数据不够多而降不下去的那一块。前一块与你的预算无关，后两块可以用钱买。最优分配就是让后两块的「每一元边际收益」相等。

    ② 推导
      

第一步：参数化形式。

        $$\hat{L}(N,D)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}}$$
        式 3-1 · $E$ 为不可约损失（贝叶斯风险，可解读为自然文本的熵）；$A/N^{\alpha}$ 为函数逼近误差；$B/D^{\beta}$ 为随机逼近误差（只在 $D$ 个样本上、只过一个 epoch 带来的次优性）。
      
      

**第二步：写出拉格朗日函数。**约束是算力预算 (6ND=C)：

        $$\mathcal{J}(N,D,\lambda)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}}+\lambda\left(6ND-C\right)$$
        式 3-2 · $\lambda$ 为拉格朗日乘子，其量纲是「每单位算力换到的损失下降」，即算力的影子价格。
      
      

第三步：两个一阶条件。

        $$\frac{\partial \mathcal{J}}{\partial N}=-\frac{\alpha A}{N^{\alpha+1}}+6\lambda D=0,\qquad \frac{\partial \mathcal{J}}{\partial D}=-\frac{\beta B}{D^{\beta+1}}+6\lambda N=0$$
        式 3-3 · 分别对参数量与数据量求偏导置零。
      
      

**第四步：消去 $\lambda$。**两式相除并整理，得到一个非常干净的配平条件：

        $$\frac{\alpha A}{N^{\alpha}}=\frac{\beta B}{D^{\beta}}$$
        式 3-4 · 在最优点上，两项误差之比恒为 $\beta:\alpha$——**与算力预算无关**。这是整个推导里最有信息量的一步。
      
      

**第五步：代入约束解出前沿。**把 $D=C/(6N)$ 代入式 3-4，整理得 $N^{\alpha+\beta}=\dfrac{\alpha A}{\beta B}\left(\dfrac{C}{6}\right)^{\beta}$，于是：

        $$N_{\text{opt}}=G\left(\frac{C}{6}\right)^{a},\qquad D_{\text{opt}}=G^{-1}\left(\frac{C}{6}\right)^{b}$$
        式 3-5 · 其中 $G=\left(\dfrac{\alpha A}{\beta B}\right)^{1/(\alpha+\beta)}$。
      
      
        $$a=\frac{\beta}{\alpha+\beta},\qquad b=\frac{\alpha}{\alpha+\beta}$$
        式 3-6 · 注意 $a+b=1$ **恒成立**，因为 \(6ND=C\) 是硬约束。所以三种方法给出的其实是同一个自由度。
      
    
    ③ 数值例
      

Chinchilla 发表的拟合常数是 $E=1.69$、$A=406.4$、$B=410.7$、$\alpha=0.34$、$\beta=0.28$。代入式 3-6：$a=0.28/0.62=0.4516$，$b=0.34/0.62=0.5484$——原文报 0.46 与 0.54，推导完全吻合。而 Kaplan 的 0.73 与 Chinchilla 的约 0.50 之争，本质上是一个标量之争：因为 $a+b=1$，你只需要移动一个数。这也是为什么后来 Porian 等人能用三项修正把它从 0.86 一路搬到 0.50。

    ④ 假设与失效边界
      

**① 纯幂律假设。**原文自承假设了 $N_{\text{opt}}$ 与 $C$ 之间是纯幂律，「未来工作可能需要在大模型处引入曲率」。② 低算力端残差更大（算力不超过 (10^{21}) FLOPs 的点），Huber 损失把它们当离群点降权，导致外推到大算力时方法 ③ 预测的模型显著更小。③ 单 epoch 假设。$B/D^{\beta}$ 项的解释里明确写了「making a single epoch on the provided dataset」；当数据不够、必须多轮时这个形式失效（见 §4）。④ 完全不含推理成本。「Chinchilla 最优」= 训练算力最优，不是总拥有成本最优——这是 2023 年之后整个部署实践偏离它的根本原因（见 §4.3）。⑤ 只在 MassiveText 上做，附录在 C4 与 GitHub 上复现时指数略有差异。⑥ $E=1.69$ 是一个外推极远的渐近截距，把它读成「自然文本的熵」需要非常谨慎。⑦ 最要命的一条：方法 ③ 的这组发表常数与方法 ①② 自相矛盾——见 §3.4。

    ⑤ 出处
      

Hoffmann, Borgeaud, Mensch, Buchatskaya, Cai, Rutherford et al.,《Training Compute-Optimal Large Language Models》，2022-03 · arXiv:2203.15556 ^[5]，式 (2)–(4)、Table 2、附录 D.2（访问日期 2026-07-25）

    口径说明 · 「20 tokens/参数」不是一条定律
    

这个被到处引用的数字，来自 Chinchilla 这个具体模型：700 亿参数配 1.4 万亿 tokens，比值正好 20。校验一下算力：(6\times 7\times10^{10}\times1.4\times10^{12}=5.88\times10^{23}) FLOPs，与 Gopher 的训练预算一致。但要注意，比值 $D/N$ 正比于 $C^{b-a}$——只有在 $a=b=0.5$ 时它才是常数。方法 ③（$a=0.46$）预测这个比值会随算力增长。所以「20:1」是一个特定算力点上的比值，不是一个跨尺度不变量。

3.2　流行解释：学习率调度

Chinchilla 论文自己给出的分歧诊断是：**Kaplan 没有为每个 token 预算单独调整学习率衰减调度。**这个说法极有说服力——Kaplan 论文里确实白纸黑字写着「We found that results at convergence were largely independent of learning rate schedule」，而 Chinchilla 的方法 ① 有一个关键脚注：「所有被选中的点都落在训练的最后 15% 内。这说明当你要在 $D$ 个 token 上训练时，应该选一个在大约 $D$ 个 token 上衰减 10 倍的 cosine cycle 长度。」

于是「Kaplan 的学习率调度没匹配 token 预算，所以短训练的损失虚高」这个解释，在此后两年里成了教科书式的共识。它被引用了上万次。它从来没有被实验验证过。

3.3　核心反叙事一：真因是三条，学习率只占约 8%

    勘误 · 关于 Kaplan 与 Chinchilla 分歧的成因
    
      
        原说法
        

「Kaplan 缩放律错在用了固定的学习率调度，后来被 Chinchilla 推翻了。」

来源性质：这是 Hoffmann et al. 自己提出的一个假说，写在 Chinchilla 论文的讨论部分，此后被学界与产业界广泛当作定论转述。它从未被对照实验验证过。

      →
      
        更正后
        

Porian、Wortsman、Jitsev、Schmidt、Carmon 在《Resolving Discrepancies in Compute-Optimal Scaling of Language Models》中用 900 余次训练做逐项对照，识别出真正的三个原因：**① 末层（unembedding）的计算成本未计入参数量 $N$ 与算力计数；② warmup 时长固定，对小模型过长；③ 未随规模分别调优 learning rate、batch size 与 AdamW 的 $\beta_2$。**三者修正后与 Chinchilla「高度吻合」。

摘要逐字：“Counter to a hypothesis implied in Hoffmann et al., we find that careful learning rate decay is not essential for the validity of their scaling law.”　依据：arXiv:2406.19146 ^[6]（NeurIPS 2024，访问日期 2026-07-25）这一档给的是「独立于 Anthropic 与 OpenAI 的学术团队，用 900 余次自己的训练把两组结果都复现出来了」——第二维不只用来打折公司自评，也用来标出哪些结论真的被别人跑过。

决定性反证：在 Porian 等人的图 1e 中，最终与 Chinchilla 达成一致的那一组配置，用的恰恰是常数学习率。　**为什么容易错：**这个假说听起来太合理了——Kaplan 论文自己就写了「结果与学习率调度基本无关」，读者很自然地把这句自陈当成了错误自白。但「无关」这个观察本身是在一套会系统性隐藏调度效应的实验配置下得到的，真正的病灶在算力计数与超参标定，而不在调度。　**提出者／推翻者／轮次：**Hoffmann et al.（2022）提出假说 → Porian et al.（2024）用 900 余次训练证否 → 本报告依据 CANONICAL 基线 §2.4 采纳后者。

Porian 的做法是本领域少见的「逐步归因」：**先完整复现 Kaplan 的设置，再一项一项地把差异改回来，每改一项就重新拟合一次指数。**下面这张表是整个 scaling law 文献里我最愿意推荐的一张表——它把一场四年的争论压缩成了五行。

      实验阶段OpenWebText2 上的 $a$RefinedWeb 上的 $a$$\rho^{\star}=D^{\star}/N^{\star}$ 范围（OWT2）| 实验阶段 | OpenWebText2 上的 $a$ | RefinedWeb 上的 $a$ | $\rho^{\star}=D^{\star}/N^{\star}$ 范围（OWT2） |

      
        ① 原样复现 Kaplan 设置0.864（0.82, 0.90）0.835（0.82, 0.85）(5, 2617)| ① 原样复现 Kaplan 设置 | 0.864（0.82, 0.90） | 0.835（0.82, 0.85） | (5, 2617) |

        ② ＋ 计入末层算力0.699（0.66, 0.72）0.706（0.69, 0.72）(8, 262)| ② ＋ 计入末层算力 | 0.699（0.66, 0.72） | 0.706（0.69, 0.72） | (8, 262) |

        ③ ＋ 缩短 warmup0.603（0.57, 0.63）0.602（0.59, 0.62）(7, 55)| ③ ＋ 缩短 warmup | 0.603（0.57, 0.63） | 0.602（0.59, 0.62） | (7, 55) |

        ④ ＋ 加 cosine 学习率衰减0.574（0.54, 0.61）0.571（0.56, 0.59）(7, 42)| ④ ＋ 加 cosine 学习率衰减 | 0.574（0.54, 0.61） | 0.571（0.56, 0.59） | (7, 42) |

        **⑤ ＋ 逐规模调优化器超参****0.517（0.49, 0.54）****0.497（0.49, 0.50）****(11, 22)**| ⑤ ＋ 逐规模调优化器超参 | 0.517（0.49, 0.54） | 0.497（0.49, 0.50） | (11, 22) |

      
      表 2 · Porian 等人的逐项归因。**最右列才是真正的胜利**：token/参数比的范围从横跨三个数量级的 (5, 2617) 收缩到几乎是常数的 (11, 22)（RefinedWeb 上收缩到 (14, 16)）。Kaplan 原始配置下的 $\rho^{\star}$ 横跨 500 倍，说明他的最优参数量与最优数据量之间根本没有稳定关系。**来源：Porian et al., 2024, Table 1 ·** arXiv:2406.19146 [@src-6dec24d15f]（访问日期 2026-07-25）
    
  

  
    **图 11 ·** 五格 reconciliation。柱高按指数值线性映射，**示意化重绘，非原论文图**。四项修正对总差距（0.864 → 0.517）的贡献依次约为 −0.165、−0.096、−0.029、−0.057：**末层算力占约 47%，warmup 占约 28%，优化器调参占约 16%，而被写进无数综述的学习率衰减只占约 8%。**
  

  

三个原因各自的机制值得说清楚，因为它们都不是「粗心」，而是合理的技术决定在别处产生了副作用：

• 末层算力（贡献最大）。Kaplan 为了让不同深度的模型落到同一条 $L(N)$ 曲线上，把嵌入参数排除出 $N$ 的定义——这个决定是正确的，原文 Figure 6 展示了排除后曲线完美塌缩。但他连带把输出解码层的浮点运算也排除出了算力计数。Porian 的诊断是：「大概因为他们的模型头与嵌入层是权重共享的，这导致他们也把模型头对每 token 算力的贡献一起折掉了。」后果很直接：输出头的算力是 (2 d_{\text{model}} n_{\text{vocab}})，与深度无关，对小模型占比极大、对大模型可忽略。漏算它等于系统性低估小模型的真实成本，让小模型在等算力比较中显得比实际便宜，从而抬高了最优参数量对算力的斜率。

• **warmup 太长。**Kaplan 的设置是 3,000 步 × (2^{19}) tokens/step ≈ 15.7 亿 tokens 的 warmup。Porian 发现，在小算力预算下，计算最优的 token 数本身就小于或接近 warmup 长度——小模型「还没热身完就已经用光预算了」。原文的说法是：模型被「迫使」使用比本该最优更多的 token，只为「逃出」那段过长的热身。修正方案是一个漂亮的启发式：令 warmup 的 token 数等于模型参数量。

• **优化器超参未随规模调。**Kaplan 全程用固定批量 (2^{19}) tokens，在小算力下计算最优模型只训练几百步。Porian 对 500 万到 1.08 亿参数的模型扫批量与学习率，发现一个很物理的细节：AdamW 的 $\beta_2=0.95$ 在小批量下是次优的——「批量越小，平方梯度越嘈杂，AdamW 需要更多平滑才能得到正确的分母」。这与 §1.3 的梯度噪声尺度是同一个物理：小批量等于高噪声，必须靠加长二阶矩的平均窗口来补偿。

Porian 还做了一件很聪明的交叉验证：把前两项修正撤回去，用调好的超参当作「合适批量」的代理，试图复现 Kaplan 那条「调整后 0.73」的曲线——结果得到 $a=0.717$（0.71, 0.72）。**他们不只是「得到了 Chinchilla 的答案」，他们能在同一套代码里按需复现 Kaplan 的答案。**这是一个远比「谁对谁错」更强的结论：指数是实验配置的函数。

    关键洞察 · 全文最不让人安心的一句
    

Porian 在讨论部分写了一句几乎没有被转述过的话（我按原意转述）：高估最优损失的效应（warmup 过长、批量过大）与低估算力成本的效应（漏算末层）几乎正好抵消，以至于 Figure 5 的第一条与最后一条曲线几乎重合。也就是说——**两个方向相反的系统误差恰好互相掩盖，使得 Kaplan 的 $L(C)$ 曲线看起来完美地是一条幂律。如果它们没有抵消，2020 年就会有人发现拟合不对。「拟合得好」不等于「模型对」，它可能只是两个错误互相遮蔽。**这句话应该抄给每一个做经验标度律的人。

3.4　核心反叙事二：那组发表常数与论文自己的方法矛盾

第二条订正的分量不如第一条，但它更能说明「一篇论文里可以有几种不同的真相」。

    勘误 · 关于 Chinchilla 发表的那组拟合常数
    
      
        原说法
        

「Chinchilla 的参数化损失常数 $E=1.69$、$A=406.4$、$B=410.7$、$\alpha=0.34$、$\beta=0.28$ 是这条定律的标准数值，可直接用于外推。」

出现位置：大量综述、教程与工程博客直接引用这组常数做算力规划。

      →
      
        更正后
        

这组常数隐含约 70 tokens/参数，而论文的方法 ①② 以及实际造出 Chinchilla 所用的经验法则是 ≈20 tokens/参数（700 亿参数配 1.4 万亿 tokens）。**同一篇论文的三种方法在这一点上互相矛盾。**Epoch AI 的复现（Besiroglu 等）追出了原因，并经 Hoffmann et al. 作者本人确认。

确认后的原因逐字：“they averaged the Huber loss values over different data points instead of summing them during loss minimization, and the high loss scale of their optimizer caused their optimization to terminate early.”　依据：arXiv:2404.10102 ^[7]（访问日期 2026-07-25）Epoch AI 独立重跑并公开了拟合代码，原作者确认——这是本章第二维评级最高的一条。

**两条必须保留的限定：**① **这不影响 Chinchilla 的主结论。**20:1 法则来自方法 ①②，是对的；受影响的只有方法 ③ 的发表常数。② Epoch AI 的数据点是从原论文的图中反解出来的（约 240–245 个点，而原文用了 400 多个点），其自身的拟合也带有不确定性。　**为什么容易错：**论文正文里三种方法的结论被写成「互相印证」，读者很自然会假设它们的常数也互相一致；而 $a$ 从 0.50 到 0.46 看起来只是个小差别，直到你把它换算成 tokens/参数才发现差了三倍多。

3.5　这一节真正的意义：它是一个科学方法论案例

把上面两条订正放在一起，会得到一个三步的完整故事，而且每一步都是必要的：

      年份发生了什么对了什么错了什么| 年份 | 发生了什么 | 对了什么 | 错了什么 |

      
        2020Kaplan 等提出三条幂律与最优分配框架、联合形式、学习曲线的 Hessian 论证——至今站得住最优分配的指数（0.73）| 2020 | Kaplan 等提出三条幂律与最优分配 | 框架、联合形式、学习曲线的 Hessian 论证——至今站得住 | 最优分配的指数（0.73） |

        2022Hoffmann 等用三种方法推翻分配结论主结论正确，20:1 法则可用**对分歧原因的诊断**；方法 ③ 的发表常数| 2022 | Hoffmann 等用三种方法推翻分配结论 | 主结论正确，20:1 法则可用 | 对分歧原因的诊断；方法 ③ 的发表常数 |

        2024Porian 等复现两边，逐项归因；Besiroglu 等复现拟合找出三个真实原因，并证否了流行解释规模上限远低于两者，超参扫描只做到约 2.2 亿参数级| 2024 | Porian 等复现两边，逐项归因；Besiroglu 等复现拟合 | 找出三个真实原因，并证否了流行解释 | 规模上限远低于两者，超参扫描只做到约 2.2 亿参数级 |

      
      表 3 · 一个跨四年的科学自我修正链。**值得注意的是：三步全都是实验科学，没有一步是理论推导。**
    
  

  
    我的看法
    

我认为 Kaplan 的错误应当被归类为工程错误导致的科学误判，而不是科学错误。三条单变量幂律至今站得住，联合形式至今站得住，$L(N,S)$ 的 Hessian 论证至今站得住。错的只有最优分配的那个指数，而它来自一组有系统偏差的实验配置。框架对了，标定错了。

但这个案例还有一层更让人不安的含义，我认为它比技术细节重要得多：**Porian 之所以能做这件事，是因为 Kaplan 的设置是可复现的。**他们需要有能力完整重建被批评方的实验。**在 2026 年，没有任何人能对 Claude 或 GPT 做同样的事。**Scaling law 的科学正在从可复现走向不可复现——而这恰恰发生在这套定律被用于支撑数千亿美元资本决策的时候。这不是任何一家公司的过错，但它是一个应当被写进任何一份「AI 认知报告」的结构性事实。

    警示 · 这一节不支持的结论
    

① 不支持「Chinchilla 被推翻了」——被修正的是它对分歧原因的诊断与方法 ③ 的常数，主结论完好。② 不支持「Kaplan 是错的所以 Anthropic 的技术判断不可靠」——那篇论文的框架至今是整个领域的地基，而且论文自己就预言了失效点（§2.4）。③ 不支持「所以缩放定律都是拟合游戏」——$\rho^{\star}$ 从 (5, 2617) 收缩到 (11, 22) 说明修正后的规律更稳定了，不是更松散了。

4 · 数据侧：重复数据、迁移与过训练

这一节是 Anthropic 自己的主场——它贡献的不是那条曲线，而是关于「这条曲线什么时候会骗你」的三项研究。

4.1　重复数据：极小比例也能造成灾难性崩塌

2022 年 5 月，Anthropic 发表《Scaling Laws and Interpretability of Learning from Repeated Data》（Hernandez、Brown、Conerly、DasSarma、Drain、El-Showk 等）。这是这家公司的第一篇「缩放定律会在哪里骗你」的论文，也是它把宏观与微观两个视角接在一起的少数几处之一。原文开篇就把方法论说了出来：「通过两个透镜研究数据重复：缩放定律的宏观透镜，与机制可解释性的微观透镜。」

实验设计的巧思在于：固定「10% 的训练 token 来自重复」，但让「重复的是多小的一撮数据、重复多少次」变化。0.01% 的数据重复 1,000 次，与 1% 的数据重复 10 次，总重复 token 数相同，效果却天差地别。全部实验都训练 1,000 亿 tokens。

核心发现：存在一个重复频率的窄区间，在那里损害被最大化。对一个 8 亿参数的模型，这个区间大约是「占总数据 0.1% 的子集重复约 100 次」，性能退化到接近 3.4 亿参数模型的水平（摘要的口径写的是「退化到 2 倍更小的模型（4 亿参数）」——正文与摘要措辞略有出入，引用时应注明）。在更极端的设定下（90% 重复数据、100 到 10,000 次重复），出现了字面意义上的双下降学习曲线：损失先降、再升、再降。⚠️ 这组数值全部来自 Anthropic 自己的实验，本报告未检索到外部团队在同一设定下的复现；按 §8.2 表 11 的规则，「某效应随规模增强或减弱」这类结论需要 frontier 规模才能支撑。

机制猜想很有说服力，原文的表述是：「我们怀疑中间存在一个区间，在那里数据可以被记住，而记住它消耗了模型很大一部分容量，退化的峰值可能就出现在这里。」翻译成三句话就是：重复太少 → 记不住 → 无害；重复太多 → 记得又快又便宜 → 无害；不多不少 → 恰好在「勉强能记住但很吃力」的区域 → 吃掉大量容量 → 灾难。

    $$E=k\,N^{\alpha}$$
    式 5-1 · 公式组 5 · 「坏区域」的幂律边界。**$E$ 为重复的 epoch 数**，$N$ 为模型参数量，边界取「至少达到 50% 最大退化」处。拟合值：右边界 $k=5.1\times10^{7}$、$\alpha=-0.50$；左边界 $k=4.2\times10^{6}$、$\alpha=-0.56$。
  

  
    口径说明 · 一个必须提醒的符号冲突
    

式 5-1 里的 $E$ 是重复的 epoch 数，与式 3-1 里表示不可约损失的 $E$ 同名不同义。两篇论文各自的记号都没错，但放在同一页里必须点出来。本节之后凡出现 $E$，一律指 epoch 数。

注意 $\alpha$ 为负：**模型越大，触发灾难所需的重复次数越少。**原文把这条边界外推后给出了一个相当可怕的预测：「把这些边界外推，会预言在数千亿参数的最先进语言模型上，数据只重复 2 次就足以造成显著退化」——尽管这个外推的前提是固定 1,000 亿训练 token，而实际大模型训练远超此值，所以真实退化不会那么严重，但「坏区域会向左移」。

更有意思的是损害的不均匀分布。在 3% 重复数据、最坏重复次数下：整体测试损失的等效模型规模只缩水约 1.15 倍（即最多 15%），但复制能力（copying）的等效模型规模缩水 3 倍，prefix matching 分数（induction head 的形成指标）平均缩水 32%。也就是说，一个在总损失上看起来只掉了 15% 的模型，它负责上下文学习的那个具体电路已经被打坏了。原文还观察到：正常模型在预测第 $X$ 个重复副本时损失会随 $X$ 递减（看得越多越好预测），而在双下降峰值处，损失不仅高，而且完全不随副本数下降——复制机制被彻底打断了。⚠️ 这里的每一个百分比都来自 Anthropic 自己那一批实验（最大 8 亿参数），本报告未检索到外部团队在同一设定下的复现；它们说明「Anthropic 观测到了这个模式」，不等于「这个模式在前沿规模上同样成立」——外推规则见 §8.2 的矩阵。

    关键洞察
    

这是「宏观缩放曲线的偏离」被追溯到「一个具体微观电路的损坏」的一次交叉验证。⚠️ 本报告原稿在此处写的是「没有第二家实验室能同时做这两件事」，这句不成立，已删——DeepMind、EleutherAI、Redwood 与后来的 Goodfire 都做机制可解释性，本报告并没有一份能支撑「唯一」的横向清单。可以说的只是较弱的一句：在 2022 年，把宏观缩放曲线与微观电路放进同一篇论文的团队并不多。这条方法论主线在③ 可解释性纲领那一章有完整展开。如果「记忆消耗容量」这个机制是对的，那么**「记忆 vs 泛化」在神经网络里是一场真实的资源竞争，而不只是一个比喻**；这对 Anthropic 后来的叠加（superposition）理论是一个独立的经验支持。

还有一条结论在工程上最有分量，却最少被引用：Anthropic 报告「预训练污染不可逆」。原文的判断是，用重复数据预训练的模型，比「从零训练」和「从干净模型微调」都更差；微调过程中它会「忘掉」那批重复数据，但它在实验覆盖的范围内始终追不上干净的底座。⚠️ 原文用的是「永远追不上」这类措辞，但这是单篇、单机构、8 亿参数级、固定 1,000 亿 token 预算下的观测；「不可逆」是对该实验网格内现象的描述，不是一条已被证明的定理。它是「预训练数据质量」这件事目前最有力的单条论证，也仅此而已。

4.2　迁移：预训练到底值多少数据

《Scaling Laws for Transfer》（Hernandez、Kaplan、Henighan、McCandlish，2021 年 2 月）是 Anthropic 挂名的最早一批论文之一，公司当时刚成立一个月。它回答的问题是：预训练相当于替你省了多少目标领域的数据？

    $$D_T=k\,(D_F)^{\alpha}N^{\beta}$$
    式 6-1 · 公式组 6 · 有效迁移数据量。$D_T$ 为「一个同样大小、只在目标分布上从零训练的模型，要达到预训练模型同样的目标损失，还需要多少额外数据」，单位是**字符**；$D_F$ 为微调数据集大小；$N$ 为模型参数量。文本迁移到 Python 的拟合值：$k=1.9\times10^{4}$，$\alpha=0.18$，$\beta=0.38$。
  

  

两个指数的物理解读是这篇论文最漂亮的地方。原文做了一个对照实验：预训练分布换成「50% 文本 + 50% 非 Python 代码」后，$\beta$ 仍然是 0.38，完全相同。原文的说法是：「因此指数 $\beta$ 看起来只依赖于模型架构与目标分布。我们假设它衡量的是模型架构在目标分布上如何泛化。」而 $\alpha$ 被假设为衡量两个分布之间的距离。

    失效边界
    

式 6-1 只在低数据 regime 成立，原文的定义是「拥有的数据量不超过『达到无限数据性能的 99% 所需数据量』的 10%」。此外：只研究了「文本 → Python」这一种迁移对（加一个对照），$\beta$ 的架构不变性只有两个数据点支撑；单位是字符而非 token，与其它缩放律论文不可直接比较；只测了无监督到无监督的迁移。作者自己也说「更大的模型在这个 regime 可能有不同的行为」。

这篇论文还提出了一个 2021 年几乎无人跟进、却在 2026 年重新变得关键的概念：骨化（ossification）。原文问的是「预训练会不会伤害微调后的性能」，答案是会——小模型即使被喂了 10 倍或 100 倍的数据，也追不上从零训练的性能。「权重可能饱和或者骨化，变得无法很好地吸收新信息，而且骨化是可预测地随规模变化的。」原文给了一个类比：这或许类似人类从小接受某项运动训练的优势——避免了养成坏习惯的机会。

为什么这在 2026 年重要：如果底座模型的先验太强，RL 就很难把它推到新的行为分布上。「RL 到底是在引出已有能力，还是在注入新能力」这个 2025–2026 年的核心争论，本质上就是在问骨化的边界在哪里。这条从 2021 到 2026 的暗线，是本章我认为最被低估的一条。

4.3　过训练：为什么「计算最优」不等于「部署最优」

Chinchilla 最优解的目标函数是 $\min L(N,D)$ 受 (6ND=\text{const}) 约束。**这个目标函数只在一个世界里正确：模型训完就扔，只跑一次推理。**现实世界的目标函数多一项：

    $$\min_{N,D} L(N,D)\quad \text{s.t.}\quad \underbrace{6ND}_{\text{训练}}+\underbrace{2N D_{\mathrm{inf}}}_{\text{推理}}=\text{const}$$
    式 6-2 · $D_{\mathrm{inf}}$ 为模型生命周期内处理的总 token 数；前向传播约需 \(2N\) 次浮点运算每 token。推理项与训练项之比为 $D_{\mathrm{inf}}/(3D)$。
  

  

对一个服务数亿用户的模型，$D_{\mathrm{inf}}$ 可以轻松达到 (10^{15}) 到 (10^{16}) 量级，而 $D\sim10^{13}$。比值可达一百到一千倍——推理成本压倒性地主导总成本。若推理完全主导，目标退化为「在给定的模型大小下尽量降低损失」，而 $\partial L/\partial D<0$ 恒成立，答案是一直训到边际收益不划算为止。也就是说：「训练多久才停」这个问题，缩放定律根本没有回答，回答它的是成本结构。

Llama 3 的 80 亿参数模型用了 15 万亿 tokens，比值 1,875 tokens/参数，约为 Chinchilla 最优的 94 倍。看起来荒唐，算一下就很合理：这笔训练算力按 Chinchilla 本应造一个千亿参数量级的模型，但 80 亿的模型能在单张消费级 GPU 上跑，推理成本只有前者的十几分之一；若模型服务 (10^{15}) tokens，节省的推理浮点运算比整个训练预算还大两个数量级。代价是损失更高——但高得不多，因为 $A/N^{\alpha}$ 项对 $N$ 的依赖极弱：$N$ 从 80 亿涨到 1,000 亿，$N^{0.34}$ 只增大约 2.36 倍。

    关键洞察
    

$\alpha\approx 0.34$ 这个小指数，正是过训练之所以划算的数学根源。**如果这个指数接近 1，模型大小会极其重要，过训练就不划算了。**换句话说：**缩放定律的具体指数值，决定了整个产业的部署形态。**一个从拟合里读出来的小数，间接决定了今天有多少模型能跑在你的笔记本上。

Anthropic 从不公布参数量（任何流传的 Claude 参数量数字都没有官方来源），但从「价格与能力的组合」可以做一个有限的反推：Claude 3 Opus 与 Opus 4 / 4.1 的定价都是 $15 / $75 每百万 token，而 Opus 4.5（2025-11-24）降到 $5 / $25 并保持至今；Haiku 4.5 的官方说法是「匹配 Sonnet 4 的编码性能，约三分之一成本、两倍速度」。「同等能力更低价格」或「更高能力同等价格」这条叙事，只有在大量过训练 + 推理端优化同时发生时才可能。

    警示 · 一个高频的口径陷阱：DeepSeek 的「600 万美元」
    

🔴 先把这个数字本身拆开，四条缺一不可：① 广为流传的 $5.576M 是最后一次训练运行的 GPU 小时数、按一个假想租金折算出来的，不是任何一笔真实发生过的支出；② 论文自己写明这个数字不包含前期研究与消融实验——把它读成「造出这个模型总共花了多少钱」，是论文作者本人从未主张过的读法；③ DeepSeek 拥有自己的硬件，从来没有付过这笔租金，所以这个折算价与它真实的成本结构无关；④ SemiAnalysis 估计其服务器资本支出约 $16 亿——与 600 万相差两个数量级以上。这四条里任何一条被省略，这个数字都会被读成它承载不了的东西。第四条是外部机构的估算而非披露：DeepSeek 未公布资本支出，SemiAnalysis 的数字来自对其 GPU 保有量与采购时点的推算，引用时应写「估计约」而不是「是」。

那是单次训练 run 的口径，不是总研发成本。Dario 本人在《On DeepSeek and Export Controls》（2025-01-29）的脚注里写得很清楚：他按面值接受这个数字，质疑的只是「与美国公司模型训练成本的对比」，以及「训练某个具体模型的成本（即这 600 万美元）」与「整体研发成本（高得多）」之间的区别。他同时说 Claude 3.5 Sonnet 是一个中等规模模型，训练成本在「几个千万美元」量级，并明确加了「我不会给出确切数字」。用单次 run 成本去对比另一家公司的总研发投入，是范畴错误。⚠️ 「几个千万美元」这个量级只有 Anthropic 自己知道，也只有它自己说过，无从核验；引用它时要说的是「Dario 这样描述」，不是「Claude 3.5 Sonnet 的训练成本是……」。

🔴 由此引出一条本报告全站适用的引用纪律：凡引用建立在这个误读之上的批评，必须在同一段内更正它。这条批评最常见的形式是「中国用六百万美元做出了美国几十亿美元才做出的东西」——它把一次训练运行的假想租金折算与另一家公司的整体研发投入放上了同一个天平。如果只转述这句批评而不更正口径，报告就会连同批评一起继承那个错误；而一旦更正，剩下的那个真实问题反而浮出水面，并且更有意思：DeepSeek 的成本效率优势究竟有多大，至今没有被公开数据回答过——因为对比的双方都没有公布可比口径。⚠️ 请注意这条纪律不是在替 Anthropic 辩护：Dario 自己在脚注里是按面值接受那 600 万的，被更正的是转述层，不是 DeepSeek，也不是他。

5 · 重心转移：从预训练到 RL 与测试时算力

这一节要处理本章最难的一件事：当「什么算 scaling」本身在变，这个信念还能不能被证伪。

5.1　Dario 的三条动力学

理解 Dario 所有时间表论证的骨架，只需要读懂《On DeepSeek and Export Controls》（2025-01-29）里的一节，标题是「Three Dynamics of AI Development」。注意原文用的是「动力学」而不是「定律」。

      动力学内容他给的量化刻度| 动力学 | 内容 | 他给的量化刻度 |

      
        **① Scaling laws**

规模定律其他条件相同时，扩大训练规模在一系列认知任务上带来全面、平滑的更好结果他自己给的示意刻度：$1M 的模型解决 20% 的重要编码任务，$10M 解决 40%，$100M 解决 60%；「再多一个 10 倍，可能相当于本科生与博士生之间的差距」| ① Scaling laws规模定律 | 其他条件相同时，扩大训练规模在一系列认知任务上带来全面、平滑的更好结果 | 他自己给的示意刻度：$1M 的模型解决 20% 的重要编码任务，$10M 解决 40%，$100M 解决 60%；「再多一个 10 倍，可能相当于本科生与博士生之间的差距」 |

        **② Shifting the curve**

曲线平移架构改进、工程效率、新一代硬件都会把整条曲线往左推，同样的能力变得更便宜2020 年那篇论文给的算法进步是约 1.68 倍/年；「I’d guess the number today is maybe ~4x/year」（注意三重不确定限定词：I’d guess + maybe + ~）。单个算力乘数：小的约 1.2 倍很频繁，中等约 2 倍时有，很大的约 10 倍偶尔一遇| ② Shifting the curve曲线平移 | 架构改进、工程效率、新一代硬件都会把整条曲线往左推，同样的能力变得更便宜 | 2020 年那篇论文给的算法进步是约 1.68 倍/年；「I’d guess the number today is maybe ~4x/year」（注意三重不确定限定词：I’d guess + maybe + ~）。单个算力乘数：小的约 1.2 倍很频繁，中等约 2 倍时有，很大的约 10 倍偶尔一遇 |

        **③ Shifting the paradigm**

范式转移被扩展的那个底层东西本身会变，或者训练过程里加入一种新的扩展类型2020–2023 扩的是预训练；2024 起用 RL 训练模型生成思维链成为新的扩展焦点。他强调这条曲线还在极早期：「花 100 万美元而不是 10 万美元，就足以获得巨大收益」| ③ Shifting the paradigm范式转移 | 被扩展的那个底层东西本身会变，或者训练过程里加入一种新的扩展类型 | 2020–2023 扩的是预训练；2024 起用 RL 训练模型生成思维链成为新的扩展焦点。他强调这条曲线还在极早期：「花 100 万美元而不是 10 万美元，就足以获得巨大收益」 |

      表 4 · Dario 的三条动力学。**来源：**《On DeepSeek and Export Controls》，2025-01-29 · darioamodei.com [@src-1732522990]（访问日期 2026-07-25）⚠️ 右列三组刻度（\$1M→20%、约 4×/年、RL 早期收益）**全部来自 Anthropic 内部观测，没有一项经外部核验**；Dario 自己在「4×/年」上叠了三重限定词。这张表要读作「Anthropic 的增长模型」，不是「业界的测量结果」。**对这套多曲线论证的正式对辩见 §8.3。**
    
  

  

第二条动力学有一个反直觉的推论，他讲得比谁都清楚：**曲线平移通常导致公司花得更多，而不是更少。**原文的说法是——「人们天然会被『一开始很贵，然后就便宜了』这个想法吸引，好像 AI 是一个质量恒定的单一物品。但真正重要的是规模曲线：曲线一旦平移，我们只是更快地沿着它走，因为曲线尽头的价值太高了。」这句话是理解 2023–2026 年算力支出为何持续上升的关键，也是他反驳「效率提升会降低算力需求」的标准论证。

5.2　Jared Kaplan 的「双 scaling law」与「scaling 作为诊断工具」

Jared Kaplan 的框架比 Dario 更技术、也更暴露：

    金句
    

「So really, all there is to training these models is learning to predict the next word and then doing reinforcement learning to learn to do useful tasks. And it turns out that there are scaling laws for both of these phases of training.」

出处：Jared Kaplan, Scaling and the Road to Human-Level AI，YC AI Startup School，2025-06-16（访问日期 2026-07-25）「RL 阶段也有缩放定律」这一判断的支撑数据是 Anthropic 内部的，本报告未检索到公开的 RL 缩放曲线可供第三方核验。

这直接回答了「RL 是不是新的 scaling 维度」以及「预训练是不是撞墙了」：他的答案不是「撞墙后换赛道」，而是**「一开始就有两条曲线，只是第二条被忽视了太久」**。他把 RL 缩放律的起点归给一位单卡独立研究者 Andy Jones——约 2021 年在一个叫 Hex 的简单棋类游戏上做的实验，「他看到了那些漂亮的直线……注意到非常非常简单的趋势，是一种科学技能。我觉得它当时没有被注意到。」

但这一节真正要处理的是下面这段。2025 年 6 月的 Q&A 上，主持人问了一个近乎完美的问题：什么样的经验迹象会让你相信曲线正在变化？

    金句
    

「I mostly use scaling laws to diagnose whether AI training is broken or not. … my first inclination is to think, if scaling laws are failing, it’s because we’ve screwed up AI training in some way. Maybe we got the architecture of the neural network wrong, or there’s some bottleneck in training that we don’t see, or there’s some problem with precision in the algorithms that we’re using. … it would take a lot to convince me at least that scaling was really no longer working at the level of the sort of these empirical laws, because so many times in my experience of the last five years when it seemed like scaling was broken, it was because we were doing it wrong.」

出处：同上，YC AI Startup School Q&A，2025-06-16（访问日期 2026-07-25）「过去五年里每次看起来 scaling 崩了、事后查明都是我们做错了」这条经验总结建立在 Anthropic 与 OpenAI 的内部训练记录上，外部无法核验其完整性——它可能系统性地不包含那些至今没查出原因的偏离。

    我的看法
    

这段话在科学哲学上是一个明确的地位转换：缩放定律从「一个可被实验证伪的经验规律」，变成了「一个用来判断实验是否出错的诊断工具」。而当一个理论被用来诊断实验对错时，它就不再能被那些实验证伪了——它变成了拉卡托斯所说的研究纲领的硬核，周围的辅助假设（架构、精度、瓶颈、数据管线）承担了全部的证伪压力。

我要同时说两句话，缺一句都不诚实。第一句：这个立场是有经验根据的，不是教条。§3 那整节就是最好的证据——2020 到 2024 年间，「看起来 scaling 崩了」的最著名一次，事后查明确实是实验配置的三个细节问题，而不是定律本身。Kaplan 的直觉在历史上赢过很多次。第二句：**正因为它赢过很多次，它现在很难输。**一个每次失败都能归因于辅助假设的信念，其预测强度是随时间递减的。这不是虚伪，这是研究纲领的正常老化；但报告有义务把它标出来，而不是把「它一直是对的」当成「它必然继续对」。

还有一个结构性的巧合值得记下来：Chris Olah 用几乎相同的语言为「线性表示假说」辩护——认真对待一个假说、把它推到最远，是一种美德，这就是常规科学的核心。两位创始人在各自完全不同的领域，独立地采用了同一种科学哲学立场。

5.3　测试时算力：从「告诉模型思考多少 token」到「告诉模型你有多在乎」

Anthropic 的「思考」接口在三年半里换了三代，而这三代的方向高度一致：控制权从开发者手里逐步移交给模型。

    **图 16 ·** 思考接口与可见性的双线演化。日期取自官方发布页与 API 文档。**示意，非精确数据**（下排的时间点与上排并非严格对齐，各框内已标注各自的生效模型）。
  

  

几条值得单独记住的技术事实（全部出自官方文档）：⚠️ 这几条描述的是接口契约，不是被外部测量过的行为——「budget 是目标不是硬上限」「摘要由另一个模型生成」这类说法，读者只能采信官方文档。

• **budget_tokens 是目标而非硬上限。**官方原文：「The budget is a target rather than a strict cap. Actual token usage varies with the task, and Claude may stop reasoning well before the budget is exhausted」；max_tokens 才是总输出的硬天花板。最小值 1,024。

• **交错思考（interleaved thinking）改变的是思考块出现的位置，不是能否连续调用工具。**官方特意澄清：「Consecutive tool calls do not require interleaved thinking.」它真正的意义是把「想完 → 做一串动作」变成「想 → 做 → 看结果 → 再想」——后者才是真正的 agent 循环。从 2025-05 的 beta header 到 2026-02 的默认自动，这个循环用了九个月变成基础设施。

• **effort 五档 low / medium / high / xhigh / max，但它不是 token 预算。**官方定义得很清楚：「Effort is a behavioral signal, not a strict token budget.」它同时调节思考量、工具调用次数与解释详尽度——低 effort 倾向于把多个操作合并进更少的工具调用、不做前言直接行动；高 effort 倾向于做更多工具调用、行动前解释计划。

• **缓存陷阱：budget_tokens 与 effort 都会被渲染进 prompt。**在一次依赖缓存的长会话里改动任何一个，前缀缓存全部失效。官方建议是「pick an effort level at the start and keep it constant」。

• 思考摘要不是原始思维链，而且计费按完整思考 token。官方原文：「what you see is never the raw chain of thought」；「You’re charged for the full thinking tokens generated by the original request, not the summary tokens.」摘要由另一个模型生成，且「The thinking model does not see the summarized output.」

官方给出的一个跨代量化在表述上很有意思：Sonnet 5 在 medium effort 下「comparable to Claude Sonnet 4.6 at high effort」；Fable 5 的低 effort 档「often exceed xhigh performance on prior models」。一代进步被折算成「一整个 effort 档位」，这是一种紧凑的代际表述方式。⚠️ 但它是厂商的自我对比，没有公开对应的评测集、样本量与 harness，「comparable」与「often exceed」都是无口径的定性词；本报告把它当作官方的表述方式记录，不当作可引用的代际度量。

    失效边界 · 更多思考不总是更好
    

Anthropic 自己的材料里至少有七处反例：Opus 4.5 的 SWE-bench 在无思考预算时（80.90%）高于 64k 思考预算时（80.60%）；Opus 4.6 的 MCP Atlas 在 high（62.7%）高于 max；Sonnet 4.6 的 ARC-AGI-2 在 high（60.4%）高于 max（58.3%）；Opus 4.6 的 BrowseComp 官方口径是关闭思考；CyberGym 同样是无思考、默认 effort；官方对 Opus 4.6 的建议是「如果发现模型在某个任务上 overthinking，把 effort 从默认的 high 降到 medium」；对 Opus 4.7 / 4.8 的建议是 max「在一些结构化输出或对智能不敏感的任务上会导致 overthinking」。合起来只说明一件事：测试时算力的收益是任务依赖的，而且在某些任务上是负的。

我的假说（非官方）：在验证信号强的任务上（数学、有测试的编码），更多思考等于更多自我纠错机会，正收益；在验证信号弱的任务上（开放式搜索、结构化输出），更多思考等于更多机会说服自己一个错误假设，负收益——思维链本身是自回归的，错误会被放大而不是被纠正。这个假说预测：测试时算力的边际收益应与任务的「可验证性」正相关。它恰好与「RL 需要干净奖励信号」是同一件事的两面。

5.4　Sholto Douglas 与 Trenton Bricken 的位置

这两位在 Dwarkesh 播客上的对谈，是外界了解 Anthropic 内部 RL 与 agent 可靠性判断的主要窗口。但这条素材上有两个必须先排掉的雷。

    证伪
    

「Sholto Douglas 与 Trenton Bricken 说『我们正处在一场智能爆炸之中』。」

两场官方 transcript 中均无此句。2024 年那一场他们说的恰恰相反。此外，他们没有 2026 年的第三场——公开记录只有 2024-03-28 与 2025-05-22 两场正式访谈，加一场 2025-03-25 的 AMA（那一场他们是提问方）。第 2 期结尾 Sholto 说了句「See you next year for v3」，但 v3 未发布。

误差来源：这句话在多个二手渠道以「转述」形式流传，很容易被当成引语回填。本报告不引用它。⚠️ 也请注意与 Dario 本人的 Dwarkesh 第二期（2026-02-13）区分——那一场是真实存在的。

可以安全引用的是这一句，它讲的是评测与实际使用之间的差距：Sholto 说「我们几乎肯定在严重地低估（under-eliciting）模型……看 METR 的评测，模型会花上几个小时、反复迭代去解一个任务，最终其中一次会说『好，我回来了，我解出来了』。而我自己，至少目前，让模型做一件事，如果它做不出来，我就说『行吧，我自己来』。」——这句话的分量在于：它说明「模型能力」这个量，很大一部分取决于你给它多少次机会和多少耐心，而这恰恰不是模型的属性。

5.5　核心问题：什么样的观测会真正证伪 scaling hypothesis

这是本章我认为最应该被认真对待的一节。如果每一次曲线更替都重新定义了「什么算 scaling」，那么这个信念还剩下多少预测内容？下面这张表是我尝试写出的一份「证伪账本」——它把「scaling 假说」拆成几条各自可以被独立观测推翻的子命题，并给出对应的观测条件。

      子命题当前证据强度什么样的观测会证伪它| 子命题 | 当前证据强度 | 什么样的观测会证伪它 |

      
        ① 损失随算力/数据/参数呈幂律下降强在**配置已被逐项调优**的前提下（这个前提是关键，见 §3），连续两个数量级的算力增长上出现系统性偏离幂律，且偏离在多个数据集与多个团队处独立复现| ① 损失随算力/数据/参数呈幂律下降 | 强 | 在配置已被逐项调优的前提下（这个前提是关键，见 §3），连续两个数量级的算力增长上出现系统性偏离幂律，且偏离在多个数据集与多个团队处独立复现 |

        ② 架构细节不重要，「一坨算力」就够强出现一个在同等算力下把损失曲线整体下移一个数量级的架构，且它**不能被解释成算力乘数**（否则它只是动力学 ② 的一个实例）| ② 架构细节不重要，「一坨算力」就够 | 强 | 出现一个在同等算力下把损失曲线整体下移一个数量级的架构，且它不能被解释成算力乘数（否则它只是动力学 ② 的一个实例） |

        ③ 损失下降会转化为各项认知能力提升中某一大类经济上重要的任务，在损失继续按幂律下降的同时**能力曲线整体平台化**，并且在改换评测口径、加大引出努力后仍然平台化| ③ 损失下降会转化为各项认知能力提升 | 中 | 某一大类经济上重要的任务，在损失继续按幂律下降的同时能力曲线整体平台化，并且在改换评测口径、加大引出努力后仍然平台化 |

        ④ 这条趋势会持续到超越人类专家水平弱（外推）本质上只能被时间证伪。**可操作的替代判据**：在若干条独立的能力度量（任务时长、可验证任务通过率、经济价值加权的任务篮子）上同时出现持续两年以上的斜率下降| ④ 这条趋势会持续到超越人类专家水平 | 弱（外推） | 本质上只能被时间证伪。可操作的替代判据：在若干条独立的能力度量（任务时长、可验证任务通过率、经济价值加权的任务篮子）上同时出现持续两年以上的斜率下降 |

        ⑤ 新曲线（RL、测试时算力）能接续旧曲线弱到中RL 阶段的投入增加一到两个数量级后，收益曲线在**可验证信号弱**的任务上不再改善；或测试时算力的边际收益在多数任务上转负（目前已在少数任务上观测到，见 §5.3）| ⑤ 新曲线（RL、测试时算力）能接续旧曲线 | 弱到中 | RL 阶段的投入增加一到两个数量级后，收益曲线在可验证信号弱的任务上不再改善；或测试时算力的边际收益在多数任务上转负（目前已在少数任务上观测到，见 §5.3） |

        ⑥「最坏情况就是堆任务」这条兜底路径可行弱出现一类任务，其奖励信号**在原理上无法被细粒度化**，且它在经济价值篮子里占比很大；或者构造训练任务的成本增长快于其带来的能力增长| ⑥「最坏情况就是堆任务」这条兜底路径可行 | 弱 | 出现一类任务，其奖励信号在原理上无法被细粒度化，且它在经济价值篮子里占比很大；或者构造训练任务的成本增长快于其带来的能力增长 |

      
      表 5 · 证伪账本。前两条是科学，第三条是经验归纳，后三条是信念——这个分层不是我强加的，**Dario 自己在《The Adolescence of Technology》里就明确把后几条标为「假设」**：「In this essay, I'll assume that this intuition is at least somewhat correct—not that powerful AI is definitely coming in 1–2 years, but that there's a decent chance it does.」
    
  

  
    关键洞察 · 这个信念的真正弱点在哪里
    

不在「幂律会不会断」，而在「什么算同一条曲线」。2020 年的 scaling law 是关于 $L(N,D,C)$ 的；到 2026 年 1 月，Dario 的表述已经变成「as we add more compute and training tasks」——「training tasks」这个词把 RL 环境与任务数量也纳入了 scaling 变量。这是一次几乎无人注意的措辞更新，但它意味着：当预训练那条曲线放缓时，「scaling 仍然有效」这句话可以靠更换被扩展的对象而继续为真。

这既是它的力量（工程上确实有多条可接续的路径），也是它的代价（越灵活的信念，构成的预测越弱）。Jack Clark 在另一个场合把这层意思说得更直白——他谈到摩尔定律时说，「你得把定义稍微改一改，才能盯住真正的目标」。这是一句既是辩护也是自曝的话，而它出自公司内部，这一点本身值得记下来。

    警示 · 「end of the exponential」不是「scaling 停止」
    

Dario 2026-02-13 那期 Dwarkesh 播客的标题是《We are near the end of the exponential》，中文圈普遍把它读成「增长要放缓了」。这是读反了。他指的是所有以人类表现为刻度的基准即将饱和——是终局，不是减速。他在同一场里说的是十年内实现「数据中心里的天才之国」的概率「I’m at 90% on that」，并补充「很难比 90% 更高，因为世界太不可预测」；另一处他给了「99%、95%」与「更像一到两年，也许一到三年」的 50/50 直觉。引用时不要只挑最高的那个数字——他在同一段里给了三个。⚠️ 这三个概率是一位有直接商业利益的 CEO 的主观置信度，不是任何机构的测量；Hassabis 给 2030 年 50%、Karpathy 给约十年，同一问题上的外部估计与它相差一个量级。见 §6.2 与 §8.3。

6 · 可靠性、任务长度，以及第三方测量的时效性

本节承载本报告关于「METR 19% 慢 → 18% 快」的完整证据链。核心命题：即使是独立 RCT 也有时间索引。

6.1　为什么「每多一个 9 都是等量的工作」

    FX-04

公式组 7 · 可靠性与任务长度

    ① 直觉
      

一个需要连续做对 $n$ 步的任务，只要有一步错就全盘皆输。单步可靠性的线性改善，换来的是可承受任务长度的指数增长——反过来说，任务长度每翻一倍，你要在可靠性上付出的工作是等量的。

    ② 推导
      
        $$P(\text{all steps succeed})=p^{n}$$
        式 7-1 · $p$ 为单步成功率，$n$ 为任务的步数。
      
      

令整体成功率达到某个阈值 $q$，可承受的步数是 $n=\ln q/\ln p$。当 $p\to 1$ 时 $\ln p\approx -(1-p)$，于是 $n\approx \ln(1/q)/(1-p)$：失败率每降到十分之一（多一个 9），可承受步数就涨约十倍。

    ③ 数值例
      

取 $q=0.5$：$p=0.9$ 时 $n\approx 6.6$；$p=0.99$ 时 $n\approx 69$；$p=0.999$ 时 $n\approx 693$；$p=0.9999$ 时 $n\approx 6931$。**四个整齐的十倍。**这解释了为什么 2026 年 Anthropic 的产品重心从「更聪明」转向「更少犯错」：Opus 4.8 主打诚实与可靠（官方称让代码缺陷漏过的概率比 4.7 低约四倍），Opus 5 主打「验证自己的工作并反复迭代直到成功」。在这个数学结构下，「少犯错」比「更聪明」更能直接换成更长的任务。

    ④ 假设与失效边界
      

🔴 独立同分布是一个强假设，而且在真实 agent 上大概率不成立。式 7-1 要求每一步的成功事件互相独立、且成功率相同。真实情况是：① 误差高度相关——一个错误的中间假设会让后续所有步骤同时出错，这使得实际成功率低于 $p^n$；② 同时，真实 agent 可以自我纠错，一步错不一定全盘皆输，这又使实际成功率高于 $p^n$；③ 步骤难度不均，「一步」本身没有客观定义，$n$ 依赖你怎么切分任务。**因此式 7-1 应当被当作一个数量级直觉，而不是一个预测公式。**Jared Kaplan 自己给「为什么任务时长是指数增长」的解释也明确标了置信度：他认为关键是自我纠错能力——「如果你修好了自己的错误，任务时长大概会翻倍，因为你不再卡在这里，而是卡在两倍远的地方」——但他紧接着说「那些只是话而已……你的猜测和我的一样好」。

    ⑤ 出处
      

式 7-1 为标准结果。数值与「自我纠错」机制假说出自 Jared Kaplan 在 YC AI Startup School 的问答，2025-06-16（访问日期 2026-07-25）「自我纠错让实际可靠性高于 (p^n)」目前只是一条厂商侧的机制假说，本报告未检索到公开的定量验证。「march of nines」的归属见 §6.2。

    **图 19 ·** 四条曲线的形状完全相同，只是沿对数横轴依次右移一个数量级——这就是「每多一个 9 都是等量的工作」的几何形式。**示意，非精确数据。**请连同 FX-04 的第 ④ 段一起读：独立同分布在真实 agent 上并不成立，两个方向的偏差同时存在。
  

  

6.2　「march of nines」是谁说的：一个必须做对的归属

    勘误 · 「九的进军（march of nines）」的归属
    
      
        原说法
        

「『march of nines』是 Dario 用来修正自己『90% 代码』预测的说法。」

出现位置：中文技术写作中流传较广，且已被写进本项目早期的一份调研笔记。

      →
      
        更正后
        

这是 Andrej Karpathy 的措辞，出自他 2025 年 10 月在 Dwarkesh 播客上谈特斯拉自动驾驶时的原话：“Every single nine is a constant amount of work… When you get a demo and something works 90% of the time, that’s just the first nine.” 与之绑定的「AGI 还要约十年」「decade of agents」也都是 Karpathy 的论点。说这话时他不在 Anthropic——他于 2026-05-19 才加入 Anthropic 的预训练团队，向 Nick Joseph 汇报。

依据：dwarkesh.com/p/andrej-karpathy ^[8]（2025-10）；入职时间见 Reuters 等四源报道，2026-05-19（访问日期 2026-07-25）

**为什么容易错：**这句话在语义上与 Anthropic 2026 年的产品叙事（从「更聪明」转向「更少犯错」）高度契合，而且说话人后来真的加入了 Anthropic，两个巧合叠在一起，非常容易被回溯成公司立场。它不是。⛔ 更不能把它归给 Dario——Dario 在 Dwarkesh 第二期说的恰恰相反：十年内实现「数据中心里的天才之国」的概率是 90%，且有 50/50 的直觉认为是一到两年。把 Karpathy 这句话正确地呈现为「对 Dario 时间表的外部反方」，比错误地把它当成内部修正有价值得多。

Karpathy（2025-10，当时在 Anthropic 之外）

• 每一个「9」都是等量的工作；90% 可用只是第一个 9。

• AGI 还要约十年；2020 年代是「decade of agents」，不是「year of agents」。

• 论据来自自动驾驶：一个跑通的 demo 与一个可部署的系统之间，隔着十年的长尾。

Dario（2026-02，Dwarkesh 第二期）

• 十年尺度上「数据中心里的天才之国」的概率90%；「很难比 90% 更高，因为世界太不可预测」。

• 另有一个 50/50 的直觉：可能更像一到两年，也许一到三年。

• 他自陈最惊讶的事是「公众对我们离指数尽头有多近的认识严重不足」。

两栏并置的意义不在于判谁对——这两个判断在 2026-07 都还没到可裁决的时点。它的意义在于：一个是从「长尾工程」出发的外部经验（自动驾驶），一个是从「能力曲线」出发的内部外推。它们的分歧不在于对模型能力的估计，而在于「从能力到可靠部署」这段距离有多长——而这段距离，恰恰是式 7-1 描述的那件事。

    时间线的外部坐标系 · 一句话补两个人
    

Karpathy 不是孤例，Hassabis 给出的是第二个外部坐标。Demis Hassabis 反复给出的口径是约 2030 年、50% 概率，或「还需要 5 到 10 年」，理由是当前模型仍缺 continual learning、稳定的长期记忆与层级规划——这与 Dario 的「一到三年 50/50」相差一个量级。这条线的完整展开在 ① Dario 思想编年史，本页只做坐标标注。

⛔ 关于 Karpathy 还有一条使用规则，必须写在这里：「march of nines」与「AGI 还要约十年」是他 2025-10 在 Dwarkesh 谈特斯拉自动驾驶时的个人判断，当时他不在 Anthropic；他 2026-05-19 才加入 Anthropic 预训练团队。不得把加入前的个人观点回溯为公司立场，也不得把它写成「Anthropic 内部对 Dario 时间表的修正」。把它如实呈现为外部异议，信息量反而更大——它意味着这家公司后来招进了一位公开与其 CEO 时间表相左的研究者。

6.3　任务时长曲线，以及衡量工具先失效这件事

2026 年这条曲线上发生了一件比「加速」更重要的事：衡量工具先失效了。METR 在 2026-02-20 报告 Claude Opus 4.6 的 50% 时间跨度约为 14.5 小时，但同一段话里紧接着写道：「While this is the highest point estimate we’ve reported, this measurement is extremely noisy because our current task suite is nearly saturated.」它给出的 95% 置信区间是 6 小时到 98 小时——而 METR 自己指出了这个区间的荒谬之处：「95% 置信区间的上界，比测量中用到的任何一个任务都长。」2026-05-08 加入 Claude Mythos Preview 时，METR 同时在页面上加了一条注记：「Measurements above 16 hrs are unreliable with our current task suite.」第二维取「合作研究」而非「第三方审计」的理由：任务集、评分与 harness 全部由 METR 独立设计与运行，但被测模型（含 Mythos Preview）由 Anthropic 以发布前受限访问的形式提供，测量能否发生取决于厂商配合——按 DESIGN-SYSTEM §3.2 的边界，这一档不算 audited。

    关键洞察
    

这不是「进步停止了」，而是「衡量工具先失效了」——评测科学的一个经典失效模式。它与 §1.4 的《Predictability and Surprise》构成一对镜像：2022 年的问题是我们能预测损失但预测不了能力；2026 年的问题是我们连能力都测不准了，因为模型把尺子跑满了。两者都指向同一件事：在这个领域，度量的进步速度赶不上被度量对象的进步速度。

6.4　第三方测量也会过期：METR 生产力研究的完整证据链

这是本报告关于这条素材的唯一完整展开处。其它章节只会写一句结论并链回这里。

    压力测试 · 六段式
    

「资深开发者用 AI 反而变慢」这条外部证据，现在还成立吗

    ① 原主张METR 于 **2025-07-10** 发布的随机对照试验，被广泛当作「反驳 AI 生产力自报」的最硬外部证据：一批熟悉自己代码库的资深开源开发者，在被允许使用 AI 工具时，**完成任务反而更慢**。这条结论在 2025 年下半年被大量引用，用来质疑所有厂商自报的生产力数字。

    ② 压力测试**METR 自己在 2026-02-24 发布的后续研究，方向反转了。**不是被别人推翻，是被同一个机构、用同一套方法的延续研究推翻。

    ③ 口径🔴 **这一段必须照抄，不能口语化。**METR 的原指标是「**允许使用 AI 导致的任务完成时间变化百分比**」——**正值等于变慢，负值等于变快**。

· 早期 2025 研究（样本采集 2025-02 至 2025-06，2025-07-10 发布）：点估计 +19%（即慢 19%），95% 置信区间 [+2%, +39%]。同期开发者的事前预期是 −24%、事后自评是 −20%——主观与客观反向，这才是该研究最强的发现，而它几乎从不被引用。 · 2026-02-24 后续研究：参与后续实验的原班开发者子集点估计 −18%（即快 18%），置信区间 [−38%, +9%]；新招募的开发者点估计 −4%，置信区间 [−15%, +9%]。 · 🔴 两个区间都跨过 0，因此后一轮并未确立「AI 提速」。METR 自己提示新结果受选择效应影响、「hard to interpret」。

    ④ 最强批判性解释把这两轮放在一起，最尖锐的读法是：**这项研究度量的东西，本身就不稳定到无法支撑任何一方的论点。**点估计从 +19% 摆到 −18%，摆幅 37 个百分点，而两轮的置信区间都很宽。更麻烦的是**选择效应**——愿意回来参加第二轮的开发者，大概率是那些在第一轮里对 AI 体验较好、或此后主动练出了用法的人。如果是这样，第二轮测的就不再是「AI 对资深开发者的平均效应」，而是「AI 对已经适应了 AI 的开发者的效应」。**那是两个不同的量。**照这个读法，任何一方拿它当证据都不合适。

    ⑤ 最强同情性解释反过来，最有力的正面读法是：**这两轮结果放在一起，恰恰是这项研究方法可信的证据，而不是它不可信的证据。**一个愿意用同一套设计去测量并公布「我上一次的结论方向反了」的机构，比一个每年发布一致结论的机构更值得信任。而且两轮的差异有一个平淡且高度可信的解释：**中间隔了大半年，模型换了好几代，工具链也换了。**2025 年上半年的 AI 编码工具与 2026 年初的不是同一样东西。**结论过期，不等于方法失败——恰恰相反，这说明它测到了真实变化。**

    ⑥ 当前判定截至 **2026-07**，「AI 是否真的提升了资深开发者的产出」**仍是一个未决问题**；能确定的只是——**不再有强证据支持「显著变慢」**。这项事实支持「厂商自报的生产力倍数需要打折」；它**不支持**「AI 编码没有价值」，也**不支持**「AI 已被证明提速」。⚠️ **不得把 −18% 写成「显著加速」**；⚠️ **也不得只引 +19%**——那等于用**约一年前**（样本采集期计约 13 至 17 个月前）的数据描述现在。

    什么会改变判断三类新证据会让这个结论移动：① **一个不含自选择的新样本**——随机招募、且随机分配到「允许 / 不允许使用 AI」，样本量足以把置信区间压到不跨 0；② **把「资深开发者 + 熟悉的大型代码库」这个特定情境拆开**——现有两轮都限定在这个情境，而它恰恰是 AI 最不占优的情境之一；③ **一个跨机构的重复实验**，最好由与任何模型厂商无商业关系的第三方运行。在这三类证据出现之前，本报告把结论停在「未决」。

    

出处：METR 2025-07-10 ^[9]｜METR 2026-02-24 ^[10]（访问日期 2026-07-25）

    关键洞察 · 本节的核心句
    

即使是独立 RCT 也有时间索引。「第三方」这个属性解决的是利益关系——它保证测量者没有动机去美化结果；但它不解决另外两件事：能力曲线在移动（你测的那一代模型半年后就不存在了），以及样本会自选择（愿意参加第二轮的人已经不是第一轮那批人的随机子集）。**一个关于快速变化对象的实证结论，它的有效期可能短于它的传播周期。**这一条对本报告自己同样适用——这也是为什么本报告在每一个动态数字后面都写了查询日期。

6.5　把它与 Anthropic 自家的数字放在一起

Anthropic 在 2026 年 6 月《When AI builds itself》里公开了一组内部数据，正好构成对照。下面这三个数字必须一起引，而且要用 80% 与 4 倍，不要用 90% 与 8 倍。

      数字口径必须一起写的限定| 数字 | 口径 | 必须一起写的限定 |

      
        >80%2026-05，合并进 Anthropic 生产代码库、由 Claude 撰写的代码占比（2025-02 Claude Code 发布前为个位数）「由 Claude 撰写」不等于「无人审阅」；**80% 的代码不等于 80% 的工程工作**| >80% | 2026-05，合并进 Anthropic 生产代码库、由 Claude 撰写的代码占比（2025-02 Claude Code 发布前为个位数） | 「由 Claude 撰写」不等于「无人审阅」；80% 的代码不等于 80% 的工程工作 |

        8×2026 年第二季度，典型工程师每天合并的代码行数相对 2024 年🔴 **官方自己说这个数字「almost certainly an overstatement of the true productivity gain」**，因为行数衡量的是数量而非质量| 8× | 2026 年第二季度，典型工程师每天合并的代码行数相对 2024 年 | 🔴 官方自己说这个数字「almost certainly an overstatement of the true productivity gain」，因为行数衡量的是数量而非质量 |

        约 4×一份 130 人内部调查的**中位数**自评产出倍数自评，非测量；样本为 Anthropic 内部工程师| 约 4× | 一份 130 人内部调查的中位数自评产出倍数 | 自评，非测量；样本为 Anthropic 内部工程师 |

      
      表 6 · Anthropic 自报的内部生产力数字。**来源：**《When AI builds itself》，Anthropic Institute，2026-06 · anthropic.com/institute/recursive-self-improvement [@src-dc0ef612e9]（访问日期 2026-07-25）🔴 **三个数字全部由 Anthropic 自己统计、自己定义口径、自己发布，没有任何外部方核对过分母**——与上面那两轮 METR 随机对照试验放在一起看时，这个差别比数值本身更重要。**这条线的完整展开在⑨ 2026 前沿与行业对照那一章**，本页只做对照。
    
  

  
    口径说明 · 「90% 代码」那句话应该怎么引
    

Dario 2025-03-10 在外交关系委员会活动上的原始预测是「三到六个月内 AI 会写 90% 的代码」。他本人在 2026-02 的 Dwarkesh 第二期做了完整澄清，而引用时必须引到光谱的最后一档，不能在「out of a job」处截断：他说人们以为他在说「我们将不再需要 90% 的软件工程师」，「这两件事差了十万八千里」；随后他列出一条光谱——模型写 90% 的代码、写 100% 的代码、完成 90% 的端到端软件工程任务、完成 100% 的今日任务——「即便这些都发生了，也不意味着软件工程师失业，他们有新的更高层的事情可做」；然后是关键的最后一档：「Then further down the spectrum, there’s 90% less demand for SWEs, which I think will happen but this is a spectrum.」

在「out of a job」处截断，会把他的立场写成「AI 写代码不影响工程师就业」，并使本报告与就业章节自相矛盾。他的完整立场是：这两件事不是一回事，但「对软件工程师的需求减少 90%」那一档他认为终将到来。这条线的主锚点在① Dario 思想编年史与⑨ 2026 前沿两章。

7 · Claude 全代际演进（2023-03 → 2026-07）

这一节回答一个具体问题：**前六节那些曲线，落到产品上长什么样。**它同时要处理 2026 年发生的一件容易被忽略的事——命名体系断裂了，而断裂的原因不是营销，是安全配置进入了产品身份。

7.1　2026 年不再是一条时间线，而是四层阶梯

从 2023 年 3 月到 2025 年，Claude 的命名逻辑很直白：一个世代号（1 / 2 / 3 / 4）配三个尺寸（Haiku / Sonnet / Opus），世代号表示能力代际，尺寸表示成本档位。2026 年这套逻辑失效了。官方在 Fable 5 的发布文脚注里给出了新层级的权威定义：「Mythos-class models are a tier of Claude models that sit above our Opus class in capability.」——Mythos 级是一个位于 Opus 之上的能力层级。⚠️ 「位于 Opus 之上」是厂商对自家层级的定义，不是外部测量得出的排序。

    警示 · 三条命名事实，中文报道普遍写错
    

① 不存在一个叫「Claude 5」的统一世代。2026 年确实有 Sonnet 5、Opus 5、Fable 5、Mythos 5，但它们不是同一个世代号的四个尺寸，而是四条独立推进的产品线各自到了「5」。把它们合称「Claude 5」会凭空造出一个不存在的模型。

**② 不存在 Haiku 5。**该层级至今最新仍是 Haiku 4.5（2025-10-15）。⑤ 到 2026 年 7 月为止，Anthropic 没有更新过最小尺寸档。

③ Fable 5 与 Mythos 5 是同一套底座模型，区别只在安全护栏。官方脚注逐字：*「Fable is from the Latin fabula, ‘that which is told,’ akin to the Greek mythos. The safeguards are what distinguish the two models and are why we’ve given them different names.」*Fable 面向所有人、护栏最强；Mythos 解除护栏，仅供 Project Glasswing 的受信网络安全伙伴与少量受信生物学研究者。⚠️ 「同一套底座、只差护栏」这件事无法从外部验证——权重不公开，两个模型的能力差是否真的只来自护栏，读者只能采信官方说法。

第三条值得单独停一下，因为它是 2026 年 Anthropic 最容易被低估的一次产品—治理设计。在此之前，模型的名字编码的是能力；从 Fable / Mythos 开始，名字编码的是安全配置。同一组权重，因为护栏不同而拥有两个名字、两个定价、两套准入。这等于把「这个模型有多强」和「这个模型对你有多强」拆成了两个独立维度——而后者过去从来不是产品身份的一部分。「不存在 Claude 5」这件事本身就是这个设计的副产品：当安全配置成为身份的一部分，统一世代号就没法再统一了。

与之配套的是自动降级路由（automatic fallback）：被安全分类器拦下的请求不再是「什么都得不到」，而是自动转到护栏更松、能力稍低的模型上。Fable 5 与 Opus 5 均回落至 Opus 4.8；自 Opus 5 发布起，在 Fable 5 上被阻断的生物学请求改为路由至 Opus 5。这把「拒答」从一个二元开关变成了一条降级曲线，也是 2026 年 6 月出口管制期间技术修复方案的一部分。

    **图 22 ·** Claude 四层模型阶梯与发布时间轴。**断轴示意，横向距离不等比**——右段把 2026 年 1–7 月放大，否则 2026 年的七次发布会挤成一团。**请注意三点**：Mythos 级是 2026-06-09 才新设的层级，位于 Opus 之上；Haiku 级停在 2025-10；Mythos 泳道上的红色断裂是**政府出口管制指令**导致的下线，不是模型被撤回。节点日期依据 `anthropic.com/news` 各模型公告页（访问日期 2026-07-25）——**四层阶梯的层级排序（Mythos 在 Opus 之上）是厂商对自家产品线的定义，不是外部测量出来的能力序**。
  

  

7.2　完整代际表

下表把 2023-03 至 2026-07 的主要发布收在一起。它刻意不按「世代」排，而按时间排——因为 2026 年之后「世代」已经不是一个跨层级可比的概念。

      发布日型号这一代真正新增了什么上下文| 发布日 | 型号 | 这一代真正新增了什么 | 上下文 |

      
        2023-03-14Claude 1 / Instant首次公开发布。⚠️ 初代 Claude 曾因安全评估**延迟数月发布**——这是「race to the top」理论最早的一次实践代价。9K → 100K| 2023-03-14 | Claude 1 / Instant | 首次公开发布。⚠️ 初代 Claude 曾因安全评估延迟数月发布——这是「race to the top」理论最早的一次实践代价。 | 9K → 100K |

        2023-07-11Claude 2100K 上下文成为默认卖点。100K| 2023-07-11 | Claude 2 | 100K 上下文成为默认卖点。 | 100K |

        2023-11-21Claude 2.1上下文翻倍，幻觉率下降。200K| 2023-11-21 | Claude 2.1 | 上下文翻倍，幻觉率下降。 | 200K |

        2024-03-04**Claude 3 家族****三层命名体系诞生**（Haiku / Sonnet / Opus）+ 视觉输入。这是后来四层阶梯的起点。200K| 2024-03-04 | Claude 3 家族 | 三层命名体系诞生（Haiku / Sonnet / Opus）+ 视觉输入。这是后来四层阶梯的起点。 | 200K |

        2024-06-20Claude 3.5 Sonnet中档模型首次在多数评测上超过自家旗舰——**成本曲线开始与能力曲线分离**。⚠️ 是 06-20，不是 06-21。200K| 2024-06-20 | Claude 3.5 Sonnet | 中档模型首次在多数评测上超过自家旗舰——成本曲线开始与能力曲线分离。⚠️ 是 06-20，不是 06-21。 | 200K |

        2024-10-223.5 Sonnet (new) · 3.5 Haiku · **Computer Use**首次把「操作电脑」作为公开能力发布。200K| 2024-10-22 | 3.5 Sonnet (new) · 3.5 Haiku · Computer Use | 首次把「操作电脑」作为公开能力发布。 | 200K |

        2025-02-24**Claude 3.7 Sonnet** · Claude Code research preview官方称之为**「业界首个混合推理模型」**：同一模型既可即答也可扩展思考，思考预算由用户用 `budget_tokens` 指定。⚠️ **「首个」是厂商的自我定位，本报告未做优先权核查**，不宜转写成事实。200K| 2025-02-24 | Claude 3.7 Sonnet · Claude Code research preview | 官方称之为「业界首个混合推理模型」：同一模型既可即答也可扩展思考，思考预算由用户用 budget_tokens 指定。⚠️ 「首个」是厂商的自我定位，本报告未做优先权核查，不宜转写成事实。 | 200K |

        2025-05-22**Claude Opus 4 / Sonnet 4** · Claude Code GA🔴 **首次以 ASL-3 防护部署**。⚠️ 官方口径是「无法清楚排除风险」的**预防性**决定，**不是**「确认越过了阈值」。完整证据链见 ⑥ RSP 与治理政策。200K| 2025-05-22 | Claude Opus 4 / Sonnet 4 · Claude Code GA | 🔴 首次以 ASL-3 防护部署。⚠️ 官方口径是「无法清楚排除风险」的预防性决定，不是「确认越过了阈值」。完整证据链见 ⑥ RSP 与治理政策。 | 200K |

        2025-08-05Claude Opus 4.1agentic 编码与工具使用的增量更新。200K| 2025-08-05 | Claude Opus 4.1 | agentic 编码与工具使用的增量更新。 | 200K |

        2025-09-29Claude Sonnet 4.5长时程 agent 任务的稳定性提升。200K / 1M beta| 2025-09-29 | Claude Sonnet 4.5 | 长时程 agent 任务的稳定性提升。 | 200K / 1M beta |

        2025-10-15**Claude Haiku 4.5**🔴 **该层级至今最新——不存在 Haiku 5。**200K| 2025-10-15 | Claude Haiku 4.5 | 🔴 该层级至今最新——不存在 Haiku 5。 | 200K |

        2025-11-24**Claude Opus 4.5****降价至 \$5 / \$25**（前代三分之一）+ 引入 `effort` 努力档位。**「花多少算力思考」第一次成为可编程参数。**200K| 2025-11-24 | Claude Opus 4.5 | 降价至 \$5 / \$25（前代三分之一）+ 引入 effort 努力档位。「花多少算力思考」第一次成为可编程参数。 | 200K |

        2026-02-05Claude Opus 4.6**1M 上下文 beta** + adaptive thinking（模型自决思考深度）。1M beta| 2026-02-05 | Claude Opus 4.6 | 1M 上下文 beta + adaptive thinking（模型自决思考深度）。 | 1M beta |

        2026-02-17Claude Sonnet 4.6中档同步跟进。⚠️ 「1M context beta」未从该模型自己的公告页逐字确认。200K| 2026-02-17 | Claude Sonnet 4.6 | 中档同步跟进。⚠️ 「1M context beta」未从该模型自己的公告页逐字确认。 | 200K |

        2026-04-16**Claude Opus 4.7**首个搭载**新版自动化网络安全护栏**、并首次推出 **Cyber Verification Program** 的模型。1M| 2026-04-16 | Claude Opus 4.7 | 首个搭载新版自动化网络安全护栏、并首次推出 Cyber Verification Program 的模型。 | 1M |

        2026-05-28Claude Opus 4.8与 Series H 同日发布。主打诚实与可靠性。1M| 2026-05-28 | Claude Opus 4.8 | 与 Series H 同日发布。主打诚实与可靠性。 | 1M |

        2026-06-09🔴 **Claude Fable 5 · Claude Mythos 5****新设 Mythos 级**（位于 Opus 之上）。**同一套底座模型，区别只在安全护栏**；强制 30 天数据保留。三天后遭遇出口管制下线约 18 天，见 ⑥ RSP。1M| 2026-06-09 | 🔴 Claude Fable 5 · Claude Mythos 5 | 新设 Mythos 级（位于 Opus 之上）。同一套底座模型，区别只在安全护栏；强制 30 天数据保留。三天后遭遇出口管制下线约 18 天，见 ⑥ RSP。 | 1M |

        2026-06-30Claude Sonnet 5⚠️ 是 06-30，不是 07-01（部分英文媒体误作 July 1）。同日还发布了 Claude Science 与 Fable 复上线公告——**这是 Anthropic 全年最密集的单日**。1M| 2026-06-30 | Claude Sonnet 5 | ⚠️ 是 06-30，不是 07-01（部分英文媒体误作 July 1）。同日还发布了 Claude Science 与 Fable 复上线公告——这是 Anthropic 全年最密集的单日。 | 1M |

        2026-07-24🔴 **Claude Opus 5**官方定位是**价格—能力重排**而非单纯能力跃迁：「以一半价格接近 Fable 5 的前沿智能」。模型名 `claude-opus-5`。**本报告基准日的前一天。**1M| 2026-07-24 | 🔴 Claude Opus 5 | 官方定位是价格—能力重排而非单纯能力跃迁：「以一半价格接近 Fable 5 的前沿智能」。模型名 claude-opus-5。本报告基准日的前一天。 | 1M |

      
      表 7 · Claude 主要发布线（2023-03 → 2026-07）。**来源：**各模型的 `anthropic.com/news` 官方公告页正文日期（访问日期 2026-07-25）——发布日期本身无争议，但**第三列「这一代真正新增了什么」全部依据官方自述**，其中「业界首个混合推理模型」这类优先权主张本报告未做独立核查。⚠️ 本表**不含**参数量一列——**Anthropic 从未公布过任何 Claude 模型的参数量，任何流传的参数量数字都是编造的。**
    
  

  

定价单独列一张表，因为它是这四年里变化方向最反直觉的一列——旗舰档的单价在三年里下降了，而顶层被一个更贵的新层级接管。

      层级在售型号（截至 2026-07-25）输入 / 输出（每百万 token）准入| 层级 | 在售型号（截至 2026-07-25） | 输入 / 输出（每百万 token） | 准入 |

      
        **Mythos 级**Fable 5 / Mythos 5（2026-06-09）$10 / $50Fable 面向所有人；**Mythos 仅限 Project Glasswing 受信伙伴与少量受信生物学研究者**；强制 30 天数据保留| Mythos 级 | Fable 5 / Mythos 5（2026-06-09） | $10 / $50 | Fable 面向所有人；Mythos 仅限 Project Glasswing 受信伙伴与少量受信生物学研究者；强制 30 天数据保留 |

        **Opus 级**Opus 5（2026-07-24）$5 / $25公开| Opus 级 | Opus 5（2026-07-24） | $5 / $25 | 公开 |

        Opus 级（前代对照）Opus 4.5（2025-11-24）起$5 / $25公开。此前旗舰档单价为其三倍| Opus 级（前代对照） | Opus 4.5（2025-11-24）起 | $5 / $25 | 公开。此前旗舰档单价为其三倍 |

        **Sonnet 级**Sonnet 5（2026-06-30）见官方定价页公开| Sonnet 级 | Sonnet 5（2026-06-30） | 见官方定价页 | 公开 |

        **Haiku 级**Haiku 4.5（2025-10-15）见官方定价页公开。**该层级至今最新**| Haiku 级 | Haiku 4.5（2025-10-15） | 见官方定价页 | 公开。该层级至今最新 |

      
      表 8 · 四层阶梯的定价与准入（截至 2026-07-25）。口径为官方 API 每百万 token 定价。Sonnet 与 Haiku 两档本报告未逐字核到 2026 年最新定价，故不填数字而指向官方定价页——**宁可留空，不填未核实的数。**来源：各模型官方公告页（访问日期 2026-07-25）——标价是公司自己定的，但「同等能力更便宜」这层解读依赖上一张表里那些同样由公司自评的分数，两者不能互相印证。
    
  

  

7.3　benchmark：每一个数字都必须带 harness 口径

这是本节最容易出问题的地方。**同一模型在同一基准上，随 harness、effort 档位、提示写法、采样次数不同，分数可以差出十几个百分点。**下面这张表刻意把「口径」列写得比「数值」列长。

      模型评测数值必须一起写的口径| 模型 | 评测 | 数值 | 必须一起写的口径 |

      
        Opus 4.6SWE-bench Verified81.42%**改提示后**、25 次试验平均。**典型的「最好格」陷阱**：不说提示与试验次数，这个数字没有意义| Opus 4.6 | SWE-bench Verified | 81.42% | 改提示后、25 次试验平均。典型的「最好格」陷阱：不说提示与试验次数，这个数字没有意义 |

        Opus 4.6BrowseComp86.8%加**多智能体 harness** 后的成绩。⚠️ 发布当天曾用简化方法误报，**2026-06-30 官方更正**为 10M token 预算 + 上下文压缩 + programmatic tool calling| Opus 4.6 | BrowseComp | 86.8% | 加多智能体 harness 后的成绩。⚠️ 发布当天曾用简化方法误报，2026-06-30 官方更正为 10M token 预算 + 上下文压缩 + programmatic tool calling |

        Opus 4.6MCP Atlas62.7%high effort 档位下| Opus 4.6 | MCP Atlas | 62.7% | high effort 档位下 |

        Opus 4.6MRCR v2（8-needle 1M）76%对照 Sonnet 4.5 仅 18.5%。⚠️ 官方以此说明长上下文并非必然 context rot；**但这是厂商在自选 needle 设置下自评的结果，不足以支撑「已推翻 context rot」这类一般性结论**| Opus 4.6 | MRCR v2（8-needle 1M） | 76% | 对照 Sonnet 4.5 仅 18.5%。⚠️ 官方以此说明长上下文并非必然 context rot；但这是厂商在自选 needle 设置下自评的结果，不足以支撑「已推翻 context rot」这类一般性结论 |

        Opus 4.6HLE with tools53.0%⚠️ **由 53.1% 勘误而来**（2026-02-23，作弊检测管线又标出 3 例）| Opus 4.6 | HLE with tools | 53.0% | ⚠️ 由 53.1% 勘误而来（2026-02-23，作弊检测管线又标出 3 例） |

        Opus 4.6GDPval-AA超 GPT-5.2 约 144 Elo🔴 **由 Artificial Analysis 独立运行**——**本表仅此一行的第二维不是「公司自产」**：任务、评分与 harness 由 Anthropic 之外的机构设计与运行，方法公开可查| Opus 4.6 | GDPval-AA | 超 GPT-5.2 约 144 Elo | 🔴 由 Artificial Analysis 独立运行——本表仅此一行的第二维不是「公司自产」：任务、评分与 harness 由 Anthropic 之外的机构设计与运行，方法公开可查 |

        Opus 5Frontier-Bench v0.1超过所有模型**内部运行**；mini-SWE-agent harness + GKE 后端，每任务 5 次取平均。把 Opus 4.8 的表现提高一倍以上。⚠️ 基准本身也是 Anthropic 侧的 v0.1 新基准，**出题方与应试方是同一方**| Opus 5 | Frontier-Bench v0.1 | 超过所有模型 | 内部运行；mini-SWE-agent harness + GKE 后端，每任务 5 次取平均。把 Opus 4.8 的表现提高一倍以上。⚠️ 基准本身也是 Anthropic 侧的 v0.1 新基准，出题方与应试方是同一方 |

        Opus 5CursorBench 3.2与 Fable 5 峰值差 0.5% 以内max effort 档位下，**而成本只有一半**——这是「价格—能力重排」这个定位的主要依据| Opus 5 | CursorBench 3.2 | 与 Fable 5 峰值差 0.5% 以内 | max effort 档位下，而成本只有一半——这是「价格—能力重排」这个定位的主要依据 |

        Opus 5ARC-AGI **3**次优模型的三倍⚠️ **官方未给绝对分数。**⛔ 不要与被本报告列入禁用的「Opus 4.6 ARC-AGI-**2** 68.8%」混淆——后者无任何独立佐证。🔴 **「倍数」在 ARC 上最容易误导**：ARC Prize 的公开榜单显示 ARC-AGI-2 上 2025 年最好的方案也只有约 24%，在这样的低分区里「三倍于次优」可能仍是一个很低的绝对分| Opus 5 | ARC-AGI 3 | 次优模型的三倍 | ⚠️ 官方未给绝对分数。⛔ 不要与被本报告列入禁用的「Opus 4.6 ARC-AGI-2 68.8%」混淆——后者无任何独立佐证。🔴 「倍数」在 ARC 上最容易误导：ARC Prize 的公开榜单显示 ARC-AGI-2 上 2025 年最好的方案也只有约 24%，在这样的低分区里「三倍于次优」可能仍是一个很低的绝对分 |

        Opus 5自动化行为审计2.3🔴 正确说法是「**在 Anthropic 自研的自动化行为审计量表上得 2.3**」（越低越好，为近期模型最低）。⛔ **不得写成「失范率 2.3%」**——它不是一个百分比。量表、评分器与判定标准全部由 Anthropic 自定| Opus 5 | 自动化行为审计 | 2.3 | 🔴 正确说法是「在 Anthropic 自研的自动化行为审计量表上得 2.3」（越低越好，为近期模型最低）。⛔ 不得写成「失范率 2.3%」——它不是一个百分比。量表、评分器与判定标准全部由 Anthropic 自定 |

        Opus 5OSS-Fuzz见右官方报告：**发现**漏洞的能力接近 Mythos 5，**开发利用**的能力远远落后。⚠️ 官方据此提出「不训练某项能力阻止不了它随通用能力增长，但可以定向抑制它的下游用途」——**这是一条从单一厂商单次评测得出的一般性主张，本报告未检索到外部复现，按「厂商假说」而非「已确立机制」读**| Opus 5 | OSS-Fuzz | 见右 | 官方报告：发现漏洞的能力接近 Mythos 5，开发利用的能力远远落后。⚠️ 官方据此提出「不训练某项能力阻止不了它随通用能力增长，但可以定向抑制它的下游用途」——这是一条从单一厂商单次评测得出的一般性主张，本报告未检索到外部复现，按「厂商假说」而非「已确立机制」读 |

      
      表 9 · 代表性 benchmark 与其口径。**来源：**各模型官方公告页与系统卡（访问日期 2026-07-25）。🔴 **请先看第二维徽章再看数值**：本表 11 行里 **10 行是「公司自产」**——出题、跑分、选 harness、决定报哪个数字的是同一方；**只有 GDPval-AA 一行由独立第三方运行**。这不意味着那 10 个数字是假的，它意味着**它们目前只有一个证据来源**。⛔ **本表刻意不收录两个流传较广的数字**：Fable 5 的 SWE-bench 95% 与 Opus 4.6 的 ARC-AGI-2 68.8%——两者均无任何独立佐证，本报告判定为不可使用。
    
  

  

  
    展开：Fable 5 / Mythos 5 与其它前沿模型的官方能力对比总表
    
      
    
  

  
    失效边界 · 这张代际表**不能**推出什么
    

**① 不能推出「能力单调上升」。**表 7 按时间排列，很容易被读成一条单调递增的曲线。但表 9 已经说明：分数依赖 harness、effort、提示与采样次数，而这些在跨代之间几乎从未保持一致。要做跨代比较，必须固定 harness 重跑，而报告读者拿不到这个条件。

② 不能推出「2026 年的模型比 2025 年强多少」的定量结论。2026 年公布的多数分数是内部运行的；少数第三方数字（如 GDPval-AA 由 Artificial Analysis 运行）反而更适合做跨厂商比较，但覆盖面窄。

③ 不能把发布密度读成进步速度。2026 上半年七次发布里，至少有两次（Opus 4.7、Opus 4.8）的主要增量在安全护栏与可靠性而非通用能力，一次（Sonnet 5）是中档跟进，一次（Fable/Mythos）是层级重组。把它们全算成「能力代际」会高估这半年的能力斜率。

8 · 失效边界与我的看法

这一节把前七节所有曲线的适用范围收在一张表里，然后回答一个本章绕不开的问题：什么样的观测能真正证伪 scaling hypothesis。

8.1　全章边界总表

      结论拟合区间外推边界已知失效场景| 结论 | 拟合区间 | 外推边界 | 已知失效场景 |

      
        **Kaplan 三条幂律**（§1–2）768 → 15 亿非嵌入参数；2,200 万 → 230 亿 tokens；WebText2「万亿参数」是外推**三个数量级**一层 transformer 不遵守同一条律；损失必然在触底前变平；论文自己给的三线交点即失效点| Kaplan 三条幂律（§1–2） | 768 → 15 亿非嵌入参数；2,200 万 → 230 亿 tokens；WebText2 | 「万亿参数」是外推三个数量级 | 一层 transformer 不遵守同一条律；损失必然在触底前变平；论文自己给的三线交点即失效点 |

        🔴 **「具体能力不可预测」**（§1.4）2022 年前后以 exact match 为主的 benchmark 实践**依赖用哪把尺子**——换成连续度量后，「跃变」这个形状本身就不见了Schaeffer 等（NeurIPS 2023 最佳论文）：涌现的锐利形状在很大程度上是**离散度量的产物**，且可被**按需制造**——完整展开见 §1.5。⚠️ 它**不**否认下游能力在变强，否认的是「突变」这个形状| 🔴 「具体能力不可预测」（§1.4） | 2022 年前后以 exact match 为主的 benchmark 实践 | 依赖用哪把尺子——换成连续度量后，「跃变」这个形状本身就不见了 | Schaeffer 等（NeurIPS 2023 最佳论文）：涌现的锐利形状在很大程度上是离散度量的产物，且可被按需制造——完整展开见 §1.5。⚠️ 它不否认下游能力在变强，否认的是「突变」这个形状 |

        **最优分配 \(N\propto C^{0.73}\)**（§2）同上，且批量大部分固定算力超过约 \(10^{4}\) PF-days 后分配比例本身就错了🔴 **已被越过**——Chinchilla 的训练预算即已超过该点。失效方式是「比例错」而非「曲线断」| 最优分配 \(N\propto C^{0.73}\)（§2） | 同上，且批量大部分固定 | 算力超过约 \(10^{4}\) PF-days 后分配比例本身就错了 | 🔴 已被越过——Chinchilla 的训练预算即已超过该点。失效方式是「比例错」而非「曲线断」 |

        **Chinchilla 20:1**（§3）方法 ①② 的实验网格**只在一个特定算力点上成立**；比值随算力变化，除非 \(a=b=0.5\)发表常数（方法 ③）与方法 ①② 自相矛盾，隐含约 70 tokens/参数；原因是 Huber 损失取平均而非求和导致优化提前终止| Chinchilla 20:1（§3） | 方法 ①② 的实验网格 | 只在一个特定算力点上成立；比值随算力变化，除非 \(a=b=0.5\) | 发表常数（方法 ③）与方法 ①② 自相矛盾，隐含约 70 tokens/参数；原因是 Huber 损失取平均而非求和导致优化提前终止 |

        **重复数据坏区域** \(E=kN^{\alpha}\)（§4）Anthropic 2022-05 的模型规模范围与 tokenizer、去重强度强相关memorization 抢占容量、induction head 受损——**这是本章里 scaling 与可解释性接得最直接的一处**（见 ③ 可解释性）。🔴 **该结论来自 8 亿参数级实验，未见外部复现**，外推规则见 §8.2| 重复数据坏区域 \(E=kN^{\alpha}\)（§4） | Anthropic 2022-05 的模型规模范围 | 与 tokenizer、去重强度强相关 | memorization 抢占容量、induction head 受损——这是本章里 scaling 与可解释性接得最直接的一处（见 ③ 可解释性）。🔴 该结论来自 8 亿参数级实验，未见外部复现，外推规则见 §8.2 |

        **迁移律** \(D_T=k(D_F)^{\alpha}N^{\beta}\)（§4）文本 → Python 的单一迁移对换语言对、换模态即需重新拟合高数据区里预训练的「有效数据」增益趋近于零| 迁移律 \(D_T=k(D_F)^{\alpha}N^{\beta}\)（§4） | 文本 → Python 的单一迁移对 | 换语言对、换模态即需重新拟合 | 高数据区里预训练的「有效数据」增益趋近于零 |

        **计算最优 ≠ 部署最优**（§4）—Chinchilla 只优化**训练**算力推理量大时目标函数完全不同：Llama 3 的 80 亿模型用 1,875 tokens/参数，约为 Chinchilla 最优的 94 倍，而这是**对的**| 计算最优 ≠ 部署最优（§4） | — | Chinchilla 只优化训练算力 | 推理量大时目标函数完全不同：Llama 3 的 80 亿模型用 1,875 tokens/参数，约为 Chinchilla 最优的 94 倍，而这是对的 |

        **可靠性** \(p^{n}\)（§6）—i.i.d. 是强假设误差相关会让实际低于 \(p^n\)，自我纠错会让实际高于它，两者方向相反；「一步」无客观定义| 可靠性 \(p^{n}\)（§6） | — | i.i.d. 是强假设 | 误差相关会让实际低于 \(p^n\)，自我纠错会让实际高于它，两者方向相反；「一步」无客观定义 |

        **第三方 RCT**（§6）METR 2025-02～06 采样窗口**结论有时间索引**METR 自己 2026-02-24 的后续把方向反转；两个区间都跨过 0，因此**既不支持显著变慢，也未确立提速**| 第三方 RCT（§6） | METR 2025-02～06 采样窗口 | 结论有时间索引 | METR 自己 2026-02-24 的后续把方向反转；两个区间都跨过 0，因此既不支持显著变慢，也未确立提速 |

        **benchmark 分数**（§7）特定 harness + effort + 提示 + 采样次数换任一条件即不可比Opus 4.6 的 BrowseComp 曾因简化方法误报，四个月后官方更正| benchmark 分数（§7） | 特定 harness + effort + 提示 + 采样次数 | 换任一条件即不可比 | Opus 4.6 的 BrowseComp 曾因简化方法误报，四个月后官方更正 |

      
      表 10 · 本章全部结论的适用范围汇总。**这张表的用途是反向的**——它不是让你记住这些结论，而是让你在别处看到这些数字被单独引用时，知道少了什么。
    
  

  
    FX-05

公式组 8 · Amdahl 定律：为什么「代码写得更快」不等于「研发更快」

    ① 直觉
      

一个流程里只有一部分能被加速，整体加速比就被没被加速的那部分钉死。代码生成即使快到无穷，只要评审、跑实验、做判断还是人的速度，总时间就压不下去。

    ② 推导
      
        $$S_{\text{total}}=\frac{1}{(1-f)+f/S}$$
        式 8-1 · \(f\) 为可被加速部分占原总时间的比例，\(S\) 为该部分的加速倍数，\(S_{\text{total}}\) 为整体加速比。
      
      

令 (S\to\infty)，得整体加速比的硬上限 (1/(1-f))。也就是说：如果代码撰写只占研发总时间的一半，那么把它加速到无限快，整体也只能快一倍。

    ③ 数值例
      

取 (f=0.5)、(S=8)（对应官方那个「人均日合并代码行数 8 倍」的口径）：(S_{\text{total}}=1/(0.5+0.0625)\approx 1.78)。**行数的 8 倍，落到端到端只有约 1.8 倍。**这与那份 130 人内部调查自评的「约 4 倍」不在一个量级，也正好说明为什么 Anthropic 官方主动说 8× 那个数字「几乎肯定高估了真实的生产力提升」。

    ④ 假设与失效边界
      

🔴 Amdahl 定律假设 (f) 是常数，而这恰恰是本例中最可疑的一条。① 如果 AI 同时也在加速评审与实验设计，(f) 会随时间上升，上限就会松动——这正是《When AI builds itself》里 research judgment 从 51% 升到 64% 想说的事；② 反过来，写得越快，要评审的东西越多，被加速的那一部分可能制造出更多不可加速的工作，此时 (f) 反而下降；③ 该式假设各部分可分离且串行，真实研发是并行且有反馈环的。因此式 8-1 在这里只能用作一个「不要把局部倍数当整体倍数」的提醒，不能用来预测研发速度。

    ⑤ 出处
      

式 8-1 为标准结果（Amdahl, 1967）。(f) 与 (S) 的取值为本报告的示例假设，不是 Anthropic 公布的数据。递归自我改进这条线的完整展开在 ⑨ 2026 前沿与行业对照。

8.2　小模型结论能外推到 frontier 吗：这把刀必须两边都割

上表里有三行都带着同一个隐藏限定：结论来自小模型。§4.1 的重复数据实验最大只到 8 亿参数；§4.2 的迁移律拟合在更小的模型上完成；§1.3 的梯度噪声尺度也是 2018 年的规模。这本身不是缺陷——缺陷是选择性地使用这条限定。

    方法论硬约束 · 全站适用
    

「那是小模型上做的」这句话，不能只用来打别人

本条为全站共用的外推规则，主锚点在 ⑫ 方法论；本页因为大量引用 Anthropic 自家的小规模实验，必须就地写出。 ① 对外部反方《All Circuits Lead to Rome》对「单一任务存在那一条机制」的质疑，实验做在 GPT-2 Small 与 Pythia-160M 上。这确实限制了它的外推：它不能直接宣布 production Claude 的 circuit 也非唯一。这条限定是成立的，本报告在 ③ 可解释性纲领里也是这样写的。 ② 对 Anthropic🔴 **同一把刀落在自家一侧，力度完全一样。**Toy Models of Superposition 用的是玩具模型；induction heads 的原始工作用的是 1–2 层注意力模型；SoLU、早期 transformer circuits framework、以及部分 SAE model organisms，全都来自小模型或简化设置。本页 §4.1 的「重复数据坏区域」也一样——8 亿参数、固定 1,000 亿 token。 ③ 不允许的写法⛔ **不能一边用「那是 GPT-2 Small 上做的」削弱外部反方，一边把自家小模型结果写成 production Claude 的技术地基。**这不是「谁更严谨」的问题，是同一条方法论规则必须双向适用的问题。本报告在 §4.1 与表 10 里已按这条规则给自家结论加了同样的限定——如果读者发现哪一处只对一侧使用了这条刀，那是本报告的缺陷，不是规则的例外。

      结论类型小模型可支持需要 frontier 才支持| 结论类型 | 小模型可支持 | 需要 frontier 才支持 |

      
        某机制在**原理上可存在**是否| 某机制在原理上可存在 | 是 | 否 |

        某机制**在多个架构复现**需跨模型是| 某机制在多个架构复现 | 需跨模型 | 是 |

        某效应**随规模增强或减弱**否是| 某效应随规模增强或减弱 | 否 | 是 |

        可用于**生产环境的安全监控**否必须| 可用于生产环境的安全监控 | 否 | 必须 |

        **能排除**某种行为否必须，且仍很难| 能排除某种行为 | 否 | 必须，且仍很难 |

      
      表 11 · 小模型证据能支撑到哪一层。**用法**：看到任何一条「小模型上发现了 X」的结论时，先在左列定位它想支撑的是哪一类主张——**只有第一行可以由小模型单独支撑**。本页 §4.1 的重复数据结论落在第三行（「随规模增强」），因此原文那句「外推到数千亿参数模型上，数据重复 2 次就足以造成显著退化」**是一个外推预言，不是一个测量结果**；原文自己也是这样写的。
    
  

  

8.3　什么样的观测能真正证伪 scaling hypothesis

这是本章欠读者的一个交代。前面七节反复说某条曲线「有边界」，但那是在证伪具体的拟合，不是在证伪信念本身。而 scaling hypothesis 作为一种信念，最大的问题恰恰是：**它太容易被抢救。**每一次曲线走平，都可以归因于「数据不够干净」「RL 还没跟上」「该换范式了」——而每一次范式更替，「什么算 scaling」这个定义本身也跟着变了一次。

**所以先把正反两方摆到同一屏上，再谈证伪判据。**下面这个对辩块给出五段：Anthropic 的最强版本、业界最强反方（Chollet、LeCun、Sutskever）、可被第三方查证的证据、Anthropic 已有的回应，以及本报告的裁决与「什么会改变这个裁决」。请注意五段的视觉权重是相等的——反方在这里不是附注。

每一条反方前面都带一个方框标签，标的是它所在的层（定义见 §1.5）。这个区别比「谁的论据多」重要得多：经验层的争论可以被数据解决，等就是了；测量层的争论要先修好尺子；而世界观层的争论原则上不会被现有证据判定——用一堆经验层证据去回应一条世界观层的批评，是这场辩论迟迟不收敛的一个技术原因。

    对辩 · loss 曲线继续下降，是不是「能力继续增长」的充分理由
    
      
        最强版本
        

**Anthropic 的主张不是「参数越多越聪明」，而是一个三层的工程主张，请按最强版本读：**① 在固定范式内，损失随算力、数据与参数按幂律平滑下降，这条规律在多个数量级上被 OpenAI、DeepMind 与学术界反复拟合到；② 曲线可以被整体平移——算法效率、硬件与架构改进把同等能力的成本持续往左推（Dario 给的量级是约 4×/年，见表 4）；③ 被扩展的那个对象本身可以更换——2024 年起是 RL 与测试时算力，2026 年起加上工具使用与 AI 辅助研发。

三条合起来支持的结论只有一句：能力进展具有工程可预测性——可预算、可排期、可诊断。它不需要相信任何关于智能的形而上学。

而且这个主张有一个竞争路线拿不出来的强项：**它每天都在被检验。**Jared Kaplan 的诊断用法——训练偏离幂律，第一反应是「我们的代码有 bug」——在过去五年里反复兑现；§3 那整节就是最好的例证：最著名的一次「scaling 崩了」，事后查明确实是实验配置的三个细节。关键在于：Anthropic 版本从不宣称「预训练一条曲线就够」，它宣称的是「至今每当一条曲线变平，下一条都及时出现了」。

        最强反方
        

世界观层François Chollet（ARC Prize）· 测到的是技能，不是智能。他的定义是：智能应当是在新任务上获取技能的效率，而不是已有任务的覆盖面。扩大预训练可以扩大技能库，却未必提高把已有抽象重新组合成新解法的能力；如果一个 benchmark 可以由记忆过的有限模式解决，那么分数增长测到的就是技能而不是智能。这一条直接命中最强版本的第 ③ 层——「总有下一条曲线」只有在被扩展的东西确实改善了泛化时才成立。

世界观层Yann LeCun · 缺的是架构，不是规模。当前自回归 LLM 缺少持续世界模型、层级规划、长期记忆与从物理世界学习的能力；继续扩大文本预测不必然跨过这些架构缺口。他给出的替代路线是 JEPA 与 world-model-based autonomous intelligence。这一条命中的是第 ① 层到第 ③ 层之间的那个跳跃：被外推的那条 loss，终究是文本预测的 loss。

经验层Ilya Sutskever · 规模化时代结束，重回研究时代。⚠️ 据其 2025-11 在 Dwarkesh 播客上的表述，大意是：单纯扩大规模的阶段正在过去，行业需要回到「做研究」的模式。**本报告未能逐字确证其原始措辞，故只以大意呈现，不加引号。**这条的分量不在措辞，而在说话人——把这条路线推上主流的核心人物之一，公开表达了「只靠加规模的那一段已经走完」。

测量层Schaeffer、Miranda 与 Koyejo · 「不可预测的涌现」这半句本身站不稳。完整展开在 §1.5，此处只标位置：他们论证所谓涌现的锐利形状在很大程度上是研究者选的离散度量造成的。这一条命中的不是上面三层主张里的任何一层，而是 Anthropic 用来论证「必须在前沿做实证安全评测」的那条经验前提。把四条反方放在一起看，会发现它们分属三个不同的层——这正是它们无法互相替代、也无法被同一批证据一并回应的原因。

        可验证证据
        

经验层① ARC-AGI 的反记忆设计。ARC 每一道题对模型都是新任务，评价的是少样本抽象与组合，私有测试集不公开以阻断记忆路径。2026 年的 living survey 报告：ARC-AGI-2 的 2025 年优胜方案依赖大量合成样例，最好成绩约 24%，且达成它的计算成本远高于人类成绩由 ARC Prize 在私有集上统一复跑核验，任何人都可以按公开规则提交复现。请把这一条与表 9 的「ARC-AGI 3 次优模型的三倍」并排读：在一个绝对分很低的区间里，倍数几乎不携带信息。

经验层② 数据约束是实证的，不是猜测。Muennighoff、Rush、Barak 等人的《Scaling Data-Constrained Language Models》给出：重复数据在最多约 4 轮内几乎等同于新数据，约 40 轮后重复已无价值——再往后，新增算力的边际价值趋近于零。本页 §4 的图 14 就是这条曲线，请对照该图的口径说明一起读第二维取「已独立复现」的理由：该研究由与 Anthropic 无关的多机构团队完成并经同行评审（JMLR），其方向又与 Anthropic 自己 2022 年的重复数据论文、以及 Epoch AI 的数据存量分析（图 25）一致——三套完全不同的设定，结论同向。

③ 幂律这个函数形式本身，就是边际收益递减。loss 可以继续下降，但每取得同等幅度的改善都需要指数级的资源——这不是一个需要新实验的论断，用 §2 里那几个公开的指数就能自己算一遍。幂律形式已被 OpenAI（2020）、DeepMind（2022）与 Porian 等人（2024）在各自的数据与配置上独立拟合到。注意这一条对双方都成立：它既是 scaling 有效的证据，也是「同等改善越来越贵」的证据。

经验层🔴 ④ 反方的反方（不给这一条，上面三条就是伪平衡）。Epoch AI 的资源分析认为，到 2030 年继续保持每年约 4× 的训练算力扩张，在电力、芯片产能与资金上仍然技术可行。因此「资源墙马上终结 scaling」不是当前最强的反方，把它当主力论据会打偏——真正的分歧在泛化，不在电力。⚠️ 这一条不标第二维：它是一份独立机构的可行性预测，不是一次可被重跑的测量，四档「结论独立性」对它不适用；它的输入（电力、晶圆产能、数据存量）是公开的，读者可自行复算。

一手入口：ARC Prize · What is ARC-AGI? ^[11]｜Chollet × Dwarkesh ^[12]｜Scaling Data-Constrained Language Models（JMLR） ^[13]｜Epoch AI · Can AI scaling continue through 2030? ^[14]（访问日期 2026-07-25）

        Anthropic 回应
        

回应过，而且比多数复述更早。Dario 在《On DeepSeek and Export Controls》（2025-01-29）里就已经把「scaling」拆成三条动力学——scaling laws、shifting the curve、shifting the paradigm（见本页表 4）出处：darioamodei.com ^[15]（访问日期 2026-07-25）。Anthropic 一方会说：测试时算力、RL、工具使用与 AI 辅助研发不是「只堆参数」，用「预训练撞墙」来反驳它，反驳的是一个 2023 年的版本。

🔴 **本报告必须承认这一点，否则就是稻草人：LeCun 与 Chollet 反驳的主要是「当前目标函数已经足够」，这不必然反驳 Anthropic 已经扩展后的多曲线版本。**把他们的批评读成「已经推翻了 Anthropic 的 scaling 主张」，是拔高。

但有一处 Anthropic 没有正面回应。Chollet 的论点是构念层的——他质疑的不是分数不够高，而是「分数在测什么」。Anthropic 会引 ARC-AGI-3 的成绩（见表 9），但那是把 ARC 当成又一个待刷的 benchmark，而不是回应「技能 ≠ 智能」这个区分本身。截至 2026-07-25，本报告未检索到 Anthropic 对这一构念层批评的成体系公开回应。

        Reviewer 裁决
        

🔴 不要给这场争论打一个总分。它实际上是三场证据状态完全不同的争论叠在一起，分层之后每一层的结论都相当干脆——⛔ 本报告拒绝用「双方都有道理」收尾。下面三行是裁决主体，采用定论式表述、不加「有人认为」这类对冲，理由是它们在本项目两条互不知情的评审路径上逐层重合。 第一层 · 工程可预测性经验层Anthropic 占上风，而且优势明显。loss 对算力的幂律在 2020–2026 六年间被多个互不相关的机构反复拟合到；更有说服力的是 §3 那场勘误——Kaplan 与 Chinchilla 的分歧最终被 Porian 等人用 900 余次训练收敛掉了。一门能自己纠错并收敛的经验科学，与一个不可证伪的信仰，不是同一种东西。🔴 而且请注意一个几乎从不被指出的事实：Chollet、LeCun、Ilya、Karpathy、Sutton 五人中，没有任何一人主张「幂律在它自己的定义域内不成立」——他们主张的全部是「把它外推到 AGI 不成立」。这是两个命题，混用它们是这场辩论里最常见的一次偷换。 第二层 · 预训练边际收益经验层反方占上风。这一层已经接近共识：Ilya 说可用数据显然有限；Karpathy 说互联网语料很糟糕、大部分压缩做的是记忆功而不是认知功；§4 的数据约束实验与 Epoch AI 的数据存量分析给出同向的定量刻度。但最硬的一条证据来自 Anthropic 自己——它已经把叙事重心从预训练搬到了 RL，本页 §5 整节就是这次搬家的记录。「重心转移」这件事本身就是一次对反方的让步，只是从来没有被这样表述过。 第三层 · RL scaling经验层悬而未决——而且这是本章最悬的一条。正方（Anthropic）说「我们在一大批 RL 任务上看到对数线性关系」，但没有发布任何曲线，见 §5.2 就此加的口径限定；反方（Sutton、Karpathy）说「必须为每个技能单独搭环境，这恰恰说明缺核心算法」，但同样拿不出替代方案的实证。🔴 双方都在用判断而不是数据说话——这就是 2026 年这场争论的真实状态，本报告照实写，不替任何一方补足证据。

**三层裁决与本报告此前那个「两项拆分」是同一件事的两种切法，可以互相校验：**命题 **①「loss 继续按幂律下降、并可用于预算与排期」**对应第一层，证据强，本报告支持；命题 **②「现有范式（含 RL 与测试时算力）足以到达 powerful AI」**横跨第二、三层，证据明显更弱，只能算竞争假说。**Scaling laws 在 loss 与资源规划上的证据强度，不能转移给「流体智能、长期 agency 与 powerful AI」。**这也正是「诊断工具」与「时间表依据」这两个用法的分界：前者每天被检验，后者每次落空都有现成的辅助假设可以吸收冲击——用前者的经验成功为后者的预测强度背书，是这个领域最普遍的一次论证滑移。

证据强度：B+。数据墙与 ARC 是实证；而「LLM 路线永远不能到通用智能」仍是一条架构预测，不是已证实的定理——这一点对反方同样苛刻。

可操作的读法建议（三条，遇到 scaling 论证时按顺序问）：㈠ 看到「scaling 仍然有效」，先问这一次被扩展的是什么——如果和上一次不是同一个东西，那么它支持的是命题 ①，不是命题 ②。㈡ 看到能力分数上涨，先问这个 benchmark 防不防记忆、题目对模型是不是新任务；防记忆基准上的低分，比饱和基准上的高分信息量大得多。㈢ 不要把「资源墙」当反方主力——Epoch 的判断是资源上到 2030 年仍可继续，用它当主力等于把最弱的一条推到前面。

逐条给档（五档：已证伪 / 实质削弱 / 部分削弱 / 竞争假说 / 过时误解）——每一条反方都必须落到其中一档，不允许悬空： ▸ Chollet「技能 ≠ 智能」世界观层竞争假说。它不可能被更高的分数裁决，因为它质疑的正是分数的构念；它唯一可检验的推论是防记忆基准上的成本—分数曲线。 ▸ **LeCun「缺的是架构」世界观层竞争假说。**截至 2026-07-25，JEPA 路线未在任何通用能力基准上给出与同期前沿 LLM 可比的结果，因此它现在是一条有分量的假说，不是一次反证；⚠️ 同时应写明他现在有一家押注非 LLM 路线的公司。 ▸ **Ilya「规模化时代结束」经验层部分削弱。**它精确命中第二层，对第一层不构成挑战——他从未主张幂律在定义域内失效。 ▸ Schaeffer「涌现是度量伪影」测量层实质削弱，完整展开见 §1.5。 ▸ **2024 年底那一轮「预训练撞墙」产业报道经验层过时误解。**那组报道全部依赖匿名信源、没有任何可核的 loss 曲线，其核心质问是「GPT-5 在哪」——而 GPT-5 已于 2025 年发布。它可以作为历史节点引用，不能作为当前状态的描述。

三条本报告判定为不成立的流行说法：⛔ 「Scaling 已死」不成立——Epoch AI 的四约束推演判断，到 2030 年维持每年约 4× 的训练算力扩张在电力、芯片产能与资金上仍然可行，而 loss 曲线本身也没有给出支持；⛔ 「LLM 路线已被证明不可能到达通用智能」不成立——LeCun 与 Chollet 提出的是可信的竞争假说与构念质疑，不是证否；⛔ 「斯坦福证明了大模型的涌现能力是假的」不成立——原文写的是 may not be，而且明确不否认下游能力在变强，详见 §1.5。这三条的共同点是：它们都是把一条成立的窄结论放大成了一条不成立的宽结论。

什么新证据会改变这个裁决：▸ 推向 Anthropic 一侧：某个前沿模型在 ARC-AGI-2/3 这类防记忆、少样本抽象的基准上达到人类水平，且单题计算成本落回人类同量级（成本这一半不能省，否则只是用算力换分数）；或 METR 类任务时长曲线在换上一套未饱和的新任务集后，倍增期仍然保持。▸ 推向反方一侧：在配置已被逐项调优的前提下，loss 继续按幂律下降而多类下游能力同时平台化，并在多个团队处复现（即下面判据 ②）；或 RL 与测试时算力的投入再加一到两个数量级后，收益在可验证信号弱的任务上不再改善。▸ 不会改变裁决的：又一位知名人物表态（无论哪一边），以及又一个厂商自评分数刷新。

那么什么能真正证伪它？下面五条是本报告认为可操作的判据——它们的共同特点是：都能在不改变定义的前提下被观测到。

• 在固定范式内，损失对算力的幂律指数系统性衰减。不是走平（走平可以用数据枯竭解释），而是指数本身随算力单调下降，且在多个独立团队、多套数据上复现。这会直接否掉「幂律」这个函数形式，而不只是某组常数。

• **损失继续下降，但下游能力不再跟随。**目前 scaling 的说服力有一半来自「压缩率与 benchmark 表现高度线性相关」。如果出现一个规模区间，交叉熵持续改善而所有下游指标同时停滞，那么「损失是能力的代理」这个隐含前提就断了——而这个前提从来没有被证明过，只是被观察到。

• 接续曲线不再接续。「预训练 → RL → 测试时算力 → AI 辅助研发」这套叙事依赖每条曲线在前一条变平时及时接上。如果某一次没有新曲线出现，而现有几条同时进入收益递减，那么「总有下一条曲线」这个信念就该被降级——注意这需要时间来证伪，不能靠单点观测。

• **可靠性不随能力提升。**式 7-1 说明任务长度对单步可靠性极其敏感。如果出现「benchmark 分数继续涨、而单步可靠性停在某个 9 上不动」的持续区间，那么「更强的模型能做更长的任务」这条实践推论就断了，而它是当前 agent 路线的全部前提。

• **预测台账持续失准。**这是最朴素也最难抵赖的一条：把公开做过的时间表预测逐条记下来，到期核对。本报告在 ⑨ 2026 前沿建了这样一张「主张—现实检验—当前判定」的表，就是为了让这条判据可执行。

8.4　我的看法

    我的看法
    

Anthropic 在 scaling 上的认知增量，不在「更早相信」，而在「把相信变成了会计」。2020 年的三条幂律不是它的发明——那是 OpenAI 的工作，作者列表里有 Kaplan、McCandlish、Brown、Amodei 等一批后来出走的人。真正属于这家公司的东西，是它把这套经验拟合制度化成了一组日常动作：训练前用幂律预算算力，训练中用偏离幂律定位 bug，发布前用「总损失可预测、具体能力不可预测」这条区分去论证为什么需要单独做能力评测——而最后这一条，直接长成了 RSP 的评测逻辑（见 ⑥ RSP 与治理政策）。把一个经验规律变成组织流程，比提出这个规律更难，也更少被人算作贡献。

**但同一套东西也带来了这家公司最大的论证脆弱性。**当 scaling 从「诊断工具」被用作「时间表依据」时，它的可证伪性就被悄悄抽掉了——而 Anthropic 的许多重要主张（powerful AI 的时间窗、为什么现在就要建治理机制、为什么必须留在前沿）都建立在后一个用法上。这不是指控谁不诚实：Dario 在 Dwarkesh 第二期里同时给出 90%、95%、99% 三个数字并解释它们各自扣除了什么，这已经比这个行业的平均水平坦率得多。问题是结构性的——一个足够灵活的信念，在任何单点观测下都不会输，而不会输和被验证是两件事。

我倾向于这样收口：**把 scaling 当成一门工程会计学，它是这十年最成功的定量工具之一；把它当成一门预言学，它至今没有交出可结算的账本。**这两个判断同时为真，而且并不矛盾——它们只是在说，同一条曲线在不同的用法下承担了完全不同的举证责任。读者若要检验本章，最有效的做法不是去争论指数是 0.73 还是 0.50，而是去看第 ⑨ 章那张预测台账：凡是能被结算的，都比争论更有信息量。

    口径说明 · 本章与其它章的分工
    

本章只处理 scaling 与训练科学本身。三条相邻线索的主锚点在别处：《When AI builds itself》与递归自我改进的完整展开在 ⑨ 2026 前沿与行业对照；能力阈值如何进入 RSP 的治理回路在 ⑥ RSP 与治理政策；重复数据如何损伤 induction head 这条 scaling × 可解释性的接头在 ③ 可解释性纲领。

⑤ Scaling 与训练科学　|　Anthropic 独特认知 · 深度调研报告　|　事实截止日 2026-07-25（UTC+8）

本报告为第三方独立调研，与 Anthropic 无隶属关系。观点部分为编者独立判断，不代表被调研对象立场。返回总览