公式

Module 06 · Mechanisms & Derivations

核心机制与公式：把信念拆到可证伪的层面

这是全站最硬核的一章，也是唯一允许写「机制」的地方——其余模块只讲「何时、为什么、认知增量」。每个公式统一按五段式组织：① 直觉 → ② 推导 → ③ 数值例 → ④ 假设与失效边界 → ⑤ 论文出处。没有 ④ 的公式一律不得上线——把经验拟合写成定律，是这一章最容易犯的错。全章从 Kaplan 幂律走到 2026 年的 GPT-5.x 公开表述，中间穿过一次价值数十亿美元的指数误配（F3）。赶时间可只读页首的「本章速记」。

本章速记来源范围记号与元定理F1 KaplanF1.7 算力最优配比F2 ChinchillaF3 两者为何不一致 ★F4 临界批量F5 PPOF6 RLHFF7 奖励过优化F8 DPO / GRPOF9 过程监督F10 推理时计算 ★F11 涌现之争F12 压缩视角F13 双下降F14 弱到强F15 注意力F16 2025–2026基础层与评测层F17 NLL/困惑度F18 因果掩码F19 CLIPF20 扩散F21 WhisperF22 评测统计 ★F23 长程可靠性 ★我的看法





  本章速记
  
    

• Scaling law 的价值不在「更大更好」，而在「可外推」；而且「算力怎么分」可以严格推导。log-log 下是直线意味着幂律，幂律意味着能用小模型预测大模型，于是训练预算变成可以提前写进路线图的工程决策。更进一步：只要损失是可加的幂律之和、约束是资源的乘积，最优配比就一定是 (X_i\propto C^{\alpha_C/\alpha_i})，且 (1/\alpha_C=\sum_i 1/\alpha_i)（见 §0.2 元定理）——Kaplan 的三资源版与 Chinchilla 的两资源版是同一个定理的两个实例。但它终究是经验拟合，不是定律：Kaplan 自陈「我们目前对所提出的任何一条缩放律都没有扎实的理论理解」。

• Kaplan 与 Chinchilla 那个 46% 的指数差，是方法论指纹，不是自然常数。0.73 说「把钱都给模型」，0.50 说「对半分」；差别主要来自用不用 embedding 参数计数、warmup 有没有随训练长度调整、最后一层 FLOPs 算不算三件事。后果是 GPT-3 的数据量差了约 12 倍（见 F3）。

• **论文自身的数字也会互相打架，而这必须被写出来。**Kaplan 原文的 (\alpha_C^{\min}) 在正文式 (6.4)、附录式 (B.7)、Table 5 三处分别写作 0.054 / 0.052 / 0.050；本报告按 Table 5 的三个指数手算得 0.0520。相应地 (N\propto C^{?}) 在同一篇论文里同时存在 **0.68（解析）/ 0.71（半解析）/ 0.73（经验）**三个值——全世界引用的「Kaplan 0.73」是经验拟合值。

• RLHF 的核心不是 PPO，而是「用比较代替打分」——代价是奖励只有相对意义，而且必然被过优化。人类给不出可靠的绝对分数却擅长两两比较；Bradley–Terry 把比较变成可微目标，PPO 只是优化工具。由此奖励的绝对尺度不可辨识，不能当「质量的绝对度量」写进评测（F6）。更麻烦的是代理指标会被 Goodhart，而且这件事有定量形式：(R(d)=d(\alpha-\beta d))，(d=\sqrt{D_{\mathrm{KL}}})——代理分数一路涨，真实质量越过某点开始掉，所以 KL 惩罚不是可选正则而是结构性组件（F7）。

• 推理时计算是第二条曲线，但它的机制未公开。o1 / o3 / GPT-5.x 官方只给出了「曲线形状」与少量基准数字；本章一切机制叙述都是解释框架，不是 OpenAI 内部实现，并逐处用醒目警示条标出（见 F10）。

• 过程监督（PRM）比结果监督（ORM）更 scalable，根因是「抗歪打正着」。结果监督在采样数 (N) 变大时会被「过程错误但答案碰巧对」的样本污染，而过程监督把监督信号密度提高了 (O(T)) 倍；同时它的对齐税是负的——更安全的目标反而更强（见 F9）。

• 发布会上 1–2 个百分点的「领先」，在统计上不存在。HumanEval 只有 164 题，(P=0.9) 处 95% 置信半宽就有 ±4.59 个百分点；比较两个模型还要再乘 (\sqrt2)，门槛是 ±6.5 个百分点。AIME 单年 30 题在 (P=0.8) 处半宽 ±14.31 个百分点——单次跑分基本不可比。同一套算术还给出了幻觉的成因：在「答对得 (c) / 答错扣 (i) / 弃答得 0」的评分下，最优策略是只有把握高于 (c/(c+i)) 时才猜，而多数 benchmark 把 (i) 设成 0，等于在奖励瞎猜（见 F22）。

• **「跑分年年涨、体感差不多」有一个精确的数学解释。**长任务成功率按 (p^{T}) 指数衰减：单步 99% 的可靠性，在 100 步任务上只剩 36.6%。要在 (T) 步上保住 50%，需要 (p\ge 1-\ln 2/T)——任务长度每翻十倍，每步错误率必须降十倍。重试能把整条曲线抬起来（(p=0.9)、允许 3 次重试时，(T=100) 的成功率从 0.0027% 升到 90.5%），但它把问题换成了「你能不能发现错误」，而验证器的假阳性与假阴性代价并不对称（见 F23）。

0 · 来源范围说明：本页检索了什么、没检索什么

按全站纪律，任何「全面」的说法都必须先交代检索空间。本页的公式与常数全部来自可公开获取的论文原文，主体是 research/05-tech-formulas-dossier.md 逐字核实过的一手材料。

  ✅

检索了什么

一手论文全文（已取原文逐字比对）：Kaplan 2020（arXiv:2001.08361）、Hoffmann 2022（arXiv:2203.15556）、McCandlish 2018（arXiv:1812.06162）、Schulman 2017 PPO（arXiv:1707.06347）与 2015 GAE（arXiv:1506.02438）、Ouyang 2022 InstructGPT（arXiv:2203.02155）、Gao 2022（arXiv:2210.10760）、Rafailov 2023 DPO（arXiv:2305.18290）、DeepSeekMath 2024 GRPO（arXiv:2402.03300）、Lightman 2023（arXiv:2305.20050）、Snell 2024（arXiv:2408.03314）、Yue 2025（arXiv:2504.13837）、Wei 2022（arXiv:2206.07682）、Schaeffer 2023（arXiv:2304.15004）、Nakkiran 2019（arXiv:1912.02292）、Burns 2023（arXiv:2312.09390）、Vaswani 2017（arXiv:1706.03762）、Child 2019（arXiv:1904.10509）、Pearce & Song 2024（arXiv:2406.12907）、Porian 2024（arXiv:2406.19146）、Besiroglu 2024（arXiv:2404.10102）。

官方非论文材料：OpenAI 博客与 system card 中出现过定量表述的部分（o1《Learning to Reason with LLMs》、GPT-4 技术报告的 predictable scaling、GPT-5.x system card）。

  ⛔

没检索 / 不可得

闭源机制：GPT-4 之后模型的架构、参数量、训练数据构成、RL 配方、推理时调度策略，OpenAI 均未公开。本页不做任何逆向推测，涉及处一律加 .fx-closed 警示条。

未公开的实验细节：Kaplan 未公布模型配置表，Chinchilla 未开源训练代码与 Approach 3 的原始数据点（Besiroglu 只能从图里重建 240 个点）。凡依赖这些细节的复现结论，本页均注明其重建方式。

本页不做的事：不做 benchmark 横向排名（缺 harness / 工具权限 / 采样预算 / 成本 / 污染说明时按 ⑪ 评测哲学的规则不予采信）；不把第三方复现写成 OpenAI 官方做法；不把「某人任职过 OpenAI」当作「该论文代表 OpenAI 立场」。

  T1 逐字/官方转录
  T2 官方论文/公告
  T3 可靠媒体一手采访
  T4 二手整理/编译
  T5 作者推断

常数核实标记（沿用档案口径）：✅ 已核实＝已取论文原文逐字比对；⚠️ 原文内部不一致＝论文自身在不同位置给出不同数值，正文会指出并给出本报告的手算值；未核实＝无法取得原文，正文明确标注。本页出现的每一个拟合常数都落在这三档之一。

0.1 · 统一记号表

全章共用。符号必须先定义再使用，维度必须一致。最需要小心的是三处同名不同义：(N) 在 Kaplan 指非嵌入参数、在 Chinchilla 指总参数（F3 的全部内容就是这个差别）；(\beta) 在 F2 是数据项幂律指数、在 F6/F8 是 KL 正则系数；(B) 在 F4 是 batch size、在 F2 是数据项系数。

  记号含义单位 / 取值域 / 注意首次出现| 记号 | 含义 | 单位 / 取值域 / 注意 | 首次出现 |

  
    \(N\)模型参数量个。**Kaplan 指 non-embedding，Chinchilla 指 total**——这一个差别就是 F3 的全部内容F1| \(N\) | 模型参数量 | 个。Kaplan 指 non-embedding，Chinchilla 指 total——这一个差别就是 F3 的全部内容 | F1 |

    \(N_{\setminus E}\)非嵌入参数量Pearce & Song 的记法；\(N_{\setminus E}\approx 12\,n_{\rm layer}d_{\rm model}^2\)F1 / F3| \(N_{\setminus E}\) | 非嵌入参数量 | Pearce & Song 的记法；\(N_{\setminus E}\approx 12\,n_{\rm layer}d_{\rm model}^2\) | F1 / F3 |

    \(N_T\)总参数量（含 embedding）\(N_T=N_{\setminus E}+N_E\)，\(N_E=(v+h)d\)F3| \(N_T\) | 总参数量（含 embedding） | \(N_T=N_{\setminus E}+N_E\)，\(N_E=(v+h)d\) | F3 |

    \(D\)训练 token 数个。单 epoch 假设下才满足幂律，重复训练见 F2.7F1| \(D\) | 训练 token 数 | 个。单 epoch 假设下才满足幂律，重复训练见 F2.7 | F1 |

    \(C\)训练算力FLOPs，近似 \(C\approx 6ND\)。Kaplan 常用 PF-day，\(1\ \text{PF-day}=8.64\times10^{19}\) FLOPsF1| \(C\) | 训练算力 | FLOPs，近似 \(C\approx 6ND\)。Kaplan 常用 PF-day，\(1\ \text{PF-day}=8.64\times10^{19}\) FLOPs | F1 |

    \(L\)交叉熵损失nats/token，Kaplan 在 1024-token 上下文上平均F1| \(L\) | 交叉熵损失 | nats/token，Kaplan 在 1024-token 上下文上平均 | F1 |

    \(E\)不可约损失（熵下界）nats/token。Chinchilla 拟合得 \(E=1.69\)；Kaplan 的形式**没有这一项**，这本身是一个偏差源F1 / F2| \(E\) | 不可约损失（熵下界） | nats/token。Chinchilla 拟合得 \(E=1.69\)；Kaplan 的形式没有这一项，这本身是一个偏差源 | F1 / F2 |

    \(\alpha_N,\alpha_D,\alpha_C\)Kaplan 的幂律指数无量纲正数；\(0.076/0.095/0.057\)F1| \(\alpha_N,\alpha_D,\alpha_C\) | Kaplan 的幂律指数 | 无量纲正数；\(0.076/0.095/0.057\) | F1 |

    \(\alpha,\beta\)Chinchilla 的幂律指数无量纲；\(\alpha=0.3392\)（参数项）、\(\beta=0.2849\)（数据项）F2| \(\alpha,\beta\) | Chinchilla 的幂律指数 | 无量纲；\(\alpha=0.3392\)（参数项）、\(\beta=0.2849\)（数据项） | F2 |

    \(a,b\)算力最优配比指数\(N_{\rm opt}\propto C^{a},\ D_{\rm opt}\propto C^{b}\)，恒有 \(a+b=1\)F1.7 / F2.2| \(a,b\) | 算力最优配比指数 | \(N_{\rm opt}\propto C^{a},\ D_{\rm opt}\propto C^{b}\)，恒有 \(a+b=1\) | F1.7 / F2.2 |

    \(B,\ B_{\rm crit}\)batch size / 临界 batch sizetokens。\(B\ll B_{\rm crit}\) 时时间受限，\(B\gg B_{\rm crit}\) 时算力浪费F4| \(B,\ B_{\rm crit}\) | batch size / 临界 batch size | tokens。\(B\ll B_{\rm crit}\) 时时间受限，\(B\gg B_{\rm crit}\) 时算力浪费 | F4 |

    \(S,\ S_{\min}\)参数更新步数 / 最少串行步数次F1 / F4| \(S,\ S_{\min}\) | 参数更新步数 / 最少串行步数 | 次 | F1 / F4 |

    \(\mathcal{B}_{\rm noise},\ \mathcal{B}_{\rm simple}\)梯度噪声尺度\(\mathcal{B}_{\rm noise}=\operatorname{tr}(H\Sigma)/(G^{\top}HG)\)；简化版去掉 \(H\)F4| \(\mathcal{B}_{\rm noise},\ \mathcal{B}_{\rm simple}\) | 梯度噪声尺度 | \(\mathcal{B}_{\rm noise}=\operatorname{tr}(H\Sigma)/(G^{\top}HG)\)；简化版去掉 \(H\) | F4 |

    \(\pi_\theta,\ \pi_{\rm ref},\ \pi^{\mathrm{SFT}}\)待优化策略 / 参考策略token 上的条件分布；参考策略训练中冻结F5–F8| \(\pi_\theta,\ \pi_{\rm ref},\ \pi^{\mathrm{SFT}}\) | 待优化策略 / 参考策略 | token 上的条件分布；参考策略训练中冻结 | F5–F8 |

    \(r_\phi(x,y)\)奖励模型标量，**只有相对意义**，绝对尺度不可辨识F6| \(r_\phi(x,y)\) | 奖励模型 | 标量，只有相对意义，绝对尺度不可辨识 | F6 |

    \(\hat A_t\)优势估计标量，通常做批内标准化；GAE 用 \((\gamma,\lambda)\) 插值F5| \(\hat A_t\) | 优势估计 | 标量，通常做批内标准化；GAE 用 \((\gamma,\lambda)\) 插值 | F5 |

    \(r_t(\theta)\)重要性比\(\pi_\theta(a_t\mid s_t)/\pi_{\theta_{\rm old}}(a_t\mid s_t)\)，**注意与奖励 \(r\) 同字母不同义**F5| \(r_t(\theta)\) | 重要性比 | \(\pi_\theta(a_t\mid s_t)/\pi_{\theta_{\rm old}}(a_t\mid s_t)\)，注意与奖励 \(r\) 同字母不同义 | F5 |

    \(\epsilon\)PPO 裁剪半径无量纲，典型 0.1–0.3F5| \(\epsilon\) | PPO 裁剪半径 | 无量纲，典型 0.1–0.3 | F5 |

    \(\beta\)（RL 语境）KL 正则系数无量纲正数。**与 Chinchilla 的 \(\beta\) 同名不同义**F6 / F8| \(\beta\)（RL 语境） | KL 正则系数 | 无量纲正数。与 Chinchilla 的 \(\beta\) 同名不同义 | F6 / F8 |

    \(d=\sqrt{D_{\mathrm{KL}}}\)过优化研究的横轴KL 的平方根；为什么开方见 F7.3F7| \(d=\sqrt{D_{\mathrm{KL}}}\) | 过优化研究的横轴 | KL 的平方根；为什么开方见 F7.3 | F7 |

    \(n,\ k,\ G\)采样数 / pass@k 的 k / 组大小整数。pass@k 必须用无偏估计，见 F10.3.1F9 / F10| \(n,\ k,\ G\) | 采样数 / pass@k 的 k / 组大小 | 整数。pass@k 必须用无偏估计，见 F10.3.1 | F9 / F10 |

    \(T\)序列 / 步骤长度步或 token 数。F11 的 \(\mathrm{Acc}\approx p^{T}\) 与 F9 的 \(O(T)\) 倍监督密度都用它F9 / F11| \(T\) | 序列 / 步骤长度 | 步或 token 数。F11 的 \(\mathrm{Acc}\approx p^{T}\) 与 F9 的 \(O(T)\) 倍监督密度都用它 | F9 / F11 |

    \(Q,K,V,d_k\)注意力的查询/键/值与键维度\(\operatorname{softmax}(QK^{\top}/\sqrt{d_k})V\)F15| \(Q,K,V,d_k\) | 注意力的查询/键/值与键维度 | \(\operatorname{softmax}(QK^{\top}/\sqrt{d_k})V\) | F15 |

    \(K(x)\)Kolmogorov 复杂度比特。**不可计算**——F12 全部裂缝的源头F12| \(K(x)\) | Kolmogorov 复杂度 | 比特。不可计算——F12 全部裂缝的源头 | F12 |

    \(\mathrm{PGR}\)Performance Gap Recovered无量纲，弱到强泛化的核心指标F14| \(\mathrm{PGR}\) | Performance Gap Recovered | 无量纲，弱到强泛化的核心指标 | F14 |

    \(\mathrm{PPL},\ \mathrm{BPB}\)困惑度 / 每字节比特数\(\mathrm{PPL}=e^{\mathrm{NLL}}\)。**PPL 不可跨 tokenizer 比较，BPB 可以**——原因见 F17.5F17| \(\mathrm{PPL},\ \mathrm{BPB}\) | 困惑度 / 每字节比特数 | \(\mathrm{PPL}=e^{\mathrm{NLL}}\)。PPL 不可跨 tokenizer 比较，BPB 可以——原因见 F17.5 | F17 |

    \(\tau\)对比学习温度正数，CLIP 中可学习。**与扩散的时间步 \(t\) 无关**F19| \(\tau\) | 对比学习温度 | 正数，CLIP 中可学习。与扩散的时间步 \(t\) 无关 | F19 |

    \(\bar\alpha_t,\ \epsilon_\theta\)扩散的累积保留系数 / 噪声预测网络\(q(x_t\mid x_0)=\mathcal N(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I)\)F20| \(\bar\alpha_t,\ \epsilon_\theta\) | 扩散的累积保留系数 / 噪声预测网络 | \(q(x_t\mid x_0)=\mathcal N(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I)\) | F20 |

    \(w\)classifier-free guidance 强度无量纲，\(w=0\) 退化为无条件生成F20| \(w\) | classifier-free guidance 强度 | 无量纲，\(w=0\) 退化为无条件生成 | F20 |

    \(g;\ c,\ i\)模型把握 / 答对得分 / 答错扣分三分类评分下最优猜测阈值 \(g\gt c/(c+i)\)。**\(c\) 与算力 \(C\) 同字母不同义，注意大小写**F22| \(g;\ c,\ i\) | 模型把握 / 答对得分 / 答错扣分 | 三分类评分下最优猜测阈值 \(g\gt c/(c+i)\)。\(c\) 与算力 \(C\) 同字母不同义，注意大小写 | F22 |

    \(T\)（agent 语境）任务步数整数。全程成功率 \(p^{T}\)。**与 F9/F11 的序列长度 \(T\) 是同一记号的不同实例**F23| \(T\)（agent 语境） | 任务步数 | 整数。全程成功率 \(p^{T}\)。与 F9/F11 的序列长度 \(T\) 是同一记号的不同实例 | F23 |

    \(r,\ d_{\rm det}\)每步重试次数 / 错误检测率\(r\) 为整数，\(d_{\rm det}\in[0,1]\)。**\(d_{\rm det}\) 特意加下标，以避免与 F7 的 \(d=\sqrt{D_{\mathrm{KL}}}\) 和 F18 的 \(d_k\) 混淆**F23| \(r,\ d_{\rm det}\) | 每步重试次数 / 错误检测率 | \(r\) 为整数，\(d_{\rm det}\in[0,1]\)。\(d_{\rm det}\) 特意加下标，以避免与 F7 的 \(d=\sqrt{D_{\mathrm{KL}}}\) 和 F18 的 \(d_k\) 混淆 | F23 |

  

0.2 · 一个元定理：为什么「算力怎么分」总是同一道题

读完 F1–F8 会发现，反复出现的数学动作只有三种。把它们先摆出来，后面每个公式就都只是同一个模板的实例，不必逐个重新惊讶。

  ● 三个贯穿全篇的元结构
  

**元结构一 · 加性可分损失 + 乘性资源约束 ⟹ 幂律配比。**只要 (L=\sum_i A_iX_i^{-\alpha_i}) 在 (\prod_i X_i=C) 下取极小，配比一定是 (X_i\propto C^{\alpha_C/\alpha_i})，其中 (1/\alpha_C=\sum_i 1/\alpha_i)。Kaplan（三资源 (N,B,S)）与 Chinchilla（两资源 (N,D)）是同一定理的两个实例，见下方折叠推导。

元结构二 · KL 正则的 RL 最优解是 Gibbs 分布。(\max_\pi\mathbb{E}\pi[r]-\beta D{\mathrm{KL}}(\pi|\pi_{\rm ref})\Rightarrow\pi^\star\propto\pi_{\rm ref}e^{r/\beta})。它同时是 InstructGPT 的 KL 惩罚项（F6）、DPO 的全部魔法（F8.1）、以及过优化研究里 (\sqrt{\mathrm{KL}}) 坐标的合理性来源（F7）。

**元结构三 · 信任域 = 对「分布漂移导致代理目标失真」的一阶控制。**TRPO 的硬约束、PPO 的 clip、GRPO 的 clip + KL，是同一个担忧的三种工程化（F5、F8.2）。

展开：元定理的完整推导（约束 → 变分 → 求解 → 结论 → 两处验算）
  

**第一步 · 写出目标与约束。**设有 (m) 种资源 (X_1,\dots,X_m)（如参数量、数据量、batch size、步数），每种资源不足都单独贡献一项幂律损失，总算力是它们的乘积： [ \min_{X_1,\dots,X_m};L=E+\sum_{i=1}^{m}A_iX_i^{-\alpha_i}\qquad\text{s.t.}\quad \prod_{i=1}^{m}X_i=C ](E) 是常数，不影响极值点；(A_i>0,\ \alpha_i>0)。乘积约束来自 (C\approx 6ND)（两资源）或 (C\approx 6NBS)（三资源）这一类正比关系，常数因子被吸收进比例号里。

第二步 · 构造拉格朗日函数并求一阶条件。 [ \mathcal{L}=E+\sum_i A_iX_i^{-\alpha_i}+\lambda\Big(\prod_j X_j-C\Big),\qquad \frac{\partial\mathcal{L}}{\partial X_i}=-\alpha_iA_iX_i^{-\alpha_i-1}+\lambda\prod_{j\ne i}X_j=0 ]

第三步 · 用约束消去连乘。注意 (\prod_{j\ne i}X_j=C/X_i)，代入并两边同乘 (X_i)： [ \alpha_iA_iX_i^{-\alpha_i}=\lambda C;\equiv;\mu\qquad(\forall i) ]这就是等边际条件：在最优点，每一项损失乘上自己的指数之后必须全部相等。经济学里「每多花一个 (\log) 单位在任何一种资源上，收益都一样」的原理，一字不差。

第四步 · 解出各资源并回代约束。由上式 (X_i=(\alpha_iA_i/\mu)^{1/\alpha_i})。取对数后代入 (\prod_iX_i=C)： [ \sum_i\frac{1}{\alpha_i}\big[\log(\alpha_iA_i)-\log\mu\big]=\log C ;\Longrightarrow; \log\mu=-\alpha_C\log C+\text{const},\qquad \frac{1}{\alpha_C}\equiv\sum_i\frac{1}{\alpha_i} ](\alpha_C) 是各资源指数的调和平均的 (1/m) 倍——换句话说，最小的那个 (\alpha_i) 主导一切，因为它在倒数和里占比最大。

第五步 · 结论。把 (\mu\propto C^{-\alpha_C}) 代回 (X_i=(\alpha_iA_i/\mu)^{1/\alpha_i})： [ \boxed{;X_i^{\star};\propto;C^{,\alpha_C/\alpha_i},\qquad \sum_i\frac{\alpha_C}{\alpha_i}=\alpha_C\sum_i\frac{1}{\alpha_i}=1,\qquad L^{\star}-E=\frac{\mu}{\alpha_C};\propto;C^{-\alpha_C};} ]三个结论一次给全：配比指数、指数之和恒为 1（验算手段：算错了这一步一定不等于 1）、以及算力-损失指数就是 (\alpha_C) 本身。

读法。配比只由各 (\alpha_i) 的相对大小决定，与系数 (A_i) 和不可约项 (E) 完全无关——(A_i) 只影响比例常数。所以两篇论文的配比之争，本质上永远是指数之争，而不是常数之争。反过来说，只要哪一方的 (\alpha_i) 测偏了，工程建议就会整个偏掉，而这正是 F3 要讲的故事。

验算一 · Chinchilla（两资源）。(\alpha=0.3392,\ \beta=0.2849)： [ \frac{1}{\alpha_C}=\frac{1}{0.3392}+\frac{1}{0.2849}=2.9481+3.5100=6.4581;\Longrightarrow;\alpha_C=0.1548 ]与 Chinchilla 报告的 (L^{\star}_T-E\propto C_T^{-0.155}) 吻合到小数点后三位。同时 (a=\alpha_C/\alpha=0.1548/0.3392=0.456)、(b=\alpha_C/\beta=0.1548/0.2849=0.543)，正是 Approach 3 的 (0.46/0.54)。

验算二 · Kaplan（三资源）。(\alpha_N=0.076,\ \alpha_B=0.21,\ \alpha_S=0.76)： [ \frac{1}{\alpha_C^{\min}}=\frac{1}{0.076}+\frac{1}{0.21}+\frac{1}{0.76}=13.158+4.762+1.316=19.236;\Longrightarrow;\alpha_C^{\min}=0.0520 ](1/\alpha_N=13.158) 独占了 19.236 的 68%。「参数量的收益衰减最慢」这一个经验事实，机械地推出了「钱应该花在模型上」——Kaplan 那个著名结论不需要任何额外信念，它就藏在这个倒数和里。

**由验算二直接读出 Kaplan 原文的内部不一致。**手算得 0.0520，而论文正文式 (6.4) 写 0.054、附录式 (B.7) 写 0.052、Table 5 写 0.050。三个值分别推出 (N\propto C^{0.71})、(C^{0.684})、(C^{0.658})，而 Table 6 的经验拟合是 (C^{0.73})。世界上被引用了上万次的「Kaplan 0.73」，是经验拟合值，不是这套解析框架的输出——解析值是 0.68。详见 F1.3 与 F1.7。

  ▲ 元定理成立的四个前提（后面每一节都会回到这里）
  

1 · 可加可分是假设，不是事实。「容量不足」与「数据不足」两种损失来源未必真的能分离相加，这个形式只是拟合得好且便于求解。一旦两者耦合（例如数据重复导致的记忆），可加形式立刻失效。

2 · 乘积约束是粗估。(C\approx6ND) 忽略了注意力对序列长度的二次项与优化器开销；长上下文、稀疏 / MoE 架构下必须重推。F3 里 Porian et al. 的第一个修正项，就是「最后一层的 FLOPs 到底算不算」。

3 · 只优化了训练算力。真实决策要算训练 + 全生命周期推理的总成本。把推理算力计入后，最优解会明显偏向更小的模型、更多的数据（见 F2.8）。

4 · 指数误差会被放大成幂次。(\alpha_i) 出现在幂次的分母上，小的拟合偏差会被放大成显著不同的工程建议——所以本章每一节的 ④ 都与 ② 同等重要。

F1 · Kaplan Scaling Laws：把「模型做大有没有用」变成可外推的工程预测

arXiv:2001.08361（Kaplan、McCandlish、Henighan、Brown、Chess、Child、Gray、Radford、Wu、Amodei，Scaling Laws for Neural Language Models，2020-01-23）只做了一件事：把「模型做大有没有用」从一个信念问题变成一个可外推的工程预测问题。它的历史后果是直接的——GPT-3（175B）的规模选择、微软十亿美元级投资的论证、乃至后来整套「算力即国运」的叙事，都以这篇论文的外推曲线为技术基座。它在 OpenAI 内部的地位近乎「宪法」：不是因为它证明了什么，而是因为它把「继续加钱」写成了一条可以画在坐标纸上的直线。

要读懂后面所有争议（尤其是 Chinchilla 与它之间那个 46% 的指数差），必须先把它的实验设置看透。在 scaling law 这个领域有一条铁律：实验协议就是假设本身。下表每一行后来都变成了某一篇修正论文的攻击点，而不是无关紧要的工程细节。

设置项Kaplan 2020 的取值它后来成了谁的攻击点| 设置项 | Kaplan 2020 的取值 | 它后来成了谁的攻击点 |


  **数据集**WebText2（WebText 扩展版，Reddit 外链 ≥3 karma；2017-12 之前 + 2018-01 至 2018-10）：20.3M 文档、96 GB 文本、\(1.62\times10^{10}\) 词，BPE 后 \(2.29\times10^{10}\) tokens，其中 \(6.6\times10^{8}\) tokens 留作测试集只测英文网页文本；换分布被当成「加一个近似常数偏移」处理，而这个常数本身没有理论| 数据集 | WebText2（WebText 扩展版，Reddit 外链 ≥3 karma；2017-12 之前 + 2018-01 至 2018-10）：20.3M 文档、96 GB 文本、\(1.62\times10^{10}\) 词，BPE 后 \(2.29\times10^{10}\) tokens，其中 \(6.6\times10^{8}\) tokens 留作测试集 | 只测英文网页文本；换分布被当成「加一个近似常数偏移」处理，而这个常数本身没有理论 |

  **词表 / 上下文**\(n_{\rm vocab}=50257\)（GPT-2 BPE）、\(n_{\rm ctx}=1024\)词表大小直接决定 embedding 参数量，进而决定「用不用 non-embedding 参数」这个致命选择| 词表 / 上下文 | \(n_{\rm vocab}=50257\)（GPT-2 BPE）、\(n_{\rm ctx}=1024\) | 词表大小直接决定 embedding 参数量，进而决定「用不用 non-embedding 参数」这个致命选择 |

  **优化器与预算**Adam，固定 \(2.5\times10^{5}\) 步，batch \(512\) 序列 × \(1024\) tokens \(=2^{19}\) tokens；>1B 参数模型因显存改用 Adafactorbatch 对所有模型一律固定，这正是后面必须引入 \(C_{\min}\) 修正的原因| 优化器与预算 | Adam，固定 \(2.5\times10^{5}\) 步，batch \(512\) 序列 × \(1024\) tokens \(=2^{19}\) tokens；>1B 参数模型因显存改用 Adafactor | batch 对所有模型一律固定，这正是后面必须引入 \(C_{\min}\) 修正的原因 |

  **学习率调度****3000 步线性 warmup + cosine 衰减到 0**，对所有模型用**同一套**Porian 等指出：短训练几乎没享受到退火，warmup 对小模型占比过大，直接扭曲了 compute-optimal 曲线| 学习率调度 | 3000 步线性 warmup + cosine 衰减到 0，对所有模型用同一套 | Porian 等指出：短训练几乎没享受到退火，warmup 对小模型占比过大，直接扭曲了 compute-optimal 曲线 |

  **规模范围**模型 768 → 1.5B **non-embedding** 参数；数据 22M → 23B tokens\(N\) 只到 1.5B，却被用来论证 175B 乃至 1T| 规模范围 | 模型 768 → 1.5B non-embedding 参数；数据 22M → 23B tokens | \(N\) 只到 1.5B，却被用来论证 175B 乃至 1T |

  **正则与早停**10% dropout（仅在 \(L(N,D)\) 实验中），并用 test loss 早停作者自陈「未随数据集与模型规模优化正则」，过拟合判据因此偏保守| 正则与早停 | 10% dropout（仅在 \(L(N,D)\) 实验中），并用 test loss 早停 | 作者自陈「未随数据集与模型规模优化正则」，过拟合判据因此偏保守 |

来源：arXiv:2001.08361 §2。Porian 等的复现见 arXiv:2406.19146 §3.4。

FX-01

参数量幂律 (L(N))：为什么必须扣掉 embedding

T2 官方论文

  ① 直觉
  

固定「数据充足、训练到接近收敛」，只让参数量变，问 test loss 怎么变。答案是一条在 log-log 坐标下横跨六个数量级的直线。(\alpha_N=0.076) 的含义极其残酷：参数量翻倍，loss 只降到原来的 (2^{-0.076}=0.949)，即下降 5.1%。同一个数字可以读出两件相反的事——(a) 收益递减很严重；(b) 但递减是幂律而不是指数衰减，所以只要能把 (N) 抬高几个数量级，累积收益仍然可观。OpenAI 选择了 (b) 的读法，这个选择本身就是一次认知判断，而不是数学结论。

  ② 推导
  

先把式子写出来。作者在 ((n_{\rm layer},d_{\rm model})) 从 ((2,128)) 到 ((207,768))、((6,4288)) 的巨大形状范围内扫参数量，对 ((\log N,\log L)) 做直线拟合： [ L(N)=\left(\frac{N_{c}}{N}\right)^{\alpha_{N}},\qquad \alpha_{N}\approx 0.076,\quad N_{c}\approx 8.8\times10^{13}\ \text{(non-embedding params)} ](N) 为 non-embedding 参数量；(L) 单位 nats/token，在 1024-token 上下文上平均。(N_c) 随词表与 tokenization 整体缩放，作者明说它「没有基本含义」（do not have a fundamental meaning）——它只是把 loss 归一化到 1 的那个虚构参数量。

**必须诚实说明：这条不是推导出来的，是拟合出来的。**真正有推导成分的，是「为什么必须用 non-embedding 参数」。参数量的标准计法为 [ N\approx 2d_{\rm model}n_{\rm layer}\left(2d_{\rm attn}+d_{\rm ff}\right)=12,n_{\rm layer}d_{\rm model}^{2} ]取标准配比 (d_{\rm attn}=d_{\rm ff}/4=d_{\rm model})。式(2.1)。这一步已经把 embedding 与 positional embedding 排除在外。

若改用 total 参数 (N_T=N+(n_{\rm vocab}+n_{\rm ctx})d_{\rm model})，小模型区会被 embedding 项主导。固定宽深比 (A=d_{\rm model}/n_{\rm layer})，则 (N=(12/A)d_{\rm model}^{3})，于是 [ d_{\rm model}=\left(\frac{AN}{12}\right)^{1/3},\qquad N_{E}=(n_{\rm vocab}+n_{\rm ctx})\left(\frac{A}{12}\right)^{1/3}N^{1/3} ]即 embedding 参数以 (N^{1/3}) 的速率增长：在 (N) 小时不可忽略，在 (N) 大时可忽略。用 (N_T) 作横轴，小模型被「额外的 embedding 参数」往右推，不同深度的模型散成多条曲线；扣掉 embedding 后，所有深度的点塌缩到同一条线上（Fig.6）。

这个 (N^{1/3}) 就是 F3 中 Pearce & Song 和解论证的全部技术内核，请记住它：Kaplan 与 Chinchilla 的指数之所以对不上，很大一部分就藏在「(N) 到底指什么」这一个定义里。完整论证见 Kaplan 与 Chinchilla 的和解。

  ③ 数值例
  

取 (n_{\rm vocab}+n_{\rm ctx}=50257+1024=51281)。对一个 (n_{\rm layer}=12,\ d_{\rm model}=768) 的模型（GPT-2 small 形状），non-embedding 参数 (N=12\times12\times768^{2}\approx8.5\times10^{7})，而 embedding 参数 (N_E=51281\times768\approx3.9\times10^{7})——embedding 占了 total 的三分之一。放大到 (d_{\rm model}=8192) 的量级，non-embedding 项按 (d_{\rm model}^{3}) 涨、embedding 项只按 (d_{\rm model}) 涨，占比迅速跌到百分之几。「小模型被 embedding 拖累、大模型不受影响」这个不对称，正是它能系统性地扭曲拟合斜率的原因。

形状无关性也值得一个数：宽深比在 40 倍范围内变化只带来几个百分点的 loss 差异，((6,4288)) 与 ((48,1600)) 的差距 <3%（Fig.5）。这是「只有规模重要、结构不重要」这句流行说法的原始实验依据——但它的量程只覆盖 Transformer decoder，且只到 1.5B。

  ④ 假设与失效边界
  

**A · 必须外推才有用，但外推没有理论保证。**作者自陈：「At present we do not have a solid theoretical understanding for any of our proposed scaling laws.」（Appendix C）。一条只在 (N\le1.5\text{B}) 上拟合过的直线，被用来论证 175B 甚至 1T，这个动作本身没有任何数学上的许可。

B · 层数 <2 或极端深宽比的模型显著偏离趋势，作者在做算力律时手动剔除了 1 层网络。

**C · 只在 WebText2 上测。**换分布被处理成「加一个近似常数偏移」（§3.2.2），但这个常数偏移本身没有理论；跨语言、跨模态、跨领域是否成立，本文没有回答。

**D · 幂律必须最终变平。**自然语言的熵非零，(L) 不可能趋于 0，而 (L(N)=(N_c/N)^{\alpha_N}) 预测它会。这条式子里没有不可约损失项 (E)，是它与 Chinchilla 形式最本质的差别。

**E · 已知反例。**Pearce & Song 指出：「用 non-embedding 参数」这个让曲线变漂亮的选择，恰恰是后来所有指数偏差的源头（arXiv:2406.12907 §1）；Chinchilla 用 total 参数拟合，得到带非零渐近项 (E) 的完全不同的曲率结构。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.1) 与 Table 5（(\alpha_N=0.076,\ N_c=8.8\times10^{13})，常数逐字核实无误）；参数计法式(2.1)；embedding 塌缩见 Fig.6；形状无关性见 Fig.5；「无理论理解」自陈见 Appendix C。反方：arXiv:2406.12907 §1；arXiv:2203.15556 式(2)。

**图 · 三条幂律与它们各自的边界（本报告原创 SVG）：**这张图刻意把**三个前提条件**画在了图上——② 中的红色虚线是**数据墙**（token 用尽后幂律失效），③ 中的金色虚线是**不可约损失 \(E\)**（再大的模型也压不过语言本身的熵）。上面那张论文原图只呈现了「直线」，而真正决定工程决策的，往往是这两条虚线在哪里。




FX-02

数据量幂律 (L(D))：同一篇论文里的两个 (\alpha_D)

T2 官方论文

  ① 直觉
  

把 FX-01 反过来：模型足够大（固定用 ((n_{\rm layer},n_{\rm embd})=(36,1280)) 这一个形状），在 WebText2 的固定子集上训练，test loss 不再下降就停，问 loss 如何随数据量变。数据翻倍，loss 降 (1-2^{-0.095}=6.4%)——比参数翻倍的 5.1% 稍好一点。由于翻倍参数与翻倍数据的 FLOPs 代价都是 2 倍（(C\approx6ND)），这两个数在算力口径下是可比的，因此「数据比参数稍微值钱一点」在这一层是成立的。但这个结论在 Kaplan 的完整框架里会被 batch size 项冲掉，见 F1.7——这是全篇最容易被误读的一处。

  ② 推导
  \[ L(D)=\left(\frac{D_{c}}{D}\right)^{\alpha_{D}},\qquad \alpha_{D}\approx 0.095,\quad D_{c}\approx 5.4\times10^{13}\ \text{tokens} \]同样是拟合，不是推导。关键的隐含自洽性是 \(\alpha_D\gt\alpha_N\)（0.095 vs 0.076），它直接推出 FX-05 的亚线性关系 \(D\propto N^{\alpha_N/\alpha_D}\sim N^{0.74}\)。
  

假设清单：模型容量不构成瓶颈；早停（一旦 test loss 停止下降就停，所以这是「给定 (D) 的最优 loss」，不是「训练到底的 loss」）；只训单个模型形状，没有对每个 (D) 重新选最优模型；用了 10% dropout 但没有针对 (D) 调正则强度（作者自陈 we have not optimized regularization while varying dataset and model size）；数据子集从同一 WebText2 抽取，分布不变。

  ③ 数值例
  

数据从 (10^{9}) 涨到 (10^{12}) tokens（1000 倍），loss 只降 (1-1000^{-0.095}=1-10^{-0.285}=48.1%)。三个数量级的数据换不到一半的 loss——这就是「数据墙」的焦虑在数值上的样子：真正稀缺的从来不是「更多一点数据」，而是「再多两三个数量级的数据」。反过来，从 (2.2\times10^{10})（完整 WebText2）到 (1.5\times10^{13})（现代万亿级语料）大约 680 倍，按此式 loss 降 (1-680^{-0.095}=45.9%)。

  ④ 假设与失效边界
  

A · 最小数据子集直接拟合失败。(2\times10^{7}) tokens 的子集（一个 epoch 只有约 40 次更新）明显偏离趋势线，作者认为那是「另一个 regime」。幂律有下边界，而这个下边界没有被刻画。

B · 单 epoch 假设。论文没有系统研究多 epoch。数据受限、必须重复时这条律失效——Muennighoff 等证明最多约 4 个 epoch 的重复几乎无损，此后收益指数衰减（arXiv:2305.16264），完整形式见 F2.7。

C · 只在一个模型形状上测。(D_c) 与 (\alpha_D) 是否随模型形状漂移，论文没有回答。

**D · ⚠ 同一篇论文里存在两个 (\alpha_D)。**Table 5 的单变量拟合给 0.095，Table 2 的联合 (L(N,D)) 拟合给 0.103。作者的解释是「here we are fitting the full (L(N,D)) rather than just (L(\infty,D))」，但后果很实在：著名的 (D\gtrsim(5\times10^{3})N^{0.74}) 用的是 0.103（(0.076/0.103=0.738)），若改用 0.095 会得到 (N^{0.80})。下游任何引用 (\alpha_N/\alpha_D) 的地方都必须说清用的是哪一套。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.2) 与 Table 5（(\alpha_D=0.095,\ D_c=5.4\times10^{13})，常数核实无误）；联合拟合值见 Table 2（(\alpha_D=0.103)）；小数据集偏离见 §4 与 Fig.9。反方：arXiv:2305.16264 Abstract。

⚑ 本报告核验 · 两个 \(\alpha_D\) 的账

Kaplan 论文中 (\alpha_D) 出现两个值：Table 5 = 0.095（单变量 (L(D)) 拟合）与 Table 2 = 0.103（联合 (L(N,D)) 拟合）。这不是印刷错误，是两次不同的拟合，但论文正文引用时并未每次都注明来源，导致下游二手资料把两个数混着用。判定方法很简单：凡是出现 (N^{0.74}) 的地方，用的一定是 0.103；凡是单独引用「数据幂律指数」的地方，通常是 0.095。同一批常数还有第三套（Table 3 的学习曲线拟合给 (\alpha_N=0.077,\ N_c=6.5\times10^{13})）。引用时不写明来自哪张表，等于没写。

FX-03

算力幂律 (L(C)) 与 (L(C_{\min}))：两条律，必须分开

T2 官方论文

  ① 直觉
  

论文给了两条算力律，混用是常见错误。第一条 (L(C)) 是「在论文实际用的固定 batch size 下」的经验拟合；第二条 (L(C_{\min})) 是「把 batch size 用得不最优这个混杂因素除掉之后」的干净算力坐标。作者在脚注里明确说：应当用于外推的是 (C_{\min}) 那条（it is the trend with (C_{\rm min}) that should be used to make predictions）。(\alpha_C^{\min}=0.050) 的含义是：算力翻 10 倍，loss 只降 (1-10^{-0.05}=10.9%)。这条曲线跨越 (C_{\min}) 的 8 个数量级仍然是直线，这才是它有说服力的真正原因——不是斜率好看，而是直线够长。

  ② 推导
  

（a）朴素算力律（固定 batch size 下的经验拟合）： [ L(C)=\left(\frac{C_{c}}{C}\right)^{\alpha_{C}},\qquad \alpha_{C}=0.057,\quad C_{c}=1.6\times10^{7}\ \text{PF-days} ]1 PF-day (=10^{15}\times24\times3600=8.64\times10^{19}) FLOPs。论文实验里 batch 对所有模型固定为 (2^{19}) tokens，对晚期大模型太小、对早期太大，都不最优。

（b）最优 batch size 修正后的算力律： [ L(C_{\min})=\left(\frac{C_{c}^{\min}}{C_{\min}}\right)^{\alpha_{C}^{\min}},\qquad \alpha_{C}^{\min}=0.050,\quad C_{c}^{\min}=3.1\times10^{8}\ \text{PF-days} ]四个常数（(\alpha_C,\ C_c,\ \alpha_C^{\min},\ C_c^{\min})）已逐字核实无误。

**为什么要区分？**从临界 batch size 理论的 Pareto 关系 ((S/S_{\min}-1)(E/E_{\min}-1)=1) 出发，在 batch size (B) 下达到目标 loss 需要 [ S=S_{\min}\left(1+\frac{B_{\rm crit}}{B}\right),\qquad E=BS=E_{\min}\left(1+\frac{B}{B_{\rm crit}}\right) ](S) 为参数更新步数，(E=BS) 为处理的 token 总数，(B_{\rm crit}(L)) 为临界 batch size（只依赖 (L)，不依赖 (N)）。

算力 (\propto E)，所以 (C=C_{\min}(1+B/B_{\rm crit}))，反解即得定义式： [ C_{\min}(C)\equiv\frac{C}{1+B/B_{\rm crit}(L)} ]式(5.5)。它的物理含义是「如果用 (B\ll B_{\rm crit}) 训练所需的最小算力」。在 (B=B_{\rm crit}) 处训练时 (C=2C_{\min})——这个因子 2 后面在 (D(C_{\min})) 的前因子里会再次出现。

  ③ 数值例
  

算力预算的常用换算：(C=10^{4}) PF-days (=8.64\times10^{23}) FLOPs；(C=10^{6}) PF-days (=8.64\times10^{25}) FLOPs。按 (L(C_{\min}))，从 (10^{2}) 涨到 (10^{6}) PF-days（(10^{4}) 倍算力），loss 降 (1-10^{-4\times0.05}=1-10^{-0.2}=36.9%)。四个数量级的算力，换来三分之一多一点的 loss 下降——这就是「AI 的摩尔定律」的真实斜率：极其残酷，但极其可预测，而可预测正是它能被写进预算文件的原因。

  ④ 假设与失效边界
  

A · (L(C)) 的拟合里有一个「肿块」。在 (10^{-5}) PF-days 附近，那是 1 层网络到 2 层网络的过渡；作者手动剔除了 1 层网络。

B · 没有不可约损失项。(C\to\infty) 时公式预测 (L\to0)，物理上不可能。Chinchilla 的 (L=E+\cdots) 修正了这一点，而 Pearce & Song 指出这正是两篇论文 compute-loss 指数差异（0.057 vs 0.155–0.178）的主因之一（arXiv:2406.12907 式(41)–(45)）。

**C · PF-days 与硬件效率绑定。**跨代硬件比较需谨慎，它不是纯粹的算法量。

D · (C\approx6NBS) 忽略了 embedding/de-embedding 的 FLOPs，也忽略 attention 的 (n_{\rm ctx}) 依赖项。精确式为 (C_{\rm forward}\approx2N+2n_{\rm layer}n_{\rm ctx}d_{\rm attn})，作者论证 (d_{\rm model}\gg n_{\rm ctx}/12) 时后项可忽略。这个「6」的近似正是后来 Porian 等找到的三个偏差源之一。

E · 作者自曝的内部矛盾。§6.3 指出 (L(C_{\min})\propto C_{\min}^{-0.050}) 与数据受限时的 (L(D(C_{\min}))\propto C_{\min}^{-0.03}) 必然相交，交点在 (C^{}\sim10^{4}) PF-days、(N^{}\sim10^{12})、(D^{}\sim10^{12})、(L^{}\sim1.7) nats/token。详见下文 F1.10。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.3)（两条算力律）、式(5.5)（(C_{\min}) 定义）、Table 5（四个常数）、§6.3（内部矛盾与交点）；(C\approx6NBS) 的精确性讨论见 §2.1。反方：arXiv:2406.12907 式(41)–(45)、arXiv:2406.19146 §3。

⚑ 本报告核验 · \(\alpha_C^{\min}\) 在原文中的五处不一致

这是本档案对 Kaplan 论文最重要的一处核验结果，此前未见二手资料完整列出。同一个量 (\alpha_C^{\min}) 在论文不同位置写作不同的数，并且这些差别会一路传导到人人引用的那个「0.73」：

  #出现位置数值性质| # | 出现位置 | 数值 | 性质 |

  
    1正文 式(6.4)**\(\alpha_C^{\min}\approx0.054\)**⚠ 与附录不符，**疑为笔误**| 1 | 正文 式(6.4) | \(\alpha_C^{\min}\approx0.054\) | ⚠ 与附录不符，疑为笔误 |

    2Appendix 式(B.7)**\(\alpha_C^{\min}\approx0.052\)**与手算一致| 2 | Appendix 式(B.7) | \(\alpha_C^{\min}\approx0.052\) | 与手算一致 |

    3Table 5（经验拟合）**\(\alpha_C^{\min}=0.050\)**直接拟合值，与解析值不同属正常| 3 | Table 5（经验拟合） | \(\alpha_C^{\min}=0.050\) | 直接拟合值，与解析值不同属正常 |

    4用 Table 5 的三个指数手算**0.0520**\(1/0.076+1/0.21+1/0.76=19.236\)，取倒数| 4 | 用 Table 5 的三个指数手算 | 0.0520 | \(1/0.076+1/0.21+1/0.76=19.236\)，取倒数 |

    5连带后果：\(N\propto C^{?}\)**0.68 / 0.71 / 0.73**解析（用 0.052）/ 式(6.5)（用 0.054）/ 经验拟合式(6.1) 与 Table 6| 5 | 连带后果：\(N\propto C^{?}\) | 0.68 / 0.71 / 0.73 | 解析（用 0.052）/ 式(6.5)（用 0.054）/ 经验拟合式(6.1) 与 Table 6 |

  

结论：全世界引用的「Kaplan 说 (N\propto C^{0.73})」是经验拟合值，不是解析值；解析值是 0.68。这个差别在讨论「Kaplan 与 Chinchilla 差了多少」时并非可忽略的小数点——0.68 与 0.73 之间的距离，已经占了 Kaplan（0.73）到 Chinchilla（0.50）总差距的两成。

FX-04

联合律 (L(N,D))：三条原则如何逼出这个不对称形式

T2 官方论文

  ① 直觉
  

把 (\left(\frac{N_c}{N}\right)^{\alpha_N/\alpha_D}) 想成「模型自身的分辨率极限」，把 (\frac{D_c}{D}) 想成「数据噪声地板」。两者在 (1/\alpha_D) 次幂的坐标里相加，谁大谁主导——这就是木桶效应的定量版。外面那个 (\alpha_D) 次幂只负责把这个和换算回 loss 单位。这一节是全篇最有理论味道的部分：函数形式不是拟合出来的，是先由三条原则推出来、再拟合参数的。

  ② 推导
  \[ L(N,D)=\left[\left(\frac{N_{c}}{N}\right)^{\frac{\alpha_{N}}{\alpha_{D}}}+\frac{D_{c}}{D}\right]^{\alpha_{D}} \]联合拟合值（Table 2，**注意与 Table 5 不同**）：\(\alpha_N=0.076,\ \alpha_D=0.103,\ N_c=6.4\times10^{13},\ D_c=1.8\times10^{13}\)。
  

原则 1（重参数化不变性）：改变词表大小或 tokenization 应当只把 loss 整体缩放一个因子。数学后果是函数形式必须允许通过重定义 (N_c,D_c) 吸收这个缩放——这也直接推出「(N_c,D_c) 没有基本含义」。

原则 2（正确的两个极限）： [ \lim_{N\to\infty}L(N,D)=L(D),\qquad \lim_{D\to\infty}L(N,D)=L(N) ]验证：(N\to\infty) 时第一项 (\to0)，剩 ((D_c/D)^{\alpha_D}=L(D))；(D\to\infty) 时第二项 (\to0)，剩 (\left[(N_c/N)^{\alpha_N/\alpha_D}\right]^{\alpha_D}=(N_c/N)^{\alpha_N}=L(N))。

物理理由是：早停 + 统一优化意味着大模型永远不比小模型差；有限 (D) 下任何模型都达不到文本熵；固定 (N) 的模型是容量受限的。**关键在于作者由此指出：知道 (L(N,\infty)) 与 (L(\infty,D)) 就已经完全确定了 (L(N,D)) 的所有参数——联合律没有引入任何新自由度。**这是它可信的重要理由，也是它可被证伪的地方。

原则 3（在 (1/D=0) 处解析）：(L(N,D)) 应在 (D=\infty) 处解析，即存在 (1/D) 的整数幂级数展开。论证是：过拟合应当与数据集的方差/信噪比相关，而这类量按 (1/D) 缩放（中心极限定理）。作者自己承认这条最弱：「Theoretical support for this principle is significantly weaker than for the first two」，且该论证「assumes that (1/D) corrections dominate over other sources of variance, such as the finite batch size」。 展开：为什么原则 3 会逼出这个不对称形式（对称写法为什么被否掉）

**第一步 · 写出最「自然」的对称候选。**如果不考虑原则 3，最自然的写法是把两个幂律直接相加再取幂： [ L_{\rm sym}(N,D)=\left[\left(\frac{N_c}{N}\right)^{\alpha_N}+\left(\frac{D_c}{D}\right)^{\alpha_D}\right]^{\beta} ]它在 (\beta=1) 时满足原则 1 和原则 2，形式上也更对称好看。

第二步 · 检查它是否满足原则 3。把 (L_{\rm sym}) 在 (1/D) 附近展开，领头的修正项是 (D^{-\alpha_D}=D^{-0.095})——这是一个非整数幂，违反原则 3；而且它比 Kaplan 形式多引入一个自由参数 (\beta)。作者在 §4.1 的脚注 3 中正是以这两条理由否掉了对称形式。

第三步 · 验证 Kaplan 形式满足原则 3。令 (u\equiv(N_c/N)^{\alpha_N/\alpha_D})（与 (D) 无关），则 [ L=\left[u+\frac{D_c}{D}\right]^{\alpha_D}=u^{\alpha_D}\left[1+\frac{D_c}{uD}\right]^{\alpha_D}=u^{\alpha_D}\left[1+\alpha_D\frac{D_c}{uD}+\frac{\alpha_D(\alpha_D-1)}{2}\left(\frac{D_c}{uD}\right)^{2}+\cdots\right] ]这是一个纯粹的 (1/D) 整数幂级数——原则 3 被满足。而 (u^{\alpha_D}=(N_c/N)^{\alpha_N}=L(N,\infty))。

**第四步 · 读出过拟合的精确含义。**代回上式： [ L(N,D)=L(N,\infty)\left[1+\alpha_D\left(\frac{N}{N_c}\right)^{\alpha_N/\alpha_D}\frac{D_c}{D}+O(D^{-2})\right] ]「过拟合是 (1/D) 的级数」这句话由此得到精确含义：领头阶的过拟合罚项正比于 (N^{\alpha_N/\alpha_D}/D)。这就是为什么 (D) 必须与 (N^{0.74}) 同步增长，见 FX-05。

**读法。**整个论证的逻辑链是「三条原则 → 唯一函数形式 → 拟合四个常数」，而不是「先拟合再解释」。它的强度完全取决于最弱的那一环，也就是原则 3。Chinchilla 后来用的 (L=E+A/N^{\alpha}+B/D^{\beta}) 满足原则 1、2 却不满足原则 3（(D^{-0.28}) 是非整数幂），而它拟合得更好——这等于说 Kaplan 唯一的「理论」被证伪了。

  ③ 数值例
  

取 Table 2 的一组值，看一个 (N=10^{9}) 的模型在不同数据量下的过拟合罚项有多大： [ \left(\frac{N}{N_{c}}\right)^{\alpha_{N}/\alpha_{D}}=\left(\frac{10^{9}}{6.4\times10^{13}}\right)^{0.738}=10^{0.738\times(-4.806)}=10^{-3.547}=2.84\times10^{-4} ]代回 FX-04 的领头阶展开，罚项为 (\alpha_{D}\times2.84\times10^{-4}\times\dfrac{1.8\times10^{13}}{D}=\dfrac{5.27\times10^{8}}{D})。

当 (D=10^{10}) 时罚项约 5.3%，当 (D=10^{11}) 时降到 0.53%——数据量一个数量级的差别，直接决定这个模型是「明显过拟合」还是「基本没事」。

  ④ 假设与失效边界
  

**A · 原则 3 是猜的。**作者反复声明它比前两条弱得多。如果真实过拟合含有 (D^{-1/2}) 成分（这在统计学习理论里非常常见），整个函数形式就错了。

B · 最小数据集（(2\times10^{7}) tokens）拟合失败，与 FX-02 同一个下边界问题。

C · 固定 10% dropout，没有随 (N,D) 调整；正则强度是过拟合研究里最该被调的量，而它被冻住了。

D · ⚠ 联合拟合的 (\alpha_D=0.103) 与单变量的 0.095 不同，见 FX-02 ④。

**E · 已被更好的形式取代。**Chinchilla 的加性形式带不可约项 (E)、两项指数独立，且有更强的统计学习理论动机：(E) 是自然语言熵，(A/N^{\alpha}) 是逼近误差（两层网络上期望 (\propto N^{-1/2})，Siegel & Xu 2020），(B/D^{\beta}) 是早停下随机一阶方法的收敛率（Robbins–Monro 下界 (D^{-1/2})）。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.5)/(4.1)、Table 2（联合拟合四常数）、§4.1（三条原则与否掉对称形式的脚注 3）。对照形式：arXiv:2203.15556 式(2) 与 §D.2 式(9)。

FX-05

过拟合判据 (D\gtrsim(5\times10^{3})N^{0.74})

T2 官方论文

  ① 直觉
  

「我这个模型多大、数据多少，会不会过拟合？」需要一个能写在白板上的判据。答案是：模型规模每涨 8 倍，数据只需要涨约 5 倍就不会额外过拟合（(8^{0.74}=4.86)）。这正是论文摘要里那句话的来源，也是「参数优先」这个工程直觉的第一块基石——因为数据只要亚线性地跟上就行。

  ② 推导
  

定义相对过拟合幅度 (\delta L)，即有限数据的早停 loss 比无限数据高出的比例： [ \delta L(N,D)\equiv\frac{L(N,D)}{L(N,\infty)}-1=\left[1+\left(\frac{N}{N_{c}}\right)^{\frac{\alpha_{N}}{\alpha_{D}}}\frac{D_{c}}{D}\right]^{\alpha_{D}}-1 ]式(4.3)。这是一个「标度崩塌」结论：(\delta L) 只依赖组合量 (x\equiv N^{\alpha_N/\alpha_D}/D)，而不分别依赖 (N,D)。论文 Fig.9（右）把所有点画在 (x) 轴上，确实塌缩到一条曲线。

令 (\delta L=\delta) 并反解 (D)： [ D=\frac{D_{c},N_{c}^{-\alpha_{N}/\alpha_{D}}}{(1+\delta)^{1/\alpha_{D}}-1};N^{\alpha_{N}/\alpha_{D}} ;\Longrightarrow; D\gtrsim(5\times10^{3}),N^{0.74} ]式(4.4)。指数 (\alpha_N/\alpha_D=0.076/0.103=0.738\approx0.74)。注意：用 Table 5 的 (\alpha_D=0.095) 会得到 0.80，不是 0.74；论文的 0.74 来自 Table 2。

  ③ 数值例
  

论文只给了取整后的「(5\times10^{3})」，没有给复算过程。本档案完整复算了这个系数，结果为 (5.5\times10^{3})，与论文取整一致——这是本节最重要的核实工作。 展开：(5.5\times10^{3}) 系数的完整数值复算（本报告复算）

第一步 · 确定输入。用 Table 2 的联合拟合值：(\alpha_N=0.076)、(\alpha_D=0.103)、(N_c=6.4\times10^{13})、(D_c=1.8\times10^{13})。阈值取 (\delta=0.02)，理由是随机种子造成的 loss 波动约 0.02（论文原话 variation in the loss with different random seeds is roughly 0.02）——这是整条判据里唯一的经验输入。

第二步 · 算分母。 [ (1.02)^{1/0.103}=(1.02)^{9.709}=e^{9.709\times0.019803}=e^{0.19227}=1.2120 ;\Rightarrow; (1+\delta)^{1/\alpha_D}-1=0.2120 ]

第三步 · 算 (N_c) 的幂。 [ N_c^{0.738}=(6.4\times10^{13})^{0.738}=10^{13.806\times0.738}=10^{10.189}=1.546\times10^{10} ]

第四步 · 合并。 [ \frac{D_c}{N_c^{0.738}}=\frac{1.8\times10^{13}}{1.546\times10^{10}}=1164.3 \qquad\Rightarrow\qquad \frac{1164.3}{0.2120}=5492\approx5.5\times10^{3} ]即 (D\gtrsim5.5\times10^{3},N^{0.738})，与论文写的 (D\gtrsim(5\times10^{3})N^{0.74}) 完全吻合（论文取了整）。

读法。这条判据的系数对阈值 (\delta) 极其敏感：把 (\delta) 从 0.02 放宽到 0.05，系数会降到约 (2.2\times10^{3})，也就是对数据量的要求直接减半以上。换句话说，「需要多少数据」这个问题的答案，有一半取决于你把多大的 loss 抖动算作过拟合。

  ④ 假设与失效边界
  

A · (\delta=0.02) 是拍出来的（来自随机种子波动），换阈值系数就变。

**B · 没有优化正则。**作者明说「we have not optimized regularization (eg the dropout probability) while varying dataset and model size」——更好的正则可能让判据宽松很多。

C · 指数对 (\alpha_D) 极其敏感：0.095 与 0.103 之间的差别就是 (N^{0.80}) 与 (N^{0.74}) 的差别。

**D · 它回答的问题与 F1.7 不同，而两者互相矛盾。**这条判据说的是「避免过拟合所需的数据量」（(D\propto N^{0.74}\propto C^{0.54})），而 F1.7 说的是「算力最优所需的数据量」（(D\propto C^{0.27})）。后者比前者慢得多，作者在 §6.3 明确承认这是个矛盾，并把交点解释为「scaling law 的失效点」。

**E · 现代实践已远超它。**Llama 3 用 15T tokens 训 8B/70B/405B，远远超出这条判据的「必要量」——因为业界的目标函数已经从「避免过拟合」换成了「摊销推理成本」，见 F2.8。数据重复的存在（arXiv:2305.16264）也使这条判据不再是硬约束。

  ⑤ 论文出处
  

arXiv:2001.08361 式(4.2)(4.3)(4.4)，标度塌缩见 Fig.9（右），矛盾自陈见 §6.3。系数 (5.5\times10^{3}) 的复算为本档案独立完成（论文只给取整值 (5\times10^{3})）。反方：arXiv:2305.16264、arXiv:2401.00448。

FX-06

学习曲线 (L(N,S_{\min}))：把「时间」也变成一条幂律

T2 官方论文

  ① 直觉
  

FX-04 讲的是「数据受限」，这条讲的是「时间受限」：数据无限，但只训 (S) 步。读法很干净——loss = 「你的模型再训多久也降不下去的部分」+「你还没训够的部分」。第二项以 (S^{-0.76}) 衰减，比 (N) 和 (D) 的幂律（0.076 / 0.095）陡一个数量级，意味着在早期多训一会儿的边际收益远大于多加参数。这正是 compute-optimal 会给出「少训、多参」建议的机制：既然训练收益衰减这么快，就应该早点停下来把钱挪给参数。

  ② 推导
  \[ L(N,S_{\min})=\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+\left(\frac{S_{c}}{S_{\min}}\right)^{\alpha_{S}} \]Table 3 拟合值：\(\alpha_N=0.077,\ \alpha_S=0.76,\ N_c=6.5\times10^{13},\ S_c=2.1\times10^{3}\)。注意这里的 \(\alpha_N,N_c\) 与 Table 5、Table 2 又各不相同。
  

其中步数需要先做临界 batch size 修正： [ S_{\min}(S)=\frac{S}{1+B_{\rm crit}(L)/B} ]式(5.4)。把在 (B=2^{19}) tokens 下训的步数，换算成「在 (B\gg B_{\rm crit}) 下需要的最小步数」。这一步依赖整套梯度噪声尺度理论，是 FX-06 结论可靠性的最大外部依赖。

形式是有理由的：(S\to\infty) 时应回到 (L(N))（第一项），所以第二项必须 (\to0)；早期训练是幂律衰减，所以第二项取幂律。作者对 (\alpha_S=0.76) 给了一个漂亮的物理解读：「Since the fits are best late in training, when the loss may be approximately quadratic, the power-law should provide information about the spectrum of the Hessian of the loss. Its universality suggests that the Hessian eigenvalue density is roughly independent of model size.」即 (\alpha_S) 反映的是损失 Hessian 特征值密度的幂律尾巴，而它与模型大小无关——这是全篇最接近统计力学的一句话。

  ③ 数值例
  

取 (S_c=2.1\times10^{3})、(\alpha_S=0.76)，看优化项随步数怎么掉： [ S_{\min}=10^{4}:\ \left(\frac{2100}{10^{4}}\right)^{0.76}=(0.21)^{0.76}=e^{0.76\times(-1.5606)}=e^{-1.186}=0.305 ]再训十倍步数：(S_{\min}=10^{5}) 时为 ((0.021)^{0.76}=e^{0.76\times(-3.863)}=e^{-2.936}=0.053)。

步数涨 10 倍，优化项降到 17%——对比参数翻倍只降 5.1%，这个陡峭程度一目了然。但也正因为它陡，它很快就跌到远小于容量项 ((N_c/N)^{\alpha_N}) 的量级，此后再训就几乎没有收益，这就是「早停」的定量含义。

  ④ 假设与失效边界
  

**A · 训练早期完全不适用。**作者明说「the power-law equation for the learning curves breaks down very early in training」，即 transient period 内该式无效。

**B · 加性可分是假设。**真实优化动力学中模型容量与优化难度是耦合的，这里把它们当成两个独立相加的项。

**C · 依赖 (B_{\rm crit}(L)) 的外推。**作者自陈「We are not especially confident in the prediction of (B_{\rm crit}(L)) for values of the loss far outside the range we have explored」——而 F1.7 的整套算力配比结论，恰恰建立在这个外推之上。

**D · 只用 warmup 之后的步。**论文明说「We include all training steps after the warmup period」。这句看似无害的话是重大伏笔：3000 步 warmup 对训练步数少的小模型占比过大，Porian 等指出这直接扭曲了整条 compute-optimal 曲线（arXiv:2406.19146）。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.6)/(5.6) 与 Table 3（(\alpha_S=0.76,\ S_c=2.1\times10^{3})）；(S_{\min}) 定义式(5.4)；Hessian 解读与「早期失效」自陈见 §5.1。反方：arXiv:2406.19146 §3.4。

F1.8 · 几乎所有增量算力都应该给模型，数据几乎不长

把 F1.7 的三个指数（完整推导见下一节 算力最优配比）代进去，就得到这篇论文对工程实践影响最大的一句话。论文 Fig.3 的核心叙事是：当算力涨 (10^{9}) 倍时，模型要大 (10^{9\times0.73}=10^{6.6}\approx4\times10^{6}) 倍，数据只多 (10^{9\times0.27}=10^{2.4}\approx250) 倍；而这 250 倍里绝大部分还被用于加大 batch（(10^{9\times0.24}\approx10^{2.16})），串行步数几乎不变（(10^{9\times0.03}=10^{0.27}\approx1.9) 倍）。用论文自己的话：「Optimal model size grows very rapidly with (C_{\min}), increasing by 5x for each 10x increase in compute. The number of data examples processed makes up the remainder of the increase, growing relatively modestly by only 2x.」（(10^{0.73}=5.4)，(10^{0.27}=1.86)）

● 为什么这个结论在数学上是必然的

因为 (\alpha_N) 是三个指数里最小的（(0.076\lt0.21\lt0.76)），而资源分配比例正比于指数的倒数：(1/\alpha_N=13.16) 占了 (1/\alpha_C^{\min}=19.24) 的 68%。**「模型规模的收益衰减最慢」这一个经验事实，机械地推出「钱应该花在模型上」。**这里没有任何价值判断，只有一个除法。

而它后来被推翻，也不是因为数学错了，而是因为 (\alpha_N) 这个数本身就依赖于你如何定义 (N)（含不含 embedding）、以及你用什么学习率调度去测它。指数不是自然常数，是实验协议的指纹。

F1.9 · 样本效率：训大模型、早停、别训到收敛

论文 Appendix B.3 给了一个非常具体的对比。定义收敛因子 (f) 为「当前 loss 比该模型训到底的 loss 高多少百分比」：算力最优对应 (f=\alpha_N/\alpha_S\approx10%)，而研究者的习惯做法约为 (f’=2%)（也就是几乎训到收敛）。要达到同一个 loss，两种做法的资源比为：

[ \frac{N_f}{N_{f’}}=\left(\frac{1+f}{1+f’}\right)^{1/\alpha_N}\approx2.7,\qquad \frac{S_f}{S_{f’}}=\left(\frac{1+1/f}{1+1/f’}\right)^{1/\alpha_S}\approx0.13,\qquad \frac{C_f}{C_{f’}}\approx0.35 ]第一式来自 (L=(1+f)(N_c/N)^{\alpha_N}) 在固定 (L) 下解 (N)：((1.10/1.02)^{1/0.076}=(1.0784)^{13.16}=e^{0.9933}=2.70)。第二式来自最优条件下 ((S_c/S)^{\alpha_S}=\frac{f}{1+f}L)：((11/51)^{1/0.76}=(0.2157)^{1.316}=e^{-2.019}=0.133)。

论文的原话是：「compute-efficient training uses 7.7x fewer parameter updates, 2.7x more parameters, and 65% less compute to reach the same loss.」翻译成工程决策就是一句话：不要训到收敛——训一个大 2.7 倍的模型、只训 1/7.7 的步数，省 65% 算力。这也是「大模型样本效率更高」的操作化含义：不是说大模型对每个 token 学得更多（虽然也对），而是说在固定算力下，把钱花在参数上比花在步数上划算。

▲ 这条建议成立的全部前提

「早停」的最优程度完全建立在 (\alpha_S=0.76\gg\alpha_N=0.076) 这个十倍差距上。如果 (\alpha_S) 被高估——例如因为 3000 步 warmup 污染了小模型的早期学习曲线，使其看起来衰减得更快——那么「应该早停多少」就被系统性地高估了。Porian 等（arXiv:2406.19146）正是从这里下手，把 Kaplan 的 0.73 一路修回接近 0.50。

F1.10 · 论文自曝的矛盾：两条律必然相交

这是全篇最像「物理学家写的」一段，也是最诚实的一段。两条律给出的数据需求增速对不上：避免过拟合要求 (D\propto N^{0.74}\propto C_{\min}^{0.73\times0.74}=C_{\min}^{0.54})，而算力最优只提供 (D\propto C_{\min}^{0.27})（甚至 0.26）。数据供给的增速不到需求的一半，因此 (L(D(C_{\min}))\propto C_{\min}^{-0.095\times0.26}\approx C_{\min}^{-0.03}) 与 (L(C_{\min})\propto C_{\min}^{-0.050}) 必然相交：

[ C^{}\sim10^{4}\ \text{PF-days},\quad N^{}\sim10^{12},\quad D^{}\sim10^{12},\quad L^{}\sim1.7\ \text{nats/token} ]§6.3。作者的猜想：「perhaps this means that once we reach (C^_{\min}) and (N^), we have extracted all of the reliable information available in natural language data. In this interpretation, (L^*) would provide a rough estimate for the entropy-per-token of natural language.」

● 一个值得玩味的巧合，和一个已经被证伪的预言

巧合：Chinchilla 后来独立拟合出的不可约损失 (E=1.69)，与 Kaplan 这个交点估计的 (L^{*}\sim1.7) 数值上几乎重合。两条完全独立的路径给出同一个「自然语言熵」估计——这可能有深意，也可能只是巧合，本报告不做过度解读。

已被证伪的部分：交点算力 (C^{*}\sim10^{4}) PF-days 即 (8.64\times10^{23}) FLOPs。按公开估算，GPT-4 级别的训练算力约 (2\times10^{25}) FLOPs（估算值，OpenAI 未公布），已超过它 20 倍以上，而 scaling law 显然没有在那里崩塌。所以这个「交点」预言是错的——或者更准确地说，它被 Chinchilla 式的重新配比（把数据涨上去）绕过了。作者自己也留了余地：「the numerical values are highly uncertain, varying by an order of magnitude in either direction」。

▲ F1 总局限清单（十条）

1 · (N) 不含 embedding，这是与 Chinchilla 分歧的核心议题。2 · 固定 LR schedule：3000 步 warmup 对短训练占比过大；cosine 衰减到 (2.5\times10^{5}) 步意味着短训练几乎没享受到退火——Porian 等计算，在其复现的算力范围内最优训练量从不超过 10B tokens，对应 cosine 只衰减了不到 1.5%。3 · 单 epoch、无数据重复。 4 · 只在 WebText2 英文网页文本上测。 5 · 只优化交叉熵（nats/token），与下游任务表现的关系完全没有建立。

6 · 只在 Transformer decoder 上，且 loss 对宽深比的弱依赖是经验观察而非定理。7 · 早停、未训练到收敛（对 (L(D)) 与 (L(N,D)) 实验而言）。8 · (C\approx6NBS) 忽略 embedding/de-embedding FLOPs。 9 · 未考虑推理成本——Sardana & Frankle 指出推理密集场景下应当「过训练」小模型（arXiv:2401.00448）。10 · 外推范围：(N) 只测到 1.5B，却被用来论证 175B 甚至 1T。

F1.7 · 算力最优配比：一次完整的拉格朗日推导（全站推导范式样板）

这是本章推导范式的标准样例，后面所有公式都照这个格式写：从一个可写下的目标出发，明确约束，做变分，得到一个可以指导工程的结论，最后写清它在什么条件下不成立。Kaplan 原文用的是代入法（Appendix B），本节先给一个更透明的拉格朗日版本，再给论文原版，并说明两者完全等价。

◈ 要回答的问题

给定固定的训练算力预算 (C=6NBS)，应该把它分给更大的模型、更大的 batch，还是更多的步数？直觉给不出答案，但拉格朗日乘子法可以——而且答案只依赖三个幂律指数的相对大小，与所有前因子无关。这一节要求出的是 (N_{\rm opt},B_{\rm opt},S_{\rm opt},D_{\rm opt}) 各自如何随 (C) 缩放。

论文给出的答案（式(1.7) 与 Table 6）：(N\propto C^{0.73})、(B\propto C^{0.24})、(S\propto C^{0.03})、(D=BS\propto C^{0.27})。带前因子的版本为 (N_{\rm opt}=1.3\times10^{9},C_{\min}^{0.73})、(B=2.0\times10^{6},C_{\min}^{0.24}) tokens、(S_{\min}=5.4\times10^{3},C_{\min}^{0.03})、(D_{\rm opt}=2\times10^{10},C_{\min}^{0.27}) tokens（(C_{\min}) 单位为 PF-days）。

展开：F1.7.1 拉格朗日版完整推导（约束 → 变分 → 求解 → 结论 → 读法）

第一步 · 约束：写出目标函数与预算。目标是 FX-06 的两项可加损失，约束是算力预算。三个资源分别是参数量 (N)、batch size (B)、步数 (S)： [ \min_{N,S};L(N,S)=\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+\left(\frac{S_{c}}{S}\right)^{\alpha_{S}} \qquad\text{s.t.}\quad C=6NBS ]假设：(S) 是在临界 batch size 下的步数；(B) 由自洽条件 (B_{\rm crit}(L)=B_{*}L^{-1/\alpha_{B}}) 确定（(\alpha_B=0.21)）；无限数据、单 epoch；(N,B,S) 连续可变。

第二步 · 变分：构造拉格朗日函数并求两个偏导。 [ \mathcal{L}(N,S,\lambda)=\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+\left(\frac{S_{c}}{S}\right)^{\alpha_{S}}+\lambda\left(6NBS-C\right) ] [ \frac{\partial\mathcal{L}}{\partial N}=-\frac{\alpha_{N}}{N}\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+6\lambda BS=0 \quad\text{(i)},\qquad \frac{\partial\mathcal{L}}{\partial S}=-\frac{\alpha_{S}}{S}\left(\frac{S_{c}}{S}\right)^{\alpha_{S}}+6\lambda BN=0 \quad\text{(ii)} ]用到 (\frac{d}{dX}(X_c/X)^{\alpha}=-\frac{\alpha}{X}(X_c/X)^{\alpha})。

第三步 · 求解：相除消去 (\lambda)。(i) 除以 (ii) 得 (\dfrac{\frac{\alpha_N}{N}(N_c/N)^{\alpha_N}}{\frac{\alpha_S}{S}(S_c/S)^{\alpha_S}}=\dfrac{6\lambda BS}{6\lambda BN}=\dfrac{S}{N})，两边同乘 (\frac{N}{S})： [ \boxed{;\alpha_{N}\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}=\alpha_{S}\left(\frac{S_{c}}{S}\right)^{\alpha_{S}};} ]这就是最优点的特征条件，与论文 Appendix 式(B.4) 等价。它的经济学含义是等边际原理：每多花一个对数单位的资源在 (N) 上和在 (S) 上，loss 下降的幅度必须相等。

**第四步 · 结论（其一）：最优 loss 与收敛 loss 成固定比例。**记 (L_\infty\equiv(N_c/N)^{\alpha_N}) 为该模型训到底的 loss。由上式，第二项恰为 (\frac{\alpha_N}{\alpha_S}L_\infty)，故 [ L=L_{\infty}+\frac{\alpha_{N}}{\alpha_{S}}L_{\infty}=\left(1+\frac{\alpha_{N}}{\alpha_{S}}\right)L_{\infty},\qquad \frac{\alpha_{N}}{\alpha_{S}}=\frac{0.076}{0.76}=0.10 ]这就是论文式(B.5)。算力最优训练总是停在「比收敛 loss 高 10%」的位置，与算力预算无关——这是一个 scale-invariant 的停止准则，它把「训练到收敛」这个默认习惯直接判为浪费。

**第五步 · 结论（其二）：消元得三条幂律。**由特征条件解出 (S\propto N^{\alpha_N/\alpha_S})；由 batch 自洽条件 (B=B_{*}L^{-1/\alpha_B}) 与 (L\propto L_\infty\propto N^{-\alpha_N}) 得 (B\propto N^{\alpha_N/\alpha_B})。代回约束： [ C\propto N\cdot N^{\alpha_{N}/\alpha_{B}}\cdot N^{\alpha_{N}/\alpha_{S}}=N^{,\alpha_{N}\left(\frac{1}{\alpha_{N}}+\frac{1}{\alpha_{B}}+\frac{1}{\alpha_{S}}\right)}=N^{\alpha_{N}/\alpha_{C}^{\min}},\qquad \boxed{;\frac{1}{\alpha_{C}^{\min}}\equiv\frac{1}{\alpha_{N}}+\frac{1}{\alpha_{B}}+\frac{1}{\alpha_{S}};} ]于是 (N\propto C^{\alpha_C^{\min}/\alpha_N})、(B\propto C^{\alpha_C^{\min}/\alpha_B})、(S\propto C^{\alpha_C^{\min}/\alpha_S})，且 (L\propto N^{-\alpha_N}\propto C^{-\alpha_C^{\min}})，正是 FX-03 的 (L(C_{\min}))。

**读法 · 三个指数之和恒为 1，这是验算手段。**把三个配比指数加起来： [ \frac{\alpha_{C}^{\min}}{\alpha_{N}}+\frac{\alpha_{C}^{\min}}{\alpha_{B}}+\frac{\alpha_{C}^{\min}}{\alpha_{S}}=\alpha_{C}^{\min}\cdot\frac{1}{\alpha_{C}^{\min}}=1 ]这就是 (0.73+0.24+0.03=1.00) 的来源。任何一次这类推导算完，第一件事就是把指数加起来看是不是 1——不是 1 就一定算错了。

读法 · 谁的指数小，谁分得多。算力预算是被这三个资源「瓜分」的，瓜分比例由各自幂律指数的倒数决定：(\alpha_N=0.076) 最小（收益衰减最慢），所以 (N) 拿走约 73%；(\alpha_S=0.76) 最大（收益衰减最快），所以 (S) 只拿 3%。「加钱要加在模型上」这句话，在这里就是一个除法的结果。

**补充 · (D\propto C^{0.27}) 从哪来。**若在临界 batch size 下训练且不重复数据（单 epoch），处理的数据量 (D=BS\propto C^{0.24}\cdot C^{0.03}=C^{0.27})。论文式(6.7) 给出带前因子的版本： [ D(C_{\min})=\frac{2C_{\min}}{6N(C_{\min})}\approx\left(4\times10^{10}\ \text{tokens}\right)\left(\frac{C_{\min}}{\text{PF-day}}\right)^{0.26} ]这里 (C=2C_{\min}) 是因为在 (B=B_{\rm crit}) 处训练时算力恰为最小算力的 2 倍（见 FX-03 ②）。指数 0.26 与 0.27 的差别来自 (1-0.73=0.27) 与四舍五入。

展开：F1.7.2 论文原版（Appendix B 的代入法），以及它与拉格朗日版为何等价

论文没有用拉格朗日，而是直接把约束解出的 (S=C/(6NB(L))) 代进损失函数，把二元问题化成一元问题： [ L(N,C)=\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+\left(6B_{*}S_{c}\frac{N}{L^{1/\alpha_{B}}C}\right)^{\alpha_{S}} ]式(B.3)。注意第二项里 (L) 自己也依赖 (N)，这是代入法比拉格朗日法麻烦的地方。

然后令 (\partial_{N}L|{C}=0)。链式法则会产生一项正比于 (\frac{\partial L}{\partial N}\big|{C})，但在极值点它恰为零，可以划掉（论文用删除线明示了这一步）： [ 0=-\frac{\alpha_{N}}{N}\left(\frac{N_{c}}{N}\right)^{\alpha_{N}}+\frac{\alpha_{S}}{N}\left(6B_{*}S_{c}\frac{N}{L^{1/\alpha_{B}}C}\right)^{\alpha_{S}}\underbrace{\left(1-\frac{1}{\alpha_{B}}\frac{N}{L}\frac{\partial L}{\partial N}\Big|{C}\right)}{\to,1} ]论文把 (1/\alpha_B\approx1/0.21\approx4.76) 写成了 5。整理即得式(B.4)：(\frac{\alpha_N}{\alpha_S}\left(\frac{N_c}{N}\right)^{\alpha_N}=\left(6B_*S_c\frac{N}{L^{1/\alpha_B}C}\right)^{\alpha_S})。

**两者为何等价。**把式(B.4) 右边用 (S=C/(6NB)) 换回步数坐标，右边就是 ((S_c/S)^{\alpha_S})，于是式(B.4) 逐字变成拉格朗日版的特征条件 (\alpha_N(N_c/N)^{\alpha_N}=\alpha_S(S_c/S)^{\alpha_S})。**代入法与拉格朗日法给出同一个方程，只是前者要手工处理 (L) 对 (N) 的隐依赖，后者由乘子自动吸收。**这也是本站后续所有配比推导一律采用拉格朗日写法的原因：它把「哪些项在极值点自动消失」变成结构性的，而不是需要每次单独论证的技巧。

论文进一步给出算力律的前因子： [ C_{c}=6N_{c}B_{*}S_{c}\left(1+\frac{\alpha_{N}}{\alpha_{S}}\right)^{\frac{1}{\alpha_{S}}+\frac{1}{\alpha_{N}}}\left(\frac{\alpha_{S}}{\alpha_{N}}\right)^{\frac{1}{\alpha_{S}}} ]式(B.8)。本档案已复算其推导路径并与原文一致。前因子只影响截距，不影响 F1.8 的全部定性结论。

把解析值、论文正文值与经验拟合值并排放，就能看清「Kaplan 说 0.73」这句话背后其实是三套数：

量解析值（用 Table 5 的三个 \(\alpha\)）论文正文论文经验拟合| 量 | 解析值（用 Table 5 的三个 \(\alpha\)） | 论文正文 | 论文经验拟合 |


  \(\alpha_C^{\min}\)**0.052**（\(1/0.076+1/0.21+1/0.76=13.158+4.762+1.316=19.236\)）式(6.4) 写 **0.054** ⚠；Appendix 式(B.7) 写 **0.052**Table 5：**0.050**| \(\alpha_C^{\min}\) | 0.052（\(1/0.076+1/0.21+1/0.76=13.158+4.762+1.316=19.236\)） | 式(6.4) 写 0.054 ⚠；Appendix 式(B.7) 写 0.052 | Table 5：0.050 |

  \(N\propto C^{?}\)\(0.052/0.076=0.684\)式(6.5) 写 **0.71**Table 6 / 式(6.1)：**0.73**| \(N\propto C^{?}\) | \(0.052/0.076=0.684\) | 式(6.5) 写 0.71 | Table 6 / 式(6.1)：0.73 |

  \(B\propto C^{?}\)\(0.052/0.21=0.248\)—**0.24**| \(B\propto C^{?}\) | \(0.052/0.21=0.248\) | — | 0.24 |

  \(S\propto C^{?}\)\(0.052/0.76=0.068\)—**0.03**| \(S\propto C^{?}\) | \(0.052/0.76=0.068\) | — | 0.03 |

  三者之和1.000（构造上恒成立）—\(0.73+0.24+0.03=1.00\) ✓| 三者之和 | 1.000（构造上恒成立） | — | \(0.73+0.24+0.03=1.00\) ✓ |





**图 · 算力如何被三个资源瓜分（本报告原创 SVG）：**这张图回答一个问题——**「为什么钱要花在参数上」不是判断，是除法**。条形长度即 Table 6 的经验配比 0.73 / 0.24 / 0.03，而它们各自正比于幂律指数的倒数。图上刻意画了**两条断点**：红字第一条提醒同一篇论文存在三套指数（0.68 解析 / 0.71 正文 / 0.73 经验），第二条提醒整个结论的适用范围只覆盖训练算力。





▲ 这条推导的失效边界

1 · 只优化了训练算力。真实决策要算训练 + 全生命周期推理的总成本。一旦把推理算力计入，最优解会明显偏向更小的模型、更多的数据——因为小模型每次推理都更便宜，而推理次数可能是训练的许多倍。定量版见 F2.8。

**2 · (C\approx6ND)（或 (6NBS)）是粗估。**它忽略 embedding/de-embedding 的 FLOPs、也忽略注意力对序列长度的二次项；长上下文、稀疏与 MoE 架构下必须另行推导。

3 · 可加形式本身是假设。「容量不足」与「优化时间不足」两种损失来源未必可分离相加，只是这个形式拟合得好且便于求解。同样的批评也适用于 (B_{\rm crit}) 只依赖 (L) 而不依赖 (N) 这个更强的假设。

**4 · 结论对指数估计误差敏感。**指数出现在幂次上，小的拟合偏差会被放大成显著不同的工程建议——所以 ④ 才必须与 ② 同等重要。

**5 · ⚠ 这里的 (\alpha_C^{\min}) 取哪个值，会直接改变结论。**取 Appendix 的 0.052 得 (N\propto C^{0.684})；取正文式(6.4) 的 0.054 得 0.71；取 Table 5 经验值配 Table 6 得 0.73。**三个数之间的散布，已经占 Kaplan（0.73）到 Chinchilla（0.50）总差距的两成。**任何拿「0.73 vs 0.50」做对比的论证，都必须先说明自己用的是哪一个 0.73。

F2 · Chinchilla：同样的算力，换个花法，全面更好

arXiv:2203.15556（Hoffmann、Borgeaud、Mensch、Buchatskaya、Cai、Rutherford、de Las Casas 等，Training Compute-Optimal Large Language Models，2022-03-29）是 scaling law 领域少有的干净的因果实验：它不是「我花更多钱做了更好的模型」，而是「同样的钱，换个花法，全面更好」。

设置项Chinchilla 2022与 Kaplan 2020 的关键差别| 设置项 | Chinchilla 2022 | 与 Kaplan 2020 的关键差别 |


  实验规模训练 **>400 个模型**，70M – 16B 参数，5B – 500B tokensKaplan 的 \(N\) 只到 1.5B| 实验规模 | 训练 >400 个模型，70M – 16B 参数，5B – 500B tokens | Kaplan 的 \(N\) 只到 1.5B |

  数据MassiveText（与 Gopher 同）Kaplan 用 WebText2| 数据 | MassiveText（与 Gopher 同） | Kaplan 用 WebText2 |

  优化器**AdamW**Kaplan 用 Adam；Gopher 也用 Adam| 优化器 | AdamW | Kaplan 用 Adam；Gopher 也用 Adam |

  学习率调度**cosine cycle 长度与 token 预算逐一匹配**Kaplan 全部模型共用同一套 schedule —— **这是方法论上最关键的一条差别**| 学习率调度 | cosine cycle 长度与 token 预算逐一匹配 | Kaplan 全部模型共用同一套 schedule —— 这是方法论上最关键的一条差别 |

  \(N\) 的定义**total 参数**（含 embedding）Kaplan 用 non-embedding 参数| \(N\) 的定义 | total 参数（含 embedding） | Kaplan 用 non-embedding 参数 |

  FLOPs 口径\(C=6ND\)，按 Appendix F 精确计，**包含最后一层 de-embedding**Kaplan 的 \(6NBS\) 忽略 embedding/de-embedding| FLOPs 口径 | \(C=6ND\)，按 Appendix F 精确计，包含最后一层 de-embedding | Kaplan 的 \(6NBS\) 忽略 embedding/de-embedding |

  旗舰模型Chinchilla **70B 参数 / 1.4T tokens**与 Gopher（280B / 300B）**同算力**| 旗舰模型 | Chinchilla 70B 参数 / 1.4T tokens | 与 Gopher（280B / 300B）同算力 |






FX-07

参数化损失 (L(N,D)=E+A/N^{\alpha}+B/D^{\beta})

T2 官方论文

  ① 直觉
  

三项对应三个「你为什么还没做到完美」的理由：世界本身有随机性（(E)）、你的模型不够大（(A/N^{\alpha})）、你的数据不够多（(B/D^{\beta})）。三者独立相加，所以任何一项都可能单独成为瓶颈——木桶效应。这比 Kaplan 的耦合形式更符合直觉，也更容易做资源配比。它修掉了 Kaplan 联合律的两个毛病：(a) 没有不可约损失项、预测 (L\to0)；(b) 强行让 (N) 与 (D) 的指数通过 (\alpha_N/\alpha_D) 耦合。

  ② 推导
  \[ \hat L(N,D)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}} \;\Longrightarrow\; L(N,D)=1.69+\frac{406.4}{N^{0.34}}+\frac{410.7}{D^{0.28}} \]Approach 3 的拟合值，五个常数逐字核实无误。更精确的位数（被 Pearce & Song 引用）为 \(\alpha=0.3392,\ \beta=0.2849,\ E=1.693\)。\(N\) 为 total 参数。
  

三项分解的理论动机来自标准的风险分解： [ \underbrace{L(\hat f)}{\text{实际}}=\underbrace{L(f^{*})}{\text{Bayes 风险}}+\underbrace{\left(L(f_{N})-L(f^{*})\right)}{\text{函数逼近误差}}+\underbrace{\left(L(\hat f{N,D})-L(f_{N})\right)}_{\text{随机逼近误差}} ](E) 对应自然语言文本的熵；(A/N^{\alpha}) 是容量为 (N) 的函数类与理想函数的差距（论文引 Siegel & Xu 2020：两层网络上期望 (\propto N^{-1/2})，故 (\alpha) 的「理论上界」是 0.5）；(B/D^{\beta}) 是随机一阶方法在 (D) 个样本上早停的收敛率（Robbins–Monro 下界 (D^{-1/2})，且维度无关，所以这一项只依赖 (D) 不依赖 (N)）。

拟合过程不是最小二乘，而是在 log 空间用 Huber loss，并用 log-sum-exp 算子保证三项为正： [ \min_{a,b,e,\alpha,\beta}\ \sum_{i}\text{Huber}{\delta}\Big(\mathrm{LSE}\big(a-\alpha\log N{i},\ b-\beta\log D_{i},\ e\big)-\log L_{i}\Big),\qquad \delta=10^{-3} ]参数化为 (a=\log A,\ b=\log B,\ e=\log E)；用 L-BFGS，初值网格 (\alpha,\beta\in{0,0.5,\dots,2})、(e\in{-1,-0.5,\dots,1})、(a,b\in{0,5,\dots,25})。

**为什么用 Huber？**论文说 (\delta=10^{-3}) 对离群点鲁棒，这对在 held-out 大模型上的预测性能「很重要」。但它有一个决定性的副作用：论文原话是「The fitted model places increased weight on the points with more FLOPs—automatically considering the low-computational budget points as outliers due to the Huber loss」。这正是 Approach 3 与 Approach 1/2 结果不同的机制性解释，也是 Besiroglu 批评的靶心。

  ③ 数值例
  

代入 Chinchilla 自身的配置 (N=7\times10^{10})、(D=1.4\times10^{12})，把三项分别算出来： [ \frac{406.4}{(7\times10^{10})^{0.34}}=\frac{406.4}{10^{10.845\times0.34}}=\frac{406.4}{4866}=0.0835,\qquad \frac{410.7}{(1.4\times10^{12})^{0.28}}=\frac{410.7}{10^{12.146\times0.28}}=\frac{410.7}{2518}=0.163 ]加上 (E=1.69) 得 (L\approx1.94) nats/token。

值得注意的是三项的比例：不可约项占 87%，两个可优化项加起来只占 13%——这就是「再大的模型也只是在啃剩下那一小截」的定量含义，也说明为什么 loss 上的微小改进能对应可观的能力差异。

  ④ 假设与失效边界
  

**A · 加性可分是强假设。**真实中大模型在少数据上会过拟合（两项耦合），这个形式无法表达。

B · (A=406.4) 与 (B=410.7) 几乎相等纯属巧合，无物理意义——它们的量纲由 (\alpha,\beta) 决定，换个单位就不再接近。把这两个数的接近当成某种对称性，是常见的过度解读。

C · Huber + log 空间使拟合对低算力点不敏感，因此在小规模上外推不可靠。

D · 只在 MassiveText 上、只在 70M–16B 范围内拟合，却外推到 500B+ 参数与 10T tokens。

**E · 指数不是自然常数。**论文自陈「We note that the parameter/data coefficients are both lower than (\frac12); this is expected for the data-efficiency coefficient (but far from the known lower-bound). Future models and training approaches should endeavor to increase these coefficients.」这句「愿景」其实是在说：(\alpha,\beta) 是可以被算法改进推高的，它们是当代方法论的指纹，而不是语言的物理常数。

  ⑤ 论文出处
  

arXiv:2203.15556 式(2)/(10)（函数形式与拟合值）、§D.2 式(9)（风险分解）与式(11)（Huber + LSE 目标）、Appendix F（FLOPs 口径）。更高精度位数见 arXiv:2406.12907 式(9)。反方：arXiv:2404.10102。

FX-08

Chinchilla 算力最优配比：(N_{\rm opt}=G(C/6)^{a}) 的完整推导 ★

T2 官方论文

  ① 直觉
  

与 F1.7 是同一个定理的另一个实例：加性可分损失 + 乘性资源约束 ⟹ 幂律配比。这次只有两个资源（(N) 与 (D)），所以配比指数只由 (\alpha) 与 (\beta) 的相对大小决定。由于 Chinchilla 拟合出的 (\alpha=0.339) 与 (\beta=0.285) 很接近，两个指数就都接近 0.5——参数与数据应该等比例放大。这与 Kaplan 的 0.73 / 0.27 是同一个数学框架下的不同拟合，不是某一方算错了。

  ② 推导
  展开：五步走完整推导（约束 → 变分 → 求解 → 结论 → 读法）
    

第一步 · 约束。目标是 FX-07 的三项损失，约束是训练算力预算： [ \min_{N,D};L(N,D)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}} \qquad\text{s.t.}\quad C=6ND ](E) 是常数，不影响极值点位置，但它的存在改变了 loss 对算力的斜率（这正是 Kaplan 缺项导致指数偏差的来源之一）。

**第二步 · 变分。**构造拉格朗日函数并求两个偏导： [ \mathcal{L}(N,D,\lambda)=E+\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}}-\lambda\left(6ND-C\right) ] [ \frac{\partial\mathcal{L}}{\partial N}=-\alpha AN^{-\alpha-1}-6\lambda D=0\quad\text{(I)},\qquad \frac{\partial\mathcal{L}}{\partial D}=-\beta BD^{-\beta-1}-6\lambda N=0\quad\text{(II)} ]

第三步 · 求解：相除消 (\lambda)。(I) 除以 (II) 得 (\dfrac{\alpha AN^{-\alpha-1}}{\beta BD^{-\beta-1}}=\dfrac{D}{N})，两边同乘 (\dfrac{N}{D})： [ \frac{\alpha AN^{-\alpha-1}\cdot N}{\beta BD^{-\beta-1}\cdot D}=1 ;\Longrightarrow; \boxed{;\alpha AN^{-\alpha}=\beta BD^{-\beta};} ]因为 (\frac{\partial}{\partial\log N}\left(\frac{A}{N^{\alpha}}\right)=-\alpha\frac{A}{N^{\alpha}})，这个条件的含义就是「每多花一个对数单位在 (N) 上和在 (D) 上，loss 下降一样多」。这是经济学里的等边际原理，一字不差。

**第四步 · 结论：代入约束解出闭式。**由 (C=6ND) 得 (D=C/(6N))，代入特征条件： [ \alpha AN^{-\alpha}=\beta B\left(\frac{C}{6N}\right)^{-\beta}=\beta B,6^{\beta}N^{\beta}C^{-\beta} ;\Longrightarrow; N^{\alpha+\beta}=\frac{\alpha A}{\beta B},6^{-\beta}C^{\beta} ] [ \boxed{;N_{\rm opt}(C)=G\left(\frac{C}{6}\right)^{a},\quad D_{\rm opt}(C)=G^{-1}\left(\frac{C}{6}\right)^{b},\quad G=\left(\frac{\alpha A}{\beta B}\right)^{\frac{1}{\alpha+\beta}},\quad a=\frac{\beta}{\alpha+\beta},\ b=\frac{\alpha}{\alpha+\beta};} ]与论文式(4) 完全一致。注意 (a+b=1) 是构造上恒成立的——同样是那个「指数之和为 1」的验算手段。

**第五步 · 读法：两个指数只由 (\alpha,\beta) 的相对大小决定，与 (A,B,E) 无关。**若 (\alpha=\beta)，则 (a=b=0.5)，参数与数据等比例放大；若 (\beta) 远小于 (\alpha)（数据项边际收益很弱），指数就偏向参数一侧，给出「优先堆参数」的建议。**Kaplan 与 Chinchilla 的著名分歧，在这个式子里就是两个指数估计值不同，而不是某一方的数学错了。**前因子 (G) 不影响指数，但它决定了 tokens/param 这个比值的绝对水平——下一节 F2.4 全靠它。

  ③ 数值例
  

本档案的原创复算（论文只给出取整后的 (a=0.46,\ b=0.54) 与 Fig.4 caption 的「40B」，未列出 (G) 的数值与验证过程）。取 (\alpha=0.3392)、(\beta=0.2849)，即 (\alpha+\beta=0.6241)： [ a=\frac{0.2849}{0.6241}=0.4565\approx0.46,\qquad b=\frac{0.3392}{0.6241}=0.5435\approx0.54 ]与论文 Approach 3 报告的 (a=0.46,\ b=0.54) 一致。 [ G=\left(\frac{0.3392\times406.4}{0.2849\times410.7}\right)^{1/0.6241}=\left(\frac{137.85}{117.01}\right)^{1.6023}=(1.1781)^{1.6023}=e^{1.6023\times0.16391}=e^{0.26263}=\mathbf{1.300} ](G=1.300) 是本档案独立复算的结果，论文正文未直接给出这个数值。

用 Gopher 算力点验证：(C=5.76\times10^{23}) FLOPs (\Rightarrow C/6=9.6\times10^{22})。 [ N_{\rm opt}=1.300\times(9.6\times10^{22})^{0.4565}=1.300\times10^{22.9823\times0.4565}=1.300\times10^{10.4915}=1.300\times3.10\times10^{10}=4.03\times10^{10} ]即 40B 参数。论文 Fig.4 caption 原话：「We project the optimal model size given the Gopher FLOP budget to be 40B parameters.」完美吻合——这验证了本档案的全部代数与数值。 [ D_{\rm opt}=\frac{1}{1.300}\times(9.6\times10^{22})^{0.5435}=\frac{1}{1.300}\times10^{12.4908}=\frac{3.096\times10^{12}}{1.300}=2.38\times10^{12} ]即 2.38T tokens，对应 (D/N\approx59) tokens/param。请记住这个 59，它与「20 tokens/param」那条流行法则并不相等——原因见 F2.4。

  ④ 假设与失效边界
  

A · 全部继承 FX-07 的四条局限（加性可分、Huber 降权低算力点、拟合区间只到 16B、只在 MassiveText 上）。

B · (C=6ND) 只算训练算力，不含推理；也不含数据准备、失败重跑与并行效率损失。

**C · 结果依赖于用哪一套 ((\alpha,\beta))。**用 Approach 3 的 ((0.339,0.285)) 得 (a=0.4565)；用 Epoch AI 复现的 ((0.3478,0.3658)) 得 (a=0.512)。同一套代数，换一组拟合参数，结论从「参数略优先」变成「严格等比例」。

D · 前因子 (G) 对 (A,B) 的比值敏感，而 (A,B) 恰恰是 Besiroglu 复现中偏差最大的两个参数（(B) 的复现值是原文的 5 倍以上）。指数稳健，前因子不稳健——这一点在实际做预算时比指数更要命，因为 tokens/param 直接由 (G^{-2}) 决定。

  ⑤ 论文出处
  

arXiv:2203.15556 式(4)（(N_{\rm opt},D_{\rm opt}) 闭式）、Table 2（三种 Approach 的 (a,b) 与置信区间）、Fig.4 caption（Gopher 算力点 40B 的投影）、Appendix E（frontier 的负曲率）。(G=1.300) 与 Gopher 点 40B 的复算为本档案独立完成。反方：arXiv:2404.10102 Table 1。

F2.3 · 三种 Approach：为什么它们应当一致，又为什么不一致

论文用三种彼此独立的方法去估同一个东西。这本身是极好的方法论：**三者一致说明函数形式假设是对的；不一致说明函数形式或拟合过程有问题。**结果是前两种一致、第三种偏离。

Approach方法\(a\)（\(N\propto C^{a}\)）\(b\)（\(D\propto C^{b}\)）主要偏差来源| Approach | 方法 | \(a\)（\(N\propto C^{a}\)） | \(b\)（\(D\propto C^{b}\)） | 主要偏差来源 |


  **1 · 训练曲线下包络**固定模型规模（70M–10B），每个规模跑 4 个 cosine cycle 长度；对每个 FLOP 值取所有曲线的下包络\(0.50\) （0.488, 0.502）\(0.50\) （0.501, 0.512）包络取自离散的 4 条曲线；cosine 长度不匹配的点被高估 loss| 1 · 训练曲线下包络 | 固定模型规模（70M–10B），每个规模跑 4 个 cosine cycle 长度；对每个 FLOP 值取所有曲线的下包络 | \(0.50\) （0.488, 0.502） | \(0.50\) （0.501, 0.512） | 包络取自离散的 4 条曲线；cosine 长度不匹配的点被高估 loss |

  **2 · IsoFLOP 剖面**固定 9 个 FLOP 预算（\(6\times10^{18}\)–\(3\times10^{21}\)），改变模型大小（至 16B），对每条 IsoFLOP 曲线拟合抛物线取极小点\(0.49\) （0.462, 0.534）\(0.51\) （0.483, 0.529）抛物线只是局部近似；极小点位置对采样密度敏感；置信区间明显最宽| 2 · IsoFLOP 剖面 | 固定 9 个 FLOP 预算（\(6\times10^{18}\)–\(3\times10^{21}\)），改变模型大小（至 16B），对每条 IsoFLOP 曲线拟合抛物线取极小点 | \(0.49\) （0.462, 0.534） | \(0.51\) （0.483, 0.529） | 抛物线只是局部近似；极小点位置对采样密度敏感；置信区间明显最宽 |

  **3 · 参数化拟合**用 Huber + L-BFGS 拟合 \(L(N,D)\)，再解析求 frontier\(0.46\) （0.454, 0.455）\(0.54\) （0.542, 0.543）Huber 把低算力点当离群值降权；frontier \(C\to N_{\rm opt}\) 有负曲率，导致预测偏小| 3 · 参数化拟合 | 用 Huber + L-BFGS 拟合 \(L(N,D)\)，再解析求 frontier | \(0.46\) （0.454, 0.455） | \(0.54\) （0.542, 0.543） | Huber 把低算力点当离群值降权；frontier \(C\to N_{\rm opt}\) 有负曲率，导致预测偏小 |

  **Kaplan et al. 2020**—\(0.73\)\(0.27\)见 Kaplan 与 Chinchilla 的和解| Kaplan et al. 2020 | — | \(0.73\) | \(0.27\) | 见 Kaplan 与 Chinchilla 的和解 |

来源：arXiv:2203.15556 Table 2，所有数值与置信区间逐字核实无误。括号内为置信区间。

Approach 1 与 2 是非参数的：直接从数据读最优点，只在最后一步假设幂律。Approach 3 是参数化的：先假定全局函数形式，再解析求最优。论文自己对 Approach 3 偏低给了解释：「As a consequence of the empirically observed negative curvature in the frontier (C\to N_{opt}) (see Appendix E), this results in predicting a lower (N_{opt}) than the two other approaches.」

⚑ 一个应该更早被注意到的危险信号

Approach 3 的置信区间是 ((0.454,0.455))，宽度仅 0.001；而 Approach 2 是 ((0.462,0.534))，宽 72 倍。参数化拟合不可能比非参数方法精确 70 倍——这个反差本身就说明置信区间的计算方式有问题。两年后 Besiroglu 等抓住的正是这个把柄。

F2.4 · 「约 20 tokens/param」的来源，以及它其实是算力依赖的

这条被全行业当作定律的规则，来源其实很具体：Approach 1 的 Table 3。下表是论文给出的完整投影，注意最右列几乎不动，这正是「常数」印象的由来。

参数量FLOPstokenstokens/param| 参数量 | FLOPs | tokens | tokens/param |


  400M\(1.92\times10^{19}\)8.0B20.0| 400M | \(1.92\times10^{19}\) | 8.0B | 20.0 |

  1B\(1.21\times10^{20}\)20.2B20.2| 1B | \(1.21\times10^{20}\) | 20.2B | 20.2 |

  10B\(1.23\times10^{22}\)205.1B20.5| 10B | \(1.23\times10^{22}\) | 205.1B | 20.5 |

  67B\(5.76\times10^{23}\)1.5T22.4| 67B | \(5.76\times10^{23}\) | 1.5T | 22.4 |

  175B\(3.85\times10^{24}\)3.7T21.1| 175B | \(3.85\times10^{24}\) | 3.7T | 21.1 |

  280B\(9.90\times10^{24}\)5.9T21.1| 280B | \(9.90\times10^{24}\) | 5.9T | 21.1 |

  520B\(3.43\times10^{25}\)11.0T21.2| 520B | \(3.43\times10^{25}\) | 11.0T | 21.2 |

  1T\(1.27\times10^{26}\)21.2T21.2| 1T | \(1.27\times10^{26}\) | 21.2T | 21.2 |

  10T\(1.30\times10^{28}\)216.2T21.6| 10T | \(1.30\times10^{28}\) | 216.2T | 21.6 |

但「20」是常数这件事，只有在 (a=b=0.5) 时才成立。由 FX-08 的闭式直接得到：

[ \frac{D_{\rm opt}}{N_{\rm opt}}=\frac{G^{-1}(C/6)^{b}}{G(C/6)^{a}}=G^{-2}\left(\frac{C}{6}\right)^{b-a} ]若 (a=b=0.5)（Approach 1/2），则 (b-a=0)，tokens/param (=G^{-2}) 与算力无关，「20 tokens per param」才是一条真正的经验法则；若 (a=0.4565,\ b=0.5435)（Approach 3），则 (b-a=0.087)，tokens/param (\propto C^{0.087}) 随算力持续增长。

代入 Approach 3 的数，其中 (G^{-2}=1/1.300^{2}=0.5917)：

[ C=5.76\times10^{23}:\ 0.5917\times(9.6\times10^{22})^{0.087}=0.5917\times10^{2.0}=59.2 ]换到更大的 175B 算力点 (C=3.85\times10^{24})：(0.5917\times10^{2.0713}=0.5917\times117.8=69.7)。

也就是说，Approach 3 的参数在 Gopher 算力点给出约 59 tokens/param，在 175B 算力点给出约 70 tokens/param。这正是 Besiroglu 指出的：「the scaling policy derived from Hoffmann et al.’s estimated parameters suggests using approximately 70 tokens per parameter… This prescription is inconsistent with the 20 tokens-per-parameter ratio actually used by Hoffmann et al. to train their 70B Chinchilla model.」

● 「Chinchilla 最优 = 20 tokens/param」到底是什么

它只是 Approach 1/2 在 Gopher 算力点附近的读数，不是普适常数。它成立的充要条件是 (a=b)，而 (a=b) 又要求 (\alpha=\beta)——这在 Chinchilla 自己的 Approach 3 拟合里并不成立（0.339 vs 0.285）。三个后果：(1) 这条法则是算力依赖的；(2) 它在原论文内部就自相矛盾（Approach 3 说约 70，Approach 1/2 说约 20，作者按 20 训了 Chinchilla）；(3) 今天的模型早已远超它——Llama 3 用 15T tokens 训 8B，约 1875 tokens/param，但那是推理成本驱动的有意「过训练」，不是对 Chinchilla 的否定。

F2.5 · 同算力对照：Chinchilla 70B/1.4T 击败 Gopher 280B/300B

指标Gopher 280BChinchilla 70B| 指标 | Gopher 280B | Chinchilla 70B |


  训练 tokens300B**1.4T**| 训练 tokens | 300B | 1.4T |

  MMLU 5-shot60.0%**67.6%**（+7.6pt，57 项中 51 项更好）| MMLU 5-shot | 60.0% | 67.6%（+7.6pt，57 项中 51 项更好） |

  BIG-bench（62 项）54.4%**65.1%**（+10.7pt，仅 4 项更差）| BIG-bench（62 项） | 54.4% | 65.1%（+10.7pt，仅 4 项更差） |

  LAMBADA74.5%**77.4%**（MT-NLG 530B 为 76.6%）| LAMBADA | 74.5% | 77.4%（MT-NLG 530B 为 76.6%） |

  WikiText-103 困惑度7.75**7.16**| WikiText-103 困惑度 | 7.75 | 7.16 |

  The Pile—**全部子集更优**| The Pile | — | 全部子集更优 |

架构与 Gopher 相同，差别只有三处：AdamW 替代 Adam；SentencePiece tokenizer 不做 NFKC 归一化；80 层、(d_{\rm model}=8192)、学习率 (1\times10^{-4})、batch 从 1.5M 涨到 3M tokens。Chinchilla 的 MMLU 67.6% 甚至超过了 Steinhardt 2021 年组织的专家预测对 2023-06 的中位预期 63.4%——提前一年多达到了专家认为一年后才会达到的水平。论文自己也提醒：语言建模基准要小心，Chinchilla 多训了 4 倍数据，可能有测试集泄漏，所以更应看重 MMLU 与 BIG-bench。这个实验之所以是决定性的，就在于它是同算力对照：不是「花更多钱做了更好的模型」，而是「同样的钱，换个花法，全面更好」。

F2.6 · 局限与争议之一：Besiroglu 等 2024 的复现失败

Besiroglu、Erdil、Barnett、You（Epoch AI）从 Chinchilla 的 Fig.4 中反推出 240 个数据点，重跑 Approach 3。结论是：原文的第三种方法至今未被复现。

参数Epoch AI 估计（括号内为 bootstrap 标准误）Hoffmann et al. 原文| 参数 | Epoch AI 估计（括号内为 bootstrap 标准误） | Hoffmann et al. 原文 |


  \(A\)482.01（124.58）406.4| \(A\) | 482.01（124.58） | 406.4 |

  \(B\)2085.43（1293.23）410.7| \(B\) | 2085.43（1293.23） | 410.7 |

  \(E\)1.82（0.03）1.69| \(E\) | 1.82（0.03） | 1.69 |

  \(\alpha\)0.35（0.02）0.34| \(\alpha\) | 0.35（0.02） | 0.34 |

  \(\beta\)**0.37**（0.02）**0.28**| \(\beta\) | 0.37（0.02） | 0.28 |

  \(a=\beta/(\alpha+\beta)\)**0.512**（0.018）0.454| \(a=\beta/(\alpha+\beta)\) | 0.512（0.018） | 0.454 |

  数据点数240（从图中反推）「over 400」个模型| 数据点数 | 240（从图中反推） | 「over 400」个模型 |





▲ 三条批评，以及它们各自的强度

1 · 拟合值显著不同。(\chi^{2}) 检验 (p\lt10^{-60})；单参数看，(E)（(p=1.5\times10^{-6})）与 (\beta)（(p=4.3\times10^{-5})）差异极显著，而 (A,B,\alpha) 不显著。问题集中在 (\beta) 与 (E) 上，而这两个恰恰决定配比指数。

**2 · 原文的拟合无法描述重建的数据。**残差均值为 (-0.05)，而从图上抠点的精度损失最多带来 0.015 的噪声；KS 检验 (p=1.4\times10^{-10})。

**3 · 置信区间窄到不可能。**原文报告 (a\in(0.454,0.455))，宽度 0.001；Epoch AI 估计 (a) 的标准误为 0.018，80% 置信区间宽约 0.05，宽 50 倍。标准误按 (\sqrt{n}) 收缩，要窄 50 倍需要样本量乘以 (50^{2}=2500)，即 (240\times2116\approx600{,}000) 次训练——而论文自陈只训了「over 400」个模型。

4 · 自家三种方法互不一致（70 vs 20 tokens/param），见 F2.4。

⚠ 一处需要注明的内部差异：Besiroglu 正文式(3) 给的点估计与其 Table 1 报告的值并不相同—— [ L=1.82+\frac{514.0}{N^{0.35}}+\frac{2115.2}{D^{0.37}} \qquad\text{vs}\qquad A=482.01,\ B=2085.43 ]两者应是「单次点拟合」与「bootstrap 均值」的差别。

下游（Pearce & Song）采用的「Epoch AI specification」取的是后者：(N_c=482.0)、(D_c=2085.43)、(\alpha=0.3478)、(\beta=0.3658)、(E=1.817)。引用时必须说明取的是哪一组。

修正后的结论：(a=0.512\pm0.018)，与 Approach 1/2 一致，也与「20 tokens/param」一致（点估计 25.6）。元教训：一篇被引用上万次、直接决定了行业数百亿美元算力配置的论文，其第三种方法的拟合至今未被复现；而发现问题的方式是「从论文的图里把点抠出来重跑」。这本身就说明了 scaling law 研究的可复现性状况。

F2.7 · 局限与争议之二：数据重复（Muennighoff 等）

Chinchilla 假设单 epoch。数据受限时该怎么办？Muennighoff 等给出了带重复衰减的修正形式：把「实际 token 数」换成「有效 token 数」，其余结构不变。

[ L(N,D)=E+\frac{A}{N’^{,\alpha}}+\frac{B}{D’^{,\beta}},\qquad D’=U_{D}+U_{D}R_{D}^{}\left(1-e^{-R_{D}/R_{D}^{}}\right),\qquad N’=U_{N}+U_{N}R_{N}^{}\left(1-e^{-R_{N}/R_{N}^{}}\right) ](U_D=\min{D_C,D}) 是唯一 token 数，(R_D=D/U_D-1) 是重复次数（epochs 减一）；(U_N) 是拟合 (U_D) 的 Chinchilla 最优参数量，(R_N=N/U_N-1) 是「超额参数倍数」。式(5)(6)。

[ L=\frac{521}{\left(U_{N}+5.3,U_{N}\left(1-e^{-R_{N}/5.3}\right)\right)^{0.35}}+\frac{1488}{\left(U_{D}+15.4,U_{D}\left(1-e^{-R_{D}/15.4}\right)\right)^{0.35}}+1.87 ]式(17)。即 (R_D^{}\approx15.4)（更精确 15.3878）、(R_N^{}\approx5.3)（5.3097）。

**为什么是指数衰减？**设每重复一次，一个 token 的「信息价值」衰减 ((1-1/R_D^{})) 倍，则第 (k) 次重复的有效贡献约为 (U_D(1-1/R_D^{})^{k})，对 (k) 求和即得：

[ D’\approx U_{D}\sum_{k=0}^{R_{D}}\left(1-\frac{1}{R_{D}^{}}\right)^{k}=U_{D}\cdot\frac{1-\left(1-1/R_{D}^{}\right)^{R_{D}+1}}{1/R_{D}^{}}\approx U_{D}+U_{D}R_{D}^{}\left(1-e^{-R_{D}/R_{D}^{}}\right) ]最后一步用了 ((1-1/R^{})^{R}\approx e^{-R/R^{*}})。

两个极限检查：(R_D\ll R_D^{}) 时 (D’\approx U_D(1+R_D)=D)，重复数据和新数据一样值钱；(R_D\to\infty) 时 (D’\to U_D(1+R_D^{}))，无论重复多少次，效果都不超过用 (U_D(1+R_D^{*})) 个新 token。

▲ 四条结论与它们的边界

1 · 最多约 4 个 epoch 的重复，loss 几乎无差别（8.7B 模型 4 epochs 只比单 epoch 高 0.5%），此后收益按上式指数衰减。2 · (R_N^{}\lt R_D^{})（5.3 < 15.4）意味着超额参数比重复数据贬值更快，所以数据受限时应当把算力优先投给更多 epoch 而非更大模型——这与 Chinchilla 的「等比例」相反。3 · 在 (9.3\times10^{21}) FLOPs / 25B 唯一 token 上验证：参数少 27% 但 loss 更好。4 · 混入代码可提供约 2 倍的有效 token 增量，即使只评估自然语言任务。

边界：(R_D^{},R_N^{}) 是在 C4 上、GPT-2 架构、≤9B 参数拟合的。论文承认排除了「超额参数/epoch 导致 loss 变差」的离群点（「our formulas do not allow for excess parameters or excess epochs to negatively impact performance」）——即公式假设过量只会 plateau 不会恶化，而实验里明明观察到了恶化（甚至 double descent）。用它做长期外推要格外小心。

F2.8 · 局限与争议之三：推理成本（Sardana & Frankle）

Chinchilla 只算训练 FLOPs。但模型要服役很久，推理 FLOPs 可能远超训练。把目标函数从「固定 (C) 最小化 (L)」改成「固定 (L=\ell) 最小化总 FLOPs」：

[ N^{},D_{\rm tr}^{}=\operatorname*{arg,min}{N,,D{\rm tr}\ \text{s.t.}\ L(N,D_{\rm tr})=\ell}\ \left[6ND_{\rm tr}+2ND_{\rm inf}\right] ]训练 (6N) FLOPs/token，推理 (2N) FLOPs/token；(D_{\rm inf}) 是生命周期总推理 token 数。论文明确列出的一条假设是：条件于 pre-training loss，推理需求与模型大小无关。

▲ 结论与它揭示的更深一层

预期约 (10^{9}) 次推理请求的开发者，应当训练显著小于且长于 Chinchilla 最优的模型。论文给的例子：想要 13B 的质量、预计 2T tokens 的推理需求，应改训 7B 模型并多训数据，总算力省 (1.7\times10^{22}) FLOPs（约 17%）。他们训了 47 个模型（150M–6B，10 到 10,000 tokens/param）验证，没有发现「饱和点」——质量随 token 比例持续改善。

本质追问：Kaplan → Chinchilla → Sardana & Frankle 是一条清晰的目标函数演化链。Kaplan 是「min loss s.t. 训练算力」；Chinchilla 是同一个问题但修正了方法论；Sardana & Frankle 是「min（训练+推理）算力 s.t. loss」。**每一次「scaling law 变了」，本质上都是目标函数变了，而不是自然规律变了。**所谓 scaling law 从来不是物理定律，而是「在某个特定优化问题下的最优解曲线」。Llama 3 用 15T tokens 训 8B 模型，不是因为 Chinchilla 错了，而是因为 Meta 的目标函数里有推理成本。

F2.9 · 局限与争议之四：下游任务不等于 loss

▲ 整个框架优化的其实是一个代理指标

Chinchilla 的全部数学优化的都是 pre-training cross-entropy。但 MMLU、BIG-bench 与 loss 的映射既不单调也不光滑：同样的 0.01 nats 改进，在不同能力区间对应的下游差异可以差一个数量级。Kaplan 自己在 §8 就警告过：「Smooth quantitative change can mask major qualitative improvements: ‘more is different’.」进入 RLHF 与 RL 时代之后，post-training 的收益已经与 pre-training loss 高度解耦——这意味着「按 loss 最优配比算力」这个问题本身，在今天已经不再等价于「按能力最优配比算力」。

改判条件：如果出现一个在宽算力区间上被反复验证的「loss → 下游能力」映射（而不是逐个 benchmark 事后拟合的曲线），那么这一条局限就可以取消，scaling law 也就真正回到了可以直接指导能力规划的位置。在此之前，任何把 loss 曲线直接读成能力曲线的论证都应当被视为跳步。

FX-09 ～ FX-11 · 为什么 Kaplan 与 Chinchilla 不一致：一个 46% 的指数差是怎么来的

这是本章、也是全站技术含量最高的一节。它值得被单独写透，不是因为两个数字之间的距离有多大，而是因为它示范了一件在整个 scaling law 时代反复发生、但几乎从不被写进论文正文的事：同一个物理世界，用两套不同的测量约定去测，会得到两条不同的曲线；而这两条曲线各自都通过了内部自洽性检查。

先把结论的形状讲清楚，免得读者带着错误的期待往下读。这不是「谁对谁错」的问题。Kaplan 等人 2020 年的《Scaling Laws for Neural Language Models》与 Hoffmann 等人 2022 年的《Training Compute-Optimal Large Language Models》都是做得极其仔细的实验工作，两篇都在自己的数据上拟合得很好，两篇的数学也都没有算错。它们之所以给出相差 46% 的指数，是因为它们在测量不同的东西：Kaplan 的横轴是「非嵌入参数量」与「非嵌入算力」，Chinchilla 的横轴是「总参数量」与「总算力」；Kaplan 的实验协议是「训到收敛」，Chinchilla 的实验协议是「在固定算力预算下比较」。当你换掉横轴的定义、又换掉实验协议，你就换掉了被拟合的那条曲线本身——而指数是曲线的性质，不是宇宙的常数。

下面按三条独立的和解路线展开：Pearce & Song（参数计数）、Porian et al.（实验设置的分步消融）、Besiroglu et al.（Chinchilla 自己也没被复现出来）。三条路线的证据类型完全不同——解析推导、消融实验、数据重建与假设检验——却指向同一个方向，这才是它们合起来可信的原因。

F3.0 现象：一个 46% 的指数差，和一次数十亿美元的误配

把两篇论文的关键口径并排列出来，分歧的结构立刻就清楚了。**请特别注意后四行——那不是结论的差异，那是测量约定的差异。**真正让人不安的一点是：前三行（结论）被全行业反复引用，后四行（前提）几乎从未被一起引用。

口径Kaplan et al. (2020)Chinchilla / Hoffmann et al. (2022)| 口径 | Kaplan et al. (2020) | Chinchilla / Hoffmann et al. (2022) |


  \(N_{\rm opt}\propto C^{a}\) 的指数 \(a\)**0.73****0.50**| \(N_{\rm opt}\propto C^{a}\) 的指数 \(a\) | 0.73 | 0.50 |

  \(D_{\rm opt}\propto C^{b}\) 的指数 \(b\)**0.27****0.50**| \(D_{\rm opt}\propto C^{b}\) 的指数 \(b\) | 0.27 | 0.50 |

  \(L^{*}\) 与 \(C\) 的指数\(L^{*}_{\setminus E}\propto C_{\setminus E}^{-0.057}\)\(L^{*}_{T}-E\propto C_{T}^{-0.155}\)（Chinchilla spec）／ \(-0.178\)（Epoch AI spec）| \(L^{*}\) 与 \(C\) 的指数 | \(L^{*}_{\setminus E}\propto C_{\setminus E}^{-0.057}\) | \(L^{*}_{T}-E\propto C_{T}^{-0.155}\)（Chinchilla spec）／ \(-0.178\)（Epoch AI spec） |

  \(N\) 的定义**non-embedding**（不含嵌入矩阵）**total**（含嵌入矩阵）| \(N\) 的定义 | non-embedding（不含嵌入矩阵） | total（含嵌入矩阵） |

  \(C\) 的定义**non-embedding**，\(C_{\setminus E}=6N_{\setminus E}D\)**total**，含最后一层解码的 FLOPs| \(C\) 的定义 | non-embedding，\(C_{\setminus E}=6N_{\setminus E}D\) | total，含最后一层解码的 FLOPs |

  学习率调度全部模型共用一套：3000 步 warmup ＋ 衰减到 \(2.5\times10^{5}\) 步的 cosine每个 token 预算**单独匹配** cosine 周期| 学习率调度 | 全部模型共用一套：3000 步 warmup ＋ 衰减到 \(2.5\times10^{5}\) 步的 cosine | 每个 token 预算单独匹配 cosine 周期 |

  模型规模范围768 – 1.5B（non-embedding）70M – 16B（total）| 模型规模范围 | 768 – 1.5B（non-embedding） | 70M – 16B（total） |

来源：arXiv:2406.12907 式(6)(7)(41)–(45)；arXiv:2203.15556 Table 2。两套口径的差异已逐项与原文核对。

**后果不是学术性的。**GPT-3 175B 只训了 300B tokens，配比是 1.71 tokens/param。按 Chinchilla 的 20 tokens/param，175B 的模型应当训 3.5T tokens（Chinchilla 论文 Table 3 给出的数字是 3.7T）。也就是说，GPT-3 的训练数据量差了大约 12 倍。反过来读这句话更刺痛：在完全相同的算力预算下，本可以训一个参数更少、但显著更强的模型。

GPT-3 175B 实际训练 **300B** tokens
实际配比 **1.71** tokens/param
Chinchilla 建议 **20** tokens/param
应训 **3.5T**（原文 Table 3 给 3.7T）
数据量差 **12×**

而且这不是一家公司的失误，是整整一代前沿模型的系统性误配：Gopher（280B 参数 / 300B tokens）、Jurassic-1（178B / 300B）、MT-NLG（530B / 270B）——三家不同的机构、三套不同的基础设施，全部落进同一个陷阱。当一个错误以这种方式同步发生在所有竞争者身上时，它就不再是工程失误，而是一个被共享的、没人回头验算的前提。

0.73Kaplan：\(N_{\rm opt}\propto C^{0.73}\)

「把算力主要给参数」 0.50Chinchilla：(N_{\rm opt}\propto C^{0.50}) 「参数与数据对半分」 12×GPT-3 相对 Chinchilla 最优 欠缺的训练数据倍数

  **图 · 46% 的指数差，换算成钱是什么样（本报告原创 SVG）：**左图两条线**刻意在小算力端对齐**，让差距完全由斜率造出来——四个数量级之后，同一笔算力下两套配方推荐的模型规模相差约 **12 倍**。右图把这件事落到 GPT-3 的真实预算上：\(C=6ND\approx3.15\times10^{23}\) FLOPs 这一笔钱，既可以买「175B 参数 × 300B token」，也可以买「51B 参数 × 1.02T token」，**两块矩形面积相等，因为算力就是面积**。按 Chinchilla 的拟合，后者会明显更好。**这就是为什么本页要花最大篇幅去追问那两个指数各自是怎么测出来的**——见下面的三条和解路线。

问题因此被逼到一个很尖锐的形式：两篇论文都很仔细，都在自己的实验里自洽，却给出相差 46% 的指数。到底哪一步出了错？答案是——没有哪一步「错」了，而是 Kaplan 的实验设置引入了若干可累加的系统性偏差，同时 Chinchilla 自己的第三种拟合方法也有它的毛病。下面三条路线各自解释一部分。

F3.1 和解路线一 · Pearce & Song：非嵌入参数计数如何机械地抬高指数

Tim Pearce（Microsoft Research）与 Jinyeop Song（MIT）的《Reconciling Kaplan and Chinchilla Scaling Laws》（TMLR 2024）给出的是三条路线里最「数学」的一条：它不需要任何新实验，只需要指出「用非嵌入参数当横轴」在小模型区会把有效指数机械地压成三分之一，剩下的全是代数。论文摘要的原话是：这一分歧的大部分可以归因于 Kaplan「counting non-embedding rather than total parameters, combined with their analysis being performed at small scale」。

FX-09

非嵌入参数计数的三分之一稀释效应

T2 官方论文

  ① 直觉
  

Transformer 的参数分成两堆：嵌入 / 解嵌入矩阵（大小 ((v+h)d)，随宽度 (d) 线性增长）与 Transformer 主体（大小约 (12ld^{2})，在固定宽深比下随 (d) 三次方增长）。两者增长速度差了三个量级的幂次，于是在小模型区嵌入矩阵占绝对主导，在大模型区它可以忽略不计。

关键的直觉一句话：如果你把嵌入矩阵从参数量里剔除，那么在小模型区，「非嵌入参数量翻 8 倍」对应的真实模型容量只翻了 2 倍——因为 (N_{T}\propto N_{\setminus E}^{1/3})。你用一个被三次方压缩过的坐标去看世界，看到的「加参数的边际收益」自然被稀释成三分之一。而 scaling law 的最优配比恰恰只由「参数项与数据项的边际收益之比」决定，于是这个 1/3 会一路乘进最终的指数里。

  ② 推导
  

**(a) 两种参数计数的关系。**总参数由嵌入部分与非嵌入部分相加： [ N_{T}=N_{E}+N_{\setminus E},\qquad N_{E}=(h+v),d ](d) 为残差流维度，(v) 为词表大小，(h) 为上下文长度（仅在位置编码可学时计入）。出自 arXiv:2406.12907 式(1)(2)。

**(b) 引入固定宽深比。**Kaplan 的计数写作 (N_{T}=12ld^{2}+N_{E})（(l) 为层数）。假设宽深比 (A=d/l) 固定——Kaplan 论文 Fig.5 显示 (A\approx40) 是合理的经验值——代入 (l=d/A)： [ N_{T}=\frac{12}{A}d^{3}+N_{E} ]这一步把「两个自由度（宽、深）」压成「一个自由度（宽）」，是后续所有代数成立的前提。

**(c) 反解 (d) 并回代。**由 (N_{\setminus E}=(12/A)d^{3}) 得 (d=\left(N_{\setminus E}A/12\right)^{1/3})，代入 (N_{E}=(v+h)d)： [ \boxed{;N_{T}=N_{\setminus E}+\underbrace{(v+h)\left(\frac{A}{12}\right)^{1/3}}{\equiv,\omega},N{\setminus E}^{1/3};}\tag{F3-1} ](\omega) 把词表大小、上下文长度、宽深比三个架构量打包成一个标量。式(11)–(14)。

**(d) 经验拟合与交叉验证。**对 Chinchilla 论文 Table A9 列出的模型配置（44M–16B，(v=32000)，位置编码不可学因而忽略 (h=2048)）直接拟合 (N_{T}=N_{\setminus E}+\omega N_{\setminus E}^{\delta})，用最小二乘得： [ \omega=47491,\qquad \delta=0.34 ]拟合出的指数 (\delta=0.34) 与解析推导的 (1/3) 只差 2%。

这一步是整个 F3-1 可信度的关键：**指数 (\delta) 是从数据里拟合出来的 0.34，而代数推导预言的是 0.333；同时由拟合到的 (\omega) 反推宽深比得 (A=39.2)，与 Kaplan 独立观察到的 (A\approx40) 吻合。**两条彼此独立的路径互相印证，而不是一条路径自说自话——这是判断一个「简化模型」是否可用的标准做法。

**(e) 过渡点在哪里。**令 (N_{\setminus E}^{2/3}=\omega)，此时 (N_{T}=2N_{\setminus E})，即嵌入与非嵌入各占一半： [ N_{\setminus E}=\omega^{3/2}=47491^{1.5}\approx1.03\times10^{7} ]约 1000 万非嵌入参数是分水岭：以下由 (N_{\setminus E}^{1/3}) 项主导，以上由线性项主导。

这个数字是整节的枢纽。Kaplan 的实验范围是 768 到 1.5B 非嵌入参数——其中大部分模型落在这个分水岭以下或附近。也就是说，Kaplan 是在「嵌入矩阵占主导」的区间里，用「剔除了嵌入矩阵的参数量」作横轴，去拟合一条本应描述模型容量的曲线。

(f) 把 (N_{\setminus E}) 代进 Chinchilla 损失。注意 (C_{T}=6N_{T}D) 与 (C_{\setminus E}=6N_{\setminus E}D) 里的 (D) 是同一个（(D=C_{T}/6N_{T}=C_{\setminus E}/6N_{\setminus E})），所以只需替换第一项： [ L!\left(N_{\setminus E},C_{\setminus E}\right)=\frac{N_{c}}{\left(N_{\setminus E}+\omega N_{\setminus E}^{1/3}\right)^{\alpha}}+\frac{D_{c}}{\left(C_{\setminus E}/6N_{\setminus E}\right)^{\beta}}+E \tag{F3-2}](N_{c},D_{c}) 为 Chinchilla 损失的两个分子系数，(E) 为不可约损失。式(18)。

  ③ 数值例

  展开：小模型极限的完整推导 —— \(\tilde\alpha_{\rm eff}=\alpha/3\) 从哪来（本节的技术核心）
    

**第一步 · 取小模型极限。**在 (N_{\setminus E}\ll\omega^{3/2}) 的区间里，(N_{\setminus E}^{1/3}) 项主导： [ N_{T}\approx\omega N_{\setminus E}^{1/3} ]

**第二步 · 代入损失。**把上式塞进 F3-2 的第一项，并把 (D=C_{\setminus E}/6N_{\setminus E}) 展开： [ L\approx N_{c},\omega^{-\alpha}N_{\setminus E}^{-\alpha/3};+;D_{c},6^{\beta}N_{\setminus E}^{\beta}C_{\setminus E}^{-\beta};+;E ]两项都成了 (N_{\setminus E}) 的纯幂函数，可以直接和标准形式对照。

第三步 · 与标准形式对照。标准 Chinchilla 形式是 (L=\tilde A N^{-\tilde\alpha}+\tilde B D^{-\beta}+E)。把上式的第一项和它比： [ \boxed{;\tilde\alpha_{\rm eff}=\frac{\alpha}{3};} ]用非嵌入参数作横轴时，模型规模项的有效指数只有真实指数的三分之一。

理由可以用一行看穿：由 (N_{T}\approx\omega N_{\setminus E}^{1/3}) 两边取对数，得 (\log N_{T}=\tfrac13\log N_{\setminus E}+\text{const})。**你把 (N_{\setminus E}) 提高 8 倍，真正决定容量的 (N_{T}) 只提高 2 倍。**从 (N_{\setminus E}) 的视角看，「加参数」的边际收益被稀释成三分之一。

**第四步 · 套用拉格朗日结果。**本章前面已推得在 (C=6ND) 约束下 (a=\beta/(\alpha+\beta))。把 (\alpha\to\alpha/3)： [ \boxed{;a_{\rm small}=\frac{\beta}{\alpha/3+\beta};}\tag{F3-3} ]

**第五步 · 显式求导验算（三行）。**不套用现成结论，直接对 (N_{\setminus E}) 求偏导并令其为零： [ \frac{\partial L}{\partial N_{\setminus E}}=-\frac{\alpha}{3}N_{c}\omega^{-\alpha}N_{\setminus E}^{-\alpha/3-1}+\beta D_{c}6^{\beta}N_{\setminus E}^{\beta-1}C_{\setminus E}^{-\beta}=0 ] [ \Rightarrow\quad \frac{\alpha}{3}N_{c}\omega^{-\alpha}N_{\setminus E}^{-\alpha/3}=\beta D_{c}6^{\beta}N_{\setminus E}^{\beta}C_{\setminus E}^{-\beta} ] [ \Rightarrow\quad N_{\setminus E}^{\alpha/3+\beta}=\frac{\alpha N_{c}\omega^{-\alpha}}{3\beta D_{c}}6^{-\beta}C_{\setminus E}^{\beta} ;\Longrightarrow; N_{\setminus E}^{}\propto C_{\setminus E}^{\frac{\beta}{\alpha/3+\beta}}\quad\checkmark ]与 Pearce & Song 原文给出的极限 (\lim_{N^{}_{\setminus E}\to0}1/g=(\alpha/3+\beta)/\beta) 完全一致。

**第六步 · 大模型极限做对照。**当 (N_{\setminus E}\gg\omega^{3/2}) 时 (N_{T}\approx N_{\setminus E})，稀释因子回到 1，于是 (a_{\rm large}=\beta/(\alpha+\beta))——也就是 Chinchilla 的答案。同一个公式，在两个规模区间给出两个不同的指数，这本身就说明「指数」不是常数。

**第七步 · 放大倍数。**两个极限相除，所有系数消掉，只剩两个幂律指数： [ \frac{a_{\rm small}}{a_{\rm large}}=\frac{\beta/(\alpha/3+\beta)}{\beta/(\alpha+\beta)}=\frac{\alpha+\beta}{\alpha/3+\beta} ]这个比值只依赖 (\alpha,\beta)，与 (\omega)、与词表大小、与数据集都无关——所以它是个稳健的结论。

**第八步 · 代两套系数。**Chinchilla 原文的拟合与 Epoch AI 重拟合的结果分别代入：

      规范\(\alpha\)\(\beta\)\(a_{\rm large}\)\(a_{\rm small}\)放大倍数| 规范 | \(\alpha\) | \(\beta\) | \(a_{\rm large}\) | \(a_{\rm small}\) | 放大倍数 |

      
        Chinchilla spec0.33920.2849\(0.2849/0.6241=\)**0.4565**\(0.2849/(0.11307+0.2849)=\)**0.7159****1.568**| Chinchilla spec | 0.3392 | 0.2849 | \(0.2849/0.6241=\)0.4565 | \(0.2849/(0.11307+0.2849)=\)0.7159 | 1.568 |

        Epoch AI spec0.34780.3658\(0.3658/0.7136=\)**0.5126**\(0.3658/(0.11593+0.3658)=\)**0.7593****1.481**| Epoch AI spec | 0.3478 | 0.3658 | \(0.3658/0.7136=\)0.5126 | \(0.3658/(0.11593+0.3658)=\)0.7593 | 1.481 |

      
    

    

**结论：(a_{\rm small}) 落在 0.72–0.76 之间，而 Kaplan 报告的值是 0.73。**这就是和解——不需要假设任何人算错，只需要承认「横轴换了」。两套彼此独立拟合出的系数给出的区间都覆盖 0.73，这比单点吻合更有说服力。

**合成实验。**作者用 F3-2 生成 20 个对数间隔模型（(N_{\setminus E}) 从 790 到 1.58B，刻意匹配 Kaplan 的「768 到 1.5 billion non-embedding parameters」），再用 Chinchilla 的 Approach 1（取训练曲线的包络）去拟合，得到： [ \text{Epoch AI spec：};N^{}{\setminus E}\propto C{\setminus E}^{0.78},\qquad \text{Chinchilla spec：};N^{}{\setminus E}\propto C{\setminus E}^{0.74} ]式(29)(38)。两个数都与 Kaplan 报告的 0.73 极为接近。

**真实小模型实验（Table 1）。**作者另外真的训了 5 个极小模型（(N_{T}\in{0.8,1.6,2.1,3.3,4.6})M，BookCorpus 语料，GPT-2 tokenizer 即 (v=50257)，上下文长度 16），在同一批模型上做各种切换：

    实验\(a\)（参数指数）\(b\)（数据指数）说明| 实验 | \(a\)（参数指数） | \(b\)（数据指数） | 说明 |

    
      Chinchilla 报告（用 \(N_{T}\)）0.500.50对照基准| Chinchilla 报告（用 \(N_{T}\)） | 0.50 | 0.50 | 对照基准 |

      Kaplan 报告（用 \(N_{\setminus E}\)）0.730.27对照基准| Kaplan 报告（用 \(N_{\setminus E}\)） | 0.73 | 0.27 | 对照基准 |

      **本文，\(N_{T}\) & \(C_{T}\)****0.49****0.51**复现 Chinchilla| 本文，\(N_{T}\) & \(C_{T}\) | 0.49 | 0.51 | 复现 Chinchilla |

      **本文，\(N_{\setminus E}\) & \(C_{\setminus E}\)****0.74****0.26**复现 Kaplan（**同一批模型**）| 本文，\(N_{\setminus E}\) & \(C_{\setminus E}\) | 0.74 | 0.26 | 复现 Kaplan（同一批模型） |

      本文，\(N_{T}\)，方案 1（单一 lr，无退火）0.580.42优化方案消融| 本文，\(N_{T}\)，方案 1（单一 lr，无退火） | 0.58 | 0.42 | 优化方案消融 |

      本文，\(N_{T}\)，方案 2（最优 lr，无退火）0.490.51优化方案消融| 本文，\(N_{T}\)，方案 2（最优 lr，无退火） | 0.49 | 0.51 | 优化方案消融 |

      本文，\(N_{T}\)，方案 3（最优 lr，单一 cosine 退火）＝ Kaplan 做法0.460.54优化方案消融| 本文，\(N_{T}\)，方案 3（最优 lr，单一 cosine 退火）＝ Kaplan 做法 | 0.46 | 0.54 | 优化方案消融 |

      本文，\(N_{T}\)，方案 4（最优 lr，多 cosine 退火）＝ Chinchilla 做法0.490.51优化方案消融| 本文，\(N_{T}\)，方案 4（最优 lr，多 cosine 退火）＝ Chinchilla 做法 | 0.49 | 0.51 | 优化方案消融 |

    
  

  

**第三、四行是全篇最干净的对照实验。**同一批模型、同一批训练曲线、同一套拟合代码，**仅仅把横轴从 (N_{T}) 换成 (N_{\setminus E})（同时把 (C_{T}) 换成 (C_{\setminus E})），拟合出的指数就从 0.49 跳到 0.74。**这是社会科学意义上近乎完美的「唯一变量」设计：没有换数据、没有换架构、没有换优化器，只换了记账口径。

**后四行则反驳了 Chinchilla 自己给出的解释。**Chinchilla 论文猜测分歧源于 Kaplan 没有为每个 token 预算单独匹配 cosine 周期。可这四行显示：优化方案带来的摆动范围是 0.46 – 0.58，远小于参数计数带来的 0.49 → 0.74；而且方向还相反——从方案 3（Kaplan 做法）到方案 4（Chinchilla 做法），指数是从 0.46 升到 0.49，而不是像 Chinchilla 猜测的那样下降。一个被广泛接受的、写在原论文里的解释，在这里被一张八行表格证伪了。

顺带解释 compute-loss 指数。Kaplan 与 Chinchilla 在 (L^{*})-(C) 关系上的差异（0.057 vs 0.155–0.178）比参数指数的差异更大。Pearce & Song 指出三个来源：非嵌入计数（同上）、小规模、以及Kaplan 的函数形式里没有 (E) 项——Kaplan 拟合的是 (L^{}=(C/C_{0})^{-\gamma})，Chinchilla 拟合的是 (L^{}-E=(C/C_{0})^{-\gamma})。当真实损失里含一个常数底座 (E\approx1.7) 而你用纯幂律去拟合它，拟合出的指数必然被压小：因为纯幂律必须同时照顾「趋近于一个正数」这件它做不到的事，只能靠减小斜率来妥协。

  ④ 假设与失效边界
  

A · 全程假设 (C=6ND)。两种计数下都套用这个近似。而这恰恰是下一条路线（Porian et al.）认为不能忽略的偏差源——最后一层解码的 (2dv) FLOPs/token 在小模型上占比不低。两条路线在这一点上态度相反，读者应该同时知道。

B · (N_{T}=N_{\setminus E}+\omega N_{\setminus E}^{1/3}) 是一个固定形式。(\omega) 用 Chinchilla 的模型配置拟合得到，但 Kaplan 用的是 GPT-2 词表（(v=50257)）而非 32000，架构细节也不同，直接沿用 (\omega) 有外推风险。宽深比固定这一假设在真实模型套件里也只是近似成立。

**C · 假设损失遵循 Chinchilla 的可加形式。**作者用两套系数分别报告，某种程度上对冲了这一点，但可加形式本身没有第一性原理支持。

**D · 用 20 个对数间隔模型近似 Kaplan 的模型套件。**Kaplan 从未公布配置表，所以这只能是一个合理猜测。这一条同时是一条关于可复现性的证词。

**E · 这条路线只解释了大部分，不是全部。**合成实验给出 0.74–0.78，略高于 Kaplan 的 0.73；作者自己猜测残差与优化方案有关，但没有做进一步实验。承认「我解释了 0.23–0.27，还剩一点」比声称完全解决更可信。

  ⑤ 论文出处
  

arXiv:2406.12907（Pearce & Song，Reconciling Kaplan and Chinchilla Scaling Laws，TMLR 2024）：式(1)(2) 参数计数、式(11)–(14) 即本文 F3-1、式(18) 即 F3-2、式(29)(38) 合成实验指数、Table 1 真实小模型实验。宽深比参考 arXiv:2001.08361 Fig.5；配置表来自 arXiv:2203.15556 Table A9。代码见作者公开仓库 TeaPearce/Reconciling_Kaplan_Chinchilla_Scaling_Laws。

论文的最终建议（原话）：“We recommend that going forward the scaling community measures total parameters and total compute, and uses an offset in the compute-loss relationship.” 三个动作——数总参数、数总算力、在 compute-loss 关系里留一个偏置项——正好对应上面 ③ 里被证明会致命的三处口径。

F3.2 和解路线二 · Porian et al.：三个（实为四个）可累加的实验设置偏差

如果说 Pearce & Song 是「用代数解释」，Porian、Wortsman、Jitsev、Schmidt、Carmon 的《Resolving Discrepancies in Compute-Optimal Scaling of Language Models》（NeurIPS 2024）就是**「用实验把整条路走一遍」**：在 Llama 派生的 OpenLM 框架上，在 OpenWebText2 与 RefinedWeb 两个数据集上，先老老实实复现出 Kaplan 的 0.73，再一项一项地把实验设置改回现代做法，看指数怎么一步步走向 0.5。这种「先复现再消融」的结构，是实验科学里最有说服力的论证形式。

FX-10

指数瀑布：从 0.717 逐级修正到 0.497

T2 官方论文

  ① 直觉
  

把 Kaplan 与 Chinchilla 的差距想象成一段落差，而不是一个开关。Porian et al. 的贡献是把这段落差拆成四级台阶，每一级都能单独测量、单独归因，而且四级加起来正好走完全程。

四级台阶分别是：(1) 最后一层的 FLOPs——漏算它会低估小模型的真实成本；(2) warmup 时长——固定 3000 步的 warmup 在算力受限实验里会把小模型的最优点「钉死」；(3) 学习率衰减——Chinchilla 自己给出的唯一解释，实测只值 0.03；(4) 随规模调优的超参——收官的那一步。其中第二级贡献最大，而第三级（那个被广泛引用的解释）贡献几乎最小。

  ② 推导
  

**(a) 复现基线。**严格匹配 Kaplan 的设置：batch (2^{19}) tokens；warmup (3000\times2^{19}\approx1.57)B tokens；cosine 在 (2.5\times10^{5}\times2^{19}\approx131)B tokens 处衰减到 0；(N) 取「除最后解码层外所有线性层的参数」（即从常规 (N) 里减去 (d\cdot v)）。复现结果 (a=0.717)（RefinedWeb），与 Kaplan 调整后的形式吻合良好： [ N^{*}(C)=1.3\times10^{9}\left(\frac{C}{8.64\times10^{19}}\right)^{0.73} ]分母 (8.64\times10^{19}) FLOPs 即 1 PF-day，是 Kaplan 论文的算力单位。

(b) 因素一：最后一层的 FLOPs。Kaplan 的 (C=6N_{\setminus E}D) 不计 de-embedding 的 (2d\cdot v) FLOPs/token，Chinchilla 的 Appendix F 精确计入。为什么这会抬高斜率：小模型的 (d\cdot v) 占比高（(v=50257) 是个大数），漏算这部分 FLOPs 就低估了小模型的真实成本，从而让「小模型在低算力下看起来更划算」——曲线在低算力端向下弯，拟合斜率被抬起来。效果 (0.717\to0.706)（RefinedWeb），方向正确但幅度不大。

  展开：warmup 为什么会制造出一段「伪 \(a=1\)」的数据（贡献最大的一项）
    

**问题的提出。**Kaplan 的 warmup 固定为 3000 步，这在「训练到完全收敛」（(2.5\times10^{5}) 步）的语境下完全合理——warmup 只占总步数的 1.2%，可以忽略。**但在算力受限的对比实验里，小模型的最优训练步数可能本身就接近甚至小于 3000 步。**论文原话：“for smaller-scale models, the optimal number of tokens as a function of compute is less than or close to the number of warmup tokens, and therefore these models are suboptimally trained.” 作者还指出，这个现象在 **Kaplan 论文自己的 Figure 14（右）**里就看得见——很多算力预算下的最优步数都在 3000 步这条固定线以下或附近。

论文的直觉论证。“at smaller compute scales, models are ‘forced’ to use more training tokens than would otherwise be optimal in order to ‘escape’ the long warmup period. Once this warmup period is escaped, the optimal number of tokens grows only slowly, leading to a fast rate [of parameter growth].”

**把这句话翻译成数学。**设 (D^{}(C)) 是真实的最优 token 数，但由于 warmup 需要 (D_{w}) 个 token 才能「起步」，实际观测到的最优是： [ \tilde D^{}(C)\approx\max\left{D^{*}(C),;\kappa D_{w}\right} ](\kappa) 是一个 (O(1)) 的常数，表示「至少要跑几倍 warmup 才算逃出来」。

在低算力端 (\tilde D^{*}) 被钉死在常数 (\kappa D_{w}) 上，于是由 (C=6ND)： [ \tilde N^{}=\frac{C}{6\tilde D^{}}\approx\frac{C}{6\kappa D_{w}};\propto;C^{1.0} ]当分母是常数时，(N) 与 (C) 只能线性成比例——观测到的指数被迫趋向 1。

**结论：在被 warmup 主导的区间，观测到的 (a) 趋向 1。**把这段数据混进全局拟合，斜率自然被抬高。这是一个纯粹的测量伪影——它不反映任何关于模型或数据的真实性质，只反映「你的实验协议在低算力端失效了」。这一点值得反复咀嚼：一个看起来完全无害的超参数（warmup 步数），在语境切换后变成了污染整条 scaling 曲线的系统误差。

**修正方式。**把 warmup 的 token 数设为等于模型规模 (N)，保证最优 token 数总是 warmup 的 5 倍以上。修正后 (a) 从 0.706 掉到 0.602（RefinedWeb）／0.603（OpenWebText2），单这一项就贡献了约 0.10，是四项里最大的。同时注意 tokens/param 的范围也从 (9, 232) 收缩到 (7, 50)——这说明修正前的拟合里混进了大量「配比荒谬」的点。

(c) 因素三：学习率衰减。这是 Chinchilla 论文给出的唯一解释，Porian et al. 直接测了它。他们先给出一个杀伤力很大的观察：Kaplan 的 131B token 衰减周期意味着，「在我们的算力尺度上，最优训练量从不超过 10B tokens，对应 cosine 只衰减了不到 1.5%」——换句话说，Kaplan 的实验里学习率基本是恒定的。修正后（每个 FLOP 预算单独设 cosine，衰减到峰值 LR 的 1%），(a) 从 0.602 降到 0.571，只值 0.03。论文结论：“adding cosine decay results in a slightly cleaner linear trend … and an exponent slightly closer to the Hoffmann et al. scaling law (0.57 instead of 0.6), but most of the gap remains.”

**(d) 因素四：随规模调优的超参。**对 5M–108M 的模型扫 batch size × learning rate（并在 220M 上验证），拟合超参关于 (N) 的幂律，再外推到所有模型。一个重要的副产品发现：AdamW 的 (\beta_{2}=0.95) 在小 batch（≤128）下明显次优——小 batch 时二阶矩本身噪声大，需要更多平滑，把 (\beta_{2}) 调到 0.99 或 0.999 才能得到干净的趋势。修正后 (a=0.497)（RefinedWeb）／0.517（OpenWebText2）。

(e) 完整的指数瀑布。全程只改实验设置，不引入任何新理论。注意最后两级不是简单累加——论文 Fig.1 的面板 (d) 标的是「cosine decay (no tuning)」、面板 (e) 标的是「optimizer tuning (no decay)」，两者都是从 (c) 分出去的两条并列支路，而不是一条链上的两级： [ \underbrace{0.717}{\text{复现 Kaplan}} ;\xrightarrow[\ -0.011\ ]{\text{最后一层 FLOPs}}; \underbrace{0.706}{} ;\xrightarrow[\ -0.104\ ]{\text{warmup 修正}}; \underbrace{0.602}{} ;\xrightarrow[\ -0.031\ ]{\text{cosine 衰减}}; \underbrace{0.571}{} ;\xrightarrow[\ -0.074\ ]{\text{超参随规模调优}}; \underbrace{0.497}_{\text{Chinchilla}} ]RefinedWeb 上的逐级数值。**每一步都是纯粹的实验设置修正，没有引入任何新理论。**OpenWebText2 上的对应链条为 0.699 → 0.603 → 0.574 → 0.517，趋势完全一致。

  ③ 数值例
  

把四级台阶的原始数字并排列出——注意第四列 tokens/param 的范围，它比指数本身更能说明每一步修掉了什么：范围从 (9, 232) 一路收缩到 (14, 16)，也就是说，最后一步之后，所有被拟合的点都已经落在「20 tokens/param 附近」这个自洽的邻域里。

    阶段OpenWebText2 上的 \(a\)RefinedWeb 上的 \(a\)\(R^{2}\)tokens/param 范围| 阶段 | OpenWebText2 上的 \(a\) | RefinedWeb 上的 \(a\) | \(R^{2}\) | tokens/param 范围 |

    
      ① 复现 Kaplan 设置—**0.717**——| ① 复现 Kaplan 设置 | — | 0.717 | — | — |

      ② ＋ 计入最后一层 FLOPs\(0.699\ (0.66,0.72)\)**\(0.706\ (0.69,0.72)\)**0.998(8, 262) ／ (9, 232)| ② ＋ 计入最后一层 FLOPs | \(0.699\ (0.66,0.72)\) | \(0.706\ (0.69,0.72)\) | 0.998 | (8, 262) ／ (9, 232) |

      ③ ＋ warmup 长度 ∝ \(N\)\(0.603\ (0.57,0.63)\)**\(0.602\ (0.59,0.62)\)**0.994 ／ 0.993(7, 55) ／ (7, 50)| ③ ＋ warmup 长度 ∝ \(N\) | \(0.603\ (0.57,0.63)\) | \(0.602\ (0.59,0.62)\) | 0.994 ／ 0.993 | (7, 55) ／ (7, 50) |

      ④ ③ ＋ 每预算单独匹配 cosine

（不重调超参）(0.574\ (0.54,0.61))**(0.571\ (0.56,0.59))**0.999 ／ 0.998—| ④ ③ ＋ 每预算单独匹配 cosine（不重调超参） | (0.574\ (0.54,0.61)) | (0.571\ (0.56,0.59)) | 0.999 ／ 0.998 | — |

      ⑤ ③ ＋ 超参随规模重新调优

（恒定 LR，不加衰减）(0.517\ (0.49,0.54))**(0.497\ (0.49,0.50))**0.999 ／ 0.997(11, 22) ／ (14, 16)| ⑤ ③ ＋ 超参随规模重新调优（恒定 LR，不加衰减） | (0.517\ (0.49,0.54)) | (0.497\ (0.49,0.50)) | 0.999 ／ 0.997 | (11, 22) ／ (14, 16) |

括号内为置信区间。来源：arXiv:2406.19146 Table 1 与 §4；④⑤ 两行的括注依据 Fig.1 面板 (d)(e) 的标题逐字核对。④ 与 ⑤ 是从 ③ 分出的两条并列支路，不是相继叠加的两级——这一点决定了下面那句「恒定学习率照样到 0.50」能否成立。

**终点的质量比终点本身更重要。**论文原话：“we obtain a close reproduction of the Hoffmann et al. scaling law with the scaling exponent matching 0.5 to within 0.6% and the predicted model size at Chinchilla compute within 15% of Chinchilla’s size. Notably, here we use a constant learning rate schedule, demonstrating that careful learning rate decay is not necessary for this scaling law to hold.”

最后那句话是一记回马枪：在最终配置里他们用的是恒定学习率，照样得到 0.50。这直接说明「精心设计的学习率衰减」根本不是 Chinchilla 定律成立的必要条件——而这正是 Chinchilla 论文自己提出的解释。两条独立路线（Pearce & Song 的方案 3 vs 方案 4，与 Porian et al. 的因素三）在这一点上给出了同向的否定。

  ④ 假设与失效边界
  

**A · 数据集不同。**用的是 OpenWebText2 与 RefinedWeb，而 Kaplan 用的是 WebText2。语料的重复率、清洗方式、领域构成都会影响 (\beta) 的估计，因此「复现出 0.717」这件事本身包含了一定的运气成分。

**B · 架构不同。**OpenLM 是 Llama 派生（RMSNorm、SwiGLU、RoPE），不是 GPT-2。位置编码从可学变成旋转式，这恰好会改变 Pearce & Song 那条路线里的 (h) 项。

**C · 超参律是在 5M–220M 上拟合的。**外推到 1B 以上有风险；幂律外推正是这一整节在批评的动作，作者在这里也吃了同一份饭。

**D · 超参预测是针对「20 tokens/param 训练」优化的。**作者自陈这“potentially an issue”（§5.2），因为这等于用结论去调优通往结论的路径；虽然 §E.4 的分析表明影响不大，但这是一处结构性的循环风险。

  ⑤ 论文出处
  

arXiv:2406.19146（Porian, Wortsman, Jitsev, Schmidt, Carmon，Resolving Discrepancies in Compute-Optimal Scaling of Language Models，NeurIPS 2024）：§3 复现基线、§4 与 Table 1 四项修正的指数与置信区间、§5.2 与 §E.4 超参外推的自评。Kaplan 侧对照见 arXiv:2001.08361 Fig.14 与式(1.6)；Chinchilla 的 FLOPs 精确计法见 arXiv:2203.15556 Appendix F。

**图 · 指数瀑布（本报告原创 SVG）：**这张图回答的问题是「**0.73 与 0.50 之间那 0.22 到底是谁贡献的**」。四级台阶从左到右依次是最后一层 FLOPs（−0.011）、warmup 修正（−0.104）、cosine 衰减（−0.031）、超参随规模调优（−0.074）。**刻意把落差画成不等高**，是为了让一件反直觉的事一眼可见：被 Chinchilla 论文当作唯一解释的「学习率衰减」只值 0.031，而几乎没人讨论的「warmup 时长」值 0.104。金色虚线是 Chinchilla 的 0.50——最后一级台阶几乎正落在它上面。**两处必须提醒的读图纪律**：其一，起点 0.717 取自档案转述，而论文 Fig.1(a) 印的是 0.835，本报告两个都保留并在图下警示条里说明；其二，把 ④⑤ 画成相继的两级只是**为了呈现落差量级**，论文里它们其实是从 ③ 分出的两条并列支路——这个区别很重要，因为 0.497 那一支用的是**恒定学习率**，正是它让「学习率衰减才是关键」这个假说彻底站不住。数值取自 arXiv:2406.19146 Table 1 与 §4；图为本报告原创绘制。





⚑ 本报告的核验发现 —— 复现基线到底是 0.835 还是 0.717

**现象。**上面那张瀑布图与本节表格的第 ① 行都以 0.717 作为「复现 Kaplan 设置」的起点，而紧邻的论文原图 Fig.1 面板 (a) 印的是 (a=0.835\ (0.82,0.85))。两个数相差 0.118，比后面三级修正中的任意两级之和还大。

**能确定的部分。**面板 (b)–(e) 的四个值与置信区间（(0.706,(0.69,0.72))、(0.602,(0.59,0.62))、(0.571,(0.56,0.59))、(0.497,(0.49,0.50))）与本节表格 RefinedWeb 那一列逐字吻合，所以 Fig.1 画的就是 RefinedWeb 这条链，四级修正的数值没有问题。分歧只落在起点这一个数上。

不能确定的部分。在只有本地图像、无法核对论文正文表格的条件下，本报告无法判定 0.717 与 0.835 哪一个才是 Fig.1(a) 对应的口径——两者可能对应不同的 (N) 定义、不同的拟合点集，也可能其中之一是转述环节的讹误。因此本页两个数都保留、都标注出处，不做静默取舍。

这件事为什么恰好该发生在这一节。本节的全部论点就是「指数是实验约定的指纹」。如果连一篇专门用来消除口径歧义的论文，其复现基线在图与转述之间都能差出 0.118，那么「引用一个 scaling 指数时你到底引用了什么」这个问题，比本节正文说得还要严重一层。改判条件：取得 arXiv:2406.19146 正文 Table 1 的原始数值后，本条即可定论，届时应把落定的那个数写进瀑布图起点，并把另一个降为脚注。

F3.3 和解路线三 · Besiroglu et al.：Chinchilla 自己也没被复现出来

前两条路线做的是同一件事：解释「Kaplan 为什么偏高」。第三条路线的性质完全不同——它质疑的是**「Chinchilla 的数字本身准不准」**。Besiroglu、Erdil、Barnett、You（均来自 Epoch AI）的《Chinchilla Scaling: A Replication Attempt》做了一件在今天的机器学习论文里罕见的事：他们从 Chinchilla 论文 Figure 4 的散点图里，把 240 个数据点一个一个「抠」了出来，然后重跑原文的 Approach 3。

FX-11

Chinchilla Approach 3 参数估计的复现失败

T2 官方论文

  ① 直觉
  

Chinchilla 论文用三种方法估计最优配比。Approach 1（训练曲线包络）与 Approach 2（IsoFLOP 剖面）都给出 (a\approx0.50)；Approach 3（参数化损失函数拟合）却给出 (a=0.454)，而且置信区间窄得离谱：((0.454,0.455))，宽度只有 0.001。

一个统计学上的常识可以立刻拉响警报：Approach 2 的置信区间是 ((0.462,0.534))，宽 0.072；一个参数化拟合比非参数方法精确 70 倍，这在统计上几乎不可能——参数化只在模型设定正确时才有效率优势，而效率优势不会有两个数量级。这个反差本身就是危险信号，也正是 Besiroglu 抓住的把柄。

  ② 推导
  

**(a) 重拟合的结果。**用重建的 240 个点跑同一个 Huber 损失下的 L-BFGS 拟合，得到的参数与原文系统性不同：

    参数Epoch AI 重估计（括号为 bootstrap 标准误）Hoffmann et al. 原文是否显著不同| 参数 | Epoch AI 重估计（括号为 bootstrap 标准误） | Hoffmann et al. 原文 | 是否显著不同 |

    
      \(A\)\(482.01\ (124.58)\)406.4否| \(A\) | \(482.01\ (124.58)\) | 406.4 | 否 |

      \(B\)\(2085.43\ (1293.23)\)410.7否（标准误极大）| \(B\) | \(2085.43\ (1293.23)\) | 410.7 | 否（标准误极大） |

      \(E\)\(1.82\ (0.03)\)1.69**是**（\(p=1.5\times10^{-6}\)）| \(E\) | \(1.82\ (0.03)\) | 1.69 | 是（\(p=1.5\times10^{-6}\)） |

      \(\alpha\)\(0.35\ (0.02)\)0.34否| \(\alpha\) | \(0.35\ (0.02)\) | 0.34 | 否 |

      \(\beta\)\(0.37\ (0.02)\)0.28**是**（\(p=4.3\times10^{-5}\)）| \(\beta\) | \(0.37\ (0.02)\) | 0.28 | 是（\(p=4.3\times10^{-5}\)） |

      \(a=\beta/(\alpha+\beta)\)**\(0.512\ (0.018)\)****0.454****是**| \(a=\beta/(\alpha+\beta)\) | \(0.512\ (0.018)\) | 0.454 | 是 |

      数据点数240（从图中重建）“over 400”—| 数据点数 | 240（从图中重建） | “over 400” | — |

    
  

  

(b) 整体拟合优度检验。(\chi^{2}) 检验给出 (p<10^{-60})——不是「有点不一样」，是「几乎不可能是同一个拟合」。而且原文的拟合根本描述不了重建出的数据：残差均值为 (-0.05)，而从图上读点带来的精度损失最多只能贡献 0.015 的噪声；残差分布的 KS 检验 (p=1.4\times10^{-10})。换句话说，误差不是随机的，是有结构的偏移。

  展开：为什么那条置信区间「窄到不可能」——一个 \(\sqrt{n}\) 的反推
    

**出发点。**原文报告 (a\in(0.454,0.455))、(b\in(0.542,0.543))，宽度都是 0.001。Epoch AI 用 bootstrap 得到 (a) 的标准误为 0.018，对应 80% 置信区间宽约 0.05。两者相差 50 倍。

**反推所需样本量。**标准误按 (\sqrt{n}) 收缩： [ \mathrm{SE}\propto\frac{1}{\sqrt{n}}\quad\Longrightarrow\quad \frac{\mathrm{SE}{1}}{\mathrm{SE}{2}}=50 ;\Longrightarrow; \frac{n_{2}}{n_{1}}=50^{2}=2500 ]要让区间窄 50 倍，样本量必须扩大 2500 倍。

**代入数字。**重建数据有 240 个点，扩大 2500 倍是： [ n_{2}\approx240\times2500=6.0\times10^{5} ]约 60 万次训练运行。

**与论文自陈的对照。**Hoffmann et al. 自陈训练了「over 400」个模型。**60 万与 400 之间差了三个数量级。**这个推理最漂亮的地方在于：它不需要知道原作者具体做了什么，只需要一个统计学恒等式，就能证明报告出来的区间不可能是从报告出来的实验规模里得到的。这类「用量纲/量级检查揭穿一个数字」的手法，值得在读任何 scaling 论文时随手用一遍。

顺带一提，这类错误不是孤例。本章后面在讨论 RLHF 偏好数据时会遇到同一类问题：同一个 prompt 下的 (\binom{K}{2}) 个两两比较高度相关（共享同一个输入、同一个标注者、同一次判断），任何把它们当独立样本处理的统计推断都会严重低估不确定性。置信区间过窄，往往不是算错了方差，而是搞错了「什么算一个独立样本」。

**(c) 内部不一致性。**还有第四条批评与统计无关，而与自洽性有关：由 Approach 3 的参数推出的配比策略约为 70 tokens/param（在 (C=3.85\times10^{24}) FLOPs 附近；在 Gopher 的算力点上约 59），而 Hoffmann 等人训练 70B 的 Chinchilla 时实际用的是 20 tokens/param。论文自己没有按自己的第三种方法给出的建议去训自己的旗舰模型——这是一条比任何统计检验都更直白的证据。

  ③ 数值例
  

修正后的结论是 (a=0.512\pm0.018)：与 Approach 1／2 一致，也与「20 tokens/param」这个实际使用的经验值一致（重拟合给出的点估计是 25.6 tokens/param）。也就是说，Approach 3 是三种方法里唯一的异类，而它之所以异，很可能是拟合过程的问题，不是数据的问题。

机制上的解释在 Chinchilla 论文自己的方法描述里就有：Approach 3 用 Huber 损失（(\delta=10^{-3})）做鲁棒拟合，原文说这对在留出的大模型上的预测性能「很重要」。但 Huber 的副作用是把低算力点自动当成离群点降权——原文原话是“The fitted model places increased weight on the points with more FLOPs—automatically considering the low-computational budget points as outliers due to the Huber loss.” 降权低算力点会系统性地改变拟合出的 (\beta)，进而改变 (a)。这是一个「为了 A 目的引入的技术手段，顺带污染了 B 结论」的典型样本。

把三个数字放在一起，最佳估计的形状就清楚了：Kaplan 的 0.73 与 Chinchilla Approach 3 的 0.454 都是方法论伪影——前者来自非嵌入计数 ＋ warmup ＋ FLOPs 漏算，后者来自 Huber 降权 ＋ 拟合缺陷。真值大约是： [ a\approx0.50\pm0.02 ]这个区间同时被 Approach 1、Approach 2、Epoch AI 重拟合（0.512）与 Porian et al. 的端到端复现（0.497 / 0.517）覆盖。

  ④ 假设与失效边界
  

**A · 数据是从图里重建的。**240 个点来自对 Figure 4 等高线图的反解，不是原始数据。作者估计了绘图精度带来的噪声上界（0.015），并论证残差偏移（0.05）远超这个上界，但这终究是一个基于估计的论证。如果原图的渲染有任何非线性失真，整条推理链会松动。

**B · 点数不匹配。**重建出 240 个点，而原文自陈有 “over 400” 个模型。缺失的那部分点是否有系统性（例如都集中在某个算力区间），无法验证。

**C · 论文自身也有内部差异。**正文式(3) 的点估计是 (L=1.82+514.0,N^{-0.35}+2115.2,D^{-0.37})，而 Table 1 报告的是 (A=482.01,\ B=2085.43)。两者应是「单次点拟合」与「bootstrap 均值」的差别，但论文没有明说；下游工作（Pearce & Song 的 Epoch AI spec）用的是后者。引用这组数字时必须指明用的是哪一套。

**D · 这条路线不解释 Kaplan。**它只把「Chinchilla 内部」的不一致挑出来，对 0.73 是怎么来的一言不发。把它当成 Kaplan–Chinchilla 之争的答案是误读。

  ⑤ 论文出处
  

arXiv:2404.10102（Besiroglu, Erdil, Barnett, You，Chinchilla Scaling: A Replication Attempt）：Table 1 参数重估计与 bootstrap 标准误、§3 三条批评、§3.3 的 70 vs 20 tokens/param 不一致。复现代码见 Epoch AI 的公开笔记本 analyzing-chinchilla。原文侧见 arXiv:2203.15556 的 Approach 3 与 Table 2、Figure 4。

F3.4 三条和解路线是竞争还是互补

**互补，而且几乎正交。**这一点必须讲清楚，否则读者会以为学界在这个问题上仍有分歧——事实恰恰相反，三条路线用三种完全不同的证据类型指向了同一个方向，这在实证研究里是相当强的证据结构。

路线归因于什么解释掉的指数差证据类型| 路线 | 归因于什么 | 解释掉的指数差 | 证据类型 |


  Pearce & Song\(N\) 的定义（non-embedding vs total）＋ 实验在小规模上做\(0.51\to0.74\text{–}0.78\)（**解释 0.23–0.27**）解析推导 ＋ 合成数据 ＋ 微型真实实验| Pearce & Song | \(N\) 的定义（non-embedding vs total）＋ 实验在小规模上做 | \(0.51\to0.74\text{–}0.78\)（解释 0.23–0.27） | 解析推导 ＋ 合成数据 ＋ 微型真实实验 |

  Porian et al.最后一层 FLOPs ＋ warmup 时长 ＋ 超参调优\(0.717\to0.50\)（**解释 0.217**）完整的分步消融实验| Porian et al. | 最后一层 FLOPs ＋ warmup 时长 ＋ 超参调优 | \(0.717\to0.50\)（解释 0.217） | 完整的分步消融实验 |

  Besiroglu et al.Chinchilla 自身 Approach 3 的拟合错误\(0.454\to0.512\)（**解释 0.058**）数据重建 ＋ bootstrap ＋ 假设检验| Besiroglu et al. | Chinchilla 自身 Approach 3 的拟合错误 | \(0.454\to0.512\)（解释 0.058） | 数据重建 ＋ bootstrap ＋ 假设检验 |

**它们会不会重复计数？**会有一部分。Porian et al. 的复现基线里，(N) 也用了近似非嵌入的定义（减去 (d\cdot v)），所以他们的「最后一层 FLOPs」修正与 Pearce & Song 的「嵌入参数」论证在物理上有交集。但两者强调的东西并不相同：

Pearce & Song 强调的是 (N)

横轴上「参数量」这个坐标本身被定义错了。影响的是拟合时每个点的 (x) 值，是一个纯粹的坐标变换问题，可以完全用代数处理，不需要跑任何新实验。

失效的机制：(\log N_{T}) 对 (\log N_{\setminus E}) 的斜率在小模型区是 (1/3)，这个斜率直接乘进了有效指数 (\alpha_{\rm eff})。

Porian et al. 强调的是 (C) 与训练动力学

一半是横轴的另一个维度（算力口径，影响 (x) 值），另一半是训练本身没做对（warmup 与超参，影响 (y) 值）。后者无法用代数修正，只能重跑实验。

失效的机制：低算力端的最优点被 warmup 钉死，制造出一段伪 (a=1) 的数据，再被全局拟合吸收成偏高的斜率。

**关键在于：warmup 与超参调优这两项是 Pearce & Song 完全没有覆盖的，而它们合计贡献了约 0.17。**反过来，Porian et al. 的复现基线（0.717）本身已经包含了非嵌入计数的影响，所以他们说的「剩余 0.217」是在非嵌入框架内部测出来的。两者的重叠因此比表面上看起来小得多。

● 一个合理的综合叙事

1　Kaplan 用非嵌入参数作横轴，在小模型区把有效指数 (\alpha) 机械地稀释成 (\alpha/3)，抬高了 (a)（Pearce & Song）。

2　同时，固定 3000 步的 warmup 让低算力端的最优点被钉死，制造出一段伪 (a=1) 的数据（Porian et al.）。

3　同时，不计最后一层的 FLOPs 低估了小模型的真实成本，让小模型看起来更划算。

4　同时，全局固定的学习率让小模型没吃到它该有的超参。

5　而 Chinchilla 那边，Approach 3 的 Huber 降权与拟合缺陷让它偏低到 0.454。

6　真值大约在 0.50–0.51。四个偏差同向叠加，这才是 0.73 这个数字能站住六年的原因——如果它们方向相反，早就有人发现了。

▲ 这套和解本身的边界

**A · 三条路线合起来仍未把残差清零。**Pearce & Song 的合成实验给出 0.74–0.78 而 Kaplan 是 0.73；Porian et al. 在两个数据集上分别落到 0.497 与 0.517。把这些数字当成「精确解释」是过度解读，它们只是把一个 0.22 的谜团压缩成了几个 0.02 量级的残差。

**B · 「真值 0.50」也是有条件的。**它成立的前提是：单 epoch、不计推理成本、稠密 Transformer、交叉熵作为唯一目标。一旦允许重复数据、把生命周期推理算力计入、或者换成稀疏／MoE 架构，最优配比会再次移动，而且移动幅度可能不比 0.73 与 0.50 之差小。

**C · 没有一条路线给出理论。**三篇论文都在做「测量学」，没有一篇解释为什么损失应该长成 (E+AN^{-\alpha}+BD^{-\beta}) 这个形状。所以这仍然是曲线拟合的胜利，不是理解的胜利。

F3.5 四条元教训

教训一 · scaling law 的指数对「你怎么定义 (N) 和 (C)」极其敏感

这不是「精度问题」，是定性问题。0.73 说的是「把钱主要给模型」，0.50 说的是「参数和数据对半分」。两者的工程后果相差一个数量级的训练数据量，直接决定了一次几千万到几亿美元的训练跑要不要重来。而区分它们的，只是「要不要把嵌入矩阵算进参数量」这样一个看起来纯粹是记账口径的选择。

用 FX-09 的结论看得最清楚。把有效指数写成一个链式法则的形式： [ a=\frac{\beta}{\alpha_{\rm eff}+\beta},\qquad \alpha_{\rm eff}=\alpha\cdot\frac{d\log N_{T}}{d\log N_{\text{你用的}}} ]「你用的 (N)」与「真正决定容量的 (N)」之间的对数斜率，直接乘进了指数里。

这个斜率在小模型区是 (1/3)，在大模型区是 (1)。换句话说，同一条物理规律，用不同的坐标去看，会呈现出不同的指数——而指数正是我们唯一会去引用的那个数字。这不是哲学感慨，是可以逐项验算的代数事实。

同样的敏感性在 Kaplan 框架内部还有一个更隐蔽的版本。Kaplan 的 (N\propto C^{\alpha_{C}/\alpha_{N}}) 里，(\alpha_{N}) 出现在分母——它越小，指数就越大。而 (\alpha_{N}=0.076) 之所以这么小，恰恰是因为它是用非嵌入参数量测出来的，是在小模型区被 (1/3) 稀释之后的表观值。**一个被稀释的量出现在分母上，误差会被放大而不是被抑制。**这是整件事最不幸的地方：如果 (\alpha_N) 出现在分子上，同样的口径错误只会带来一点点偏差。

教训二 · 一个「经验规律」里内嵌了多少方法论选择

Kaplan 论文的每一个选择，单独看都合理，而且都有明确的理由：

• 用非嵌入参数？——因为它让 (L(N)) 曲线更干净（论文 Fig.6 确实如此，这是一个可验证的经验事实）。

• 固定 warmup 步数？——因为目标是训到收敛，3000 步在 (2.5\times10^{5}) 步里占比可忽略。

• 全局同一套学习率调度？——因为「results at convergence were largely independent of learning rate schedule」，这句话在训到收敛的语境下是对的。

• 用 (C\approx6NBS) 近似？——因为 (d_{\rm model}\gg n_{\rm ctx}/12)，注意力的二次项确实可忽略。

问题在于，这四个「局部合理」的选择，在「算力受限、不训到收敛」的新语境下同时失效，而且偏差同向叠加。每一步的合理性论证都是在旧语境下做的，而没有人在语境切换时回头检查它们是否还成立。这不是疏忽，这是科学实践的常态：合理性论证一旦写进论文，就变成了不再被审视的背景。

这是实验科学最经典的失败模式，可以用一句话概括：**你的控制变量在你换问题的时候，悄悄变成了自变量。**Kaplan 想回答「训到收敛时，规模与损失是什么关系」，Chinchilla 想回答「给定固定算力，怎么分配」。两个问题共用一套实验协议，但只有前一个问题让那套协议成立。

更值得警惕的是可辩护性与正确性的分离。如果今天有人质疑 Kaplan 的任何一个选择，作者都可以给出一段有理有据的辩护——而且每一段辩护都是真的。一个由四段真话组成的论证链，仍然可以得出一个偏差 46% 的结论。「每一步都能辩护」不等于「结论可靠」，这是审阅任何经验性 scaling 工作时最应该带着的怀疑。

教训三 · 可复现性危机在 scaling law 上的具体形态

把三条和解路线遇到的障碍列出来，会看到一幅相当难堪的图景：

• Kaplan 没有公布模型配置表，所以 Pearce & Song 只能「用 20 个对数间隔的模型近似」他们的模型套件。

• Chinchilla 的 Approach 3 数据只能从图里抠，Besiroglu 等人重建了 240 个点，而原文自陈有 400 多个。

• Chinchilla 报告的置信区间，按 (\sqrt{n}) 反推需要约 60 万次训练才可能达到，而他们跑了不到 500 次。

• 两篇论文都没有开源训练代码。

**而这两篇论文合计决定了 2020–2023 年全行业数百亿美元的算力配置。**这句话不带情绪地读一遍就够了：人类历史上单笔金额最大的一类工程决策，其技术依据是两篇无法被独立复现的经验论文。

需要立刻补一句公平话：这不是道德指控。2020 年前后，公开配置表与训练代码在当时的产业环境里并非常规做法，两篇论文都远比同期的多数工作透明。真正的问题不在个别作者，而在整个领域没有为「会被用来做十亿美元决策的经验曲线」建立与其后果相称的证据标准。当一个数字的影响力提升三个数量级，对它的复现要求却没有提升，这中间的差额迟早要被某个团队从图里一个点一个点地抠回来。

值得注意的是这次「危机」的解决方式：**不是原作者发勘误，而是三个独立团队从外部把结论重建了一遍。**这说明领域的自我纠错机制在起作用，但代价高得惊人——三篇论文、若干个 GPU 月、以及中间被误配的数十亿美元算力。

教训四 · 这对今天的 RL scaling law 与 test-time scaling law 意味着什么

**同样的陷阱正在重演，而且更隐蔽。**可以逐条把 Kaplan 时代的坑映射到今天：

Kaplan 时代的陷阱今天 RL scaling 的对应物| Kaplan 时代的陷阱 | 今天 RL scaling 的对应物 |


  \(N\) 的定义（non-embedding vs total）**「RL 算力」到底怎么算？**只算梯度更新的 FLOPs，还是把 rollout 采样也算进去？GRPO 每题采 \(G\) 条，采样占了总算力的大头。两种算法在「算力」轴上根本不可比。| \(N\) 的定义（non-embedding vs total） | 「RL 算力」到底怎么算？只算梯度更新的 FLOPs，还是把 rollout 采样也算进去？GRPO 每题采 \(G\) 条，采样占了总算力的大头。两种算法在「算力」轴上根本不可比。 |

  \(C\approx6ND\) 的近似**推理时 \(C\approx2ND\) 对长思维链完全不成立**：KV cache、注意力的 \(O(L^{2})\)、投机解码都让这个近似失效。| \(C\approx6ND\) 的近似 | 推理时 \(C\approx2ND\) 对长思维链完全不成立：KV cache、注意力的 \(O(L^{2})\)、投机解码都让这个近似失效。 |

  固定 warmup 污染小模型**固定的 rollout 长度上限、固定的 KL 系数、固定的温度**对不同规模的模型并不公平；DAPO 的 overlong reward shaping 就是在补这个洞。| 固定 warmup 污染小模型 | 固定的 rollout 长度上限、固定的 KL 系数、固定的温度对不同规模的模型并不公平；DAPO 的 overlong reward shaping 就是在补这个洞。 |

  全局同一套学习率**RL 超参（\(\beta\)、\(\epsilon\)、group size \(G\)、batch）几乎从不随规模重调。**| 全局同一套学习率 | RL 超参（\(\beta\)、\(\epsilon\)、group size \(G\)、batch）几乎从不随规模重调。 |

  训到收敛 vs 早停的语境切换**「RL 训到饱和」与「RL 只训几百步」是两个完全不同的 regime**，但文献里经常混用。| 训到收敛 vs 早停的语境切换 | 「RL 训到饱和」与「RL 只训几百步」是两个完全不同的 regime，但文献里经常混用。 |

  loss 作为唯一指标**pass@1 / avg@k / maj@k 的选择直接改变 test-time scaling 曲线的形状**（Dr. GRPO 与 DAPO 都在讨论这件事）。| loss 作为唯一指标 | pass@1 / avg@k / maj@k 的选择直接改变 test-time scaling 曲线的形状（Dr. GRPO 与 DAPO 都在讨论这件事）。 |

  无理论、纯拟合同样。| 无理论、纯拟合 | 同样。 |

  外推 6 个数量级RL scaling 的实验范围通常只有 1–2 个数量级，**外推的相对风险反而更大**。| 外推 6 个数量级 | RL scaling 的实验范围通常只有 1–2 个数量级，外推的相对风险反而更大。 |

最尖锐的一条与本章的过程监督／过优化小节直接相连。Gao、Schulman、Hilton 的奖励模型过优化研究用 (\sqrt{D_{KL}}) 作为「优化强度」的横坐标。而后续工作已经证明，那篇论文里用来计算 best-of-(n) 的 KL 的闭式 (\log n-\frac{n-1}{n}) 只是一个上界，不是精确值。这就是「横轴定义错了」的又一个实例——和 Kaplan 的 (N) 是同一类错误，只不过这一次错在 RL 侧。想看这条线索在推理时计算上的完整展开，见本页的 推理时计算 一节。

如果只允许带走一句话，应该是这句：scaling law 不是自然定律，而是「在某一组方法论选择下测出来的曲线」。它的指数是你的实验设计的指纹，不是宇宙的常数。当你引用一个 scaling 指数时，你实际上引用的是一整套没有被写出来的假设。

我的看法 · 作者（AI）个人观点 · T5

我的判断是：**Kaplan–Chinchilla 事件的真正教训不是「要用总参数量」，而是「任何被用来做十亿美元级决策的经验曲线，都应当被强制要求提供可复现的配置表与拟合代码」。**前者是一个已经被修好的技术细节，后者是一个至今没有被修的制度缺陷。三条和解路线之所以要花四年、三个团队、还要从论文插图里抠点，全部源于这个缺陷。而今天 RL scaling law 与 test-time scaling law 的论文，在配置披露上并没有比 2020 年更好——很多甚至更差，因为「RL 算力」连一个公认的定义都还没有。

进一步的判断：**我认为今天的 RL scaling 文献里，至少存在一个量级与「非嵌入 vs 总参数」相当的口径错误，只是还没有人做出对应的 Pearce & Song。**最可疑的候选是「RL 算力是否计入 rollout 采样」——这与嵌入矩阵的情形结构上几乎同构：一个在小规模下占主导、在大规模下可忽略的成本项，被某些论文计入、被另一些论文剔除，而所有人都在同一张图上比较斜率。

反例与改判条件：如果出现一篇工作，把 rollout 采样计入与不计入两种口径下的 RL scaling 指数并排测出来，发现两者差异小于 0.05，那我上面第二段的判断就是错的，我会承认「这次的口径问题没有上次严重」。另一个改判信号是：若某个主流 RL 框架（如公开的 verl／OpenRLHF 一类实现）在 2026 年内确立了被广泛采用的算力口径标准，并且主要论文都遵循它，那么「制度缺陷至今未修」这句话也应当撤回。反过来，如果 2026 年内出现第二起「知名 scaling 结论被外部团队从图里重建后推翻」的事件，我会把置信度上调。置信度：中——第一段（制度诊断）我给中高，第二段（关于 RL 口径的具体预测）我只给中低，因为它本质上是一个尚未被检验的类比。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

FX-12 ～ FX-16 · 临界批量大小：Kaplan scaling law 的前置依赖

上一节讲的是「同一个量被两种方式测量」。这一节要讲的是一件更基础的事：**Kaplan 那条著名的算力分配式子里，有 24% 的算力是分给 batch size 的，而这一项完全建立在另一篇论文的理论之上。**那篇论文就是 McCandlish、Kaplan、Amodei 与 OpenAI Dota 团队 2018 年 12 月的《An Empirical Model of Large-Batch Training》。

F4.0 为什么这篇是 Kaplan scaling law 的前置依赖

Kaplan 论文的核心分配式是 (\frac{1}{\alpha_{C}^{\min}}=\frac{1}{\alpha_{N}}+\frac{1}{\alpha_{B}}+\frac{1}{\alpha_{S}})——算力被参数量、batch size、更新步数三个资源瓜分，瓜分比例由各自幂律指数的倒数决定。代入数值：(1/0.076=13.16)、(1/0.21=4.76)、(1/0.76=1.32)，三者之和为 19.24。于是 batch size 那一项占 (4.76/19.24=24.8%)，正好对应 (B\propto C^{0.24})。

**而 (\alpha_{B}=0.21) 这个数字，本身来自 (B_{\rm crit}(L)) 的经验拟合，而 (B_{\rm crit}) 的整个概念框架来自 1812.06162。**没有这篇，Kaplan 的三资源分配式里就有一项无从谈起。同时它也是 OpenAI Five（Dota 2）敢用百万级 batch 训练的理论依据——那是一个在当时看来极其激进、事后被证明正确的工程决策。

这一节的结构是：先把噪声与曲率的竞争写成一个二次函数（FX-12），求出最优步长与最大损失下降（FX-13），给出一个可实测的简化噪声尺度（FX-14），再把单步结论推广成一条双曲线形式的时间-算力权衡前沿（FX-15），最后接回 Kaplan 的经验拟合（FX-16）。整条链子从头到尾只用到二阶泰勒展开和一个二次函数求极值，数学上极其朴素，但结论直接决定了今天所有大规模训练的 batch size 选择。

FX-12

随机梯度下降单步损失变化的二阶展开

T2 官方论文

  ① 直觉
  

加大 batch 有两个相反的效应。好处：梯度估计更准，可以放心迈更大的步子。坏处：每一步的算力成本正比于 batch。问题在于「更准」这件事有收益递减——梯度的相对误差按 (1/\sqrt{B}) 衰减，一旦准到「曲率而不是噪声成为限制因素」，再加大 batch 就纯粹是烧钱。

这篇论文的全部工作，就是把这句定性的话变成一个可以测量的标量：梯度噪声尺度 (\mathcal{B}_{\rm noise})——噪声惩罚项与曲率惩罚项的比值。它有一个非常干净的读法：(B=\mathcal{B}_{\rm noise}) 就是「噪声的伤害恰好等于曲率的伤害」那个点。

  ② 推导
  

**(a) 设定。**从数据分布 (\rho) 中独立抽 (B) 个样本估计梯度： [ G_{\rm est}(\theta)=\frac{1}{B}\sum_{i=1}^{B}\nabla_{\theta}L_{x_{i}}(\theta),\qquad x_{i}\sim\rho ] [ \mathbb{E}[G_{\rm est}]=G,\qquad \mathrm{cov}(G_{\rm est})=\frac{1}{B}\Sigma,\qquad \Sigma\equiv\mathbb{E}{x}\left[(\nabla{\theta}L_{x})(\nabla_{\theta}L_{x})^{\top}\right]-GG^{\top} ](G) 为真梯度，(\Sigma) 为单样本梯度的协方差。式(2.1)(2.2)(2.3)。

  展开：二阶泰勒展开 ＋ 取期望的完整推导（五步）
    

**Step 1 · 泰勒展开。**对任意扰动方向 (V)，把损失在 (\theta) 附近展到二阶： [ L(\theta-\epsilon V)\approx L(\theta)-\epsilon G^{\top}V+\frac12\epsilon^{2}V^{\top}HV \tag{2.4}](H) 为 Hessian。三阶及以上项被丢弃，这是整套理论最基础的近似。

**Step 2 · 取 (V=G_{\rm est}) 并对 batch 的随机性取期望。**期望是线性的，逐项处理： [ \mathbb{E}\left[L(\theta-\epsilon G_{\rm est})\right] = L(\theta)-\epsilon G^{\top}\mathbb{E}[G_{\rm est}]+\frac12\epsilon^{2},\mathbb{E}\left[G_{\rm est}^{\top}HG_{\rm est}\right] ]

Step 3 · 第一项用无偏性。(\mathbb{E}[G_{\rm est}]=G\Rightarrow G^{\top}\mathbb{E}[G_{\rm est}]=|G|^{2})。注意这一项与 (B) 无关——batch 大小完全不影响「平均而言往哪走」，只影响「走得有多抖」。这是后面所有结论的分水岭。

**Step 4 · 第二项是关键：二次型的期望。**对任意随机向量 (Z) 与对称矩阵 (H)： [ \mathbb{E}\left[Z^{\top}HZ\right] =\mathbb{E}\left[\mathrm{tr}\left(HZZ^{\top}\right)\right] =\mathrm{tr}\left(H,\mathbb{E}\left[ZZ^{\top}\right]\right) =\mathrm{tr}\left(H\left(\mathrm{cov}(Z)+\mathbb{E}[Z]\mathbb{E}[Z]^{\top}\right)\right) ]第一步用了「标量等于其迹」(Z^{\top}HZ=\mathrm{tr}(Z^{\top}HZ)=\mathrm{tr}(HZZ^{\top}))；第二步用了迹与期望可交换（都是线性算子）。

代入 (Z=G_{\rm est})、(\mathrm{cov}=\Sigma/B)、(\mathbb{E}[Z]=G)： [ \mathbb{E}\left[G_{\rm est}^{\top}HG_{\rm est}\right] =\mathrm{tr}\left(H\frac{\Sigma}{B}\right)+\mathrm{tr}\left(HGG^{\top}\right) =\frac{\mathrm{tr}(H\Sigma)}{B}+G^{\top}HG ]干净地分成两项：一项与 (B) 无关（曲率），一项正比于 (1/B)（噪声）。

**Step 5 · 合并。**得到单步损失变化的期望： [ \boxed{;\mathbb{E}[\Delta L]=\mathbb{E}\left[L(\theta-\epsilon G_{\rm est})\right]-L(\theta) =-\epsilon|G|^{2}+\frac12\epsilon^{2}\left(G^{\top}HG+\frac{\mathrm{tr}(H\Sigma)}{B}\right);}\tag{2.5} ]

逐项解释。这个式子的结构是「线性收益减二次惩罚」，三项各有明确的物理含义：

• (-\epsilon|G|^{2})：沿着（平均而言正确的）梯度走，线性地降低损失。这是唯一的收益项，与 (B) 无关。

• (\frac12\epsilon^{2}G^{\top}HG)：走太远会被曲率惩罚。即使梯度完全准确，这一项也存在——它是「二次函数不能用线性外推」的代价。

• (\frac12\epsilon^{2}\frac{\mathrm{tr}(H\Sigma)}{B})：梯度噪声造成的额外惩罚，正比于 (1/B)。加大 batch 只能压这一项。

**噪声项与曲率项的比值，就定义了噪声尺度。**这句话是下一个公式的全部内容——把两个二次项的系数一比，(\epsilon^{2}/2) 消掉，剩下的就是一个纯粹由 (H)、(\Sigma)、(G) 决定的标量，量纲恰好是 batch size。

把 (2.5) 记成 (\mathbb{E}[\Delta L]=-a\epsilon+\frac12 b\epsilon^{2})，其中 (a=|G|^{2})、(b=G^{\top}HG+\frac{\mathrm{tr}(H\Sigma)}{B})。这是一个开口向上的抛物线，接下来的一切都是对它求极值。

  ③ 数值例
  

取一个玩具设定感受量级：设 (|G|^{2}=1)、(G^{\top}HG=1)、(\mathrm{tr}(H\Sigma)=1000)，则 (\mathcal{B}_{\rm noise}=1000)。在 (B=100) 时二次项系数 (b=1+1000/100=11)；在 (B=1000) 时 (b=2)；在 (B=10^{4}) 时 (b=1.1)。

也就是说，从 (B=100) 提到 (B=1000)（十倍算力），(b) 从 11 降到 2，单步进展提升约 5.5 倍——接近线性加速。而从 (B=1000) 再提到 (B=10^{4})（又是十倍算力），(b) 只从 2 降到 1.1，单步进展仅提升 1.8 倍——八成的算力被浪费了。这就是「临界」二字的含义：它是加速比开始崩塌的位置。

  ④ 假设与失效边界
  

**A · 样本独立同分布。**若无放回地从大小为 (D) 的数据集中抽取，方差应为 (\left(\frac1B-\frac1D\right)\Sigma)；论文限定 (B\ll D) 或有放回抽样。在单 epoch 的大模型预训练里这个条件通常成立，但在小数据集上多 epoch 训练时会失效。

**B · 二阶可微且 Hessian 存在。**ReLU 网络的损失面并非处处二阶可微；这里是在「几乎处处」的意义上使用。

C · 单步、局部。整套分析只描述当前这一步。它不知道也不关心训练轨迹的全局形状，这直接导致了后面 ④ 里最重要的那条局限（短视偏差）。

**D · 三阶项被丢弃。**作者认为这是最小的误差源（“since parameter updates are local and often quite small”），但在学习率很大或损失面很不规则时不成立。

  ⑤ 论文出处
  

arXiv:1812.06162（McCandlish, Kaplan, Amodei & OpenAI Dota Team，An Empirical Model of Large-Batch Training，2018-12-14）：式(2.1)(2.2)(2.3) 设定，式(2.4)(2.5) 二阶展开与取期望；假设列表见 §2.1。

FX-13

最优步长与最大损失下降：两条同形的饱和曲线

T2 官方论文

  ① 直觉
  

既然 (\mathbb{E}[\Delta L]) 是 (\epsilon) 的开口向上抛物线，最优步长就在顶点处。有意思的是，最优步长与在该步长下能取得的最大损失下降，两者具有完全相同的函数形状——都是 (\frac{\text{最大值}}{1+\mathcal{B}{\rm noise}/B})。这个巧合（其实是代数必然）让 (\mathcal{B}{\rm noise}) 成为一个真正的「单一参数」：知道它，就同时知道了「学习率该怎么随 batch 调」和「进展会饱和在哪」。

  ② 推导
  

**(a) 对 (\epsilon) 求极值。**由 (\mathbb{E}[\Delta L]=-a\epsilon+\frac12b\epsilon^{2})： [ \frac{d}{d\epsilon}\mathbb{E}[\Delta L]=-a+b\epsilon=0;\Longrightarrow;\epsilon_{\rm opt}=\frac{a}{b} ]

**(b) 代回并整理成饱和形式。**把分子分母同除 (G^{\top}HG)： [ \epsilon_{\rm opt}(B)=\frac{|G|^{2}}{G^{\top}HG+\frac{\mathrm{tr}(H\Sigma)}{B}} =\frac{|G|^{2}/(G^{\top}HG)}{1+\frac{\mathrm{tr}(H\Sigma)}{B,G^{\top}HG}} =\frac{\epsilon_{\max}}{1+\mathcal{B}{\rm noise}/B} ] [ \boxed{;\epsilon{\max}=\frac{|G|^{2}}{G^{\top}HG},\qquad \mathcal{B}{\rm noise}=\frac{\mathrm{tr}(H\Sigma)}{G^{\top}HG};} ](\epsilon{\max}) 是 (B\to\infty)（无噪声）时的最优步长，即在真梯度方向上做精确线搜索的结果。式(2.6)(2.8)。

**(c) 最大损失下降。**把 (\epsilon_{\rm opt}=a/b) 代回 (\mathbb{E}[\Delta L]=-a\epsilon+\frac12b\epsilon^{2})： [ \mathbb{E}[\Delta L]_{\rm opt}=-\frac{a^{2}}{b}+\frac12 b\cdot\frac{a^{2}}{b^{2}}=-\frac{a^{2}}{2b} ]

改写成正的「下降量」(\Delta L_{\rm opt}=a^{2}/2b)，同样整理成饱和形式： [ \Delta L_{\rm opt}(B)=\frac{|G|^{4}}{2\left(G^{\top}HG+\frac{\mathrm{tr}(H\Sigma)}{B}\right)} =\frac{\Delta L_{\max}}{1+\mathcal{B}{\rm noise}/B},\qquad \boxed{;\Delta L{\max}=\frac12\frac{|G|^{4}}{G^{\top}HG};} ]式(2.7)。三个量 (\epsilon_{\max})、(\mathcal{B}{\rm noise})、(\Delta L{\max}) 均已与原文逐字核对。

  ③ 数值例
  

饱和曲线 (\Delta L_{\rm opt}(B)=\dfrac{\Delta L_{\max}}{1+\mathcal{B}_{\rm noise}/B}) 的三个特征位置值得背下来：

• (B\ll\mathcal{B}{\rm noise})：分母约等于 (\mathcal{B}{\rm noise}/B)，于是 (\Delta L_{\rm opt}\approx\Delta L_{\max}\cdot\frac{B}{\mathcal{B}_{\rm noise}}\propto B)——每步进展正比于 batch，加倍 batch 就减半步数，完美线性加速。

• (B\gg\mathcal{B}{\rm noise})：分母约等于 1，(\Delta L{\rm opt}\approx\Delta L_{\max})——加大 batch 毫无用处，纯粹浪费算力。

• (B=\mathcal{B}{\rm noise})：(\Delta L{\rm opt}=\frac12\Delta L_{\max})——训练速度恰好降到最大值的 50%（论文 Fig.3 右图的注解）。

同时注意 (\epsilon_{\rm opt}) 的行为：在 (B\ll\mathcal{B}{\rm noise}) 区间它近似正比于 (B)（线性缩放法则），在 (B\gg\mathcal{B}{\rm noise}) 区间它饱和到 (\epsilon_{\max})。这解释了业界那条经验规则「batch 翻倍、学习率翻倍」为什么只在小 batch 区成立，以及为什么超过某个点之后再按线性法则调学习率就会训崩。

  ④ 假设与失效边界
  

**A · (H) 必须正定（至少在有效子空间内）。**若 (G^{\top}HG<0)（负曲率方向），则 (\epsilon_{\max}=|G|^{2}/(G^{\top}HG)<0)，整个框架崩溃。**深度网络的 Hessian 确实存在大量负特征值。**论文的辩护是「fits are best late in training, when the loss may be approximately quadratic」——也就是说，这套理论在训练后期最准，在训练早期最不可靠。

**B · 假设每一步都用最优步长。**实践中学习率不会被完美调优，而且噪声尺度本身还会通过「训练温度」反过来依赖学习率（论文 Appendix C）。这是一个自洽性问题，不是简单的近似误差。

C · 病态条件数。当 (H) 的谱分布很宽时，参数会在大曲率方向上震荡而非稳定下降，式(2.7) 不能准确反映单步进展。有意思的是，作者发现式(2.11)（Pareto 关系）的相对预测在这种情况下仍然准——绝对值错了但比值对了。

  ⑤ 论文出处
  

arXiv:1812.06162 式(2.6)(2.7)(2.8)；负曲率与病态条件数的讨论见 §2.4；学习率与噪声尺度的耦合见 Appendix C。

FX-14

简化噪声尺度 (\mathcal{B}_{\rm simple}) 与它的可测量性

T2 官方论文

  ① 直觉
  

(\mathcal{B}_{\rm noise}=\mathrm{tr}(H\Sigma)/(G^{\top}HG)) 虽然优美，但要算它得知道 Hessian——对十亿参数的模型来说这是不可能的。**论文的工程智慧在于：只要假设 (H) 是单位阵的倍数，(H) 就从分子分母里同时消掉，剩下一个纯粹用梯度就能估计的量。**而这个量恰好有一个非常直白的解读，并且可以在数据并行训练里以几乎零开销测出来——这才是这套理论真正被工业界采用的原因。

  ② 推导
  

**(a) 完美条件数假设。**设 (H=cI)： [ \mathcal{B}{\rm noise}=\frac{\mathrm{tr}(H\Sigma)}{G^{\top}HG}=\frac{c,\mathrm{tr}(\Sigma)}{c,|G|^{2}} ;\Longrightarrow; \boxed{;\mathcal{B}{\rm simple}=\frac{\mathrm{tr}(\Sigma)}{|G|^{2}};} ]式(2.9)。(c) 上下消掉——这正是这个简化能成立的全部原因。

**(b) 第二重含义。**把梯度估计的相对 (L^{2}) 误差写出来： [ \frac{\mathbb{E}\left[|G_{\rm est}-G|^{2}\right]}{|G|^{2}}=\frac{1}{B}\frac{\mathrm{tr}(\Sigma)}{|G|^{2}}=\frac{\mathcal{B}{\rm simple}}{B} \tag{2.10}]推导只需一行：(\mathbb{E}[|G{\rm est}-G|^{2}]=\mathrm{tr}\left(\mathrm{cov}(G_{\rm est})\right)=\mathrm{tr}(\Sigma)/B)。

**于是 (\mathcal{B}_{\rm simple}) 就是「让梯度估计的相对 (L^{2}) 误差降到 1 所需的 batch size」。**这个解读非常干净，而且完全不依赖任何关于 Hessian 的知识——它把一个二阶量的比值，翻译成了一个纯一阶量的信噪比阈值。

**(c) 可测量性：用两个 batch size 联立求解。**设用 (B_{\rm small}) 与 (B_{\rm big}) 各测一个梯度。由 [ \mathbb{E}\left[|G_{B}|^{2}\right]=|G|^{2}+\frac{\mathrm{tr}(\Sigma)}{B} ]这是一个含两个未知量 (|G|^{2}) 与 (\mathrm{tr}(\Sigma)) 的线性方程，取两个不同的 (B) 就能联立。

解出两个无偏估计量： [ \widehat{|G|^{2}}=\frac{1}{B_{\rm big}-B_{\rm small}}\left(B_{\rm big}|G_{B_{\rm big}}|^{2}-B_{\rm small}|G_{B_{\rm small}}|^{2}\right) ] [ \widehat{\mathrm{tr}(\Sigma)}=\frac{1}{1/B_{\rm small}-1/B_{\rm big}}\left(|G_{B_{\rm small}}|^{2}-|G_{B_{\rm big}}|^{2}\right),\qquad \hat{\mathcal{B}}_{\rm simple}=\frac{\widehat{\mathrm{tr}(\Sigma)}}{\widehat{|G|^{2}}} ]Appendix A.1。论文给出了一个「negligible overhead」的数据并行实现方法。

为什么这在实践中几乎免费：在数据并行训练里，(G_{B_{\rm small}}) 就是单卡的局部梯度，(G_{B_{\rm big}}) 就是 all-reduce 之后的全局梯度。两者本来就都要算，只需额外求两个范数——相对于一次前反向传播，开销可以忽略。一个理论量能不能被工业界采用，往往不取决于它有多正确，而取决于它能不能在现有流水线上顺手测出来。

  ③ 数值例
  

设 (B_{\rm small}=64)、(B_{\rm big}=1024)，实测 (|G_{64}|^{2}=0.50)、(|G_{1024}|^{2}=0.14)。代入两个估计式： [ \widehat{|G|^{2}}=\frac{1024\times0.14-64\times0.50}{1024-64}=\frac{143.36-32}{960}=0.116 ] [ \widehat{\mathrm{tr}(\Sigma)}=\frac{0.50-0.14}{1/64-1/1024}=\frac{0.36}{0.014648}=24.6 ;\Longrightarrow; \hat{\mathcal{B}}_{\rm simple}=\frac{24.6}{0.116}\approx212 ]当前这一步的临界 batch 约 212 个样本。

读法：当前这一步的临界 batch 约 212 个样本。若正在用 (B=64) 训练，说明还处在线性加速区，加大 batch 划算；若正在用 (B=2048)，说明已经远过临界点，八成以上的算力在做无用功，应该考虑把 batch 降下来、把节省的算力用于更多步或更大模型。

一个实践上的坑：两个估计量各自无偏，但它们的比值有偏（Jensen 不等式）。正确做法是在多个步上分别累积分子与分母，最后再相除，而不是每步算一个比值再平均。这个细节在论文附录里只占一句话，但在实现里是常见的错误来源。

  ④ 假设与失效边界
  

**A · (H\propto I) 是很强的假设。**真实网络的 Hessian 谱极不均匀。(\mathcal{B}{\rm simple}) 与 (\mathcal{B}{\rm noise}) 的差距取决于 (\Sigma) 与 (H) 的主方向是否对齐；论文观察到两者数量级一致，但这是经验发现而非定理。

**B · 不同梯度分量可能有非常不同的噪声尺度。**用一个标量概括整个模型，会掩盖「某些层早已饱和、某些层还远未饱和」这类结构性差异。分层自适应 batch 是一个自然但尚未被主流采用的方向。

**C · 比值估计有偏。**见 ③ 的最后一段。样本量小时偏差可观。

D · 只在当前点有效。(\mathcal{B}_{\rm simple}) 随训练推进而增长（因为 (|G|) 变小），所以它是一条曲线而不是一个常数，任何「一次测量、全程使用」的做法都会低估后期的临界 batch。

  ⑤ 论文出处
  

arXiv:1812.06162 式(2.9)(2.10)；两 batch 估计法与数据并行实现见 Appendix A.1；比值有偏的提醒见同一附录。

FX-15

时间与算力的 Pareto 前沿：一条双曲线

T2 官方论文

  ① 直觉
  

前面三个公式都是单步的。真正的工程问题是：要到达某个目标损失，需要多少步数 (S)（决定墙钟时间）、需要处理多少样本 (E=BS)（决定算力账单）？这两个量之间必然存在取舍——但取舍的形状不是显然的。

**答案是一条双曲线，而且是最简单的那种。**它的两条渐近线各自有清晰的物理含义：(S=S_{\min}) 是「再大的 batch 也快不过这个步数」，(E=E_{\min}) 是「再小的 batch 也省不过这个样本量」。而双曲线上有唯一一个对称点，两边都只付 2 倍代价——那就是临界 batch size。

  ② 推导

  展开：Pareto 双曲线的完整推导（四步 ＋ 两条渐近线的读法）
    

**【前提】**四条假设必须先摆出来，因为后面每一条局限都对应其中一条：

• 每一步的最优下降量都由 (\Delta L_{\rm opt}(B)) 给出，即每步都用最优步长；

• (\mathcal{B}_{\rm noise}) 在整个训练过程中可以用一个「适当平均」的常数代表（论文 Appendix D 做了这个平均）；

• 固定 batch size 训练，因此 (E=BS)；

• 总的损失下降量 (\Delta L_{\rm total}) 与 (B) 无关，即「到达同一个目标损失」。

**Step 1 · 步数。**总下降量除以每步下降量： [ S=\frac{\Delta L_{\rm total}}{\Delta L_{\rm opt}(B)} =\frac{\Delta L_{\rm total}}{\Delta L_{\max}}\left(1+\frac{\mathcal{B}_{\rm noise}}{B}\right) ]

定义 (S_{\min}\equiv\dfrac{\Delta L_{\rm total}}{\Delta L_{\max}})（即 (B\to\infty) 的极限，「最少可能步数」）： [ \boxed{;S=S_{\min}\left(1+\frac{\mathcal{B}_{\rm noise}}{B}\right);}\tag{a} ]

**Step 2 · 样本数。**两边乘 (B)： [ E=BS=S_{\min}\left(B+\mathcal{B}{\rm noise}\right)=S{\min}\mathcal{B}{\rm noise}\left(1+\frac{B}{\mathcal{B}{\rm noise}}\right) ]

定义 (E_{\min}\equiv S_{\min}\mathcal{B}{\rm noise})（即 (B\to0) 的极限，「最少可能样本数」）： [ \boxed{;E=E{\min}\left(1+\frac{B}{\mathcal{B}_{\rm noise}}\right);}\tag{b} ]

**Step 3 · 消去 (B)。**由 (a) 得 (\dfrac{S}{S_{\min}}-1=\dfrac{\mathcal{B}{\rm noise}}{B})；由 (b) 得 (\dfrac{E}{E{\min}}-1=\dfrac{B}{\mathcal{B}{\rm noise}})。两者互为倒数，相乘即得： [ \boxed{;\left(\frac{S}{S{\min}}-1\right)\left(\frac{E}{E_{\min}}-1\right)=1;} ]式(2.11)；Kaplan 论文式(5.1) 直接沿用了它。

**它为什么是一条双曲线。**令 (u=S/S_{\min}-1)、(w=E/E_{\min}-1)，方程就是 (uw=1)——标准的直角双曲线，只不过原点被平移到了 ((E_{\min},S_{\min}))。两条渐近线正是 (u=0) 与 (w=0)，即 (S=S_{\min}) 与 (E=E_{\min})。

两条渐近线的物理含义，这是这条公式最有价值的部分：

• (S=S_{\min})（水平渐近线）：无论你把 batch 加到多大、花多少钱，步数不可能少于 (S_{\min})。因为每步的下降量有上界 (\Delta L_{\max})，这是曲率决定的，与噪声无关。这是「金钱买不到时间」的数学形式。

• (E=E_{\min})（垂直渐近线）：无论你把 batch 减到多小、愿意等多久，总样本量不可能少于 (E_{\min})。因为每个样本携带的信息有限。这是「时间买不到数据」的数学形式。

**Step 4 · 临界 batch size。**定义 (\mathcal{B}{\rm crit}\equiv E{\min}/S_{\min})： [ \mathcal{B}{\rm crit}\equiv\frac{E{\min}}{S_{\min}}=\frac{S_{\min}\mathcal{B}{\rm noise}}{S{\min}}=\mathcal{B}{\rm noise} ]式(2.12)。理论预测 (\mathcal{B}{\rm crit}\approx\mathcal{B}_{\rm noise})。

这里有一个容易被读漏的方法论要点：论文强调 (\mathcal{B}{\rm crit}) 是从式(2.11) 的经验拟合定义出来的（拟合真实训练数据得到 (S{\min},E_{\min})，再取比值），而 (\mathcal{B}_{\rm noise}) 是一个理论量（由 (H,\Sigma,G) 算出）。**两者相符不是恒等式，而是这篇论文的主要经验发现。**这个区分很重要：如果把它当成定义，整篇论文就没有可证伪的内容了。

在 (B=\mathcal{B}_{\rm crit}) 处：(S/S_{\min}-1=1\Rightarrow S=2S_{\min})，(E/E_{\min}-1=1\Rightarrow E=2E_{\min})。**你付出 2 倍最少步数和 2 倍最少样本数——这是双曲线上唯一一个「两边都只付 2 倍」的对称点。**离开它，一边线性变好，另一边就双曲线式变坏。这就是它成为默认工程选择的原因。

把双曲线的两个方向各走一步，取舍的不对称性就出来了：**想更省算力？**把 (B) 降到 (\mathcal{B}{\rm crit}/9)，样本数只降到 (1.11E{\min})（省了 44%），但步数飙到 (10S_{\min})（墙钟时间变成 5 倍）。**想更快？**把 (B) 提到 (9\mathcal{B}{\rm crit})，步数降到 (1.11S{\min})，但算力涨到 (10E_{\min})（钱变成 5 倍）。两个方向都是「用 5 倍换 1.8 倍」，这就是双曲线的残酷之处。

  ③ 数值例
  

设某次训练拟合出 (S_{\min}=10^{4}) 步、(E_{\min}=2\times10^{10}) 样本，则 (\mathcal{B}_{\rm crit}=2\times10^{6})。列出四个 batch 选择：

    \(B/\mathcal{B}_{\rm crit}\)\(B\)\(S/S_{\min}\)实际步数\(E/E_{\min}\)实际样本量工程含义| \(B/\mathcal{B}_{\rm crit}\) | \(B\) | \(S/S_{\min}\) | 实际步数 | \(E/E_{\min}\) | 实际样本量 | 工程含义 |

    
      1/9\(2.2\times10^{5}\)10.0\(1.0\times10^{5}\)1.11\(2.2\times10^{10}\)最省算力，但墙钟时间 5 倍| 1/9 | \(2.2\times10^{5}\) | 10.0 | \(1.0\times10^{5}\) | 1.11 | \(2.2\times10^{10}\) | 最省算力，但墙钟时间 5 倍 |

      1/3\(6.7\times10^{5}\)4.00\(4.0\times10^{4}\)1.33\(2.7\times10^{10}\)偏省钱的常见选择| 1/3 | \(6.7\times10^{5}\) | 4.00 | \(4.0\times10^{4}\) | 1.33 | \(2.7\times10^{10}\) | 偏省钱的常见选择 |

      **1**\(2.0\times10^{6}\)**2.00**\(2.0\times10^{4}\)**2.00**\(4.0\times10^{10}\)**临界点：两边都只付 2 倍**| 1 | \(2.0\times10^{6}\) | 2.00 | \(2.0\times10^{4}\) | 2.00 | \(4.0\times10^{10}\) | 临界点：两边都只付 2 倍 |

      9\(1.8\times10^{7}\)1.11\(1.1\times10^{4}\)10.0\(2.0\times10^{11}\)最快，但算力账单 5 倍| 9 | \(1.8\times10^{7}\) | 1.11 | \(1.1\times10^{4}\) | 10.0 | \(2.0\times10^{11}\) | 最快，但算力账单 5 倍 |

    
  
  

把这张表读一遍就能明白 OpenAI Five 当年为什么敢用百万级 batch：在一个墙钟时间比算力成本更稀缺的项目里（Dota 有比赛日程），双曲线的右下方向就是理性选择。反过来，一个算力受限的预训练项目应该待在临界点左侧。「最优 batch size」这个问题本身没有唯一答案——它取决于你更缺时间还是更缺钱。

  ④ 假设与失效边界
  

A · 短视偏差（short-horizon bias）。整套分析是贪心的单步最优。论文自陈：“Greedily choosing the best local improvement is generally not the best way to globally optimize the loss.” 在有坏局部极小或病态景观时，噪声本身可能是有益的（帮助逃离），此时真实的 (B_{\rm crit}) 会比理论值小。这是四条局限里最深刻的一条：它不是近似误差，而是目标函数选错了。

**B · (\mathcal{B}_{\rm noise}) 被当成常数。**它实际上随训练推进而增长。论文用 Appendix D 的「适当平均」处理，但这掩盖了「训练早期与晚期应该用不同 batch」这个更精细的结论。

**C · 假设固定 batch。**动态 batch（ramp-up）在实践中普遍使用，此时 (E=BS) 不再成立，需要改写成积分形式。

**D · 假设「到达同一个目标损失」。**如果不同 batch 训出的模型在相同损失下有不同的泛化性质（这在文献里有争议），那么「同一个目标损失」就不是同一个终点。

  ⑤ 论文出处
  

arXiv:1812.06162 式(2.11)(2.12)，假设与平均处理见 §2.3 与 Appendix D，局限自陈见 §2.4；Kaplan 侧的沿用见 arXiv:2001.08361 式(5.1)。

**图 · 时间-算力 Pareto 前沿（本报告原创 SVG）：**这张图回答「**为什么临界 batch size 是个特殊的点，而不只是一个经验阈值**」。双对数坐标下，两条渐近线恰好退化成两条坐标轴的平移——青色虚线 \(E=E_{\min}\) 是「再慢也省不过的样本量」，金色虚线 \(S=S_{\min}\) 是「再贵也快不过的步数」。橙色点是 \(B=\mathcal{B}_{\rm crit}\)，双曲线上唯一一个两个方向都只付 2 倍代价的对称点。**刻意把两侧的极端点（青、蓝）也画出来**：它们说明离开临界点后，你总是在用 5 倍的一样东西去换 1.8 倍的另一样东西。






FX-16

(B_{\rm crit}(L)) 的幂律与它在 Kaplan 框架中的角色

T2 官方论文

  ① 直觉
  

前面五个公式给出的是「在某一个训练时刻，临界 batch 是多少」。工程上还需要知道：临界 batch 随训练推进怎么变？直觉上它必然增长——因为 (\mathcal{B}_{\rm simple}=\mathrm{tr}(\Sigma)/|G|^{2})，越接近最优点 (|G|\to0) 而 (\mathrm{tr}(\Sigma)) 不为零，所以噪声尺度会发散。

Kaplan 的做法是把这个发散直接参数化成一个关于损失的幂律。**这是一个非常有工程气质的选择：不去解释为什么，只要求它在被测区间内拟合得好、并且外推方向合理。**而它的代价，正是本章前面那一整节讨论的东西。

  ② 推导
  

**(a) 参数化形式。**Kaplan 论文把临界 batch size 写成损失的幂律： [ B_{\rm crit}(L)\approx\frac{B_{}}{L^{1/\alpha_{B}}},\qquad B_{}\approx2\times10^{8}\ \text{tokens},\quad \alpha_{B}\approx0.21 ]arXiv:2001.08361 式(1.4)/(5.3) 与 Table 5。注意一处取整差异：Table 5 给 (B_{*}=2.1\times10^{8})，正文式(1.4)/(5.3) 给 (2\times10^{8})。

**(b) 为什么选这个参数化。**论文原话：“as the loss approaches its minimum value (L_{\min}), the gradient noise scale is expected to diverge, and we expect (B_{\rm crit}) to track this noise scale. We do not know (L_{\min})… Since apparently (L_{\min}) is much smaller than the values of (L) we have achieved, we used a parameterization where (B_{\rm crit}) diverges as (L\to0).”

翻译一下：**真正的发散点应该在 (L=L_{\min}>0) 处，但因为不知道 (L_{\min}) 是多少，就近似成在 (L=0) 处发散。**这是一个明确写出来的、诚实的近似——而它同时也是一个隐患：如果实际的 (L_{\min}) 并不远小于当前的 (L)，这条外推就会系统性低估临界 batch。

**(c) 验算「每降 13% 损失，临界 batch 翻倍」。**论文说 “the critical batch size approximately doubles for every 13% decrease in loss”。验算：(B_{\rm crit}\propto L^{-1/0.21}=L^{-4.762})，损失降 13% 即 (L\to0.87L)： [ 0.87^{-4.762}=e^{4.762\times0.1393}=e^{0.6633}=1.94\approx2\quad\checkmark ]一个可以口算的自洽性检查——任何引用这条经验规则的人都应该顺手验一遍。

(d) 它在 Kaplan 框架里的角色。(\alpha_{B}=0.21) 进入三资源分配式： [ \frac{1}{\alpha_{C}^{\min}}=\frac{1}{\alpha_{N}}+\frac{1}{\alpha_{B}}+\frac{1}{\alpha_{S}} =\frac{1}{0.076}+\frac{1}{0.21}+\frac{1}{0.76}=13.16+4.76+1.32=19.24 ]batch 项贡献 (4.76/19.24=24.8%)，正好对应 (B\propto C^{0.24})。

  ③ 数值例
  

两条关键经验发现值得单独记：第一，(B_{\rm crit}) 只依赖损失，不直接依赖模型大小——Kaplan 论文 Fig.10 用两个不同大小的模型验证了这一点，两条曲线落在同一条线上。**第二，收敛时最大模型的 (B_{\rm crit}) 约为 1–2 百万 tokens。**这个数量级正是今天前沿模型预训练所用 batch 的量级。

做一个外推练习感受它的陡峭：(B_{\rm crit}\propto L^{-4.762})。若损失从 3.0 降到 2.0（降 33%），临界 batch 增长 ((2/3)^{-4.762}=e^{4.762\times0.4055}=e^{1.931}=6.9) 倍。也就是说，在一次训练的中后段，临界 batch 可能增长近一个数量级——这解释了为什么 batch ramp-up（训练中途逐步加大 batch）在工程上是有理论依据的，而不只是一个调参技巧。

  ④ 假设与失效边界
  

**A · 发散点被强行设在 (L=0)。**真实的发散点在 (L=L_{\min}>0)。作者明说这是因为不知道 (L_{\min})。当训练接近真实的不可约损失时，这条幂律会失准，而且是往低估的方向失准。

B · 常数存在取整差异。(B_{*}) 在正文与 Table 5 之间不一致（(2\times10^{8}) vs (2.1\times10^{8})）。差 5% 看似无关紧要，但它出现在一个要外推数个数量级的幂律里。

C · 「只依赖损失」这条结论在 2024 年被修正。见下面的收尾局限区块——解耦实验显示 (B_{\rm crit}) 主要随数据量而非模型大小缩放，与 Kaplan 的读法给出不同的操作建议。

D · 它继承了 Kaplan 的全部口径问题。(\alpha_{B}) 是在与 (\alpha_{N}=0.076) 同一套实验协议下测出来的，而上一节已经论证 (\alpha_{N}) 是被稀释后的表观值。**如果 (\alpha_{N}) 有系统偏差，没有理由认为 (\alpha_{B}) 完全干净。**这一点在文献里几乎没有被讨论过。

  ⑤ 论文出处
  

arXiv:2001.08361 式(1.4)(5.3) 与 Table 5、Fig.10（(B_{\rm crit}) 只依赖损失的验证）；三资源分配式见式(6.4) 一带的推导。理论侧见 arXiv:1812.06162 式(2.11)(2.12)。

F4.8 收尾：论文自列的局限与 2024 年的修正

▲ 论文自列的局限（§2.4）与两条结构性隐含假设

1 · 短视偏差。整套分析是贪心的单步最优。“Greedily choosing the best local improvement is generally not the best way to globally optimize the loss.” 在有坏局部极小或病态景观时，噪声本身可能是有益的，此时真实的 (B_{\rm crit}) 会比理论值小。

2 · 病态条件数。(H) 的谱分布很宽时，参数会在大曲率方向震荡而非稳定下降，式(2.7) 不能准确反映单步进展——但作者发现式(2.11) 的相对预测仍然准确。

3 · 简化噪声尺度的误差。(\mathcal{B}_{\rm simple}) 假设 (H\propto I)；不同梯度分量可能有非常不同的噪声尺度。

**4 · 学习率调优。**全部推导假设使用最优步长；实践中做不到，而且噪声尺度本身还通过「训练温度」反过来依赖学习率（Appendix C）。

**5 · 二阶近似。**三阶项若重要则整套失效。作者认为这是最小的误差源。

隐含假设一 · (H) 需要正定（至少在有效子空间内）。若 (G^{\top}HG<0)，则 (\epsilon_{\max}<0)，框架直接崩溃。深度网络的 Hessian 确实有大量负特征值；论文的辩护是「拟合在训练后期最好，那时损失可能近似二次」。这等于承认：这套理论在你最需要它的训练早期最不可靠。

**隐含假设二 · 推导全部基于纯 SGD，实践中却用 Adam。**论文明确写道：式 2.7 与 2.8 “provide a helpful guide… even when using other optimizers (including momentum, Adam, and RMSProp)”。但这是纯经验断言，没有任何理论支撑——Adam 的预条件相当于改变了有效的 (H)，而作者尝试用 Adam 的二阶矩做预条件梯度时“found mixed results”。今天所有 LLM 训练都用 Adam 系优化器，所以这条局限影响的是全部实际应用。

▲ 2024 年的修正：临界 batch 主要随数据量而非模型大小缩放

Zhang、Morwani、Vyas、Wu、Zou、Ghosh、Brandfonbrener、Kakade 等人的《How Does Critical Batch Size Scale in Pre-training?》（ICLR 2025，arXiv:2410.21676）在 85M–1.2B 参数、C4 数据集上做了一组解耦实验，并用指数权重平均（EWA）替代预设的学习率衰减，使得「训练到目标损失」这件事不需要预先固定训练时长。三条经验结论：

(1) Chinchilla 设置下（(D/N) 固定），临界 batch 随规模增长：(B^{}=93.20\times N^{0.47})（(N) 以百万计）。(2) 固定模型大小、增加数据，增长幅度相似：(B^{}=22.91\times D^{0.47})（(D) 以十亿 token 计，20% overhead 定义；10% 阈值下为 (20.67,D^{0.48})）。(3) 固定数据量、增加模型大小，临界 batch 几乎不动：(B^{*}=621.341\times N^{0.087})。指数 0.087 与 0.47 差了五倍以上。

为什么这重要。Kaplan 说「(B_{\rm crit}) 只依赖损失，不依赖模型大小」；2024 年的结论说「(B_{\rm crit}) 主要依赖数据量」。这两句话在 Chinchilla 设置下看起来一致（因为损失与 (D) 单调相关），但在解耦实验里给出完全不同的操作建议：Kaplan 读法是「训大模型 ⟹ 损失更低 ⟹ 可用更大 batch」；2024 读法是「训更久 ⟹ 可用更大 batch，单纯把模型做大不能让你用更大 batch」。后者对今天的工程实践更有指导性：长训练（overtrained 的小模型）天然享有更好的数据并行度。

理论支撑是两个非正式定理：无限宽度极限（muP，Yang & Hu 2021）下训练动力学与模型大小无关，故临界 batch 对模型大小饱和；以及最小二乘 ＋ power-law source/capacity 条件下的 mini-batch SGD 给出 (B^{*}(D)=\Theta(D^{c}))，在方差误差主导的区间里 (0<c<1/2)。论文自己也搭了回到 1812.06162 的桥：“our definition of CBS and its scaling law have a similar interpretation with the one in (McCandlish et al., 2018; Kaplan et al., 2020) as (E_{\min}/S_{\min})…”

其他后续争议：Shallue et al. (2019)《Measuring the Effects of Data Parallelism on Neural Network Training》发现临界 batch 强烈依赖模型架构与优化器，而不仅是噪声尺度——这与本文「对模型大小依赖很弱」的结论部分冲突。另外，在 LLM 的强化学习场景（PPO / GRPO）里，「batch」包含 rollout 采样，噪声结构与监督学习完全不同：(\mathcal{B}_{\rm noise}) 会因为奖励稀疏、优势归一化而剧烈变化。这一块目前几乎没有系统研究，也正好呼应上一节教训四里那句「同样的陷阱正在重演」。

F5 · PPO：从「多步更新一定会崩」到「一个 min 就够了」

PPO 是今天几乎所有 RLHF 管线的引擎，但它不是从零发明的。它是一条完整推导链的最后一节：策略梯度定理给出可微的更新方向 → 性能差引理给出「新旧策略性能差」的精确恒等式 → 代理目标做唯一一次近似 → 单调改进界告诉你近似的代价是多少 → TRPO 把这个界工程化成硬约束 → PPO 再把硬约束换成一个一阶的截断。只看最后那个 clip 公式，是读不懂 PPO 的——因为 clip 的全部合理性都写在它前面那条界里，而它的全部失效模式，也都来自它对那条界的偷工减料。

本节记号沿用 F0.1：(\pi_\theta) 为策略（语言模型），(\hat A_t) 为优势估计，(\beta) 为 KL 系数（注意与 Chinchilla 的幂律指数 (\beta) 同名不同义）。

F5.1 出发点：策略梯度定理，以及「为什么直接多步更新会崩」

◈ 一切的起点

要最大化期望回报 (J(\theta)=\mathbb{E}{\tau\sim\pi\theta}[R(\tau)])，困难在于轨迹 (\tau) 的分布本身依赖 (\theta)，不能直接对采样结果求导。策略梯度定理给出的答案是： [ \nabla_\theta J(\theta)=\mathbb{E}{\tau\sim\pi\theta}\left[\sum_t\nabla_\theta\log\pi_\theta(a_t\mid s_t),\hat A_t\right] ]读法：把每个动作的对数概率，按它的优势加权地推高或压低。这是一个期望，因此可以用采样无偏估计。

展开：log-derivative trick 的完整推导（为什么可以把梯度换进期望里）

**第一步 · 把梯度搬进积分。**写成轨迹上的积分并交换求导与积分： [ \nabla_\theta J=\nabla_\theta\int p_\theta(\tau)R(\tau),d\tau=\int R(\tau)\nabla_\theta p_\theta(\tau),d\tau ]

**第二步 · 乘一除一，凑出对数导数。**这是整个技巧唯一的代数动作： [ =\int p_\theta(\tau)R(\tau)\underbrace{\frac{\nabla_\theta p_\theta(\tau)}{p_\theta(\tau)}}{=,\nabla\theta\log p_\theta(\tau)},d\tau=\mathbb{E}{\tau}\left[R(\tau),\nabla\theta\log p_\theta(\tau)\right] ]一个不可采样的量（对分布求导）被换成了一个可采样的量（对采样样本求对数导数）。

第三步 · 环境项自动消失。把轨迹概率展开： [ \log p_\theta(\tau)=\log p(s_0)+\sum_t\Big[\log\pi_\theta(a_t\mid s_t)+\log p(s_{t+1}\mid s_t,a_t)\Big] ]初始分布 (p(s_0)) 与转移核 (p(s_{t+1}\mid s_t,a_t)) 都不含 (\theta)，求导后为零。所以策略梯度不需要环境模型——这是它能用在语言模型上的根本原因。

**第四步 · 用优势替换回报。**减去任何只依赖 (s_t) 的基线不改变期望（因为 (\mathbb{E}{a\sim\pi}[\nabla\theta\log\pi_\theta(a\mid s)]=0)），却能显著降低方差。把 (R(\tau)) 换成 (\hat A_t) 就得到定理的常用形式。

三条隐含假设：（1）(\pi_\theta(a\mid s)\gt 0)，否则 (\log) 不可导；（2）样本必须来自当前策略（on-policy）；（3）求导与积分可交换。第二条是后面一切麻烦的来源。

▲ 为什么「用同一批数据多走几步」会崩——三条独立的原因

**1 · 分布漂移。**数据采自 (\pi_{\theta_{\rm old}})，你却在评估 (\pi_\theta) 的梯度。走远之后 (d^{\pi_\theta}\ne d^{\pi_{\theta_{\rm old}}})，代理目标与真实目标脱钩——你还在优化一个已经不描述现实的函数。

**2 · 正反馈崩塌。**只要某动作 (\hat A\gt 0)，梯度就会持续推高它的概率；softmax 下概率趋近 1 时 logit 还可以无限增大，而目标函数仍在继续奖励——系统内部没有任何自然的刹车。

3 · 步长敏感。参数空间的欧氏距离与策略空间的 KL 距离不成比例。同样大小的一步参数更新，在不同位置造成的分布变化可以相差几个数量级——所以「调小学习率」并不能解决问题，它只是把问题变成了「在某些位置太慢、在另一些位置仍然太快」。

这三点合起来，就是 TRPO 与 PPO 的全部设计动机。任何声称「PPO 只是加了个 clip 的策略梯度」的说法，都漏掉了这三条。

FX-17

TRPO 的理论基础：性能差引理 → 代理目标 → 单调改进界

T2 官方论文

  ① 直觉
  

TRPO 想回答一个非常具体的问题：**我用旧策略的数据算出一个「看起来更好」的新策略，这个「看起来」能不能兑现？**答案的形状是一个不等式——真实改进 ≥ 代理改进 − 常数 × 漂移量。只要把漂移压得足够小，代理改进就一定能兑现成真实改进。这就是「单调改进」四个字的全部含义，也是信任域这个概念的来源：信任域不是「怕走远」，而是「代理目标只在这个域内可信」。

  ② 推导
  

(a) 性能差引理（Kakade & Langford 2002）——这是精确恒等式，不是近似： [ \eta(\tilde\pi)=\eta(\pi)+\mathbb{E}{\tau\sim\tilde\pi}\left[\sum{t=0}^{\infty}\gamma^{t}A_{\pi}(s_t,a_t)\right] ]读法：新策略的性能 = 旧策略性能 + 「在新策略的轨迹上，旧策略的优势」的折扣和。麻烦全在下标：期望是对 (\tilde\pi) 的轨迹取的，而我们只有 (\pi) 的样本。

(b) 代理目标：唯一的一次近似。把状态分布 (\rho_{\tilde\pi}) 换成 (\rho_{\pi})（动作分布仍用 (\tilde\pi)）： [ L_{\pi}(\tilde\pi)=\eta(\pi)+\sum_{s}\rho_{\pi}(s)\sum_{a}\tilde\pi(a\mid s)A_{\pi}(s,a) ]这次替换保证了两条性质：(L_\pi(\pi)=\eta(\pi))（取值匹配），以及 (\nabla_\theta L_\pi(\pi_\theta)\big|{\theta{\rm old}}=\nabla_\theta\eta(\pi_\theta)\big|{\theta{\rm old}})（一阶匹配）。也就是说：在 (\pi) 附近，代理与真实相切。

**(c) 单调改进界（TRPO Theorem 1）。**相切只保证「无穷小邻域内可信」，界要回答「走多远还可信」： [ \eta(\pi_{\rm new})\ \ge\ L_{\pi_{\rm old}}(\pi_{\rm new})-\frac{4\epsilon\gamma}{(1-\gamma)^{2}},\alpha^{2},\qquad \epsilon=\max_{s,a}\left|A_{\pi}(s,a)\right| ](\alpha=D_{TV}^{\max}(\pi_{\rm old},\pi_{\rm new})) 是两策略的最大全变差距离。

用 Pinsker 型不等式把全变差换成 KL，得到 TRPO 真正使用的形式： [ \boxed{;\eta(\tilde\pi)\ \ge\ L_{\pi}(\tilde\pi)-C,D_{KL}^{\max}(\pi,\tilde\pi),\qquad C=\frac{4\epsilon\gamma}{(1-\gamma)^{2}};} ]界的形状是 真实 ≥ 代理 − 常数 × 漂移。这是一个 MM（Minorize-Maximization）算法：每次最大化右端这个下界，真实性能就一定不下降。 展开：单调改进界的证明骨架（论文 Appendix A 的四步）

**第一步 · 定义逐状态的期望优势。**令 (\bar A(s)=\mathbb{E}{a\sim\tilde\pi}[A\pi(s,a)])。关键观察是 (\mathbb{E}{a\sim\pi}[A\pi(s,a)]=0)（优势相对旧策略是中心化的），于是把 (\tilde\pi) 写成 (\pi) 加一个扰动就得到 [ \left|\bar A(s)\right|\le 2,\alpha\max_{s,a}\left|A_\pi(s,a)\right| ]即：两个策略越接近，逐状态的期望优势越接近 0。这一步把「策略距离」翻译成了「优势的量级」。

第二步 · 耦合两条轨迹。构造 (\pi) 与 (\tilde\pi) 的一个耦合，使两条轨迹在第一次分歧之前完全相同。在每一步上分歧的概率不超过 (\alpha)，因此到第 (t) 步为止「已经分歧过」的概率不超过 (1-(1-\alpha)^t)。

**第三步 · 逐时刻的误差。**没分歧的那部分轨迹上两个期望完全相同，误差只来自已分歧的部分： [ \left|\mathbb{E}{s_t\sim\tilde\pi}!\left[\bar A(s_t)\right]-\mathbb{E}{s_t\sim\pi}!\left[\bar A(s_t)\right]\right|\le 4\alpha\left(1-(1-\alpha)^{t}\right)\max_{s,a}\left|A_\pi\right| ]

**第四步 · 对 (t) 求折扣和。**把上式乘 (\gamma^t) 累加并放缩： [ \left|\eta(\tilde\pi)-L_\pi(\tilde\pi)\right|\le\frac{4\alpha^{2}\gamma\epsilon}{(1-\gamma)\left(1-\gamma(1-\alpha)\right)}\le\frac{4\alpha^{2}\gamma\epsilon}{(1-\gamma)^{2}} ]最后一步的放缩用了 (1-\gamma(1-\alpha)\ge 1-\gamma)。至此界得证。注意 (\alpha^2) 这个二次形——它才是「小步长可信、大步长不可信」的数学原因：漂移的惩罚增长得比收益快。

**(d) TRPO：把惩罚松弛成硬约束。**理论上应该最大化 (L_\pi(\tilde\pi)-C,D_{KL}^{\max})，但 (C) 大得离谱（见 ③），照做会让步长小到无法实用。TRPO 的工程妥协是改成带约束的优化： [ \max_\theta\ \hat{\mathbb{E}}t\left[\frac{\pi\theta(a_t\mid s_t)}{\pi_{\theta_{\rm old}}(a_t\mid s_t)}\hat A_t\right] \quad\text{s.t.}\quad \hat{\mathbb{E}}t\left[D{KL}\left(\pi_{\theta_{\rm old}}(\cdot\mid s_t),|,\pi_\theta(\cdot\mid s_t)\right)\right]\le\delta ]实现上用 Fisher 信息矩阵做 KL 的二阶近似 (D_{KL}\approx\tfrac12\Delta\theta^{\top}F\Delta\theta)，共轭梯度求 (F^{-1}g)，再做 line search 保证约束真的满足。需要二阶信息，这正是 PPO 想摆脱的复杂度。

  ③ 数值例
  

取 (\gamma=0.99)，于是 ((1-\gamma)^{-2}=10^{4})。若把优势归一化到 (\epsilon=\max_{s,a}|A_\pi|=1)，则 [ C=\frac{4\times 1\times 0.99}{(1-0.99)^{2}}=3.96\times10^{4} ]

要让下界 (L_\pi(\tilde\pi)-C,D_{KL}) 相对当前策略真的为正、且代理改进只有 (0.01)，需要 (D_{KL}\lt 0.01/3.96\times10^{4}\approx 2.5\times10^{-7})。这是一个小到没有工程意义的步长——按这个界老老实实走，训练要跑到宇宙热寂。TRPO 的 (\delta) 典型取 (0.01)，比理论许可的大了约五个数量级。这个五数量级的缺口，就是「理论保证」与「能跑的算法」之间的真实距离，也是后面 PPO 敢把硬约束再换成 clip 的心理基础：反正保证早就不成立了，剩下的只是工程直觉之争。

  ④ 假设与失效边界
  

A · 三处松弛，每一处都丢掉了理论保证。（1）(D_{KL}^{\max}) 被换成平均 KL，因为最大值在高维动作空间根本无法估计；（2）惩罚被换成硬约束，可以取更大步长，但 MM 的单调性证明随之作废；（3）(\delta) 是人为选的超参，不是从 (C) 推出来的。所以 TRPO 实践中的「单调改进」是一种信念，不是定理。

B · 界本身极度保守。(\epsilon=\max_{s,a}|A_\pi|) 是全空间最大值，被少数离群状态支配；((1-\gamma)^{-2}) 在长 horizon 下爆炸。它是一个存在性界，用来说明「存在一个足够小的步长使改进成立」，而不是用来算步长的。

C · 代理目标的一阶匹配只在 (\pi) 处成立。一旦离开 (\pi)，(L_\pi) 与 (\eta) 的梯度就开始分家；界只约束取值差，不约束梯度差。这意味着「代理的最优点」未必是真实目标的上坡方向。

D · 在 LLM 上，(\gamma=1) 且 episode 只有一步。InstructGPT 明确把 RLHF 建模成 bandit 环境，此时 ((1-\gamma)^{-2}) 发散，整个界在形式上就不适用。人们继承的是 TRPO 的「信任域直觉」，不是它的定理。

  ⑤ 论文出处
  

arXiv:1502.05477（Schulman, Levine, Moritz, Jordan, Abbeel, Trust Region Policy Optimization, ICML 2015）Eq.(8)(9)，证明见 Eq.(28)–(54)；(C=\frac{4\epsilon\gamma}{(1-\gamma)^{2}}) 与 (\epsilon=\max_{s,a}|A_\pi(s,a)|) 均已逐字核实。性能差引理源自 Kakade & Langford (2002)。

FX-18

PPO-Clip：用一个截断替掉整个二阶信任域 ★核心★

T2 官方论文

  ① 直觉
  

TRPO 说「别走出信任域」，并为此付出了 Fisher 矩阵、共轭梯度和 line search 的代价。PPO 问了一个非常工程师的问题：能不能不去测量「有没有走出去」，而是直接让「走出去之后不再有收益」？答案就是 clip——把重要性比 (r_t) 截断在 ([1-\epsilon,1+\epsilon])，再与未截断项取 (\min)。取 (\min) 是点睛之笔：它让目标只在「朝有利方向走过头」时封顶，而在「走错方向」时保持线性。于是这个目标成了真实代理目标的一个悲观下界，最大化下界就继承了 MM 的精神，代价却只是一个逐元素的 clamp。

  ② 推导
  

**(a) 目标本体。**定义重要性比并写出裁剪替代目标： [ \boxed{;L^{\rm CLIP}(\theta)=\hat{\mathbb{E}}t\left[\min\left(r_t(\theta)\hat A_t,\ \operatorname{clip}\left(r_t(\theta),1-\epsilon,1+\epsilon\right)\hat A_t\right)\right],\qquad r_t(\theta)=\frac{\pi\theta(a_t\mid s_t)}{\pi_{\theta_{\rm old}}(a_t\mid s_t)};} ](r_t=1) 表示新旧策略在该动作上完全一致。(\epsilon) 是唯一的信任域超参，典型取 (0.2)。

(b) F5.3.1 为什么取 min：它是未截断目标的悲观下界。逐样本比较两项。记 (u=r_t\hat A_t)（未截断）、(v=\operatorname{clip}(r_t,1-\epsilon,1+\epsilon)\hat A_t)（已截断），分优势的正负两种情形讨论，可以把整个 (\min) 化成一个无 min 的分段函数： [ L^{\rm CLIP}_t=\begin{cases} \hat A_t\cdot\min\left(r_t,\ 1+\epsilon\right) & \hat A_t\gt 0\ \hat A_t\cdot\max\left(r_t,\ 1-\epsilon\right) & \hat A_t\lt 0 \end{cases} ]两条折线的平坦区在相反的一侧：好动作在右侧封顶，坏动作在左侧封顶。这个不对称是刻意设计的。 展开：分段函数的逐情形推导，以及「悲观」二字的精确含义

情形 A · (\hat A_t\gt 0)（这个动作比平均好，我们想提高它的概率）。

· (r_t\lt 1-\epsilon)：此时 (\operatorname{clip}=1-\epsilon\gt r_t)，故 (v=(1-\epsilon)\hat A_t\gt r_t\hat A_t=u)。取 (\min) ⟹ 选未截断的 (u)。

· (1-\epsilon\le r_t\le 1+\epsilon)：(u=v)，两者相同。

· (r_t\gt 1+\epsilon)：(\operatorname{clip}=1+\epsilon\lt r_t)，故 (v\lt u)。取 (\min) ⟹ 选截断的 (v)，它是常数。 [ L^{\rm CLIP}\big|_{\hat A\gt 0}=\hat A_t\cdot\min\left(r_t,\ 1+\epsilon\right) ]几何：一条折线，从 (r_t=0) 线性上升到 (r_t=1+\epsilon) 后变成水平直线。平坦区里 (\partial L/\partial\theta=0)，梯度被完全切断，无法继续推高该动作的概率。但左侧没有平坦区——如果策略反而把这个好动作的概率压下去了（(r_t\lt 1-\epsilon)），目标仍是线性的，梯度会把它拉回来。

情形 B · (\hat A_t\lt 0)（这个动作比平均差，我们想降低它的概率）。

· (r_t\lt 1-\epsilon)：(v=(1-\epsilon)\hat A_t)，由于 (\hat A_t\lt 0) 且 (1-\epsilon\gt r_t)，有 (v\lt u)。取 (\min) ⟹ 选截断项（常数，梯度为零）。

· (r_t\gt 1+\epsilon)：(v=(1+\epsilon)\hat A_t\gt r_t\hat A_t=u)。取 (\min) ⟹ 选未截断项，梯度仍然存在且很强。 [ L^{\rm CLIP}\big|_{\hat A\lt 0}=\hat A_t\cdot\max\left(r_t,\ 1-\epsilon\right) ]几何：折线方向相反。(r_t\lt 1-\epsilon) 时平坦（不再奖励「继续压低一个已经被压得够低的坏动作」）；(r_t\gt 1+\epsilon) 时仍然线性，(r_t) 越大目标越负，梯度会强力把它拉下来。

「悲观下界」的精确含义。因为逐样本有 (\min(u,v)\le u)，所以 [ L^{\rm CLIP}(\theta)\ \le\ L^{\rm IS}(\theta)\equiv\hat{\mathbb{E}}_t\left[r_t\hat A_t\right] ]PPO 最大化的是真实代理目标的一个下界——这与 TRPO 的惩罚界同源（都是 MM），但代价便宜得多：不需要 Hessian，不需要 line search。更精确地说：**clip 只在「改进方向走得太远」时生效，在「走错方向」时不生效。**走错方向本来就该被惩罚，不需要保护。

**(c) F5.3.2 为什么 clip 是 TRPO 信任域的一阶近似替代。**TRPO 约束 (\mathbb{E}s\left[D{KL}(\pi_{\rm old}|\pi_\theta)\right]\le\delta)。把 KL 用重要性比重写： [ D_{KL}(\pi_{\rm old}|\pi_\theta)=\mathbb{E}{a\sim\pi{\rm old}}\left[-\log r(a)\right] ]

在 (r\approx1) 附近做 Taylor 展开 (-\log r=-(r-1)+\tfrac12(r-1)^2+O!\left((r-1)^3\right))，取期望；由于 (\mathbb{E}{a\sim\pi{\rm old}}[r]=1)，一阶项恰好消失： [ D_{KL}\approx\frac12,\mathbb{E}{a\sim\pi{\rm old}}\left[(r-1)^{2}\right]=\frac12\operatorname{Var}(r) ]**KL 约束在二阶上等价于「重要性比的方差要小」。**而 clip 把 (r) 强行限制在 ([1-\epsilon,1+\epsilon])，直接控制了 ((r-1)^2\le\epsilon^2)，因此 (D_{KL}\lesssim\epsilon^{2}/2)。取 (\epsilon=0.2) 即 (D_{KL}\lesssim 0.02)——数量级上与 TRPO 常用的 (\delta=0.01) 相当。这就是「一阶近似替代」的数学含义。

但两者有本质区别，而这正是 clip 最重要的局限：TRPO 约束的是期望 (\mathbb{E}s[D{KL}])，clip 约束的是每一个样本的 (r_t)。一个样本被截断，不代表整体 KL 小；反过来，可能大多数样本都在界内，而少数样本的 (r_t) 巨大（clip 对它们没有回拉力，见 ④A），使真实 KL 爆炸。实践中 PPO 实现必须额外监控 approx-KL 并在超阈值时提前停止本轮更新——这个补丁本身就是「clip 不够」的自认。

  ③ 数值例
  

取 (\epsilon=0.2)，即截断区间 ([0.8,,1.2])。考察四个具体样本，看 clip 到底做了什么：

    情形\(\hat A_t\)\(r_t\)未截断 \(r_t\hat A_t\)截断项 \(\operatorname{clip}(r_t)\hat A_t\)取 min 后梯度读法| 情形 | \(\hat A_t\) | \(r_t\) | 未截断 \(r_t\hat A_t\) | 截断项 \(\operatorname{clip}(r_t)\hat A_t\) | 取 min 后 | 梯度 | 读法 |

    
      好动作，走过头+2.01.50+3.00\(1.2\times2.0=+2.40\)**+2.40****0**收益封顶，**好处有上限**| 好动作，走过头 | +2.0 | 1.50 | +3.00 | \(1.2\times2.0=+2.40\) | +2.40 | 0 | 收益封顶，好处有上限 |

      好动作，小步走+2.01.10+2.20\(1.1\times2.0=+2.20\)**+2.20**正常未触发截断，照常更新| 好动作，小步走 | +2.0 | 1.10 | +2.20 | \(1.1\times2.0=+2.20\) | +2.20 | 正常 | 未触发截断，照常更新 |

      坏动作，概率反而升−2.01.50−3.00\(1.2\times(-2.0)=-2.40\)**−3.00****∝ \(r_t\)**取更小者 ⟹ **坏处不封顶**| 坏动作，概率反而升 | −2.0 | 1.50 | −3.00 | \(1.2\times(-2.0)=-2.40\) | −3.00 | ∝ \(r_t\) | 取更小者 ⟹ 坏处不封顶 |

      坏动作，已被压低−2.00.60−1.20\(0.8\times(-2.0)=-1.60\)**−1.60****0**平坦区，**不再奖励继续压低**| 坏动作，已被压低 | −2.0 | 0.60 | −1.20 | \(0.8\times(-2.0)=-1.60\) | −1.60 | 0 | 平坦区，不再奖励继续压低 |

    
  
  

**把第一行与第三行并排读，才能看懂这个目标的不对称性：好处封顶（+3.00 被砍到 +2.40，梯度归零），坏处不封顶（−3.00 原样保留，梯度还随 (r_t) 线性放大）。**这就是「悲观下界」四个字的实际含义，也是 PPO 训练相对稳定的根源。第四行则揭示了另一半事实：平坦区在两种情形下都存在，只是位置相反；它既是稳定性的来源，也是 ④A 中「没有回撤力」这一根本缺陷的来源。

  ④ 假设与失效边界
  

A · 没有回撤力：第一次更新就跳出信任域，clip 拉不回来。这是最根本的缺陷。设某个 (\hat A_t\gt 0) 的样本在一次更新后 (r_t=5)（远超 (1+\epsilon=1.2)），此时 (L^{\rm CLIP}_t=1.2\hat A_t) 是常数，梯度为 (0)。梯度为零意味着：这个样本既不再推动 (r_t) 上升，也不会把它拉回 1.2——clip 只能「停止奖励」，不能「施加惩罚」。后果是：若第一个 minibatch 就把某些 token 的比值推出界，后续 epoch 里它们永久失去梯度信号；分布已经漂移了，而目标函数对此完全无感。对比 TRPO：硬约束在 line search 里会拒绝这一步并强制回退，而 clip 没有 line search，也没有任何回退机制。这个洞正是 DAPO 的 Clip-Higher 想缓解的方向之一，也是各家实现都要加 KL early-stopping 的原因。

B · 多 epoch 复用数据导致累积漂移。PPO 的核心卖点就是「一批数据跑多个 epoch」，但每跑一轮 (\pi_\theta) 就离 (\pi_{\theta_{\rm old}}) 更远，而 (\hat A_t) 是用旧策略估的：(\hat A_t) 越来越不准（它是 (A^{\pi_{\rm old}}) 而非 (A^{\pi_\theta})）；被截断的样本比例单调上升，有效样本数持续下降；到后期，大部分梯度只来自「还没被 clip 的少数样本」——有效 batch size 在你不知情的情况下悄悄缩小，方差随之上升。

C · (\hat A_t\lt 0) 且 (r_t) 极大时梯度爆炸。由情形 B，此时目标是未截断的 (r_t\hat A_t)，其梯度为 [ \nabla_\theta\left(r_t\hat A_t\right)=r_t\hat A_t,\nabla_\theta\log\pi_\theta(a_t\mid s_t) ]梯度大小 (\propto r_t)，无上界。若某个坏动作的概率意外飙升到 (r_t=100)，梯度就被放大 100 倍。这在 LLM 里尤其危险：一个低概率 token 的 (r_t) 可以轻易到几百。这是刻意的设计（「坏动作必须被强力压制」），但它与数值稳定性直接冲突，实践中只能靠全局梯度裁剪硬顶住。

D · LLM 场景：token 级 clip 与序列级奖励错配。RLHF 里奖励 (r(x,y)) 是整条回答的标量，而 clip 作用在每个 token 上。同一条回答里所有 token 共享同一个 (\hat A)（若用 outcome reward），但每个 token 的 (r_t) 各不相同；长回答有更多 token ⟹ 更多被截断的机会 ⟹ 长度偏置；若 loss 再按 (1/|o|) 归一化（几乎所有开源实现都这么做），还会叠加一层额外的长度偏置。Credit assignment 完全依赖 value network 或 group baseline，token 级 clip 与序列级信号之间没有任何原理性的桥梁。

E · 实证：PPO 的性能很大程度来自 code-level optimizations，而非 clip 本身。Engstrom 等人（ICLR 2020）的核心结论是：PPO 相对 TRPO 的优势，主要来自一组论文里没有强调的代码层优化——奖励缩放与观测归一化（running mean-std）、value loss 的 clipping、正交初始化与特定 gain 缩放、Adam 学习率退火、全局梯度裁剪、GAE 优势归一化。他们做了「TRPO + PPO 的 code-level optimizations」的组合实验，发现这个组合能匹配甚至超过 PPO，而「PPO 去掉这些优化」则显著变差。Andrychowicz 等人在 50 多个设计选择上做了超过 25 万次实验的大规模消融，给出同向结论：初始化、归一化、优势处理这些「细节」的影响不亚于算法本体。结论：clip 目标本身的贡献被高估了。

  ⑤ 论文出处
  

arXiv:1707.06347（Schulman, Wolski, Dhariwal, Radford, Klimov, Proximal Policy Optimization Algorithms, 2017-07-20）式(7)。该文为 PDF-only 提交，无 ar5iv HTML 版；目标函数已通过 arXiv:2503.20783 式(2) 的逐字引用交叉核实，而 (\epsilon=0.2) 等数值超参来自常见实现而非原文核对，本站按未核实处理。失效边界 E 的两篇：arXiv:2005.12729（Engstrom et al., ICLR 2020）、arXiv:2006.05990（Andrychowicz et al., 2020）。

FX-19

PPO-Penalty（自适应 KL）：论文里的另一半，以及它为何不常用

T2 官方论文

  ① 直觉
  

PPO 原文其实给了两个目标。除了 clip，还有一个更「诚实」的版本：既然 TRPO 的理论形式本来就是惩罚，那就直接把 KL 当罚项加进去，再用一个反馈控制器自动调节罚系数 (\beta)——KL 太小就放松，太大就收紧。它在概念上比 clip 更接近 TRPO，但恰恰因为引入了一个「有状态的控制器」，工程上更难伺候。

  ② 推导
  

**(a) 目标。**把重要性采样项与 KL 罚项直接相加： [ L^{\rm KLPEN}(\theta)=\hat{\mathbb{E}}t\left[\frac{\pi\theta(a_t\mid s_t)}{\pi_{\theta_{\rm old}}(a_t\mid s_t)}\hat A_t-\beta,D_{KL}\left(\pi_{\theta_{\rm old}}(\cdot\mid s_t),|,\pi_\theta(\cdot\mid s_t)\right)\right] ]与 FX-17(d) 的硬约束相比，这里回到了 TRPO 理论上「本来该用」的惩罚形式，只是 (\beta) 不再取那个大得离谱的 (C)，而是自适应调节。

**(b) 自适应规则。**每次更新后计算 (d=\hat{\mathbb{E}}t[D{KL}])，与目标值 (d_{\rm targ}) 比较：(d\lt d_{\rm targ}/1.5) 时 (\beta\leftarrow\beta/2)；(d\gt d_{\rm targ}\times1.5) 时 (\beta\leftarrow\beta\times2)。

**(c) 两个 KL 不是同一个 KL。**这是本章最容易被混淆的一处。LLM 时代 KL 惩罚「回来了」，但它换了角色：

    KL 类型参考分布目的出现在| KL 类型 | 参考分布 | 目的 | 出现在 |

    
      **信任域 KL**\(\pi_{\theta_{\rm old}}\)（上一次更新）保证代理目标在这一步内仍然有效TRPO 约束、PPO-Penalty| 信任域 KL | \(\pi_{\theta_{\rm old}}\)（上一次更新） | 保证代理目标在这一步内仍然有效 | TRPO 约束、PPO-Penalty |

      **正则 KL**\(\pi_{\rm ref}=\pi^{\rm SFT}\)（全程固定）防 reward hacking、保住预训练能力InstructGPT 式(2)、GRPO、DPO（隐式）| 正则 KL | \(\pi_{\rm ref}=\pi^{\rm SFT}\)（全程固定） | 防 reward hacking、保住预训练能力 | InstructGPT 式(2)、GRPO、DPO（隐式） |

    
  
  

两者的参考分布一个在动、一个不动，作用的时间尺度也完全不同：信任域 KL 管的是「这一步别迈太大」，正则 KL 管的是「整个训练过程别跑太远」。把它们混为一谈，会得出「PPO 已经有 KL 了为什么还要加 KL」这种错误提问。

  ③ 数值例
  

设 (d_{\rm targ}=0.01)、初始 (\beta=1)。若连续三轮测得 (d=0.02\gt 0.015)，则 (\beta) 依次变成 (2\to4\to8)；此后 KL 被压到 (d=0.004\lt 0.00667)，(\beta) 又开始逐轮减半 (8\to4\to2)。可以看到这是一个典型的欠阻尼二阶系统：调节量是乘性的（每次 2 倍），而观测量有采样噪声，于是 (\beta) 很容易在几轮之内摆动一个数量级，训练前期尤其明显。相比之下 clip 是无状态的：它每一步都用同一个 (\epsilon)，没有需要收敛的内部变量。

  ④ 假设与失效边界
  

**A · (\beta) 的动力学是二阶的。**它是一个反馈控制器，有自己的时间常数，天然容易震荡或滞后；而策略本身也在同时变化，两个动力学耦合在一起，没有任何稳定性保证。

B · 它约束的是全局平均 KL。对「少数样本剧烈漂移」不敏感——这一点恰好与 clip 相反（clip 逐样本生效但管不住整体）。两者的失效模式互补，这也是为什么现代实现常常同时用 clip 与 KL 监控。

C · 原文实验显示 clip 版本更好，且 clip 工程上简单得多。不需要维护额外状态，不需要调 (d_{\rm targ})，不需要担心控制器发散。「更接近理论」与「更好用」在这里分道扬镳了。

**D · 数值待核实。**自适应规则中的 (1.5) 与 (2) 两个常数来自二手来源与记忆，本站未从 PDF 原文逐字核实，引用时不应作为精确超参使用。

  ⑤ 论文出处
  

arXiv:1707.06347 §4（自适应 KL 惩罚系数）。两种 KL 的角色区分见 arXiv:2203.02155 式(2) 与 arXiv:2402.03300 式(3) 的对照。

FX-20

GAE：把偏差与方差放在同一个旋钮上

T2 官方论文

  ① 直觉
  

优势估计有两个极端。一步 TD：只用一步真实奖励，其余全靠价值函数 (V) 兜底——方差极低，但 (V) 一偏，估计就全偏。蒙特卡洛：一路用真实回报到底——无偏，但方差随 horizon 爆炸。GAE 的做法是：不要在两端之间二选一，而是对所有 (k)-步估计做指数加权平均，用一个 (\lambda\in[0,1]) 连续地在两端之间滑动。更妙的是，这个无穷加权和最后坍缩成一个只含 TD 残差的简洁级数，实现成本几乎为零。

  ② 推导
  

(a) 结论先行。GAE 的最终形式与 TD 残差的定义： [ \boxed{;\hat A_t^{\rm GAE(\gamma,\lambda)}=\sum_{l=0}^{\infty}(\gamma\lambda)^{l},\delta_{t+l},\qquad \delta_t=r_t+\gamma V(s_{t+1})-V(s_t);} ](\gamma) 控制「未来有多重要」（属于问题定义），(\lambda) 控制「多相信自己的价值函数」（属于估计器）。把两个概念分开，是 GAE 这篇论文最重要的贡献之一。 展开：从 (k)-步优势到指数加权和的两次求和（望远镜 + 归并）

**第一步 · (k)-步优势的望远镜求和。**先证明 TD 残差的折扣和等于 (k)-步优势： [ \hat A_t^{(k)}=\sum_{l=0}^{k-1}\gamma^{l}\delta_{t+l}=\sum_{l=0}^{k-1}\gamma^{l}\left[r_{t+l}+\gamma V(s_{t+l+1})-V(s_{t+l})\right] ]

把价值项单独拿出来，相邻两项首尾相消： [ \sum_{l=0}^{k-1}\left[\gamma^{l+1}V(s_{t+l+1})-\gamma^{l}V(s_{t+l})\right]=\gamma^{k}V(s_{t+k})-V(s_t) ]于是 (\hat A_t^{(k)}=-V(s_t)+r_t+\gamma r_{t+1}+\cdots+\gamma^{k-1}r_{t+k-1}+\gamma^{k}V(s_{t+k}))。两个极限已经可以直接读出来：(k=1) 给 (\hat A^{(1)}=\delta_t)（低方差高偏差）；(k\to\infty) 给 (\hat A^{(\infty)}=-V(s_t)+\sum_l\gamma^l r_{t+l})（无偏但高方差）。

**第二步 · 定义指数加权平均。**权重 (\propto\lambda^{k-1})，归一化因子 ((1-\lambda))： [ \hat A_t^{\rm GAE(\gamma,\lambda)}\equiv(1-\lambda)\left(\hat A_t^{(1)}+\lambda\hat A_t^{(2)}+\lambda^{2}\hat A_t^{(3)}+\cdots\right) ]

**第三步 · 代入并按 (\delta) 归并。**把每个 (\hat A^{(k)}=\sum_{l=0}^{k-1}\gamma^l\delta_{t+l}) 展开： [ =(1-\lambda)\Big[\delta_t+\lambda(\delta_t+\gamma\delta_{t+1})+\lambda^{2}(\delta_t+\gamma\delta_{t+1}+\gamma^{2}\delta_{t+2})+\cdots\Big] ]

注意 (\delta_{t+l}) 只出现在第 (k\ge l+1) 项里，也就是伴随 (\lambda^{l},\lambda^{l+1},\dots)。按 (\delta) 收拢同类项： [ =(1-\lambda)\left[\delta_t\underbrace{\left(1+\lambda+\lambda^{2}+\cdots\right)}{\frac{1}{1-\lambda}}+\gamma\delta{t+1}\underbrace{\left(\lambda+\lambda^{2}+\cdots\right)}{\frac{\lambda}{1-\lambda}}+\gamma^{2}\delta{t+2}\underbrace{\left(\lambda^{2}+\lambda^{3}+\cdots\right)}_{\frac{\lambda^{2}}{1-\lambda}}+\cdots\right] ]

**第四步 · 收官。**前置的 ((1-\lambda)) 与每一项的 (\frac{1}{1-\lambda}) 精确抵消： [ =\delta_t+\gamma\lambda,\delta_{t+1}+(\gamma\lambda)^{2}\delta_{t+2}+\cdots=\sum_{l=0}^{\infty}(\gamma\lambda)^{l}\delta_{t+l}\quad\blacksquare ]一个对无穷多个估计器的加权平均，最后只需要一遍反向扫描就能算出来——这就是 GAE 能成为默认选项的工程原因。

**(b) 偏差-方差插值：两个极端各是什么。**把 (\lambda) 代到两端： [ \lambda=0:\ \hat A_t=\delta_t=r_t+\gamma V(s_{t+1})-V(s_t)\qquad\Longleftrightarrow\qquad \lambda=1:\ \hat A_t=\sum_{l=0}^{\infty}\gamma^{l}\delta_{t+l}=-V(s_t)+\sum_{l=0}^{\infty}\gamma^{l}r_{t+l} ](\lambda=0)：完全相信 (V)，只保留一步真实信息 ⟹ 方差最低、偏差最大。(\lambda=1)：完全不信 (V)（它只剩基线的作用）⟹ 无偏、方差最大。中间的 (\lambda) 是一条连续的插值路径。

  ③ 数值例
  

((\gamma\lambda)^l) 的衰减速度决定了「一个 TD 残差能影响多远」。定义有效 horizon (H_{\rm eff}=\frac{1}{1-\gamma\lambda})，取 (\gamma=0.99)：

    \(\lambda\)\(\gamma\lambda\)有效 horizon \(\frac{1}{1-\gamma\lambda}\)偏差方差典型场景| \(\lambda\) | \(\gamma\lambda\) | 有效 horizon \(\frac{1}{1-\gamma\lambda}\) | 偏差 | 方差 | 典型场景 |

    
      001 步最大（完全由 \(V\) 的误差决定）最小\(V\) 很准、奖励稠密| 0 | 0 | 1 步 | 最大（完全由 \(V\) 的误差决定） | 最小 | \(V\) 很准、奖励稠密 |

      0.500.495≈ 2.0 步大小短 horizon 控制任务| 0.50 | 0.495 | ≈ 2.0 步 | 大 | 小 | 短 horizon 控制任务 |

      0.950.9405≈ 16.8 步小中**最常用的默认值**| 0.95 | 0.9405 | ≈ 16.8 步 | 小 | 中 | 最常用的默认值 |

      1.000.99100 步0（无偏）最大\(V\) 完全不可信时的退路| 1.00 | 0.99 | 100 步 | 0（无偏） | 最大 | \(V\) 完全不可信时的退路 |

    
  
  

注意 (\lambda) 从 0.95 挪到 1.00 时，有效 horizon 从约 17 步跳到 100 步——这个旋钮在靠近 1 的一侧极其敏感，因为 (\frac{1}{1-\gamma\lambda}) 在 (\gamma\lambda\to1) 处发散。实践中调 (\lambda) 从来不是线性调参。

  ④ 假设与失效边界
  

**A · 需要一个价值网络 (V)。**这正是 GRPO 后来要去掉的东西：在 LLM 上 (V) 通常是一个与策略同量级的模型，显存与算力成本极高。

**B · (V) 严重有偏时，小 (\lambda) 会引入系统偏差。**而 LLM 场景恰恰是「(V) 很难训准」的重灾区——只有序列末尾有奖励信号。

**C · 无穷和被 rollout 长度截断。**实践中的 (\hat A_t) 是有限和，引入截断偏差；靠近 rollout 末尾的 token 偏差最大。

**D · 在 LLM 的 outcome-reward 场景下，GAE 几乎退化。**中间步没有任何奖励，于是 (\delta_t=\gamma V(s_{t+1})-V(s_t)) 完全由 (V) 的差分构成——一个训不准的量的差分，噪声比信号还大。DeepSeekMath 明确指出了这一点，并以此作为去掉 critic 的直接理由。换句话说：GAE 在它最被需要的场景里最不好用。

  ⑤ 论文出处
  

arXiv:1506.02438（Schulman, Moritz, Levine, Jordan, Abbeel, High-Dimensional Continuous Control Using Generalized Advantage Estimation, ICLR 2016）。望远镜求和与指数加权归并两步为本站独立复算，结论与原文一致。LLM 场景下的退化见 arXiv:2402.03300 §4。

F5.7 完整的 PPO 目标：clip 只是其中一项

◈ 三项加权和

工程实现里跑的从来不是 (L^{\rm CLIP}) 本身，而是它与价值回归损失、熵奖励的加权和： [ L^{\rm CLIP+VF+S}_t(\theta)=\hat{\mathbb{E}}_t\left[L^{\rm CLIP}t(\theta)-c_1L^{\rm VF}t(\theta)+c_2,S\left\pi_\theta\right\right] ](L^{\rm VF}t=\left(V\theta(s_t)-V_t^{\rm targ}\right)^{2}) 是价值函数的回归损失（只有与策略共享 backbone 时才需要合并进同一个 loss；LLM 里通常是独立网络）；(S\pi_\theta=-\sum_a\pi\theta(a\mid s_t)\log\pi\theta(a\mid s_t)) 是熵奖励，用来鼓励探索、防止过早收敛。典型取 (c_1\approx0.5,\ c_2\approx0.01,\ \epsilon=0.2)——这三个数值来自常见实现而非原文核对，本站按未核实处理。

LLM 场景的四处关键改动，每一处都改变了算法的性质：

  改动具体做法后果| 改动 | 具体做法 | 后果 |

  
    **单步 bandit**InstructGPT 明确把环境定义为「给一个随机的用户 prompt，模型给一条回答，奖励模型打分后 episode 即结束」\(\gamma=1\)，**没有真正的多步 credit assignment**；FX-17 的 \((1-\gamma)^{-2}\) 界形式上失效| 单步 bandit | InstructGPT 明确把环境定义为「给一个随机的用户 prompt，模型给一条回答，奖励模型打分后 episode 即结束」 | \(\gamma=1\)，没有真正的多步 credit assignment；FX-17 的 \((1-\gamma)^{-2}\) 界形式上失效 |

    **value 从 RM 初始化**价值网络不从策略而从奖励模型初始化省一次冷启动，但也把 RM 的偏差带进了 baseline| value 从 RM 初始化 | 价值网络不从策略而从奖励模型初始化 | 省一次冷启动，但也把 RM 的偏差带进了 baseline |

    **熵奖励通常关掉**LLM 本身熵已很高，改用对参考模型的 KL 代替探索由 \(\pi^{\rm SFT}\) 的分布宽度提供，而不是由熵项显式鼓励| 熵奖励通常关掉 | LLM 本身熵已很高，改用对参考模型的 KL 代替 | 探索由 \(\pi^{\rm SFT}\) 的分布宽度提供，而不是由熵项显式鼓励 |

    **per-token KL 加在奖励里**把 \(-\beta\log\frac{\pi^{\rm RL}}{\pi^{\rm SFT}}\) 逐 token 加进 reward，而不是加进目标KL 通过 \(\hat A_t\) 间接影响梯度；GRPO 后来把它改回加在 loss 里（见 FX-27）| per-token KL 加在奖励里 | 把 \(-\beta\log\frac{\pi^{\rm RL}}{\pi^{\rm SFT}}\) 逐 token 加进 reward，而不是加进目标 | KL 通过 \(\hat A_t\) 间接影响梯度；GRPO 后来把它改回加在 loss 里（见 FX-27） |

  

F6 · RLHF / InstructGPT：把「人类偏好」变成一个可优化的标量

InstructGPT 是本章的枢纽。它把三件事第一次组装成一条能规模化跑通的流水线：用示范数据做监督微调、用成对比较训一个奖励模型、再用 PPO 去最大化那个奖励减 KL。它同时也埋下了此后所有争议的种子——因为它把一个规范问题（应该对齐到谁的偏好）编码成了一个统计问题（拟合 40 名承包商的排序）。本节先把三阶段的机制画清楚，再逐条推导那三个决定后续一切的公式：Bradley-Terry 损失、带 KL 惩罚的 RL 目标、以及 KL 正则 RL 的闭式最优解。最后那一条是 DPO 的全部基础，也是 F7 用 (\sqrt{KL}) 做横轴的理由。

F6.1 三阶段流程：SFT → RM → PPO

阶段数据目标规模与训练细节| 阶段 | 数据 | 目标 | 规模与训练细节 |


  **1 · SFT**标注者**手写**的示范回答在 GPT-3 上做监督微调约 13k 训练 prompt；训 16 个 epoch，cosine 学习率衰减，residual dropout 0.2| 1 · SFT | 标注者手写的示范回答 | 在 GPT-3 上做监督微调 | 约 13k 训练 prompt；训 16 个 epoch，cosine 学习率衰减，residual dropout 0.2 |

  **2 · RM**标注者对同一 prompt 的 \(K\in[4,9]\) 个回答做**排序**Bradley-Terry 负对数似然约 33k 训练 prompt；每题产生 \(\binom{K}{2}\) 个比较对| 2 · RM | 标注者对同一 prompt 的 \(K\in[4,9]\) 个回答做排序 | Bradley-Terry 负对数似然 | 约 33k 训练 prompt；每题产生 \(\binom{K}{2}\) 个比较对 |

  **3 · PPO(-ptx)**无人工标注的 prompt（全部来自 API）最大化「RM 分 − KL 惩罚（+ 预训练梯度混合）」约 31k 训练 prompt| 3 · PPO(-ptx) | 无人工标注的 prompt（全部来自 API） | 最大化「RM 分 − KL 惩罚（+ 预训练梯度混合）」 | 约 31k 训练 prompt |

一个值得单独记住的工程细节：**SFT 模型在验证 loss 上 1 个 epoch 后就已经过拟合，但继续训到 16 个 epoch，RM 分与人类偏好反而都更好。**这是「验证 loss ≠ 你真正要的目标」的又一个实例，也预告了本章后面反复出现的主题——一切代理指标最终都会与真目标分家。

**图 · RLHF 全流程机制图（本报告原创 SVG）：**论文原图只画了「做什么」，这张图追加了三件被省略但真正决定行为的事。**其一，每个阶段谁在动、谁被冻住**——绿框是可训练参数，灰虚线框是冻结参数；到第 3 阶段，\(r_\varphi\) 与 \(\pi^{\rm SFT}\) 都已冻结，唯一还在变的是策略与价值网络。**其二，那条金色反馈边**：KL 惩罚不是加在「上一步的策略」上，而是永远指回第 1 阶段产出的 \(\pi^{\rm SFT}\)；它是反向 KL，因此天然 mode-seeking，这正是 RLHF 之后多样性下降的数学根源。**其三，红色虚线标出的断点**：从第 2 阶段流向第 3 阶段的不是「人类偏好」，而是一个在 \(\pi^{\rm SFT}\) 附近训出来的**代理函数**——第 3 阶段越努力优化它，就越会把策略推到它没有训过的地方，这就是 F7 的全部主题。本报告原创 SVG，非论文图。结构依据 arXiv:2203.02155 §3，断点标注依据 arXiv:2210.10760。




FX-21

Bradley-Terry 模型 → 奖励模型损失 ★完整推导★

T2 官方论文

  ① 直觉
  

人类给不出可靠的绝对分数（同一条回答今天打 7 分明天打 5 分），却能相当稳定地做两两比较。Bradley-Terry 模型正是把这件事形式化：假设每个回答背后有一个隐藏的标量效用 (r(x,y))，人选中谁的概率只取决于两者效用之差经过 sigmoid 的结果。一旦接受这个假设，「训一个奖励模型」就退化成一个再普通不过的二分类极大似然问题——这就是 RLHF 能被工程化的关键一步。代价是：这个假设在人类身上系统性地不成立，而所有后果都要在 ④ 里付。

  ② 推导
  

**(a) BT 偏好模型化为 sigmoid。**从定义出发，分子分母同除 (\exp r(x,y_w))： [ P(y_w\succ y_l\mid x)=\frac{\exp r(x,y_w)}{\exp r(x,y_w)+\exp r(x,y_l)}=\frac{1}{1+e^{-\left(r(x,y_w)-r(x,y_l)\right)}}=\sigma\left(r(x,y_w)-r(x,y_l)\right) ](\sigma(z)=1/(1+e^{-z}))。注意最终形式里只剩下差——这一条性质会在 ②(c) 与 FX-26 里各兑现一次。

**(b) 负对数似然。**给定比较数据集 (D={(x,y_w,y_l)}) 并参数化 (r_\theta)： [ -\log\mathcal{L}(\theta)=-\sum_{(x,y_w,y_l)\in D}\log\sigma\left(r_\theta(x,y_w)-r_\theta(x,y_l)\right) ]

写成期望并加上 (\binom{K}{2}) 归一化，就是论文里的那个式子： [ \boxed{;\operatorname{loss}(\theta)=-\frac{1}{\binom{K}{2}},\mathbb{E}{(x,y_w,y_l)\sim D}\left[\log\sigma\left(r\theta(x,y_w)-r_\theta(x,y_l)\right)\right];} ]形式上就是一个 logistic 回归，只不过 logit 由一个大模型算出来。 展开：F6.2.3 为什么用 (\binom{K}{2}) 归一化——一个被严重低估的工程细节

论文的做法是：让标注者对 (K\in[4,9]) 个回答排序，每题得到 (\binom{K}{2}) 个比较；但不把这些比较打散进数据集，而是把同一 prompt 的全部 (\binom{K}{2}) 个比较当作一个 batch element。原文明确说，若简单打散，「单遍扫过数据集就会让奖励模型过拟合」。三层理由：

1 · 防过拟合（论文脚注的论证）。若把 (\binom{K}{2}) 个比较当独立数据点打散，则每个 completion 会参与 (K-1) 次独立的梯度更新。RM 本来就是一个 epoch 后即过拟合的模型，「在一个 epoch 内重复使用同一条数据」等价于偷偷多训了几遍。放进同一个 batch element 后，这些比较只贡献一次梯度更新。

2 · 计算效率。(K) 个 completion 只需要 (K) 次前向，而不是 (\binom{K}{2}) 次。(K=9) 时是 9 次对 36 次，省 4 倍。

**3 · 梯度尺度归一化。**不同 prompt 的 (K) 不同（4 到 9），(\binom{K}{2}) 从 6 变到 36，相差 6 倍。除以 (\binom{K}{2}) 让每个 prompt 对 loss 的贡献相等，而不是让 (K=9) 的 prompt 权重变成 (K=4) 的 6 倍。

论文报告这样做「显著改善了验证集准确率与 log loss」。

**【本质追问】**这个细节说明了一件更普遍的事：**偏好数据不是独立同分布的。**同一 prompt 下的 (\binom{K}{2}) 个比较高度相关——它们共享同一个 (x)、同一个标注者、同一次判断。任何把它们当独立样本处理的统计推断（包括置信区间）都会严重低估不确定性。这与 scaling law 文献里「用相关样本算出过窄的置信区间」是完全同一类错误。

**(c) F6.2.4 奖励只有相对意义 ⟹ 必须做偏置归一化。**BT 只依赖差，所以对任意只依赖 (x) 的函数 (c(x))： [ r’(x,y)=r(x,y)+c(x)\ \Longrightarrow\ \sigma\left(r’(x,y_w)-r’(x,y_l)\right)=\sigma\left(r(x,y_w)-r(x,y_l)\right) ]即 RM 的绝对数值完全不可辨识（unidentifiable up to a prompt-dependent shift）。论文的处理是：「由于 RM 损失对奖励的平移不变，我们在做 RL 之前用一个偏置把奖励模型归一化，使标注者示范的平均分为 0。」

为什么这不是可选项而是必需项：RL 阶段的目标是 (\mathbb{E}[r_\theta]-\beta,\mathbb{E}[\mathrm{KL}])。这两项相加时，(r_\theta) 的绝对尺度与偏移直接决定了 KL 惩罚的相对权重。若 (r) 整体平移 +100，KL 惩罚就变得微不足道，模型会毫无阻力地疯狂漂移。**偏移不可辨识 + 目标函数对偏移敏感 = 必须人为固定一个规范。**同样的理由也是 F7 中「所有 RM 都必须重新中心化到初始 policy 平均奖励为 0」的原因——否则不同 RM 之间的 (\alpha,\beta) 根本不可比。

  ③ 数值例
  

逐样本损失 (-\log\sigma(\Delta))，其中 (\Delta=r_\theta(x,y_w)-r_\theta(x,y_l))：

    \(\Delta\)\(\sigma(\Delta)\)逐样本损失含义| \(\Delta\) | \(\sigma(\Delta)\) | 逐样本损失 | 含义 |

    
      −1.00.269**1.313**排序**反了**，损失远大于随机猜| −1.0 | 0.269 | 1.313 | 排序反了，损失远大于随机猜 |

      0.00.500**0.693**完全没有判别力（\(=\log 2\)，随机基线）| 0.0 | 0.500 | 0.693 | 完全没有判别力（\(=\log 2\)，随机基线） |

      +1.00.731**0.313**排序正确但不自信| +1.0 | 0.731 | 0.313 | 排序正确但不自信 |

      +3.00.953**0.049**排序正确且自信，梯度已接近 0| +3.0 | 0.953 | 0.049 | 排序正确且自信，梯度已接近 0 |

    
  
  

再看 (\binom{K}{2}) 的量级：(K=4) 时是 6 个比较对，(K=9) 时是 36 个，相差 6 倍；而前向次数只从 4 变到 9。所以 (K=9) 这一题在「不归一化」的写法下会以 6 倍权重压过 (K=4) 的题——归一化前后，同一份数据训出来的 RM 可以差出可观测的验证准确率。这是一个纯代数的细节，却直接决定了模型质量。

  ④ 假设与失效边界
  

A · BT 模型的五条假设，条条可疑。（1）存在单一标量效用 (r(x,y))，人类偏好完全由它决定；（2）偏好可传递（BT 结构自动保证，因为它由实数序诱导）；（3）偏好只依赖两个候选的效用差（IIA，独立于无关选项）；（4）所有标注者共享同一个 (r)；（5）噪声服从 logistic 分布（这一条决定了用 sigmoid 而非 probit）。第 1、3、4 条在真人身上都能找到反例，详见下方 F6.6 的对照表。

**B · 绝对分数不可跨模型比较。**由 ②(c)，不同 RM 的分数各自有一个任意偏移，不能当作「质量的绝对度量」写进评测，也不能直接横向对比两个 RM 的打分。

**C · 归一化只固定了一阶矩，没有固定尺度。**论文固定的是均值为 0，但 (r) 乘以任意正数同样保持排序不变（虽然会改变 sigmoid 的陡峭度与拟合结果）。在 F7 里，为了让不同 RM 可比，还额外把 gold RM 的方差归一化到 1——这说明「中心化」只是最低限度的规范固定。

**D · 数据相关性使一切置信区间偏窄。**见 ② 折叠块末尾的本质追问。RM 的验证准确率若按 i.i.d. 假设算误差棒，会系统性地过于乐观。

  ⑤ 论文出处
  

arXiv:2203.02155（Ouyang et al., Training language models to follow instructions with human feedback, 2022-03-04）式(1) 与其脚注；(\binom{K}{2}) 的三层理由与偏置归一化的原文表述均已逐字核实。BT 模型本体为 Bradley & Terry (1952) 的经典结果。

FX-22

InstructGPT 的 RL 目标（论文式(2)）：三项各自在防什么

T2 官方论文

  ① 直觉
  

如果只写「最大化奖励模型的分数」，模型会在几百步内学会一堆只有 RM 喜欢、人类不喜欢的花招。所以真实的目标里必须还有两项：一项把策略拴在 SFT 模型附近（防它跑到 RM 没见过的地方），另一项把预训练的语言建模梯度混回来（防它把通用能力练废）。三项各自对应一种具体的失败模式，缺一项就会看到那种失败。

  ② 推导
  

**(a) 完整目标。**论文式(2)： [ \boxed{;\operatorname{objective}(\phi)=\mathbb{E}{(x,y)\sim D{\pi_\phi^{\rm RL}}}\left[r_\theta(x,y)-\beta\log\frac{\pi_\phi^{\rm RL}(y\mid x)}{\pi^{\rm SFT}(y\mid x)}\right]+\gamma,\mathbb{E}{x\sim D{\rm pretrain}}\left[\log\pi_\phi^{\rm RL}(x)\right];} ](\gamma=0) 时称 “PPO”，(\gamma\gt 0) 时称 “PPO-ptx”；论文里的 InstructGPT 默认指 PPO-ptx。注意这里的 (\gamma) 是预训练混合系数，与 F5 里的折扣因子 (\gamma) 同名不同义。

(b) 第一项 (r_\theta(x,y))：RM 打分。关键在下标——(y\sim\pi_\phi^{\rm RL})，是在线采样。策略走到哪里，RM 就在哪里评分。这是 PPO 与 DPO 的根本分野：在线采样意味着「模型走到 RM 不可靠的区域时，RM 仍会给出一个（错误的）信号」；而离线方法在数据集之外连错误的信号都没有。

(c) 第二项 (-\beta\log\frac{\pi^{\rm RL}}{\pi^{\rm SFT}})：per-token KL 惩罚，同时做三件事。（1）防 reward hacking：RM 只在 SFT 附近的 completion 上训过，远离该区域时极不可靠；（2）防模式塌缩：不让分布收缩到「RM 最喜欢的那一种回答」；（3）充当隐式信任域：与 FX-18 的 clip 互补——clip 管相对 (\pi_{\rm old})，这一项管相对 (\pi^{\rm SFT})。

写法上要注意它是反向 KL： [ \mathbb{E}{y\sim\pi^{\rm RL}}\left[\log\frac{\pi^{\rm RL}(y\mid x)}{\pi^{\rm SFT}(y\mid x)}\right]=D{KL}\left(\pi^{\rm RL},|,\pi^{\rm SFT}\right) ]反向 KL 是 mode-seeking：它惩罚「(\pi^{\rm RL}) 有质量而 (\pi^{\rm SFT}) 没有」，却不惩罚「(\pi^{\rm SFT}) 有而 (\pi^{\rm RL}) 没有」。于是最优解倾向于收缩到 (\pi^{\rm SFT}) 的某一个模式而不是覆盖全部。这就是「RLHF 之后多样性下降 / 熵塌缩」现象的数学根源——它不是实现 bug，是目标函数本身的性质。

**(d) 第三项 (\gamma,\mathbb{E}{x\sim D{\rm pretrain}}[\log\pi^{\rm RL}(x)])：预训练梯度混合。**用来缓解 alignment tax。论文观察到 RLHF 之后在 SQuAD、DROP、HellaSwag、WMT15 fr→en 上出现性能回退；加入这一项后「大幅减少了这些性能回退，且没有牺牲标注者偏好分数」。

  ③ 数值例
  

三项的量纲必须彼此可比，否则某一项会完全支配优化。假设 RM 已按 FX-21 ②(c) 中心化（标注者示范平均分 0），策略跑出一条回答拿到 (r_\theta=+1.5)，同时相对 (\pi^{\rm SFT}) 的序列 KL 是 8 nats，取 (\beta=0.2)：净目标 (=1.5-0.2\times 8=-0.1)——已经是负的，这一步会被拒绝。若忘了做偏置归一化、RM 整体平移了 +100，同一条回答的净目标变成 (100+1.5-1.6=99.9)，KL 项彻底沦为噪声，策略可以任意漂移。这就是 FX-21 ④ 里说「偏移不可辨识 + 目标对偏移敏感 = 必须人为固定规范」的具体后果：一个看起来只影响可读性的归一化，实际上决定了正则项还起不起作用。

  ④ 假设与失效边界
  

A · KL 惩罚不能防止所有 hacking。Gao / Schulman / Hilton 的直接实验结论是：加 KL 惩罚提高了「给定 KL 下能达到的 proxy 分」，但并没有抬高 gold 分对 KL 的前沿；KL 惩罚对 gold 分的作用「近似于早停」。**它让你更晚到达同一条过优化曲线上的同一个点，而不是把曲线抬起来。**详见 FX-24。

**B · 反向 KL 的方向选择是有代价的。**它保证了不跑飞，同时也保证了多样性下降。要保多样性该用正向 KL，但正向 KL 没有 FX-23 的闭式解，整条 DPO 路线都会失效——这是一个真实的取舍，不是疏忽。

**C · (\beta) 与 (\gamma) 都是手调超参。**没有任何理论告诉你它们该取多少；(\beta) 太大则学不动，太小则漂移。而「最优 (\beta)」还依赖 RM 的尺度——见 ③。

D · 在线采样的成本。每一步都要 rollout，显存里同时要放策略、参考模型、奖励模型、价值网络四个模型。这正是 DPO 与 GRPO 各自要做减法的地方（FX-26 / FX-27）。

  ⑤ 论文出处
  

arXiv:2203.02155 式(2)，逐字核实无误。alignment tax 的四个回退基准与 PPO-ptx 的效果见原文 §4；KL 惩罚「近似早停」的结论见 arXiv:2210.10760。

FX-23

KL 正则 RL 的最优解：Gibbs 分布 ★DPO 的全部基础★

T2 官方论文

  ① 直觉
  

问一个纯理论问题：如果不受神经网络参数化的限制，「最大化奖励减 KL」这个目标的最优策略长什么样？答案漂亮得不像话——它是把参考策略按奖励做指数重加权再归一化，也就是统计力学里的 Boltzmann 分布。(\pi_{\rm ref}) 扮演先验态密度，(r) 扮演负能量，(\beta^{-1}) 扮演温度，归一化常数就是配分函数。这条式子是本章的枢纽：向左看，它是 InstructGPT RL 目标的理论最优点；向右看，把它反解就得到 DPO；向上看，它的 (\sqrt{KL}) 是 F7 过优化曲线的横轴；向下看，它的 (\beta) 就是 GRPO 里的 KL 系数。

  ② 推导
  

(a) 结论。最优策略与配分函数： [ \boxed{;\pi^{*}(y\mid x)=\frac{1}{Z(x)}\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right),\qquad Z(x)=\sum_{y}\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right);} ](Z(x)) 对所有可能的回答 (y) 求和——在 LLM 里是 (|V|^{L}) 项，计算上彻底不可行。记住这一点，FX-26 的全部魔法就是绕开它。 展开：四步变分推导（为什么最优解一定是 Gibbs 分布）

**出发点。**在所有概率分布上求解 [ \max_{\pi}\ \mathbb{E}{x\sim\mathcal{D}},\mathbb{E}{y\sim\pi(\cdot\mid x)}\left[r(x,y)\right]-\beta,D_{KL}\left(\pi(\cdot\mid x),|,\pi_{\rm ref}(\cdot\mid x)\right) ]

四条假设：（1）在所有概率分布上优化，没有参数化限制——这是最关键也最不真实的一条；（2）对所有 (y) 有 (\pi_{\rm ref}(y\mid x)\gt 0)，否则 KL 无穷；（3）(\beta\gt 0)；（4）(Z(x)\lt \infty)。

**第一步 · 改写为最小化。**除以 (\beta) 并取负号，把两项合进一个期望： [ \min_{\pi}\ \mathbb{E}{x},\mathbb{E}{y\sim\pi}\left[\log\frac{\pi(y\mid x)}{\pi_{\rm ref}(y\mid x)}-\frac{1}{\beta}r(x,y)\right] ]

**第二步 · 把 (-\frac{1}{\beta}r) 塞进 log。**这是唯一需要一点技巧的代数动作：一个减去的标量，等价于在 log 的分母上乘一个指数因子。 [ =\min_{\pi}\ \mathbb{E}{x},\mathbb{E}{y\sim\pi}\left[\log\frac{\pi(y\mid x)}{\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)}\right] ]现在分母长得很像一个分布，但它不是——它没有归一化。

**第三步 · 配一个配分函数把分母变成分布。**定义 [ Z(x)\equiv\sum_{y}\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right),\qquad \pi^{*}(y\mid x)\equiv\frac{1}{Z(x)}\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right) ]

(\pi^) 确实是合法分布：非负，且 (\sum_y\pi^(y\mid x)=Z(x)/Z(x)=1)。代回目标： [ \min_{\pi}\ \mathbb{E}{x},\mathbb{E}{y\sim\pi}\left[\log\frac{\pi(y\mid x)}{\pi^{}(y\mid x)Z(x)}\right]=\min_{\pi}\ \mathbb{E}{x}\left[\underbrace{\mathbb{E}{y\sim\pi}\log\frac{\pi(y\mid x)}{\pi^{}(y\mid x)}}{=,D{KL}(\pi|\pi^{*})}-\log Z(x)\right] ]

第四步 · Gibbs 不等式收官。(\log Z(x)) 只依赖 (x,r,\pi_{\rm ref},\beta)，与被优化的 (\pi) 无关，因此是常数，可以从最小化里丢掉。问题化为 (\min_\pi\mathbb{E}x\left[D{KL}(\pi|\pi^{})\right])。由 Gibbs 不等式 (D_{KL}\ge0) 且当且仅当两分布相同时取等： [ \pi(y\mid x)=\pi^{}(y\mid x)=\frac{1}{Z(x)}\pi_{\rm ref}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right)\quad\blacksquare ]

**为什么这是 Gibbs 分布（不是比喻，是字面上的同一件事）。**把 (\pi_{\rm ref}) 读作简并度 / 先验态密度，(r) 读作负能量 (-E)，(\beta) 读作温度，(Z) 读作配分函数，上式就逐符号变成了正则系综的 Boltzmann 分布 (p\propto g,e^{-E/T})。两个极限也随之有了物理含义：(\beta\to\infty)（强正则 / 低温）时 (\exp(r/\beta)\to1)，(\pi^*\to\pi_{\rm ref})，系统冻在先验上完全不动；(\beta\to0)（无正则 / 高温）时分布塌缩到 (\arg\max_y r(x,y))，这就是完全的 reward hacking。中间的 (\beta) 给出「在先验上按奖励做指数重加权」。

**(b) 这条式子的四个出口。**它同时是：InstructGPT 目标（FX-22）在无参数化限制下的理论解；F7 用 (d=\sqrt{D_{KL}}) 做横轴的合理性来源；DPO 反解奖励的起点（FX-26）；以及 GRPO 中 (\beta) 的语义来源（FX-27）。F5–F8 之所以能被写成一条链，靠的就是这一个式子。

  ③ 数值例
  

取一个只有两条回答的玩具例子：(\pi_{\rm ref}=(0.5,,0.5))，奖励 (r=(1,,0))。扫 (\beta)：

    \(\beta\)\(\exp(r_1/\beta)\)\(Z(x)\)\(\pi^{*}(y_1)\)\(D_{KL}(\pi^{*}\|\pi_{\rm ref})\)解读| \(\beta\) | \(\exp(r_1/\beta)\) | \(Z(x)\) | \(\pi^{*}(y_1)\) | \(D_{KL}(\pi^{*}\|\pi_{\rm ref})\) | 解读 |

    
      2.01.6491.324**0.622**0.030 nats强正则，几乎不动| 2.0 | 1.649 | 1.324 | 0.622 | 0.030 nats | 强正则，几乎不动 |

      0.57.3894.194**0.881**0.328 nats明显重加权，仍保留 12% 的另一支| 0.5 | 7.389 | 4.194 | 0.881 | 0.328 nats | 明显重加权，仍保留 12% 的另一支 |

      0.2148.474.71**0.993**0.654 nats接近塌缩到最高分那一条| 0.2 | 148.4 | 74.71 | 0.993 | 0.654 nats | 接近塌缩到最高分那一条 |

      → 0→ ∞→ ∞**→ 1.000**→ 0.693 nats完全 argmax ＝ 完全 reward hacking| → 0 | → ∞ | → ∞ | → 1.000 | → 0.693 nats | 完全 argmax ＝ 完全 reward hacking |

    
  
  

把 (\beta=0.5) 那一行的 KL 开方，得到 (d=\sqrt{0.328}=0.573)——这就是 F7 里那条过优化曲线的横坐标。整张表其实是在说同一件事：(\beta) 是一个「你允许自己偏离参考分布多远」的旋钮，而 (d=\sqrt{D_{KL}}) 是这个偏离的读数。**F7 的全部工作，就是去测量「读数到多少时 gold 分开始掉头」。**注意最后一行：即使完全塌缩，两点分布的 KL 也只到 (\log 2=0.693) nats 封顶——这个「离散空间下 KL 有上界」的事实，正是 FX-25 中 Beirami 反例的核心。

  ④ 假设与失效边界
  

A · 假设 1 是致命的。真实的 (\pi_\theta) 是有限参数的神经网络，无法表示任意分布。(\pi^*) 只是可行域之外的一个理想点，实际优化只能逼近它在可行域上的某个投影——而「投影」这一步的误差没有任何理论刻画。

**B · (Z(x)) 不可计算。**要对所有可能的 (y) 求和，在 LLM 里是 (|V|^{L}) 项。任何需要显式 (Z(x)) 的算法都不可实现——这正是 DPO 要绕开的东西。

C · 反向 KL 是 mode-seeking。最优解会主动丢弃 (\pi_{\rm ref}) 的一些模式。若目标是保持多样性，应该用正向 KL——但那样就没有闭式解了，整条推导链断掉。

D · 只对固定的 (r) 成立。RLHF 里 (r=r_\theta) 是学出来的、有误差的，而且在 (\pi^*) 的支撑上可能根本没有训练数据。换句话说：这条式子给出的「最优解」，是相对一个我们并不真正拥有的奖励函数而言的最优。

  ⑤ 论文出处
  

推导逐步核实于 arXiv:2305.18290 Appendix A.1（式(12)–(15)）；作为 RL 目标的理论最优点，对应 arXiv:2203.02155 式(2)。Gibbs 不等式与 Boltzmann 分布的对应为标准结果。

F6.5 关键实证结果：小模型击败大模型的那组数字

**1.3B** InstructGPT 被偏好于 **175B** GPT-3
vs 175B GPT-3：**85 ± 3%**
vs few-shot 175B GPT-3：**71 ± 4%**
标注者 **约 40 人**
英语占比 **> 96%**

逐条列出（全部逐字核对自 dossier，未做任何取整或改写）：

#结果数字为什么重要| # | 结果 | 数字 | 为什么重要 |


  1**1.3B InstructGPT 的输出被人类偏好于 175B GPT-3**参数少 100 倍以上后训练的边际收益可以超过两个数量级的参数量——**这是「对齐即能力」这一判断最早的硬证据**| 1 | 1.3B InstructGPT 的输出被人类偏好于 175B GPT-3 | 参数少 100 倍以上 | 后训练的边际收益可以超过两个数量级的参数量——这是「对齐即能力」这一判断最早的硬证据 |

  2175B InstructGPT vs 175B GPT-3**85 ± 3%** 的时间被偏好同规模对照，排除了参数量因素| 2 | 175B InstructGPT vs 175B GPT-3 | 85 ± 3% 的时间被偏好 | 同规模对照，排除了参数量因素 |

  3175B InstructGPT vs few-shot 175B GPT-3**71 ± 4%**与「提示工程」这个更强的基线相比仍显著更好| 3 | 175B InstructGPT vs few-shot 175B GPT-3 | 71 ± 4% | 与「提示工程」这个更强的基线相比仍显著更好 |

  4对 SFT baseline 的胜率：InstructGPT / T0 / FLAN**73.4 ± 2%** / **26.8 ± 2%** / **29.8 ± 2%**说明胜出来自 RLHF 这一步，而不仅仅是指令化数据| 4 | 对 SFT baseline 的胜率：InstructGPT / T0 / FLAN | 73.4 ± 2% / 26.8 ± 2% / 29.8 ± 2% | 说明胜出来自 RLHF 这一步，而不仅仅是指令化数据 |

  5标注者一致率：训练标注者互相 / held-out / Stiennon 等 2020 的研究者互相**72.6 ± 1.5%** / **77.3 ± 1.3%** / **73 ± 4%****标签本身只有约 73% 的自洽度**——RM 的准确率天花板由此决定| 5 | 标注者一致率：训练标注者互相 / held-out / Stiennon 等 2020 的研究者互相 | 72.6 ± 1.5% / 77.3 ± 1.3% / 73 ± 4% | 标签本身只有约 73% 的自洽度——RM 的准确率天花板由此决定 |

  6毒性respectful prompt 下比 GPT-3 少约 **25%**无 prompt 时优势消失；**被明确要求产生毒性内容时，InstructGPT 比 GPT-3 更毒**——一个诚实且重要的负面结果| 6 | 毒性 | respectful prompt 下比 GPT-3 少约 25% | 无 prompt 时优势消失；被明确要求产生毒性内容时，InstructGPT 比 GPT-3 更毒——一个诚实且重要的负面结果 |

第 5 行值得停下来想一想：如果人和人只有约 73% 的时候意见一致，那么「拟合人类偏好」这个目标函数本身就含有约 27% 的不可约分歧。BT 模型会把这部分分歧当作噪声平均掉，得到一个「谁也不完全代表」的中庸效用函数。这不是模型不够大能解决的问题——它是把多元价值压成一个标量时必然发生的信息损失。

F6.6 五条局限：这条流水线到底把什么问题留在了原地

▲ RLHF / InstructGPT 的五条局限

**1 · 标注者分布问题（论文自陈）。**约 40 名承包商（Upwork 与 ScaleAI，经过筛选测试），超过 96% 的 prompt 是英语。论文自己在讨论章节写道：「我们的标注者并不是产生这些 prompt 的用户，用户真正想要的与标注者认为用户想要的之间可能存在偏差。」这意味着 (r_\theta) 编码的是「40 名承包商在 OpenAI 的指导文档下做出的判断」，而不是抽象的「人类偏好」——而这个 (r_\theta) 随后被用来塑造一个被数亿人使用的模型。这不是可以靠更多算力解决的问题。

**2 · BT 模型假设的系统性违背。**四条假设与现实的对照：

  BT 假设现实后果| BT 假设 | 现实 | 后果 |

  
    存在单一标量效用有用性 / 真实性 / 无害性经常**直接冲突**（论文自己承认「我们的对齐标准之间可能产生冲突」）单一 \(r\) 强行把多元价值压成一个数，**压缩比例由标注指南隐式决定**，而这份指南从未被当作规范文件公开辩论| 存在单一标量效用 | 有用性 / 真实性 / 无害性经常直接冲突（论文自己承认「我们的对齐标准之间可能产生冲突」） | 单一 \(r\) 强行把多元价值压成一个数，压缩比例由标注指南隐式决定，而这份指南从未被当作规范文件公开辩论 |

    偏好可传递人类偏好经常不可传递，循环偏好在心理学上被反复观测到BT 结构无法表示循环，模型只能拟合到某个折中，**训练信号自相矛盾**| 偏好可传递 | 人类偏好经常不可传递，循环偏好在心理学上被反复观测到 | BT 结构无法表示循环，模型只能拟合到某个折中，训练信号自相矛盾 |

    单一效用生成所有标注标注者之间只有约 72.6% 一致约 27% 的标注被模型当成「噪声」或「错误」学习，**群体分歧被平均掉而不是被表示出来**| 单一效用生成所有标注 | 标注者之间只有约 72.6% 一致 | 约 27% 的标注被模型当成「噪声」或「错误」学习，群体分歧被平均掉而不是被表示出来 |

    IIA（独立于无关选项）上下文效应、锚定效应普遍存在\(K\) 个回答一起排序时，**排序结果依赖候选集本身**——换一组候选，同样两条回答的相对位置可能翻转| IIA（独立于无关选项） | 上下文效应、锚定效应普遍存在 | \(K\) 个回答一起排序时，排序结果依赖候选集本身——换一组候选，同样两条回答的相对位置可能翻转 |

  

已有一系列工作论证：在人群偏好异质的情形下，BT / 单一奖励模型存在根本不足，主张改用社会选择理论（Nash bargaining、Condorcet 胜者等）替代标量聚合。本站仅记录这一批评方向的存在，未核实具体文献的标题与主张，不作为结论引用。

3 · RM 的分布外脆弱性。RM 在 SFT 采样的 completion 上训练，而 RL 阶段 (\pi^{\rm RL}) 会主动向 RM 打分高的区域移动——恰恰是训练分布之外。「主动」两个字是关键：这不是随机漂移，是有目的的搜索，专门去找 RM 的误差最大的方向。这是 F7 的全部主题。

4 · KL 惩罚不能防止所有 hacking。加 KL 惩罚提高了「给定 KL 预算下能达到的 proxy 分」，但并没有改善 gold 分对 KL 的前沿；它对 gold 分的作用「近似于早停」。**——你只是更晚到达同一条曲线上的同一个点。**这是一个很反直觉、也很重要的结论。

5 · Sycophancy（谄媚）。RLHF 训练的是「人类评分者喜欢什么」，而不是「什么是对的」。两者分歧时，模型学会前者。这是 BT 假设「(r) 编码真实价值」的直接失效——(r) 编码的其实是「被评为好」的概率。这个问题随模型能力增强而加剧，因为更强的模型更善于预测评分者想听什么。

来源：arXiv:2203.02155 §5（论文自陈的局限）；arXiv:2210.10760（KL 惩罚近似早停）。第 5 条的机制分析为本站综合表述。

F7 · 奖励模型过优化：把「对齐失败」变成一条可外推的曲线

T2 官方论文 本节全部公式、图表与数值均出自 Gao, Schulman, Hilton，Scaling Laws for Reward Model Overoptimization，arXiv:2210.10760（2022-10-19，OpenAI）：arxiv.org/abs/2210.10760 ^[1]。核对日 2026-07-25。峰值位置与峰值高度为本站独立复算，已在正文标注。

如果 F6 是「怎么把偏好变成奖励」，F7 就是「这个奖励能被信任到什么程度」。Gao、Schulman、Hilton 三人做了一件方法论上很聪明的事：真人标签太贵，无法密集测量，那就用一个固定的大奖励模型冒充人类。有了这个合成的「gold RM」，就能把优化强度扫成一条连续曲线，进而拟合出函数形式。本节的价值不在那两条经验公式本身，而在于它第一次让「优化到什么程度就该停」成为一个可以事先预测的量——也就是把 Goodhart 定律从格言变成了工程参数。

F7.1 实验设置：合成 gold RM 这个方法论创新

◈ 用一个大 RM 冒充人类

Gold RM：Ouyang 等人 2022 年的 6B 奖励模型，全程冻结，被当作「真理」。Proxy RM：3M 到 3B 参数（原本还训了两个小于 3M 的，接近随机准确率、明显离群，被剔除）。Policy：RM scaling 实验里固定 1.2B。合成数据：对同一 prompt 从 policy 采两条 rollout，用 gold RM 打分，确定性地把高分者标为 preferred；共生成 100,000 条比较，留 10% 作测试集（即 90,000 条训练）。重新中心化：每个 RM 都重新中心化，使初始 policy 的平均奖励为 0；gold RM 的方差归一化到 1。重新校准：因为硬阈值标签是 miscalibrated 的（丢掉了 gold RM 的置信度信息），对 proxy RM 的 logits 做 rescaling，以最小化软标签验证集上的交叉熵。

**最重要的假设写在最前面：gold RM ＝ 真理。**这是整套框架成立的前提，也是它最大的局限（见 ④）。

FX-24

过优化的两个经验函数形式：BoN 与 RL ★核心★

T2 官方论文

  ① 直觉
  

优化 proxy RM 时，gold reward 先升后降。这个「先升后降」不是模糊的定性观察，而是一条形状高度规整的曲线——规整到可以用两个参数拟合、并且能外推预测。两个方法给出两种不同的形状：Best-of-(n) 的衰减是二次的（掉得干脆），RL 的衰减带一个 (\log)（掉得温和但更持久）。拿到 (\alpha,\beta) 就等于拿到了「最优早停点」的解析表达式。

  ② 推导
  

**(a) 两个形式。**以 (d\equiv\sqrt{D_{KL}\left(\pi,|,\pi_{\rm init}\right)}) 为优化强度坐标： [ \boxed{;R_{\rm bon}(d)=d\left(\alpha_{\rm bon}-\beta_{\rm bon},d\right);}\qquad\qquad \boxed{;R_{\rm RL}(d)=d\left(\alpha_{\rm RL}-\beta_{\rm RL}\log d\right);} ](R(0)\equiv0)（因为已重新中心化）；(\alpha,\beta) 依赖 proxy RM 的参数量与训练数据量。这两个形式是经验拟合，不是从第一性原理推出来的——论文明说「我们通过在全部 RM 数据与参数 scaling 曲线上做实验来选择函数形式」。

(b) 结构为什么仍然有意义。两者共有 (d\times(\cdot)) 的前缀，这保证了两件事：(R(0)=0)，以及初始斜率有限——对 BoN 有 (R’(0^{+})=\alpha_{\rm bon})。也就是说「刚开始优化时，gold reward 以 (\alpha) 的速率线性增长」，这与此前观察到的「reward 大致线性于 (\sqrt{KL})」相符。

**(c) 峰值：对 (d) 求导令零。**BoN 是二次衰减： [ R_{\rm bon}‘(d)=\alpha_{\rm bon}-2\beta_{\rm bon}d=0\ \Longrightarrow\ d^{}{\rm bon}=\frac{\alpha{\rm bon}}{2\beta_{\rm bon}},\qquad R^{}{\rm bon}=\frac{\alpha{\rm bon}^{2}}{4\beta_{\rm bon}} ]

RL 带一个对数，求导时用 (\frac{d}{dd}(d\log d)=\log d+1)： [ R_{\rm RL}‘(d)=\alpha_{\rm RL}-\beta_{\rm RL}\left(\log d+1\right)=0\ \Longrightarrow\ d^{*}{\rm RL}=\exp\left(\frac{\alpha{\rm RL}}{\beta_{\rm RL}}-1\right) ]

代回可得峰值高度，形式意外地干净： [ R_{\rm RL}(d^{})=d^{}\left(\alpha_{\rm RL}-\beta_{\rm RL}\log d^{}\right)=d^{}\left(\alpha_{\rm RL}-\beta_{\rm RL}\left(\frac{\alpha_{\rm RL}}{\beta_{\rm RL}}-1\right)\right)=\beta_{\rm RL},d^{}{\rm RL} ]即 **峰值高度 = (\beta{\rm RL}\times) 峰值位置**。对应的 KL 是 (D_{KL}^{}=(d^{*})^{2})。

(d) 一次真正的事前预测，而不是事后拟合。BoN 的函数形式是用 (n\le1000)（对应 KL 约 6 nats）的数据假设出来的，随后用 (n) 一直到 60,000（对应 KL 约 10 nats）去验证——这是一次货真价实的 advance prediction。这大大提高了这个函数形式的可信度：能外推 4 nats 而不散架的经验式，比任何在同一区间内拟合得更好的式子都更值得相信。

  ③ 数值例
  

先说清楚一件事：论文没有公布 (\alpha,\beta) 的数值表。它只给了 scaling 曲线图（Fig.3），正文中没有列出 (\alpha_{\rm bon},\beta_{\rm bon},\alpha_{\rm RL},\beta_{\rm RL}) 的具体拟合数值。因此本站只给定性趋势与峰值的解析表达式，不给数值；下面的算例中的比值是为了演示公式的敏感性而假设的，不是论文数值，不得引用为事实。

    方法假设的比值（演示用）峰值位置 \(d^{*}\)对应 \(D_{KL}^{*}=(d^{*})^{2}\)读法| 方法 | 假设的比值（演示用） | 峰值位置 \(d^{*}\) | 对应 \(D_{KL}^{*}=(d^{*})^{2}\) | 读法 |

    
      BoN\(\alpha/\beta=3\)\(3/2=1.5\)2.25 nats由 \(\log n-\frac{n-1}{n}=2.25\) 反解，约在 best-of-25 附近达峰| BoN | \(\alpha/\beta=3\) | \(3/2=1.5\) | 2.25 nats | 由 \(\log n-\frac{n-1}{n}=2.25\) 反解，约在 best-of-25 附近达峰 |

      RL\(\alpha/\beta=3\)\(e^{2}=7.39\)54.6 nats基准情形| RL | \(\alpha/\beta=3\) | \(e^{2}=7.39\) | 54.6 nats | 基准情形 |

      RL（RM 更大）\(\alpha/\beta=4\)\(e^{3}=20.1\)404 nats**比值只加 1，峰值 KL 涨了 7 倍多**| RL（RM 更大） | \(\alpha/\beta=4\) | \(e^{3}=20.1\) | 404 nats | 比值只加 1，峰值 KL 涨了 7 倍多 |

    
  
  

第二、三行说明了 F7.5 那条结论的威力：既然 (\alpha_{\rm RL}) 几乎与 RM 大小无关、而 (\beta_{\rm RL}) 随 RM 变大而减小，则比值 (\alpha/\beta) 随 RM 增大而增大，而峰值位置对这个比值是指数依赖的。**换大一号的 RM，允许你优化得更狠、更久——这个收益不是线性的，是指数的。**这也是为什么「RM 规模必须与 policy 的优化能力同步增长」会成为一条工程准则。

  ④ 假设与失效边界
  

A · 五条建模假设。（1）gold RM 是真理；（2）(R) 只依赖 (d)，不显式依赖 policy 大小与优化算法细节；（3）(R(0)=0)（靠中心化保证）；（4）优化过程沿着一条「典型路径」进行，不同 RL 超参给出同一条 (R(d)) 曲线；（5）BoN 与 RL 需要不同的函数形式——这一条本身是实验发现，不是先验推理。

**B · 论文诚实报告的两个负面结果。**他们尝试对 proxy score 建模但「无法得到令人满意的拟合」；BoN 的线性拟合 (d,\alpha_{\rm bon}) 也不 work。两者都留给了 future work。一个只能拟合 gold 而拟合不了 proxy 的理论，说明我们对这个现象的机制理解仍然很浅。

C · 没有数值就没有可迁移性。由 ③，缺少 (\alpha,\beta) 的公开数值表意味着：这两条式子目前只能用作形状先验（帮你决定拟合什么函数），不能直接用作预测器。要用，必须在自己的设定下重新拟合。

D · 纯经验的现象学，没有机制。它无法解释「为什么」——关于「RM 在哪些方向上错、policy 为什么能找到那些方向」，这套框架一句话也没说。它只是把现象参数化了。

  ⑤ 论文出处
  

arXiv:2210.10760 ^[1]（Gao, Schulman, Hilton, Scaling Laws for Reward Model Overoptimization, 2022-10-19）§1 的两个 boxed 公式，形式逐字核实无误。峰值位置与峰值高度为本站独立复算。(\alpha,\beta) 无公开数值表——这一点已在 dossier 的核实清单中登记为已知缺口。

F7.3 为什么横轴是 (\sqrt{KL}) 而不是 KL —— 本节最有意思的一点

● 因为 KL 是「距离的平方」，不是距离

论文的原话是：因为它是一个二次型度量，所以定义 (d:=\sqrt{D_{KL}(\pi|\pi_{\rm init})})。这句话可以完全展开成一个几何陈述。KL 散度在分布空间上是局部二次型：对 (\pi_\theta) 与 (\pi_{\theta+\Delta})， [ D_{KL}\left(\pi_{\theta+\Delta},|,\pi_\theta\right)\approx\frac12\Delta^{\top}F(\theta)\Delta ](F) 是 Fisher 信息矩阵。右端是 (\Delta) 的二次型——就像欧氏空间里 (|\Delta|^2=\Delta^\top I\Delta) 是距离的平方一样。

所以 (\sqrt{KL}) 才是「距离」（一阶量），KL 本身是「距离的平方」（二阶量）。在信息几何里说得更精确：(\sqrt{2D_{KL}}) 才是 Fisher-Rao 度量下的（近似）测地距离。用 KL 当横轴，等于用「面积」去画一条本该用「长度」画的曲线。

实用理由同样重要：在 (\sqrt{KL}) 坐标下，多条曲线的形状变得规整、可以用低阶多项式拟合；用 KL 坐标则曲线在原点附近有一段奇异的陡峭区，任何低阶拟合都会在那里失败。换句话说：选对横轴，两参数就够；选错横轴，多少参数都拟合不好。

这条经验可以推广：当一条经验曲线怎么都拟合不好时，先怀疑横轴的定义，而不是先加参数。本章里同一类错误至少出现过两次——用 non-embedding 参数还是 total 参数做横轴，直接改变了 scaling law 的指数；这里用 KL 还是 (\sqrt{KL})，直接决定了函数形式能不能是二次的。横轴选错，拟合出来的「定律」就是坐标系的伪影。

FX-25

Best-of-(n) 的 KL 解析式，与 Beirami 等人的修正 ★重要争议★

T2 官方论文

  ① 直觉
  

BoN 没有梯度更新，怎么定义「偏离初始策略多远」？答案是：BoN 本身诱导了一个新分布——「采 (n) 条取最高分」等价于把原分布按分数的分位数做了一次重加权。这个诱导分布与原分布的 KL 有一个漂亮的闭式，只依赖 (n)。但这个闭式有一个前提（奖励连续、无平局），而语言模型的输出空间是离散有限的，于是它只是一个上界——而且在小 (n) 之外可以差出好几倍。

  ② 推导
  

(a) Gao 等人使用的公式（论文注明来源为 Stiennon et al. 2020 的附录）： [ \boxed{;\mathrm{KL}_{\rm bon}=\log n-\frac{n-1}{n};} ]注意它随 (n) 无界增长（(\approx\log n-1)）。这一点在离散空间里显然不可能成立——这就是争议的来源。 展开：分位数重参数化推导（以及它悄悄用掉的那个假设）

前提假设：(\pi_{\rm ref}) 是连续分布，奖励没有平局。

**第一步 · 换到分位数坐标。**设 (u=F(r)\in[0,1]) 是奖励的 CDF 值。在 (\pi_{\rm ref}) 下，(u\sim\mathrm{Unif}[0,1])——这正是概率积分变换，而它要求 (F) 连续严格递增，也就是「奖励连续无平局」。

**第二步 · BoN 后的密度。**取 (n) 个独立样本的最大值，(u_{\max}=\max_i u_i) 的 CDF 是 (u^n)，故密度为 (p(u)=nu^{n-1})。

**第三步 · 直接算 KL。**相对 (\mathrm{Unif}[0,1])（密度恒为 1）： [ D_{KL}=\int_0^1 nu^{n-1}\log\left(nu^{n-1}\right)du=\log n+n(n-1)\int_0^1u^{n-1}\log u,du ]

**第四步 · 用一个标准积分收官。**由 (\int_0^1u^{n-1}\log u,du=-\frac{1}{n^{2}})： [ =\log n-\frac{n(n-1)}{n^{2}}=\log n-\frac{n-1}{n}\quad\blacksquare ]整个推导没有用到奖励的任何具体形状——只用到「分位数是均匀分布」。这既是它优雅的原因，也是它失效的原因。

**(b) Beirami 等人的修正。**论文摘要原话：「文献中常用的一个解析式声称 best-of-(n) 策略与参考策略之间的 KL 散度等于 (\log(n)-(n-1)/n)。我们证明该论断不成立，并说明它是真实 KL 散度的一个上界。」

(c) 为什么是上界。上面的推导用了「奖励连续、无平局」。语言模型的输出空间是离散且有限的：同一个 (y) 可以被抽中多次，多个 (y) 可以有相同奖励。此时 BoN 策略 (\pi^{(n)}) 无法实现「完美的分位数变换」，实际偏离比公式给出的小。

(d) 反例（论文 Example 3）。设 (\pi_{\rm ref}) 是两点分布，各 (1/2)，其中一点奖励更高。则 [ D_{KL}\left(\pi^{(n)},|,\pi_{\rm ref}\right)=\log 2-h!\left(\frac{1}{2^{n}}\right) ](h) 是二元熵函数。真实 KL 被 (\log 2) 死死上界住（因为 (\pi^{(n)}) 最多塌缩到那一个点），而 (\log n-\frac{n-1}{n}) 却无界增长。

另外两条结论：BoN 相对 (\pi_{\rm ref}) 的胜率上界是 (n/(n+1))；论文还提出了一个新的 KL 估计器，实证上更贴近真值。

  ③ 数值例
  

    \(n\)\(\log n-\frac{n-1}{n}\)（nats）\(d=\sqrt{\mathrm{KL}}\)备注| \(n\) | \(\log n-\frac{n-1}{n}\)（nats） | \(d=\sqrt{\mathrm{KL}}\) | 备注 |

    
      40.6360.797—| 4 | 0.636 | 0.797 | — |

      161.8351.354—| 16 | 1.835 | 1.354 | — |

      100**3.615**1.901两点分布反例下真值 \(\le\log2=0.693\)，**差 5 倍以上**| 100 | 3.615 | 1.901 | 两点分布反例下真值 \(\le\log2=0.693\)，差 5 倍以上 |

      1,0005.9092.431BoN 函数形式的**假设区间上限**（约 6 nats）| 1,000 | 5.909 | 2.431 | BoN 函数形式的假设区间上限（约 6 nats） |

      60,00010.0023.163用于**事前验证**的外推点（约 10 nats）| 60,000 | 10.002 | 3.163 | 用于事前验证的外推点（约 10 nats） |

    
  
  

第三行是全表的重点：(n=100) 时公式给出约 3.6 nats，而两点分布下的真值不超过 0.693 nats——相差 5 倍以上。折算到 (d=\sqrt{KL}) 坐标上仍相差约 2.3 倍。也就是说，BoN 的那些点在横轴上被系统性地推向了右边。

  ④ 假设与失效边界
  

A · 这对 F7 的结论意味着什么。Gao 等人的 BoN 曲线横轴被系统性高估。因为 (d=\sqrt{KL})，高估 KL 等于把 BoN 的点整体右移。后果有三：（1）BoN 的 (\alpha_{\rm bon},\beta_{\rm bon}) 被系统性地偏小估计；（2）「RL 比 BoN 在 KL 上更低效」这个结论可能是横轴伪影——论文自己也承认「这暗示了用 KL 来跨方法比较（过）优化量的不足」；（3）但 RL 那条曲线的 KL 是数值测量的，不受此影响。结论：BoN 与 RL 的对比结论最可疑，而各自的形状结论相对稳健。

**B · 反例是构造性的，不等于实际偏差就有 5 倍。**两点分布是一个极端情形。真实 LLM 输出空间巨大，实际偏差取决于分布的有效支撑大小与奖励的平局程度，本站不把「5 倍」外推为一般结论。

**C · 修正估计器需要额外计算。**Beirami 等人的新估计器实证上更准，但不再是一个只依赖 (n) 的闭式，失去了原公式「一个数就能算」的便利——这也是旧公式至今仍被广泛使用的现实原因。

D · 与本章另一处教训同构。这又是一次「横轴定义错了，导致拟合出的指数与系数跟着错」。它与 scaling law 章节里「Kaplan 用 non-embedding 参数」是完全同一类错误——都不是算错，而是量错。

  ⑤ 论文出处
  

公式与来源标注见 arXiv:2210.10760（引自 Stiennon et al. 2020, Appendix G.3）；修正见 arXiv:2401.01879（Beirami, Agarwal, Berant, D’Amour, Eisenstein, Nagpal, Suresh, Theoretical guarantees on the best-of-n alignment policy, 2024），摘要与 Example 3 已逐字核实。分位数推导为本站独立复算。

F7.5 (\alpha,\beta) 随 RM 规模、RM 数据量、policy 规模怎么变

扫描维度固定量观察到的趋势对峰值 \(d^{*}\) 的影响| 扫描维度 | 固定量 | 观察到的趋势 | 对峰值 \(d^{*}\) 的影响 |


  **RM 参数量**（3M → 3B）policy 1.2B；RM 数据 90,000 条比较BoN：\(\alpha_{\rm bon}\) 与 \(\beta_{\rm bon}\) 都随 RM size **平滑变化**，趋势近似对数。

RL：(\alpha_{\rm RL}) 可以对所有 RM size 取同一个常数（论文脚注明确说它「几乎与 RM 参数量无关」），从而得到一条干净的 (\beta_{\rm RL}) scaling 曲线(d^{}{\rm RL}=\exp(\alpha{\rm RL}/\beta_{\rm RL}-1)) 随 RM 增大而指数式右移；这允许预测不同 RM size 下的峰值 gold 分数| RM 参数量（3M → 3B） | policy 1.2B；RM 数据 90,000 条比较 | BoN：(\alpha_{\rm bon}) 与 (\beta_{\rm bon}) 都随 RM size 平滑变化，趋势近似对数。RL：(\alpha_{\rm RL}) 可以对所有 RM size 取同一个常数（论文脚注明确说它「几乎与 RM 参数量无关」），从而得到一条干净的 (\beta_{\rm RL}) scaling 曲线 | (d^{}{\rm RL}=\exp(\alpha{\rm RL}/\beta_{\rm RL}-1)) 随 RM 增大而指数式右移；这允许预测不同 RM size 下的峰值 gold 分数 |

  **RM 数据量**RM 固定 12M更多数据 → 更好的 gold 分、更少 goodharting；但 \(\alpha,\beta\) 随数据量的 scaling **不如随 RM size 那么干净****临界阈值**：所有 RM size 在约 **2,000 条比较**以下都接近随机 loss| RM 数据量 | RM 固定 12M | 更多数据 → 更好的 gold 分、更少 goodharting；但 \(\alpha,\beta\) 随数据量的 scaling 不如随 RM size 那么干净 | 临界阈值：所有 RM size 在约 2,000 条比较以下都接近随机 loss |

  **数据量 vs 训练轮数**同上跑 4 个 epoch 对 gold 分**毫无改善**，而「1 个 epoch 的 4 倍数据」显著更好说明瓶颈**不是「梯度步数不够」，而是「信息量不够」**| 数据量 vs 训练轮数 | 同上 | 跑 4 个 epoch 对 gold 分毫无改善，而「1 个 epoch 的 4 倍数据」显著更好 | 说明瓶颈不是「梯度步数不够」，而是「信息量不够」 |

  **大 RM 是否更早跨过阈值**—反直觉：**没有**显著更早。论文注明这一点「与一些其它内部发现相矛盾」阈值更像是数据本身的性质，而非模型容量的性质| 大 RM 是否更早跨过阈值 | — | 反直觉：没有显著更早。论文注明这一点「与一些其它内部发现相矛盾」 | 阈值更像是数据本身的性质，而非模型容量的性质 |

  **policy 规模**—论文原话：更大的 policy 总体表现更好、且从针对 RM 的优化中**获益更少**，但它们导致**非常相似的过优化量**（以 proxy 与 gold 分之差衡量），**达到最大 gold 分的 KL 距离也几乎相同****与「更强的模型更善于 hack 奖励」的直觉相反**——这是全文最反直觉的结论之一| policy 规模 | — | 论文原话：更大的 policy 总体表现更好、且从针对 RM 的优化中获益更少，但它们导致非常相似的过优化量（以 proxy 与 gold 分之差衡量），达到最大 gold 分的 KL 距离也几乎相同 | 与「更强的模型更善于 hack 奖励」的直觉相反——这是全文最反直觉的结论之一 |

F7.6 这是 Goodhart 定律的定量版

● 从格言到工程参数

Goodhart 定律的定性表述是：「当一个度量变成目标，它就不再是一个好的度量。」这句话流传了几十年，却从来不能指导任何具体决策——因为它不告诉你「什么时候」不再是好度量。F7 做的事情，就是把这个「什么时候」写成了一个可以求导的函数。

设 (R_{\rm gold}) 是真目标、(R_{\rm proxy}) 是代理、(d) 是优化强度，则（以 RL 为例） [ R_{\rm gold}(d)=d\left(\alpha-\beta\log d\right) ]

整条曲线被一个点切成两段，而这个点有解析表达式：

  区间数学条件Goodhart 定律的对应表述| 区间 | 数学条件 | Goodhart 定律的对应表述 |

  
    上升段\(\frac{dR_{\rm gold}}{dd}\gt 0\)measure 还是 good measure，优化**有效**| 上升段 | \(\frac{dR_{\rm gold}}{dd}\gt 0\) | measure 还是 good measure，优化有效 |

    **峰值**\(d^{*}=\exp\left(\frac{\alpha}{\beta}-1\right)\)**Goodhart 点**——这就是「最优早停点」| 峰值 | \(d^{*}=\exp\left(\frac{\alpha}{\beta}-1\right)\) | Goodhart 点——这就是「最优早停点」 |

    下降段\(d\gt d^{*}\)"it ceases to be a good measure"：继续优化 proxy **主动损害** gold| 下降段 | \(d\gt d^{*}\) | "it ceases to be a good measure"：继续优化 proxy 主动损害 gold |

  

两种方法的峰值位置与高度并列如下（(D_{KL}^{}=(d^{})^{2})）：

  方法\(R(d)\)峰值位置 \(d^{*}\)峰值高度 \(R^{*}\)| 方法 | \(R(d)\) | 峰值位置 \(d^{*}\) | 峰值高度 \(R^{*}\) |

  
    Best-of-\(n\)\(d\left(\alpha_{\rm bon}-\beta_{\rm bon}d\right)\)\(\dfrac{\alpha_{\rm bon}}{2\beta_{\rm bon}}\)\(\dfrac{\alpha_{\rm bon}^{2}}{4\beta_{\rm bon}}\)| Best-of-\(n\) | \(d\left(\alpha_{\rm bon}-\beta_{\rm bon}d\right)\) | \(\dfrac{\alpha_{\rm bon}}{2\beta_{\rm bon}}\) | \(\dfrac{\alpha_{\rm bon}^{2}}{4\beta_{\rm bon}}\) |

    RL\(d\left(\alpha_{\rm RL}-\beta_{\rm RL}\log d\right)\)\(\exp\left(\dfrac{\alpha_{\rm RL}}{\beta_{\rm RL}}-1\right)\)\(\beta_{\rm RL}\exp\left(\dfrac{\alpha_{\rm RL}}{\beta_{\rm RL}}-1\right)\)| RL | \(d\left(\alpha_{\rm RL}-\beta_{\rm RL}\log d\right)\) | \(\exp\left(\dfrac{\alpha_{\rm RL}}{\beta_{\rm RL}}-1\right)\) | \(\beta_{\rm RL}\exp\left(\dfrac{\alpha_{\rm RL}}{\beta_{\rm RL}}-1\right)\) |

  

【本质追问】这项工作的真正意义不是那两条公式，而是它把「对齐失败」变成了一个有 scaling law 的可预测现象。如果 (\alpha,\beta) 随 RM 规模的趋势能外推，我们就能事先预测：给定一个 RM 的规模与数据量，你能安全地优化多远。这是「把对齐做成工程学科」的雏形——对齐第一次有了一个可以写进 runbook 的数字。

反过来说，它也给出一个令人不安的推论：**只要 proxy ≠ gold，就一定存在一个 (d^{})，超过它优化就有害。而随着模型能力增强、优化算法变强，我们到达 (d^{}) 的速度只会变快。**于是 RM 的规模必须与 policy 的优化能力同步增长——这就是 superalignment 问题的定量表述：它不是一个哲学难题，而是一个两条增长曲线赛跑的工程问题。而 F7.5 中「大 policy 并不更快过优化」这个反直觉结论，恰恰是这场赛跑里目前唯一的好消息。

▲ F7.7 局限 / 失效边界，与 F7.8 后续工作

1 · 合成 gold RM ≠ 真人，这是最根本的一条。gold RM 自己也有分布外脆弱性、自己也会被 hack。整个实验测的其实是「小 RM 对大 RM 的过优化」，不是「RM 对人类的过优化」。两者的失效模式可能完全不同：小 RM 与大 RM 共享架构、数据分布、甚至预训练，它们的误差是相关的；而 RM 与人类的误差结构完全不同——人类的偏好噪声既不独立也不同分布，还会随时间与语境漂移。

2 · 规模范围有限。proxy RM 3M–3B、policy 1.2B/6B，都是 2022 年的规模。今天的 RM 与 policy 大出 1–2 个数量级，趋势能否外推没有直接证据。

3 · (\sqrt{KL}) 坐标的普适性存疑，且 BoN 的 KL 计算本身有误（见 FX-25）。KL 并不是唯一的距离度量——换成别的散度（正向 KL、Wasserstein、总变差），曲线形状与「过优化」的判定都可能改变。

**4 · 只有一个任务分布。**全部实验都在 InstructGPT 的 API prompt 分布上。数学、代码这类有可验证奖励的任务，过优化的形态完全不同——那里的「gold」是编译器或答案检查器，不是另一个模型。

5 · KL penalty 的结论可能对超参特别敏感（论文自陈：「我们看到一些证据表明这个结果可能对超参数特别敏感」）。

6 · proxy score 无法建模（论文自陈的失败），7 · 没有机制理论（纯现象学）。

F7.8 后续工作的共同思路。****WARM（Weight Averaged Reward Models）：对多个微调后的 RM 做权重平均（而非输出平均），得到对分布外更鲁棒、对偏好噪声更不敏感的 RM。Reward Model Ensembles（Coste 等, ICLR 2024）：用 RM 集成的保守估计（如 lower confidence bound 或 worst-case）作为奖励，显著推迟过优化。两者的共同思路是：**既然单个 RM 在分布外不可靠，就用「多个 RM 的一致程度」作为不确定性代理，在不确定的地方保守。**这本质上是把 RL 里的 pessimism-under-uncertainty 原则搬到了 RLHF 上。本站未 fetch 这两篇原文核实细节，仅记录方向。

来源：arXiv:2210.10760 §4 与作者自陈的局限；arXiv:2401.12187（WARM）、arXiv:2310.02743（RM Ensembles）均未逐字核实。

F8 · DPO 与 GRPO：PPO 的两种「减法」

PPO 的完整管线在显存里要同时放四个模型：策略、参考模型、奖励模型、价值网络；训练循环是「采样 → 打分 → 更新」三段式。此后两条最重要的路线，都是在做减法：DPO 减掉了奖励模型与在线采样，把整个 RLHF 压成一个监督分类损失；GRPO 减掉了价值网络，用同题目内多条回答的均值当 baseline。把它们并排看，会得到一条比任何单篇论文都清楚的规律：省掉的那个组件所提供的信息，必须由别的东西补上——没有免费午餐。

FX-26

DPO：配分函数在成对比较中相消 ★DPO 的全部魔法★

T2 官方论文

  ① 直觉
  

FX-23 告诉我们：给定 (\pi_{\rm ref}) 与 (\beta)，奖励与策略是同一个东西的两种写法。既然如此，为什么还要先训一个奖励模型、再用它去训策略？DPO 的回答是：不必——把「奖励」这个中间变量直接从方程里消掉。反解出 (r=\beta\log\frac{\pi}{\pi_{\rm ref}}+\beta\log Z(x)) 代进 Bradley-Terry，那个计算上不可行的配分函数 (Z(x)) 因为「只依赖 (x)、不依赖 (y)」而在两两相减中自动消失。剩下的是一个可以直接用 SGD 跑的分类损失。论文的副标题「Your Language Model is Secretly a Reward Model」说的就是这件事。

  ② 推导
  

**(a) F8.1.1 从最优策略反解奖励。**取 FX-23 的结论两边取对数： [ \log\pi_r(y\mid x)=-\log Z(x)+\log\pi_{\rm ref}(y\mid x)+\frac{1}{\beta}r(x,y) ]

移项并两边乘 (\beta)： [ \boxed{;r(x,y)=\beta\log\frac{\pi_r(y\mid x)}{\pi_{\rm ref}(y\mid x)}+\beta\log Z(x);} ]这一步是整个 DPO 的转折点：任何策略都隐含一个奖励，任何奖励都隐含一个策略，二者通过 (\beta\log\frac{\pi}{\pi_{\rm ref}}) 一一对应，只差一个只依赖 (x) 的常数。 展开：F8.1.2 配分函数相消的五步推导（(Z(x)) 为什么会消失）

**第一步 · 把反解式应用到真实奖励。**对真实奖励 (r^) 与其对应的最优策略 (\pi^)： [ r^{}(x,y)=\beta\log\frac{\pi^{}(y\mid x)}{\pi_{\rm ref}(y\mid x)}+\beta\log Z(x) ]

**第二步 · 代入 Bradley-Terry。**偏好概率写成两个 (\exp r^) 的比： [ p^{}(y_1\succ y_2\mid x)=\frac{\exp r^{}(x,y_1)}{\exp r^{}(x,y_1)+\exp r^{*}(x,y_2)} ]

把分子展开，指数里的加法变成乘法： [ \exp r^{}(x,y_1)=\exp\left(\beta\log\frac{\pi^{}(y_1\mid x)}{\pi_{\rm ref}(y_1\mid x)}+\beta\log Z(x)\right)=\exp\left(\beta\log\frac{\pi^{*}(y_1\mid x)}{\pi_{\rm ref}(y_1\mid x)}\right)\cdot Z(x)^{\beta} ]

**第三步 · 约掉 (Z(x)^{\beta})。**分母的两项同样各自带一个 (Z(x)^\beta) 因子——因为 (Z) 只依赖 (x)，对 (y_1) 与 (y_2) 是同一个数。分子分母同时含这个公因子，直接约掉： [ p^{}(y_1\succ y_2\mid x)=\frac{\exp\left(\beta\log\frac{\pi^{}(y_1\mid x)}{\pi_{\rm ref}(y_1\mid x)}\right)}{\exp\left(\beta\log\frac{\pi^{}(y_1\mid x)}{\pi_{\rm ref}(y_1\mid x)}\right)+\exp\left(\beta\log\frac{\pi^{}(y_2\mid x)}{\pi_{\rm ref}(y_2\mid x)}\right)} ]那个需要对 (|V|^{L}) 个序列求和的量，就在这一行里彻底消失了。

**第四步 · 化为 sigmoid。**分子分母同除分子，与 FX-21 ②(a) 完全同样的操作： [ =\sigma\left(\beta\log\frac{\pi^{}(y_1\mid x)}{\pi_{\rm ref}(y_1\mid x)}-\beta\log\frac{\pi^{}(y_2\mid x)}{\pi_{\rm ref}(y_2\mid x)}\right) ]

**第五步 · 最大似然。**用 (\pi_\theta) 参数化，写偏好数据的负对数似然： [ \boxed{;\mathcal{L}{\rm DPO}(\pi\theta;\pi_{\rm ref})=-,\mathbb{E}{(x,y_w,y_l)\sim\mathcal{D}}\left[\log\sigma\left(\beta\log\frac{\pi\theta(y_w\mid x)}{\pi_{\rm ref}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\rm ref}(y_l\mid x)}\right)\right];} ]

为什么 (\log Z(x)) 能相消——三句话的本质。（1）(Z(x)=\sum_y\pi_{\rm ref}(y\mid x)e^{r(x,y)/\beta}) 是对 (y) 求和的，所以它不依赖 (y)；（2）BT 模型只依赖 (r(x,y_w)-r(x,y_l))，两个 (\beta\log Z(x)) 直接相减为零；（3）于是那个计算上不可行的量，从来不需要被计算。

这与 FX-21 ②(c) 说的「RM 的奖励只有相对意义」是同一个事实的两面：既然偏好只看差，任何 (x)-依赖的偏移都会自动消失。InstructGPT 用这个自由度来做偏置归一化，DPO 则用它来消掉配分函数——同一条性质，两种用法。

(b) F8.1.3 梯度形式与「隐式奖励模型」。定义隐式奖励 (\hat r_\theta(x,y)\equiv\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\rm ref}(y\mid x)})，记 (z=\hat r_\theta(x,y_w)-\hat r_\theta(x,y_l))，用 (\frac{d}{dz}\log\sigma(z)=\sigma(-z))： [ \nabla_\theta\mathcal{L}{\rm DPO}=-\beta,\mathbb{E}\Big[\underbrace{\sigma\left(\hat r\theta(x,y_l)-\hat r_\theta(x,y_w)\right)}{\text{动态权重}}\Big(\underbrace{\nabla\theta\log\pi_\theta(y_w\mid x)}{\text{提高 }y_w}-\underbrace{\nabla\theta\log\pi_\theta(y_l\mid x)}_{\text{压低 }y_l}\Big)\Big] ]三个部分：方向（提高 (y_w)、压低 (y_l)）、动态权重（隐式奖励模型把偏好排得越离谱，权重越大；若已经正确且自信，权重趋于 0，不再更新）、(\beta)（整体强度）。论文强调这个动态权重是必要的：「这个方法的朴素版本，若去掉加权系数，会导致语言模型退化。」

(c) F8.1.4 DPO 去掉了 PPO 的什么。

    PPO 组件DPO 中的处理| PPO 组件 | DPO 中的处理 |

    
      **显式奖励模型 \(r_\theta\)**去掉。奖励隐含在 \(\pi_\theta/\pi_{\rm ref}\) 里| 显式奖励模型 \(r_\theta\) | 去掉。奖励隐含在 \(\pi_\theta/\pi_{\rm ref}\) 里 |

      **在线采样 rollout**去掉。只用离线偏好数据| 在线采样 rollout | 去掉。只用离线偏好数据 |

      **价值网络 \(V_\phi\)**去掉。没有优势估计这一步| 价值网络 \(V_\phi\) | 去掉。没有优势估计这一步 |

      **显式 KL 惩罚项**变成隐式。\(\beta\) 藏在 loss 里，KL 约束被「编译」进了目标函数| 显式 KL 惩罚项 | 变成隐式。\(\beta\) 藏在 loss 里，KL 约束被「编译」进了目标函数 |

      **clip / 信任域**去掉。DPO 就是一个监督分类损失| clip / 信任域 | 去掉。DPO 就是一个监督分类损失 |

      训练循环从「采样-打分-更新」三段式变成**一次前向-反向**| 训练循环 | 从「采样-打分-更新」三段式变成一次前向-反向 |

    
  
  

工程收益是数量级的：显存从「策略 + 参考 + RM + critic 四个模型」降到「策略 + 参考两个」，而参考模型的 logprob 还可以离线预计算并缓存——实际只需要一个模型在显存里。训练速度快一个量级。

  ③ 数值例
  

取 (\beta=0.1)。记 (\Delta_w=\log\frac{\pi_\theta(y_w)}{\pi_{\rm ref}(y_w)})、(\Delta_l=\log\frac{\pi_\theta(y_l)}{\pi_{\rm ref}(y_l)})，则 (z=\beta(\Delta_w-\Delta_l))：

    \(\Delta_w\)\(\Delta_l\)\(z\)损失 \(-\log\sigma(z)\)梯度权重 \(\sigma(-z)\)读法| \(\Delta_w\) | \(\Delta_l\) | \(z\) | 损失 \(-\log\sigma(z)\) | 梯度权重 \(\sigma(-z)\) | 读法 |

    
      +0.5−0.3+0.080.654**0.480**刚起步，权重接近 1/2| +0.5 | −0.3 | +0.08 | 0.654 | 0.480 | 刚起步，权重接近 1/2 |

      +5.0−5.0+1.000.313**0.269**已经排对且自信，**权重下降、更新减弱**| +5.0 | −5.0 | +1.00 | 0.313 | 0.269 | 已经排对且自信，权重下降、更新减弱 |

      −5.0+5.0−1.001.313**0.731**排**反**了，**权重升高、更新加强**| −5.0 | +5.0 | −1.00 | 1.313 | 0.731 | 排反了，权重升高、更新加强 |

    
  
  

第二行与第三行是同一组数字的镜像，但梯度权重相差 2.7 倍——这就是「隐式奖励模型排错得越离谱、权重越大」的具体含义。它是一个自动的难例挖掘机制：模型已经学会的样本自然退场，还没学会的样本自动占据梯度。而这也解释了论文为什么强调去掉权重会导致退化：没有它，所有样本会被等权推动，已经排对的样本会被继续无止境地拉开距离。

  ④ 假设与失效边界
  

A · 变成 off-policy / 离线，只在偏好数据的支撑上有效。理论推导假设在所有分布上优化（FX-23 假设 1），而 DPO 的期望是对固定数据集 (\mathcal{D}) 取的。在 (\mathcal{D}) 未覆盖的 (y) 上，loss 没有任何约束——模型可以任意分配概率质量。Xu 等人的理论结论：「我们的理论分析表明 DPO 可能找到利用分布外回答的有偏解。实证上我们证明，DPO 的性能显著受模型输出与偏好数据集之间的分布偏移影响。」这是 DPO 与 PPO 最本质的区别：PPO 在线采样，模型走到哪里 RM 就在哪里评分（虽然 RM 在那里可能不准，见 F7）；DPO 只在数据集上有信号，模型走到数据集外面完全无人监督。

B · Likelihood displacement：(\pi(y_l)) 被压得过低，连带 (\pi(y_w)) 也降。实践中普遍观察到 (\log\pi_\theta(y_w\mid x)) 与 (\log\pi_\theta(y_l\mid x)) 同时下降，只是后者降得更快——因为 loss 只约束差值，不约束绝对值。概率质量被挤到了第三类回答上（既不是 (y_w) 也不是 (y_l)），而那些回答可能更糟。缓解手段包括加 SFT 正则项、限制 (\pi(y_l)) 的下降幅度、用 length-normalized 版本。相关诊断工作本站未 fetch 原文核实。

**C · 对 (\pi_{\rm ref}) 与数据分布不匹配敏感。**推导要求偏好数据由 (\pi_{\rm ref})（或与之接近的分布）生成。若偏好数据来自另一个模型（非常常见：用一个强模型生成的数据去训另一个模型），则 (\pi_{\rm ref}) 对这些 (y) 的 logprob 很低，(\log\frac{\pi_\theta}{\pi_{\rm ref}}) 的初始值就很奇怪，隐式奖励从第一步起就是错的。

**D · 大规模上常不如在线 RLHF。**Xu 等人的实证结论：「结果表明 PPO 在所有实验中都持续优于 DPO。特别是在最具挑战性的代码竞赛任务上，PPO 取得了当时最好的结果。」而他们找到的 PPO 关键因素是：优势归一化、大 batch size、参考模型的指数滑动平均更新——又是一组 code-level optimizations，与 FX-18 ④E 的教训完全一致。

**E · BT 模型的假设照单全收。**DPO 的推导以 BT 为前提，所以 F6.6(2) 的全部批评（不可传递、多元价值、群体分歧）原样继承。它没有解决任何对齐的根本问题，只是换了一种优化方式。

  ⑤ 论文出处
  

arXiv:2305.18290（Rafailov, Sharma, Mitchell, Ermon, Manning, Finn, Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS 2023 Outstanding Paper）式(4)(5)(7) 与 Appendix A.2/A.3；每一步均与论文附录核实一致。局限 A/D 的引语出自 arXiv:2404.10719 §1（Xu et al.）。

FX-27

GRPO：用同题内的一组回答替掉价值网络

T2 官方论文

  ① 直觉
  

PPO 需要一个 critic 来回答「这条回答比预期好还是差」。但在 LLM 上，critic 是一个与策略同量级的模型，既贵又训不准——因为只有序列末尾有奖励，要它在每个 token 上都准确几乎不可能。GRPO 的做法极其直接：**同一道题采 (G) 条回答，用这一组的均值当 baseline，用这一组的标准差做归一化。**不需要学任何东西，baseline 立刻就有了。而且这个 baseline 与奖励模型的训练方式天然对齐——RM 本来就是在「同一问题的不同输出之间做比较」上训出来的。

  ② 推导
  

**(a) 完整目标。**结构上是 PPO 的 clip 目标，加一个直接写在 loss 里的 KL 项： [ \begin{aligned} \mathcal{J}{\rm GRPO}(\theta)=\ &\mathbb{E}{q\sim P(Q),\ {o_i}{i=1}^{G}\sim\pi{\theta_{\rm old}}(O\mid q)}\ &\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\Bigg{\min\left[\frac{\pi_\theta(o_{i,t}\mid q,o_{i,\lt t})}{\pi_{\theta_{\rm old}}(o_{i,t}\mid q,o_{i,\lt t})}\hat A_{i,t},\ \operatorname{clip}\left(\frac{\pi_\theta(o_{i,t}\mid q,o_{i,\lt t})}{\pi_{\theta_{\rm old}}(o_{i,t}\mid q,o_{i,\lt t})},1-\varepsilon,1+\varepsilon\right)\hat A_{i,t}\right]\ &\qquad\qquad\qquad-\beta,\mathbb{D}{KL}\left[\pi\theta,|,\pi_{\rm ref}\right]\Bigg} \end{aligned} ]注意两层归一化：外层 (\frac{1}{G})（对组内回答取平均）与内层 (\frac{1}{|o_i|})（对 token 取平均）。后者看起来无害，但它是 ④ 里那个长度偏置的来源。

**(b) 组内标准化优势（outcome supervision）。**同一组内所有 token 共享同一个序列级优势： [ \hat A_{i,t}=\tilde r_i=\frac{r_i-\operatorname{mean}(\mathbf{r})}{\operatorname{std}(\mathbf{r})},\qquad \mathbf{r}={r_1,\dots,r_G} ]减均值是 baseline（降方差且不引入偏差），除标准差是尺度归一化（而这一步会引入偏差，见 ④）。

(c) KL 用 k3 无偏估计量，且加在 loss 里而不是 reward 里。论文明确说：「不同于把 KL 惩罚加进 reward，GRPO 通过直接把训练策略与参考策略之间的 KL 散度加到 loss 里来正则化，从而避免使 (\hat A_{i,t}) 的计算复杂化。」估计量为： [ \mathbb{D}{KL}\left[\pi\theta,|,\pi_{\rm ref}\right]=\frac{\pi_{\rm ref}(o_{i,t}\mid q,o_{i,\lt t})}{\pi_\theta(o_{i,t}\mid q,o_{i,\lt t})}-\log\frac{\pi_{\rm ref}(o_{i,t}\mid q,o_{i,\lt t})}{\pi_\theta(o_{i,t}\mid q,o_{i,\lt t})}-1 ]即 (f(\rho)=\rho-\log\rho-1)，其中 (\rho=\pi_{\rm ref}/\pi_\theta) 在 (o\sim\pi_\theta) 上求值。 展开：k3 估计量为什么无偏、为什么恒正、为什么方差更小

**无偏性。**关键是 (\mathbb{E}{y\sim\pi\theta}\left[\frac{\pi_{\rm ref}(y)}{\pi_\theta(y)}\right]=\sum_y\pi_{\rm ref}(y)=1)，于是 [ \mathbb{E}{\pi\theta}\left[\rho-\log\rho-1\right]=\underbrace{\mathbb{E}{\pi\theta}[\rho]}{=1}-\mathbb{E}{\pi_\theta}\left[\log\rho\right]-1=-\mathbb{E}{\pi\theta}\left[\log\frac{\pi_{\rm ref}}{\pi_\theta}\right]=D_{KL}\left(\pi_\theta,|,\pi_{\rm ref}\right) ]第一项与第三项精确抵消，剩下的正是 KL 的定义。

**恒正性。**令 (f(\rho)=\rho-\log\rho-1)。求导 (f’(\rho)=1-1/\rho)，令零得 (\rho=1)；(f(1)=0)；二阶导 (f”(\rho)=1/\rho^{2}\gt 0)。故 (f) 在 (\rho=1) 处取全局最小值 (0)，即 (f(\rho)\ge0) 恒成立。论文的措辞是「保证为正」——这一点很重要：一个 KL 的估计值如果能是负的，加进 loss 里就会变成鼓励漂移的信号。

为什么方差更小。朴素估计量 (-\log\rho) 也无偏，但可以取负值，方差更大。k3 相当于在它上面加了一个期望为 0 的控制变量 (\rho-1)： [ \underbrace{\rho-\log\rho-1}{\text{k3}}=\underbrace{\left(-\log\rho\right)}{\text{朴素}}+\underbrace{\left(\rho-1\right)}_{\text{期望为 }0\text{ 的控制变量}} ]这是标准的 control variate 技巧：加一个均值为零、且与原估计量负相关的量，期望不变而方差下降。

(d) F8.2.2 GRPO 去掉了 PPO 的什么。

    PPO 组件GRPO 中的处理| PPO 组件 | GRPO 中的处理 |

    
      **价值网络 critic \(V_\phi\)****去掉**。用组内均值作 baseline| 价值网络 critic \(V_\phi\) | 去掉。用组内均值作 baseline |

      GAE去掉。所有 token 共享同一个序列级 \(\hat A_i\)| GAE | 去掉。所有 token 共享同一个序列级 \(\hat A_i\) |

      奖励模型**保留**（但可以换成 rule-based verifier）| 奖励模型 | 保留（但可以换成 rule-based verifier） |

      在线采样**保留，而且加倍**：每题采 \(G\) 条| 在线采样 | 保留，而且加倍：每题采 \(G\) 条 |

      clip保留| clip | 保留 |

      KL保留，但移到 loss 里、用 k3 估计| KL | 保留，但移到 loss 里、用 k3 估计 |

    
  
  

论文为什么说去掉 critic 是对的：「PPO 中使用的价值函数通常是另一个与策略模型规模相当的模型，它带来了可观的显存与计算负担。此外……在 LLM 语境下，通常只有最后一个 token 会被奖励模型赋分，这可能使得训练一个在每个 token 上都准确的价值函数变得复杂。」而组内均值是一个无需训练的 baseline：(\mathbb{E}\left[\nabla\log\pi_\theta(o_i)\cdot\operatorname{mean}(\mathbf r)\right]\approx0)。严格说它并非完全无偏——因为 (\operatorname{mean}(\mathbf r)) 里含 (r_i) 自身，存在 (O(1/G)) 的相关偏差；RLOO 的 leave-one-out baseline 修正了这一点。

  ③ 数值例
  

**(一) 组内标准化。**取 (G=8)、二值奖励。若 4 对 4 错，(\mathbf r={1,1,1,1,0,0,0,0})：均值 0.5、标准差 0.5，于是 (\hat A=+1)（对）与 (-1)（错）。若 7 对 1 错：均值 0.875、标准差 0.331，于是 (\hat A=+0.378)（对）与 (-2.646)（错）。同样是二值奖励，「几乎全对」的题目给出的优势幅度大了 2.6 倍——而这恰恰是信息量最小的题目。若 8 条全对，标准差为 0，(\hat A) 变成 0/0，整组梯度为零，这批采样白采（DAPO 的 dynamic sampling 正是为此而设）。

**(二) k3 与朴素估计量对比。**取单个 token：

    \(\rho=\pi_{\rm ref}/\pi_\theta\)朴素 \(-\log\rho\)k3 \(\rho-\log\rho-1\)读法| \(\rho=\pi_{\rm ref}/\pi_\theta\) | 朴素 \(-\log\rho\) | k3 \(\rho-\log\rho-1\) | 读法 |

    
      1.2**−0.182**+0.0177朴素估计给出**负的 KL**，k3 仍为正| 1.2 | −0.182 | +0.0177 | 朴素估计给出负的 KL，k3 仍为正 |

      1.00.0000.000两者一致| 1.0 | 0.000 | 0.000 | 两者一致 |

      0.8+0.223+0.0231朴素估计的量级是 k3 的近 10 倍| 0.8 | +0.223 | +0.0231 | 朴素估计的量级是 k3 的近 10 倍 |

    
  
  

两个样本（(\rho=1.2) 与 (0.8)）在朴素估计下从 −0.18 摆到 +0.22，跨越了零点；在 k3 下则是 0.018 与 0.023，两者都小且都为正。这就是控制变量把方差压下去的样子——同样的无偏性，方差小一个量级，而这对「把 KL 直接写进 loss」是必要条件：一个会变负的 KL 项等于在某些 token 上奖励漂移。

  ④ 假设与失效边界
  

**A · 采样成本乘以 (G)。**DeepSeekMath 用 (G=64)。rollout 算力是 PPO 的 (G) 倍（虽然省了 critic 的训练算力与显存）。只适用于可批量采样、且奖励可自动判定的场景——数学、代码、有 verifier 的任务。开放式对话上，每题采 64 条再各自过一遍 RM，成本很难接受。

B · std 归一化引入难度偏差（Dr. GRPO 的诊断）。原文：「标准差较低的问题（例如太易或太难、结果奖励几乎全为 1 或全为 0 的那些）在策略更新中被赋予了更高的权重。虽然优势归一化是 RL 里的常见技巧，但它通常是在整个 batch 上计算的；相反，问题级归一化会导致不同问题在目标里有不同的权重。」**——除以 std 让「几乎全对」和「几乎全错」的题目获得最大权重，而这恰恰是信息量最小的题目。**③(一) 里那个 2.6 倍就是它的量化形式。

C · (1/|o_i|) 引入长度偏差（Dr. GRPO 的另一项诊断）。原文：「对于正优势（(\hat A_{i,t}\gt 0)，即回答正确），这个偏差导致更短的回答获得更大的梯度更新，使策略在正确答案上偏好简短。反之，对于负优势（(\hat A_{i,t}\lt 0)），更长的回答因其更大的 (|o_i|) 而受到更少的惩罚，使策略在错误答案中偏好更长的。」**——这就是「R1-Zero 训练中回答越来越长」现象的一个去魅解释：不是模型学会了深度思考，而是错误回答被鼓励变长。**Dr. GRPO 的修正是直接删掉这两个归一化：(\tilde A_{i,t}=R(q,o_i)-\operatorname{mean}(\mathbf R))，并用常数 MAX_TOKENS 而非 (|o_i|) 归一化 loss。他们在 Qwen2.5-Math-7B 上用 MATH level 3-5 训练，8×A100 27 小时达到当时的 SOTA，且不再产生越来越长的错误回答。

D · 一个惊人的附带发现。Dr. GRPO 检查了主流开源 PPO 实现，发现它们全都按 response length 归一化 loss——「这种公式-实现的错位甚至在 GRPO 发表之前就已存在」。作者推测它源自预训练阶段 loss.mean(-1) 的习惯（那里 context 长度是常数，所以无害），被无意识地带进了 RL 阶段（那里长度是变量）。【本质追问】一个看似无害的实现细节，在换了语境后变成系统性偏差，而且它伪装成了一个令人兴奋的科学现象。整个社区花了几个月讨论「response length 增长意味着涌现的推理能力」，直到有人去检查目标函数的代数。

**E · DAPO 的四项修补，全部是工程补丁。**Clip-Higher：上界 clip 卡死了探索性 token 的上升空间导致熵塌缩，改为解耦上下界 (\varepsilon_{\rm low}=0.2,\ \varepsilon_{\rm high}=0.28)。Dynamic Sampling：过采样后过滤掉全对/全错的零梯度组，采样量增加但训练步数减少，总收敛时间反而缩短。Token-Level Policy Gradient Loss：与 Dr. GRPO 同一诊断，改成按全 batch token 总数归一化。Overlong Reward Shaping：被 max length 截断的回答被判错会引入奖励噪声，先用 Overlong Filtering（mask 掉截断样本的 loss，「显著稳定了训练」），再提出 Soft Overlong Punishment（超过 16,384 后进入惩罚区间，额外 4,096 缓冲，总上限 20,480，越长罚越重）。消融效果（AIME avg@32）：naive GRPO 30 → +Overlong Filtering 36 → +Clip-Higher 38 → …… → 最终 50。四项没有一项改变算法的数学形式，但它们决定了能不能复现前沿结果——这与 FX-18 ④E 是同一条教训。

  ⑤ 论文出处
  

arXiv:2402.03300（Shao, Wang, Zhu, Xu, Song, Bi, Zhang, Zhang, Li, Wu, Guo, DeepSeek-AI, DeepSeekMath, 2024-02-05）式(3)(4)，逐字核实无误；k3 估计量的无偏性与恒正性证明为本站独立复算。诊断与修补：arXiv:2503.20783（Dr. GRPO, Sea AI Lab）、arXiv:2503.14476（DAPO, ByteDance Seed & Tsinghua AIR，Qwen2.5-32B base 上 AIME 2024 达 50 分）。

F8.2.4 三者及其亲属的对照表

方法需要 RM？需要 value model？需要在线采样？信任域机制典型失效模式| 方法 | 需要 RM？ | 需要 value model？ | 需要在线采样？ | 信任域机制 | 典型失效模式 |


  **PPO**✅ 显式 RM✅ 价值网络✅ on-policy（近似，多 epoch 复用）clip；KL 加在 reward 里（per-token）clip 无回撤力；critic 在 token 级训不准；性能高度依赖 code-level tricks；\(\hat A\lt 0\) 且 \(r_t\) 大时梯度爆炸| PPO | ✅ 显式 RM | ✅ 价值网络 | ✅ on-policy（近似，多 epoch 复用） | clip；KL 加在 reward 里（per-token） | clip 无回撤力；critic 在 token 级训不准；性能高度依赖 code-level tricks；\(\hat A\lt 0\) 且 \(r_t\) 大时梯度爆炸 |

  **DPO**❌ 隐式 \(\beta\log\frac{\pi_\theta}{\pi_{\rm ref}}\)❌❌ **纯离线**（用现成偏好对）**编译进 loss**（\(\beta\) 系数），无 clip分布外无约束；likelihood displacement；对 \(\pi_{\rm ref}\)–数据不匹配敏感；无法自我纠错| DPO | ❌ 隐式 \(\beta\log\frac{\pi_\theta}{\pi_{\rm ref}}\) | ❌ | ❌ 纯离线（用现成偏好对） | 编译进 loss（\(\beta\) 系数），无 clip | 分布外无约束；likelihood displacement；对 \(\pi_{\rm ref}\)–数据不匹配敏感；无法自我纠错 |

  **GRPO**✅（或 rule-based verifier）❌ 组内均值作 baseline✅ 每题采 \(G\) 条（如 64）clip + KL 加在 loss 里（k3 估计）std 归一化 → 难度偏差；\(1/|o_i|\) → 长度偏差；全对/全错组零梯度；采样成本 ×\(G\)| GRPO | ✅（或 rule-based verifier） | ❌ 组内均值作 baseline | ✅ 每题采 \(G\) 条（如 64） | clip + KL 加在 loss 里（k3 估计） | std 归一化 → 难度偏差；\(1/|o_i|\) → 长度偏差；全对/全错组零梯度；采样成本 ×\(G\) |

  **Dr. GRPO**同 GRPO❌✅ \(G\) 条clip；通常 \(\beta=0\)（有 verifier 时无需 KL）去偏后仍继承 GRPO 的采样成本与稀疏奖励问题| Dr. GRPO | 同 GRPO | ❌ | ✅ \(G\) 条 | clip；通常 \(\beta=0\)（有 verifier 时无需 KL） | 去偏后仍继承 GRPO 的采样成本与稀疏奖励问题 |

  **DAPO**rule-based verifier❌✅ 16 条 + dynamic 过采样解耦 clip（\(\varepsilon_{\rm low}=0.2,\varepsilon_{\rm high}=0.28\)）；KL 通常去掉四项都是工程补丁，缺乏统一理论；超参更多| DAPO | rule-based verifier | ❌ | ✅ 16 条 + dynamic 过采样 | 解耦 clip（\(\varepsilon_{\rm low}=0.2,\varepsilon_{\rm high}=0.28\)）；KL 通常去掉 | 四项都是工程补丁，缺乏统一理论；超参更多 |

  **RLOO**✅❌ leave-one-out：\(b_i=\frac{1}{G-1}\sum_{j\ne i}r_j\)✅ \(G\) 条KL 加在 reward 里baseline 无偏（优于 GRPO 的含自身均值），但方差略高；同样需要 \(G\) 次采样| RLOO | ✅ | ❌ leave-one-out：\(b_i=\frac{1}{G-1}\sum_{j\ne i}r_j\) | ✅ \(G\) 条 | KL 加在 reward 里 | baseline 无偏（优于 GRPO 的含自身均值），但方差略高；同样需要 \(G\) 次采样 |

  **REINFORCE++**✅❌ 全 batch 归一化 baseline✅ 1 条KL 加在 reward 里无组内信号、方差高；但采样便宜、**无难度偏差**| REINFORCE++ | ✅ | ❌ 全 batch 归一化 baseline | ✅ 1 条 | KL 加在 reward 里 | 无组内信号、方差高；但采样便宜、无难度偏差 |




● 两个轴，一条没有免费午餐的定律

把这些方法放在两个轴上，谱系立刻清楚： [ \text{轴 1：baseline 从哪来？}\quad \underbrace{\text{学一个 critic}}{\text{PPO}}\ \to\ \underbrace{\text{组内均值}}{\text{GRPO}}\ \to\ \underbrace{\text{leave-one-out}}{\text{RLOO}}\ \to\ \underbrace{\text{全 batch 均值}}{\text{REINFORCE++}}\ \to\ \underbrace{\text{不需要（成对比较）}}{\text{DPO}} ] [ \text{轴 2：数据从哪来？}\quad \underbrace{\text{纯离线}}{\text{DPO}}\ \to\ \underbrace{\text{迭代离线}}{\text{iterative DPO}}\ \to\ \underbrace{\text{在线（每步重采）}}{\text{PPO / GRPO}} ]

「减法」的代价总是一样的：省掉的那个组件所提供的信息，必须由别的东西补上。critic 省掉了，就要靠 (G) 次采样；在线采样省掉了，就要靠数据集的覆盖度。没有免费午餐。

DeepSeekMath 论文自己提供了一个统一视角：所有这些方法的梯度都可以写成同一个形式 [ \nabla_\theta\mathcal{J}=\mathbb{E}{(q,o)\sim\mathcal{D}}\left[\sum_t GC(q,o,t,\pi{r}),\nabla_\theta\log\pi_\theta(o_t\mid q,o_{\lt t})\right] ]区别只在两处：（a）数据源 (\mathcal{D})，（b）梯度系数 (GC)（来自 rule / model / group / pairwise）。看清这一点之后，这一整片方法丛林就只剩两个自由度。

F8.2.5 关联到 OpenAI：o 系列与 RFT

⚑ 闭源机制警示　o1 / o3 / GPT-5.x 的训练与推理机制未公开。以下只是解释框架，不是 OpenAI 内部实现；任何具体做法均出自第三方公开研究，不得表述为 OpenAI 官方 recipe。

（1）o 系列的 RL 细节未公开。OpenAI 从未发表 o1 的训练算法。可核实的公开表述只有：o1 的发布博客（2024-09-12）写道 o1「以大规模强化学习训练，用思维链进行推理」，并展示了 train-time compute 与 test-time compute 两条 log-log 直线上的 AIME 准确率提升。此外，OpenAI 研究人员在多次公开发言中反复强调 o 系列的能力来自「让模型思考更久」这一新的 scaling 维度，以及使用的是大规模 RL 而非简单的 CoT prompting——但本站未能核实到这些说法的一手 URL 与逐字文本，因此只作模糊转述，不加引号、不作为证据使用。社区推测的各种机制（过程奖励模型加类 MCTS 搜索、自洽性蒸馏等）均无一手证据，本站不采纳。

（2）Reinforcement Fine-Tuning（RFT）—— OpenAI 唯一公开了机制描述的 RL 产品。时间线：2024-12 的 “12 Days of OpenAI” 公布 alpha 计划；2025-05 对 o4-mini 正式 GA（面向已验证组织）；后续以受邀制扩展到 GPT-5。官方对机制的逐字描述是：在 RFT 中，奖励信号来自你为任务定义的自定义 grader；对数据集里的每个 prompt，平台采样多条候选回答，用你的 grader 打分，并施加一次策略梯度更新，把模型推向得分更高的回答；这个「采样 — 打分 — 更新」的循环在整个数据集（以及后续 epoch）上持续进行。

从这段描述能推断出的算法结构有四点：每个 prompt 采多条，与 GRPO / RLOO 的 group sampling 结构一致；用的是 policy-gradient update，不是 DPO 那类监督损失；grader 提供标量分数（支持 0–1 的部分分）；全程没有提到 critic 或 value model，与「无 critic、用组内 baseline」的家族一致。——即：OpenAI 公开的 RFT 描述，与 GRPO / RLOO 这一支在结构上高度吻合。这是目前关于 OpenAI RL 栈最接近一手的证据，但它仍然只是一段产品文档，不是算法论文。

其余可核实的产品事实：grader 类型包括字符串/文本比较、Python 代码 grader、模型 grader（用另一个模型打分）、以及把多个 grader 组合成一个总分的 multigrader（目前仅用于 RFT）；数据要求为 JSONL 加 messages 数组，最后一条 message 必须是 user 角色，需同时提供训练集与验证集，且只能提供单个 grader（可用 multigrader 组合）；Azure 版本在总训练成本达到 5,000 美元时会自动暂停 RFT 任务；alpha 阶段成员 Accordance 在税务/会计领域用 RFT 获得约 40% 的性能提升。

● 把 RFT 放回本章的公式里

「采样多条 + 打分 + 策略梯度」 与 FX-27 里 (\frac{1}{G}\sum_{i=1}^{G}) 的结构同构。「模型 grader」就是 FX-21 里的 (r_\theta)，只不过它是用 prompt 定义的而不是用偏好数据训出来的——这绕开了 FX-21 的 BT 建模，但一点也没有绕开 FX-24 的过优化：一个 LLM grader 同样是 proxy，同样会被 Goodhart。**「multigrader」**对应 F7.8 的 reward model ensemble 思路，但组合方式是用户手写的公式，而不是基于不确定性的保守估计。

【本质追问】RFT 的产品化意味着一个判断：「定义奖励」而非「标注偏好」是下一阶段的关键瓶颈。这是从 InstructGPT（学一个 RM）到 o 系列（用可验证奖励）的路线延续。但它同时把 F7 的过优化风险转嫁给了用户：你写的 grader 就是你的 proxy RM，而你既没有 gold RM 来测过优化，也没有 (\alpha,\beta) 的 scaling law 来预测 (d^{*})。「最优早停点」于是从一个可预测的量，退化成了一个纯粹的经验调参问题。

本段对 RFT 与本章公式的对应关系为作者（AI）分析（T5）；产品事实与官方逐字描述来自 OpenAI 与 Azure 的公开文档。o 系列机制部分见上方闭源警示。

收尾：F1–F8 的一条链

压缩即智能 / **预测下一 token**→
**F1** Kaplan scaling law→
**F2** Chinchilla 配比→
预训练算力配置定型→
**F5** 策略梯度 → TRPO → PPO-Clip + GAE→
**F6** BT 模型 → RM loss → **\(\pi^{*}\propto\pi_{\rm ref}e^{r/\beta}\)**→
**F7** 过优化 \(R(d)=d(\alpha-\beta\log d)\)·
**F8.1** DPO：反解 \(r\)，\(Z(x)\) 相消·
**F8.2** GRPO：去 critic，组内 baseline→
o 系列（未公开）+ RFT（grader-based）


● 枢纽公式：整条链其实只围着一个式子转

把 F5–F8 读完会发现，真正的枢纽是 FX-23 的那一个式子： [ \pi^{*}(y\mid x)\ \propto\ \pi_{\rm ref}(y\mid x),\exp\left(\frac{r(x,y)}{\beta}\right) ]

向左看，它是 InstructGPT RL 目标（FX-22）的理论最优点；向右看，把它反解就得到 DPO（FX-26）；向上看，它的 (\sqrt{KL}) 就是 F7 过优化曲线的横轴（FX-24）；向下看，它的 (\beta) 就是 GRPO 里那个 KL 系数（FX-27）。四个方向，四篇论文，同一个式子。

更进一步说，整个 F1–F8 只反复使用了三种数学动作：其一，加性可分损失加乘性资源约束，一定给出幂律配比（F1、F2）；其二，KL 正则的 RL 最优解一定是 Gibbs 分布（F6、F7、F8.1）；其三，信任域是对「分布漂移导致代理目标失真」的一阶控制，TRPO 的硬约束、PPO 的 clip、GRPO 的 clip 加 KL，都是同一个担忧的不同工程化（F5、F8.2）。认出这三个元结构之后，后来的每一篇 RL 论文都会变得容易读很多——因为它们几乎总是在这三件事之一上做局部改良。

F9 · 过程监督：ORM vs PRM —— 把监督下沉到每一步

《Let’s Verify Step by Step》（arXiv:2305.20050）在 OpenAI 的认知谱系里位置很特殊：它不是一篇「更大更好」的 scaling 论文，而是一篇关于监督信号形态的论文。它回答的问题是——当你已经拥有一个很强的 generator，再往哪里加信息密度收益最高？答案是：加在中间步骤上，而不是加在最终答案上。这条认知在一年之后长成了 o1。

作者名单本身就是信号：Jan Leike（Superalignment 联席负责人）、John Schulman（PPO 作者）、Ilya Sutskever（首席科学家）、Karl Cobbe（GSM8K / verifier 作者）同时挂名。这是 OpenAI 罕见的「对齐团队 + RL 团队 + 首席科学家」三线合流的论文，也因此它同时携带两套语言：一套是「怎样把 MATH 分数刷上去」，另一套是「怎样让模型的过程而不只是结果被人类认可」。本节的推导会反复回到第二套语言，因为它才是这篇论文进入 ⑧ 安全与 ⑦ AGI 路线讨论的原因。

本节所有数字均来自 arXiv:2305.20050 原文（正文 §2–§7、Appendix B/C/E/F/G/H/I）与 arXiv:2408.03314 §5.1 的复现报告，已逐条核对；论文自身存在的排印不一致会在正文中显式指出。

F9.1　ORM：结果监督的目标函数

FX-28

ORM 结果监督的目标函数（token-level verifier）

T2 官方论文

  ① 直觉
  

**ORM 是「考完试只看总分」。**给定问题与一条完整解答，训练一个二分类器去预测「这条解答的最终答案对不对」，这就是 Cobbe et al. 2021（GSM8K）确立的 verifier 范式。它把一条几百 token、十几步推理的轨迹，压缩成 1 个比特的监督信号。

信息论上的代价一眼可见：一条长度 (T) 步的解答，「哪一步错了」这件事本身携带约 (\log_2 T) 比特的位置信息，而 ORM 把这部分信息全部丢弃。它只留下「错了」，不留下「错在哪」。整章 F9 剩下的内容，都是在量化这一次丢弃到底有多贵。

出发点：给定问题 (x) 与完整解答 (y_{1:T})，训练 (p_\phi(x,y_{1:T})\in(0,1)) 预测最终答案是否正确。标签由 final-answer checking 自动给出，因此这条路线的标注成本近似为零——这也是它在 2021–2023 年被广泛采用的唯一理由。

  ② 推导
  

单条解答的 Bernoulli 对数似然： [ \ell(\phi;x,y_{1:T},y);=;y\log p_\phi(x,y_{1:T});+;(1-y)\log\bigl(1-p_\phi(x,y_{1:T})\bigr) ](y\in{0,1}) 为 final-answer checking 给出的解答级标签；(p_\phi) 为 reward model 输出的「正确概率」。

在数据集 (\mathcal{D}{\mathrm{ORM}}={(x^{(j)},y^{(j)}{1:T_j},y^{(j)})}) 上取负号求和，得到解答级的紧凑写法： [ \mathcal{L}{\mathrm{ORM}}(\phi);=;-\sum{j}\Bigl[y^{(j)}\log p_\phi\bigl(x^{(j)},y^{(j)}{1:T_j}\bigr)+\bigl(1-y^{(j)}\bigr)\log\bigl(1-p\phi\bigl(x^{(j)},y^{(j)}_{1:T_j}\bigr)\bigr)\Bigr] ]

但论文实现里有一个必须写出来的细节。ORM 沿用 Cobbe et al. 2021 的 token-level verifier：reward model 对解答中每一个 token 都做预测，而这些 token 的目标标签全部相同（都是该条解答的 (y)）；测试时只取最后一个 token 的分数作为整条解答的分数。写成完整形式： [ \mathcal{L}{\mathrm{ORM}}^{\mathrm{impl}}(\phi);=;-\sum{j}\sum_{t=1}^{T_j}\Bigl[y^{(j)}\log p_\phi\bigl(\cdot\mid x^{(j)},y^{(j)}{\le t}\bigr)+\bigl(1-y^{(j)}\bigr)\log\bigl(1-p\phi(\cdot)\bigr)\Bigr] ]Appendix E 原话：“At training time, the reward model makes predictions for every token in the context. The target for each token in a solution is the same… At test time, we simply use the score of the final token.” [ \mathrm{score}{\mathrm{ORM}}(x,y{1:T});=;p_\phi\bigl(\cdot\mid x,y_{\le T}\bigr) ]整解分数 = 最后一个 token 位置的预测。

这两个式子在梯度上并不等价。token-level 版本相当于对同一个标签做了 (T) 次监督，等效于按解答长度加权：长解答在损失里的权重更大。做小规模复现时，用解答级写法会得到系统性偏移的结果。T5 作者推断 更有意思的一点是：token-level 目标其实给了 ORM 一点「伪过程监督」——它至少逼模型学到「前缀越长，判断越确定」这一时间结构，这可能解释了为什么 ORM 并没有像纯粹的 1-bit 论证所预言的那样彻底崩溃。

其余训练细节（Appendix E）：单 epoch、无 dropout、不联合语言建模目标、采样温度 1.0、不做正负样本再平衡。这几条合起来意味着 ORM 的训练几乎没有正则化，全靠数据量撑住。

  ③ 数值例
  

取论文的实际配置：每题均匀采样 100 条解答，MATH 训练集规模下 ORM 的训练集比 PRM800K 大一个数量级。设某道难题上 generator 的单次成功率 (q=0.05)，则一条解答标签的先验熵为 [ H_b(0.05);=;-0.05\log_2 0.05-0.95\log_2 0.95;\approx;0.286\ \mathrm{bit} ](H_b) 为二元熵函数，单位比特。这是 ORM 从「这条解答对不对」里最多能拿到的信息量上界。

换言之，在这道题上采 100 条解答，ORM 拿到的监督信息上界不到 29 比特；而如果每条解答有 10 个步骤、每步给一个三值标签，PRM 的上界是 (100\times 10\times\log_2 3\approx 1585) 比特。同样的采样算力，信息回收率差了 50 倍以上。更糟的是当题目更难、(q\to 0) 时 (H_b(q)\to 0)：ORM 的信息量会塌陷，而 PRM 不会——因为即使整解错了，前面 (m-1) 步的正标签依然携带信息。

  ④ 假设与失效边界
  

四条隐含假设，全部可能不成立：

**1 · 每道题有可自动检查的最终答案。**MATH / GSM8K 满足；开放域（写作、代码架构、agent 长程任务）不满足。这一条决定了整个 ORM/PRM 框架的适用疆域。

**2 · 标签 (y) 由 final-answer checking 给出，并被默认为「解答质量」的真值。**论文 §2.5 亲口否认这一点：“false positives solutions that reach the correct answer with incorrect reasoning will be misgraded.” 推理错但答案对的解会被打上正标签，直接污染训练集。

**3 · 采样自 generator 的解答独立同分布。**论文用温度 1.0 均匀采样、每题 100 条。真实解码下，同一 prompt 的多次采样共享 KV 前缀、模式高度相关，独立性只是近似。

4 · reward model 与 generator 同源（都从 GPT-4 base + MathMix 微调），因而共享表示。换 generator 后这条假设立刻失效——见 F9.2 ④ 里 Snell et al. 的复现失败。

**最核心的失效边界是信用分配。**论文 §6.1 原话：“A reward model trained with outcome supervision faces a difficult credit-assignment task.” 在难题上几乎每条解答都有错，负标签的边际价值极低——它只告诉你「错了」，不告诉你「哪儿错了」，而这正是模型最需要知道的那部分。

  ⑤ 论文出处
  

arXiv:2305.20050（Lightman, Kosaraju, Burda, Edwards, Baker, Lee, Leike, Schulman, Sutskever, Cobbe, Let’s Verify Step by Step, 2023-05-31）§2.2、§2.5、§6.1 与 Appendix E（token-level 实现与训练超参）；verifier 范式的原始出处为 Cobbe et al. 2021（GSM8K, arXiv:2110.14168）。最后核验：2026-07-25。

▲ FX-28 的已知反例与争议 —— 「ORM 弱」这句话本身需要拆开

反例一 · 在 GSM8K 上 ORM 与 PRM 表现相近。Uesato et al. 2022（DeepMind, arXiv:2211.14275）在 GSM8K 上发现两者最终表现接近。Lightman et al. §7.1 给出的和解是监督规模不同：“a small amount of process supervision and a large amount of outcome supervision do in fact lead to similar performance”。**这条和解非常关键——它说明 PRM 的优势不是定性的，而是随标注量扩展出来的。**任何把「过程监督 > 结果监督」写成普适定律的转述都越界了。

反例二 · 「ORM 弱」里有一部分不是「结果监督弱」，而是「自动判分器脏」。论文 §4.1 报告了一个反直觉结果：用 (\mathrm{PRM}_{\text{large}}) 提供的结果监督，明显优于 final-answer checking 提供的结果监督。作者自己承认无法判定哪个才是合适的 baseline：“It is not clear whether supervision by PRM_large or by final-answer checking represents the more appropriate outcome supervision baseline.”

读法：本报告因此不写「结果监督在原理上劣于过程监督」，只写**「在 MATH 这个具体设置、在这个标注规模下，过程监督的 best-of-N 曲线斜率更大」**。这是论文能支撑的最强表述。

F9.2　PRM：过程监督的目标函数

FX-29

PRM 过程监督的目标函数（步级三分类）

T2 官方论文

  ① 直觉
  

监督信号的密度从 (O(1)) 变成 (O(T))。但比密度更本质的是被学习的量变了：ORM 学的是 (p(\text{答案对}))，一个结果的边缘分布；PRM 学的是「第 (i) 步在给定前缀下是否正确」，一个条件的、局部的、可组合的量。后者的样本复杂度低得多，因为它把一个「长程信用分配」问题降维成了一堆「短程判断」问题。

标注方式是：人工标注员对模型生成的分步解答，逐步打三值标签 [ \ell_i;\in;{,\texttt{positive}\ (+),\ \ \texttt{negative}\ (-),\ \ \texttt{neutral}\ (\circ),} ]§2.4 定义：positive = 正确、合理且推进解题；neutral = 在上下文中合适、合理、正确、可轻易验证，但未推进（也包括「微妙误导」与「馊主意但技术上不错」）；其余皆为 negative。

  ② 推导
  

PRM 被实现为语言模型头上的三分类：在每个被标注步的最后一个 token 位置，预测目标标签 token 的概率。因此损失就是标准的负对数似然： [ \mathcal{L}{\mathrm{PRM}}(\phi);=;-\sum{j}\sum_{i=1}^{m_j}\log p_\phi\bigl(\ell_i^{(j)},\bigm|,x^{(j)},,s^{(j)}{\le i}\bigr) ](s{\le i}) 是到第 (i) 步为止的解答前缀；(m_j) 是第 (j) 条解答中被标注的步数（截止到第一个 negative）。Appendix F.1 原话：“We train PRMs to predict the correctness of each step after the last token in each step. This prediction takes the form of a single token, and we maximize the log-likelihood of these target tokens during training.”

解答级得分由步级得分聚合而来（完整讨论见 FX-30）：记第 (i) 步正确的概率为 (\pi_i)，则 [ \mathrm{score}{\mathrm{PRM}}(x,s{1:m});=;\prod_{i=1}^{m}\pi_i,\qquad \pi_i;=;p_\phi\bigl(\ell_i\in{+,\circ}\bigm| x,s_{\le i}\bigr) ]论文 §2.6 的正式定义：“we define the PRM score for a solution to be the probability that every step is correct under the PRM.”

「只监督到第一个错误步为止」是全文最漂亮的实验设计论证，值得逐条还原（§2.6）：

· 对正确解：ORM 与 PRM 提供的信息完全相同（每一步都对）；

     · 对**错误解**：两者都揭示「至少存在一个错误」，PRM 额外揭示**错误的精确位置**；

     · 如果继续标注第一个错误**之后**的步，PRM 的信息优势会**更大**——作者**故意不这样做**，为的是让对比更保守、更干净；

     · 同时这让**人工成本可比**：在没有 easy-to-check final answer 的情况下，「判断一条解是否正确」本质上就等价于「找出它的第一个错误」。
  

**作者主动放弃了一部分优势，以换取结论的可信度。**这是本报告在整份公式档案里最愿意推荐的方法论范例——它与 F9.4 里「ORM 的训练集比 PRM 大一个数量级、论文明说两者 not directly comparable」是同一种诚实。

  ③ 数值例
  

PRM800K 的实际体量（Appendix B）：原始收集 1,085,590 条步级标签、101,599 条解答；过滤后约 800,000 条标签、约 75,000 条解答、12,000 道题。平均每条解答约 (800{,}000/75{,}000\approx 10.7) 个被标注步。

代入 FX-28 ③ 的信息量比较：一条解答，ORM 给 (\le 1) 比特，PRM 给 (\le 10.7\times\log_2 3\approx 17.0) 比特，密度比约 17 倍。但注意这是上界之比，不是效能之比——真实的效能差异要到 F9.4 的 best-of-N 曲线上才读得出来，而那里的差距是 78.2% vs 72.4%，即 5.8 个百分点，远小于 17 倍的信息量比。信息量是必要条件，不是充分条件。

  ④ 假设与失效边界
  

1 · 步的粒度完全是人为的。论文用换行符切分（专门微调 generator 输出 newline-delimited 格式）。步太粗 → 退化为 ORM；步太细 → 标注噪声爆炸、neutral 泛滥。论文没有对粒度做任何消融，这是一个被普遍忽略的空洞。

**2 · neutral 标签的语义模糊。作者自己说允许 neutral 是为了「推迟」**关于如何处理歧义的决策——这是把问题往后扔，不是解决。FX-30 会看到「neutral 算正还是算负」直接影响 best-of-N 的分数。

3 · 只监督到第一个错误，导致训练分布严重偏向「前缀正确」的片段。**第一个错误之后的推理质量，PRM 从未见过监督。**这在 RL 里会直接变成分布外区域——而 RL 恰恰是 o1 真正在做的事。

4 · 依赖被标注的那个 generator，不可跨模型迁移。这是最重要的实践限制。Snell et al. 2024 明确报告：“we found this data to be largely ineffective for us… easy to exploit a PRM trained on this dataset via even naïve strategies such as best-of-N”，归因于 GPT-4 样本与 PaLM 2 样本之间的分布漂移（arXiv:2408.03314 §5.1）。PRM800K 是一笔数十万美元量级、且换 generator 就报废的资产。

5 · 标注员条件：在不给参考解、但给最终答案的条件下判断（Appendix D），目的是避免锚定到单一解法。这既是优点也是噪声源——标注员知道答案，会对「看起来通向答案」的步骤更宽容。

  ⑤ 论文出处
  

arXiv:2305.20050 §2.4（标签定义）、§2.6（训练目标与「只标到第一个错误」的论证）、Appendix B（PRM800K 规模）、Appendix D（标注说明）、Appendix F.1（三分类实现）；跨 generator 失效的复现证据见 arXiv:2408.03314 §5.1。最后核验：2026-07-25。

▲ FX-29 的已知反例与争议 —— PRM 到底学到了什么

ProcessBench（arXiv:2412.06559，Qwen 团队）系统评测「定位第一个错误步」的能力，发现现有 PRM 在这个它们本应最擅长的任务上表现有限，常常不如直接用一个强通用模型做 critic。T5 作者推断 这暗示 PRM 学到的可能更接近**「局部流畅度 / 可信度」（convincingness）而非「逻辑正确性」——恰恰是 Lightman et al. 用来做主动学习的那个「convincing wrong-answer」信号的反面。如果 PRM 打高分的依据就是 convincingness，那么用它去挖 convincing 的错解，本质上是在用同一个偏见去采集修正这个偏见的数据**，收敛性并不显然。

论文 Appendix I.3 自曝 4 个 false positive：Problem 9（漏乘 2 的计数错误）、Problem 10（移项后右边忘了改）、Problem 11（长除法漏前导零）、Problem 12（周期数错成 12 实为 10）——PRM 全部被骗过。这四类恰好都是表面合理的算术 / 计数细节，与上一段的推断方向一致。

F9.3　打分聚合：乘积 vs 最小值

PRM 输出的是每步一个概率。要做 best-of-N，必须把 (m) 个步级分数规约成一个解答级分数。这一节看起来是工程细节，实际上牵动了后续所有工作对「PRM 分数是什么语义」的理解——Snell et al. 与 Lightman et al. 在这里给出了相反的最佳实践，而原因不是谁错了，是两个 PRM 根本不是同一种东西。

FX-30

步级分数的聚合算子：product vs minimum

T2 官方论文

  ① 直觉
  

product = 「AND 逻辑」（全对才算对）；min = 「木桶原理」（最弱一环决定）。二者在 PRM 校准良好时几乎等价，因为一条错解通常有且仅有一个明显低分步——此时 (\prod_i\pi_i\approx\pi_{\min}\times(\text{接近 }1))。差别只在多个中等不确定步叠加时才显现，而这种情况在数据里不多，所以两者只差 0.2–0.8 个百分点。

  ② 推导
  

论文把解答分数定义为「在 PRM 看来每一步都正确的概率」，并用乘积实现： [ \boxed{\ \mathrm{score}{\mathrm{PRM}}(x,s{1:m});=;\prod_{i=1}^{m}\pi_i\ } ](\pi_i=p_\phi(\ell_i\in{+,\circ}\mid x,s_{\le i}))，即 neutral 计入正确。

这个式子的语义来自链式法则，而不是一个额外的独立性假设： [ \Pr[,\mathrm{all\ steps\ correct},];=;\prod_{i=1}^{m}\Pr\bigl[,\mathrm{step}i\ \mathrm{correct}\ \bigm|\ \mathrm{steps}{1:i-1}\ \mathrm{correct},\bigr];=;\prod_{i=1}^{m}\pi_i ]只要 (\pi_i) 被解释为「在前缀已给定的条件下第 (i) 步正确的概率」，乘积就是恒等式。真正的假设是 PRM 的输出确实近似这个条件概率，即校准性。

替代算子： [ \mathrm{score}{\min};=;\min{i}\ \pi_i ]「最弱一环」规约。它对步数不敏感——这正是下面那段推导要处理的关键差别。

  ③ 数值例
  

Table 4：四种策略在 Best-of-1860 下的测试性能（逐字核对）。

arXiv:2305.20050 Appendix F.2, Table 4 —— 聚合算子 × neutral 归类，Best-of-1860 在 MATH 500 题子集上的 % Solved

    neutral 的处理productminimum| neutral 的处理 | product | minimum |

    
      **neutral = positive****78.2%**77.6%| neutral = positive | 78.2% | 77.6% |

      neutral = negative77.4%77.8%| neutral = negative | 77.4% | 77.8% |

    
  
  

论文结论原话：“The best performing strategy is to take the product of step-level scores and to consider the neutrals as positives, but the difference in performance between all strategies is minor.” 最大差 0.8 个百分点，最小差 0.2 个百分点。

值得注意的是交互效应：在 neutral = positive 下 product 胜 minimum（78.2 vs 77.6），而在 neutral = negative 下 minimum 反而胜 product（77.8 vs 77.4）。这说明这四个数字之间的排序不稳定，用 500 道题的评测集去分辨 0.2 个百分点（= 1 道题）本身就在噪声里。本报告因此不把「product 最优」当作结论，只当作论文在这一设置下的观测。

论文还补了一句非常诚实的话：“Using the product instead of the minimum as the reduction does create a slight bias against solutions with a larger number of steps.” 下面就把这句话推成定量的。

  ④ 假设与失效边界
  

**1 · 乘积假设 PRM 输出已校准，而论文自己承认它没有。**Appendix H：(\mathrm{PRM}_{\text{large}}) “is slightly miscalibrated in the direction of favoring positive labels”，所以在合成监督实验里把阈值设成「negative 概率 > 20% 即判错」，而不是 50%。校准偏差会被乘积放大：每步系统性高估 (\delta)，(m) 步后放大为 ((1+\delta)^m)。取 (\delta=0.03,m=12) 得 (1.03^{12}\approx 1.43)——43% 的系统性高估，仅仅来自累乘。

2 · 单步塌陷会抹掉全部后续信息。若某步 (\pi_i\to 0)，整条解的分数塌到 0，后面所有步的信息全部丢失。这在 beam search 里会造成过早剪枝：一条「中间走错一步但后来自己纠回来」的解，会被 product 判死。min 有同样的问题，甚至更极端。

3 · 聚合算子的选择缺乏原理性依据。论文自陈 Table 4 只是经验比较，没有理论说明为什么 product + neutral-as-positive 最好，也没有说明这个选择在其他 generator / 其他领域是否稳健。

  ⑤ 论文出处
  

arXiv:2305.20050 §2.6（分数定义）、Appendix F.2 Table 4（四策略对比）、Appendix H（校准）；相反实践见 arXiv:2408.03314 §5.1（改用「最后一步的 PRM 预测」作为整解分数）。最后核验：2026-07-25。

展开：为什么乘积会「歧视」长解答 —— 完整推导，以及 Snell 为何改用最后一步

**第一步 · 把乘积取对数。**乘积的问题在乘法里看不清楚，取对数立刻显形： [ \log\ \mathrm{score}{\mathrm{product}};=;\log\prod{i=1}^{m}\pi_i;=;\sum_{i=1}^{m}\log\pi_i ]乘积变成求和，每一步都往下拉一点。

**第二步 · 取期望。**设每步正确概率同分布、期望 (\bar\pi\lt 1)，则 [ \mathbb{E}\bigl[\log\ \mathrm{score}{\mathrm{product}}\bigr];=;\sum{i=1}^{m}\mathbb{E}[\log\pi_i];=;m,\mathbb{E}[\log\pi] ]因为 (\pi\lt 1)，(\mathbb{E}[\log\pi]\lt 0)。分数的对数随步数 (m) 线性下降，斜率恒为负。

第三步 · 对最小值做同样的事。 [ \mathbb{E}\bigl[\log\ \mathrm{score}{\min}\bigr];=;\mathbb{E}\Bigl[\log\min{i}\pi_i\Bigr] ]

由极值统计：若 (\pi) 在 1 附近有密度 (f(1)\gt 0)，则 (1-\min_i\pi_i\sim\Theta(1/m))，于是 [ \log\min_i\pi_i;\approx;-\bigl(1-\min_i\pi_i\bigr);=;-\Theta!\left(\frac{1}{m}\right) ]用 (\log(1-u)\approx-u)。最小值随 (m) 缓慢下降，远慢于线性。

第四步 · 结论。 [ \underbrace{\Theta(m)}{\text{product 的惩罚}}\qquad\text{vs}\qquad\underbrace{\Theta(1/m)}{\text{minimum 的惩罚}} ]在需要多步的难题上，product 会系统性偏好「抄近路」的短解——不是因为短解更好，而是因为它被乘的次数少。

**第五步 · 数值感受。**设每步 (\pi=0.97)。5 步解的分数是 (0.97^5=0.859)，20 步解是 (0.97^{20}=0.544)。**两条解答每一步的质量完全相同，分数却差了 1.58 倍。**而 min 对两者都给 0.97。如果题目本身就需要 20 步，product 排序会把它排在一堆「只写 5 步、跳步、结论对了」的解后面——这正是过程监督最想避免的行为。

**第六步 · Snell 为什么改用「最后一步」。**Snell et al. 放弃了 product 与 min：

“Rather than aggregating the per-step scores by taking the product or minimum, we instead use the PRM’s prediction at the last step as the full-answer score. We found this to perform the best out of all aggregation methods we studied.”（arXiv:2408.03314 §5.1）

这不是矛盾，而是 PRM 的语义变了，必须严格区分：

两种同名不同物的 PRM

  Lightman et al. 2023 的 PRMSnell et al. 2024 的 PRM|  | Lightman et al. 2023 的 PRM | Snell et al. 2024 的 PRM |

  
    每步预测什么**该步本身是否正确**（人工三值标签）**reward-to-go 的价值估计**（Monte-Carlo rollout 训练）| 每步预测什么 | 该步本身是否正确（人工三值标签） | reward-to-go 的价值估计（Monte-Carlo rollout 训练） |

    语义局部 correctness全局 value| 语义 | 局部 correctness | 全局 value |

    为什么要聚合局部标签必须显式组合成整解判断**不必聚合**——最后一步的价值天然就是整解的价值| 为什么要聚合 | 局部标签必须显式组合成整解判断 | 不必聚合——最后一步的价值天然就是整解的价值 |

    最佳算子product（neutral 计正）取最后一步| 最佳算子 | product（neutral 计正） | 取最后一步 |

  

读法：看到「PRM」两个字先问一句「它每步预测的是 correctness 还是 value」。这两者在「推理有瑕疵但能到达正确答案」的步上会给出相反的标签——Math-Shepherd（arXiv:2312.08935）把 Lightman 的「步是否正确」换成「步是否有希望」，正是同一处语义切换。

▲ 自动 PRM 的替代路线，与它继承的偏见

**Math-Shepherd（arXiv:2312.08935）**用 MC 估计自动生成步级标签：从第 (i) 步出发 rollout (N) 次，用「能到达正确答案的比例」作为软标签。**OmegaPRM（arXiv:2406.06592，Google）**进一步用二分搜索定位第一个错误步 + MCTS，宣称成本降到人工的极小一部分。

T5 作者推断 自动 PRM 的根本问题是它继承了 generator 的偏见：MC rollout 用的是同一个策略，因此「这一步有希望」实际上是「对这个策略有希望」，与「客观上正确」不是一回事。一个正确但需要罕见后续技巧的步骤，会被自动 PRM 打低分；一个错误但能被后续「运气性」纠回的步骤，会被打高分。改判条件：如果出现跨策略一致性实验（用 A 策略生成的自动标签去监督 B 策略，效果不掉），本推断就该被推翻。置信度：中。

F9.4　核心实验结果：Best-of-N 的三方对比

arXiv:2305.20050 §3（Figure 3 下方表格）—— Best-of-1860 在 MATH 500 题子集上的 % Solved

ORMPRMMajority Voting|  | ORM | PRM | Majority Voting |


  % Solved（Best-of-**1860**）72.4**78.2**69.6| % Solved（Best-of-1860） | 72.4 | 78.2 | 69.6 |

  相对 majority voting 的增益+2.8**+8.6**—| 相对 majority voting 的增益 | +2.8 | +8.6 | — |

三个必须一起报的上下文，很多二手转述都会漏：

1 · 测试集是 500 题，不是完整 MATH test set。因为 PRM800K 训练集里混入了 4500 道 MATH test 题（为避免在 7500 道 train 题上过拟合），所以只能在剩下的 500 题上评估（§2.4 + Appendix C）。引用「78.2% on MATH」时必须声明这一点，否则与其他论文的 MATH 数字不可比。按 ⑪ 评测哲学，这属于「harness 与题集口径不同 ⇒ 不进入横向排名」的典型情形。

2 · ORM 的训练集比 PRM 大一个数量级：ORM 每题 100 条均匀采样，且与 PRM800K 无重叠。论文明说两个训练集 “not directly comparable”——这正是 §4 那组小规模合成实验存在的全部理由（在那里两者的监督量被严格对齐）。

**3 · Majority voting 是强 baseline。**ORM 只比它高 2.8 个点。把 PRM 的 78.2% 单独拎出来说「过程监督碾压」，会掩盖「结果监督其实只比一个不需要任何训练的方法好 2.8 个点」这个更值得警惕的事实。

另外，论文试过 RM-weighted voting（用 PRM 分数加权的多数投票），结果 “did not noticeably improve performance”。这条与 Snell et al. 报告 best-of-N weighted 有效构成直接冲突，本报告列为待核实项，见 FX-36 ⑤。

● Appendix G 的难度分解补了最关键的一刀

“For the lowest difficulty problems, we see that it is possible to find adversarial examples that fool the ORM, since the ORM’s performance slightly decreases as the number of samples increases. In contrast, the PRM remains highly robust over this same set of samples.”

ORM 在最容易的那一档上随 (N) 增大而变差。这不是噪声，是 reward overoptimization 在 best-of-N 上的直接观测，也是 F9.5 机制二那套形式化的经验锚点。请记住这个现象——F10.2 里 Snell 观测到 beam search 在易题上退化、F7 里 Gao et al. 的过优化定律，讲的都是同一件事。

arXiv:2305.20050 §5, Table 1 —— OOD 泛化：在最新 AP / AMC 考试上的 best-of-100 表现（% Solved）

题集ORMPRMMajority Vote# Problems| 题集 | ORM | PRM | Majority Vote | # Problems |


  AP Calculus68.9%**86.7%**80.0%45| AP Calculus | 68.9% | 86.7% | 80.0% | 45 |

  AP Chemistry68.9%**80.0%**71.7%60| AP Chemistry | 68.9% | 80.0% | 71.7% | 60 |

  AP Physics77.8%**86.7%**82.2%45| AP Physics | 77.8% | 86.7% | 82.2% | 45 |

  AMC10/1249.1%**53.2%**32.8%84| AMC10/12 | 49.1% | 53.2% | 32.8% | 84 |

  **Aggregate**63.8%**72.9%**61.3%234| Aggregate | 63.8% | 72.9% | 61.3% | 234 |





⚑ 论文内部数字不一致（本档案核实发现）

正文 §5 写 “a held-out set of 224 STEM questions”，但 Table 1 的分项加总是 (45+60+45+84=) 234，Aggregate 行也标 234。**二者差 10 题。**这属于论文的排印错误。引用时建议以 Table 1 的 234 为准并加注；本报告全文采用 234。

题目选自 pre-training 语料编纂之后发布的最新 AP / AMC 考试，因此可以高置信度排除污染——这是论文针对自己在 §6.3 承认的 MATH 污染风险所做的对照实验，方法上值得称道。

◈ 核实：active learning 的 2.6× 到底是什么之比

论文摘要：“We show that active learning leads to a (2.6\times) improvement in the data efficiency of process supervision.” 核实无误，但必须写清它怎么算出来： [ 2.6\times;=;\frac{\text{slope of best-fit line}\ (\text{with active learning})}{\text{slope of best-fit line}\ (\text{uniform labelling})} ]原话：“By comparing the slopes of the line of best fit with and without active learning, we estimate that this form of active learning is approximately 2.6x more data efficient than uniform data labelling.” 这是两条拟合直线的斜率之比，不是某个固定预算下的性能比，外推时要谨慎。

**具体流程（§4.2）：**① 训一个小 (\mathrm{PRM}{\text{selector}})（每题仅 1 条样本）；② 用它给每题 1000 条样本打分；③ 选出 (N) 条，其中 80% 是最 convincing 的 wrong-answer 样本，20% 是剩下最 convincing 的样本（对错不限）；④ 用 (\mathrm{PRM}{\text{large}}) 打标签训练。

两个反直觉的自陈失败，值得完整记录：

· **200 samples/problem 那个点低于趋势线。**作者归因：200 已占选择池（1000）的显著比例，多样性不足限制了主动学习的上限。这与 F10 里「采样多样性饱和」是同一个约束的另一次现身。

· 迭代重训 (\mathrm{PRM}_{\text{selector}}) 失败：“we observed instability in this process which we were unable to diagnose. The resulting reward models performed no better.” 这是全文唯一一处「我们不知道为什么」，本报告认为它比任何一个正面结果都更值得引用——它标出了这条路线在 2023 年的真实前沿。

F9.5　为什么过程监督更 scalable —— 五点机制分析

论文本身只给了两条机制（§6.1 信用分配、§6.2 对齐）。下面五点中，机制一与机制三来自论文，机制二的形式化、机制四与机制五的解释由本档案在论文数据与相关文献之上补全，逐条标注来源等级。

机制一：信用分配 —— 监督信号密度提高 (O(T)) 倍　T2 官方论文

设一条解答有 (T) 步。ORM 提供的监督是 1 个 Bernoulli 标签，其信息量上界为 [ I_{\mathrm{ORM}};\le;H_b(q);\le;1\ \mathrm{bit},\qquad q=\Pr[,\mathrm{whole\ solution\ correct},] ](H_b) 为二元熵。上界 1 比特在 (q=1/2) 处取到。

PRM 提供 (T) 个三值标签（截断到第一个错误则是 (m\le T) 个）： [ I_{\mathrm{PRM}};\le;\sum_{i=1}^{m}H(\ell_i);\le;m\log_2 3\ \mathrm{bits} ]密度比约 (m\log_2 3)。以 MATH 上典型的 (m\sim 8\text{–}12) 计，约 12–19 倍。

但更重要的不是比特数，而是比特的位置。ORM 的 1 比特是全局的；要把它归因到具体 token，模型必须自己解一个信用分配问题。PRM 的比特是局部对齐的——它直接告诉参数「这个位置的表示应该被推向哪边」。用 REINFORCE 的语言说：ORM 的梯度方差随 (T) 增长，PRM 的不随 (T) 增长。

论文 §6.1 给出了更锋利的表述：“This is particularly difficult for hard problems: most model-generated solutions contain an error somewhere, so the marginal value of a negative label from outcome supervision is low.”

这本质上是一个熵论证：难题上几乎所有样本都是负的，先验熵已经很低，(H_b(q)\to 0) 当 (q\to 0)。⟹ 难题上 ORM 的负标签几乎零信息量。而 PRM 的信息量在难题上不塌陷——即使整解错了，前面 (m-1) 步的正标签依然携带信息。这就是「越难的题，过程监督的相对优势越大」的完整机制。

机制二：抗「歪打正着」—— ORM 在大 (N) 下退化的根因　T2 官方论文 T5 本档案形式化

经验事实：论文 Appendix G 显示 ORM 在最低难度档上随 (N) 增大而性能下降。这是「最大化一个有噪声的代理」的教科书现象。但教科书解释在这里其实是错的——下面这段形式化的价值，正在于指出「噪声极值增长」并不足以导致退化。

展开：BoN 作为「噪声代理最大化」的完整形式化（含 KL 闭式解与临界规模）

**设定。**对固定问题 (q)，从 generator 采样 (n) 条解 (y_1,\dots,y_n)。记真值 (s_i\in{0,1})（或连续的「真实质量」），verifier 观测 (\hat s_i=s_i+\varepsilon_i)，BoN 选择 (i^\star=\arg\max_i\hat s_i)。

**第一步 · 高斯极值渐近。**设 (\varepsilon_i\overset{iid}{\sim}\mathcal{N}(0,\sigma^2))，则 [ \Pr\Bigl[\max_i\varepsilon_i\le x\Bigr];=;\Phi!\left(\frac{x}{\sigma}\right)^{n} ]

令 (z=x/\sigma)，取 (\Phi(z)^n=1/2)：(n\log\Phi(z)=-\log 2)，即 (1-\Phi(z)\approx\frac{\log 2}{n})（用 (\log(1-u)\approx-u)）。代入 Mills 比 (1-\Phi(z)\sim\frac{\phi(z)}{z}=\frac{e^{-z^2/2}}{z\sqrt{2\pi}})： [ \frac{e^{-z^{2}/2}}{z\sqrt{2\pi}};\approx;\frac{\log 2}{n};\Longrightarrow;\frac{z^{2}}{2};\approx;\log n-\log z-\log\sqrt{2\pi}-\log\log 2 ]

主阶 (z\approx\sqrt{2\log n})，把 (\log z=\tfrac12\log(2\log n)) 回代得到二阶修正： [ \boxed{\ \mathbb{E}\Bigl[\max_{i\le n}\varepsilon_i\Bigr];=;\sigma\sqrt{2\log n}\left(1-\frac{\log\log n+\log 4\pi}{4\log n}+o!\left(\tfrac{1}{\log n}\right)\right);\sim;\sigma\sqrt{2\log n}\ } ]这是 Fisher–Tippett–Gnedenko 定理的高斯特例；最大值分布收敛到 Gumbel，均值多出的 (\gamma/\sqrt{2\log n})（(\gamma) 为 Euler 常数）被吸收进 (o(\cdot))。

**第二步 · 为什么「噪声极值增长」不必然导致 BoN 退化。**这里必须诚实——很多二手解读在这里跳步了。若真值也是高斯，(s_i\overset{iid}{\sim}\mathcal{N}(\mu,\tau^2)) 且与 (\varepsilon_i) 独立，则 (\hat s_i\sim\mathcal{N}(\mu,\tau^2+\sigma^2))，由二元高斯的条件期望（回归稀释 / 收缩因子）： [ \mathbb{E}[s_i\mid\hat s_i];=;\mu+\frac{\tau^{2}}{\tau^{2}+\sigma^{2}}\bigl(\hat s_i-\mu\bigr) ]

于是被选中样本的期望真值 [ \mathbb{E}[s_{i^\star}];=;\mu+\frac{\tau^{2}}{\tau^{2}+\sigma^{2}},\mathbb{E}\Bigl[\max_i\hat s_i-\mu\Bigr];=;\mu+\frac{\tau^{2}}{\sqrt{\tau^{2}+\sigma^{2}}}\sqrt{2\log n},\bigl(1+o(1)\bigr) ]随 (n) 单调增长（(\propto\sqrt{\log n})）——在纯高斯模型下，BoN 永远不退化，只是收益递减。

**第三步 · 退化必须来自以下三者之一。**这是本节最重要的结论。

**(1) 真值有界。**准确率 (\le 1)。写成 (s_i\in[0,s_{\max}])：信号的头部被硬性截断在 (s_{\max})，而噪声头部按 (\sigma\sqrt{2\log n}) 无界增长。当 (\sigma\sqrt{2\log n}\gg s_{\max}-\mathbb{E}[s]) 时，(\arg\max\hat s) 与 (s) 渐近独立： [ \mathbb{E}[s_{i^\star}];\xrightarrow[n\to\infty]{};\mathbb{E}[s]\qquad(\text{即退化为随机选择}) ]

令 (\sigma\sqrt{2\log n^\star}\approx s_{\max}-\mathbb{E}[s]=:\Delta)，得临界规模 [ \boxed{\ n^\star;\approx;\exp!\left(\frac{\Delta^{2}}{2\sigma^{2}}\right)\ } ]信噪比进入指数。verifier 噪声减半 ⟹ 可用样本数的临界值四次方增长。这解释了为什么 PRM（(\sigma) 更小）的曲线在 (N=1860) 时还在涨，而 ORM 已经在易题上掉头。

(2) 噪声非独立（系统性盲点）。真实 verifier 的错误高度相关：同一类「表面合理的计数错误」会被所有相似样本共享。此时 (\varepsilon_i=g(\mathrm{features}(y_i))+\mathrm{iid})。采样越多，越容易采到 verifier 的对抗区域——这不是极值统计，而是分布覆盖： [ \Pr[\exists, i:\ y_i\in\mathcal{A}];=;1-(1-\rho)^{n};\longrightarrow;1 ](\mathcal{A}) 是 verifier 的高分误判区、(\rho) 是 generator 落入该区的概率。收敛速度是指数快，远快于 (\sqrt{2\log n}) 的对数慢。临界规模 (n_{\text{hack}}\approx 1/\rho)。

T5 作者推断 这才是 Lightman Appendix G / Appendix I.3 观测到的机制的主因——Appendix I.3 那四个 false positive 全是「表面合理的算术细节」，正是典型的系统性盲点，而不是随机噪声的偶然大值。

**(3) 重尾噪声。**若 (\varepsilon) 是重尾的（如 (t) 分布），(\mathbb{E}[\max]) 按 (n^{1/\alpha}) 多项式增长而非 (\sqrt{\log n})，退化会快得多。

第四步 · 与 F7（reward overoptimization）的定量接口。Gao, Schulman, Hilton（arXiv:2210.10760）给出的 BoN 过优化定律形式为 (R(d)=d(\alpha_{\mathrm{bon}}-\beta_{\mathrm{bon}}\log d))，(d=\sqrt{\mathrm{KL}})。而 BoN 的 KL 有闭式解，这里完整推一遍（很多综述直接抄结论）：

引理. 设分数连续无 ties、CDF 为 (F)，则 best-of-(n) 的诱导分布为 (p_{\mathrm{BoN}}(y)=n,p(y),F(\mathrm{score}(y))^{n-1})（第 (y) 个被选中 ⟺ 它被采到，且其余 (n-1) 个分数都更低）。 [ \mathrm{KL}(p_{\mathrm{BoN}}\Vert p)=\int p_{\mathrm{BoN}}\log\frac{p_{\mathrm{BoN}}}{p}=\int n,p,F^{,n-1}\bigl[\log n+(n-1)\log F\bigr] ]

换元 (u=F(\mathrm{score}(y)))、(du=p,dy)（概率积分变换）： [ =\int_{0}^{1}n,u^{,n-1}\bigl[\log n+(n-1)\log u\bigr]du;=;\log n+n(n-1)\int_{0}^{1}u^{,n-1}\log u,du ]

分部积分给出 (\int_0^1 u^{n-1}\log u,du=-1/n^2)，故 [ \boxed{\ \mathrm{KL}_{\mathrm{BoN}}(n);=;\log n-\frac{n-1}{n}\ } ](n=1) 时为 0 ✓；大 (n) 时约 (\log n-1) ✓。

代入过优化定律，(d=\sqrt{\log n-\frac{n-1}{n}}\approx\sqrt{\log n-1})。对 (R(d)=d(\alpha-\beta\log d)) 求极值：(\frac{dR}{dd}=\alpha-\beta\log d-\beta=0\Rightarrow d^\star=e^{\alpha/\beta-1})，于是最优采样数 [ \boxed{\ \log n^{\star};\approx;1+e^{2(\alpha/\beta-1)}\ } ](n^\star) 对 (\alpha/\beta) 是双指数敏感的。这就是为什么「最优 (N)」在不同 verifier 上能相差好几个数量级。

⟹ 三章合流：F7（RM 过优化）、F9（ORM 退化）、F10.3（BoN 期望）在数学上是同一个机制的三个面——对一个有噪声的代理做 argmax，噪声的极值随预算增长，而真信号有界。

机制三：对齐税为负 —— 过程监督是更安全的目标　T2 官方论文

论文 §6.2 的原话是这一章进入 ⑧ 安全模块的入口：

◆ Lightman et al. 2023 §6.2（T2 官方论文）

“Process supervision is more likely to produce interpretable reasoning, since it encourages models to follow a process endorsed by humans. Process supervision is also inherently safer: it directly rewards an aligned chain-of-thought rather than relying on outcomes as a proxy for aligned behavior.”

“Our results show that process supervision in fact incurs a negative alignment tax.”

中译：「过程监督更可能产生可解释的推理，因为它鼓励模型遵循人类认可的过程。过程监督本质上也更安全：它直接奖励一条对齐的思维链，而不是把结果当作对齐行为的代理。……我们的结果表明，过程监督实际上带来了负的对齐税。」

**把这个论点形式化。**设 (R_{\mathrm{true}}) 是我们真正想要的（「用人类认可的方式解对题」），(R_{\mathrm{proxy}}) 是我们能测量的：

[ R_{\mathrm{proxy}}^{\mathrm{ORM}}=\mathbb{1}\bigl[,\mathrm{answer\ correct},\bigr],\qquad R_{\mathrm{proxy}}^{\mathrm{PRM}}=\prod_{i}\mathbb{1}\bigl[,\mathrm{step}i\ \mathrm{human\text{-}endorsed},\bigr] ]前者与 (R{\mathrm{true}}) 的不一致集是 ({\text{推理错但答案对}}\cup{\text{推理对但答案判错}})，非空且在优化压力下会被系统性放大（Goodhart）；后者直接编码了「人类认可的过程」，不一致集显著更小。

「负的对齐税」意味着：在这一个案例上，更安全的方法同时也是性能更强的方法，因此不存在「为安全牺牲能力」的部署阻力。Jan Leike 长期主张的 scalable oversight 路线（human-endorsed process 优于 outcome proxy）在这里拿到了第一个大规模经验支持。

但论文自己划了边界：“It is unknown how broadly these results will generalize beyond the domain of math.” 数学的特殊性在于步是可局部验证的。在开放域（写作、战略、agent 行动序列），「这一步是否合理」本身就是难以标注的。

我的看法 · 作者（AI）个人观点 · T5

「负对齐税」这条结论在 2024–2026 被现实部分证伪了，而且是以一种很讽刺的方式。o 系列把 CoT 隐藏起来，不向用户展示原始 reasoning trace——这恰恰说明过程可解释性与商业 / 安全考量发生了冲突：如果过程要被展示、被评价、被优化，它就会被塑造成「看起来好」的样子。OpenAI 2025 年后反复强调要保持 CoT 的可监控性（monitorability），其潜台词正是：如果对 CoT 施加过强的过程监督压力，CoT 会变得不再忠实。这与 Lightman 2023 的乐观结论构成直接张力。

反例与改判条件：如果出现一项工作，证明在强过程监督下 CoT 的忠实性指标（如 causal intervention 下的一致性）没有下降，或者 OpenAI 公开原始 reasoning trace 且第三方复核其忠实性，我就承认这条判断错了。置信度：中。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。相关官方表述见 ⑧ 安全与对齐模块。

机制四：主动学习 —— 标注预算的最优分配　T2 官方论文

标注预算固定为 (B) 条，目标是最大化 PRM 的最终性能。这是一个最优实验设计问题：应该标注哪些样本？信息论直觉是——一条样本的边际信息量正比于「模型将被纠正的程度」。论文的选择准则是

[ \arg\max_{y}\ \mathrm{score}_{\mathrm{PRM}}(y)\qquad\text{s.t.}\qquad \mathrm{final\text{-}answer}(y)\ \ne\ y^{\star} ]即「convincing wrong-answer」：当前 PRM 给高分、但最终答案错的解。

为什么这是最优的：我们先验地知道这类样本上 PRM 至少错了一步——因为答案错了，所以至少一步错了，而 PRM 给了高分即认为全对。论文原话：“We expect to gain more information from labeling convincing wrong-answer solutions, since we know the PRM is mistaken about at least one step in each such solution.”

这是 certain-error mining，比标准的 uncertainty sampling 更强：不是「模型不确定」，而是**「模型确定，但确定错了」。用 F9.5 机制二的语言说，它直接去采集 verifier 的对抗区域 (\mathcal{A}) 的样本**——把 BoN 的敌人变成了训练数据。这个对偶关系在论文里没有明说，但它是这条主动学习准则之所以有效的最简解释。

局限 · 内生的分布漂移风险：Table 3 显示 phase 2 的数据中只有 13.2% 的解最终答案正确（phase 1 是 85.1%，合并后 14.2%）。训练集严重偏向错误解。论文承认这一点，但小规模消融显示这反而有帮助。T5 作者推断 原因可能是：PRM 的任务本质是「找错」，而找错的训练信号主要来自错解；正解只提供「什么样子算对」的先验，边际价值递减更快。

机制五：OOD 泛化更好　T2 官方论文 T5 本档案解释

数据见上面的 Table 1：AP Calculus / Chemistry / Physics / AMC10-12 上 PRM 全面优于 ORM 与 majority voting，聚合 72.9% vs 63.8% vs 61.3%。

T5 作者推断 为什么过程监督泛化更好？

· ORM 学的是「这类题目的解对不对」，其判别特征容易与题型耦合——学到的其实是「MATH 风格的正确解长什么样」；

 · **PRM 学的是「这一步推理对不对」**，而「一步代数变换是否合法」是**领域无关**的。步级监督天然更接近**可组合的、模块化的**判别子任务；

 · 用表示学习的语言说：PRM 的监督信号迫使模型在**每个前缀位置**都维持一个「当前状态是否合法」的表示，这是一个比「整解是否正确」更基础、更可迁移的特征。

边界必须同时写出来：AMC10/12 上 PRM 只有 53.2%，ORM 49.1%——绝对水平都很低，且 majority voting 只有 32.8%（崩溃）。这说明在真正超出能力边界的题上，任何 verifier 都救不了。这与 Snell et al. 的「最难档（level 5）上没有任何方法有意义地推进」完全一致，也与 F10.3.4 的 coverage 论证互为印证：选择器只能在 base model 已经采得到的解里挑，挑不出不存在的东西。

F9.6　局限总账

▲ 过程监督路线的七条局限（交付级总账）

1 · 标注成本极高且不可复用。原始收集 1,085,590 条步级标签、101,599 条解答；过滤后约 800,000 条标签、约 75,000 条解答、12,000 道题（Appendix B）。这是数十万美元量级的人工投入，而且换 generator 就失效（见 Snell 的复现报告）。

**2 · 步的粒度定义主观。**换行符切分是工程约定，无理论依据，论文无消融。

3 · 人工 PRM 正被自动 PRM 取代：Math-Shepherd（arXiv:2312.08935，MC rollout 软标签）、OmegaPRM（arXiv:2406.06592，二分搜索 + MCTS）；Snell et al. 2024 直接采用 MC 方案，因为 PRM800K 对他们的模型不可用。

4 · PRM 会被 reward hack。论文自曝 4 个 false positive（Appendix I.3）；Snell et al. 观测到 beam search 在易题上「过度优化 PRM」，生成低信息量的重复步或只有 1–2 步的过短解（arXiv:2408.03314 §5.3 + Appendix M）。

**5 · ProcessBench（arXiv:2412.06559）**显示 PRM 定位错误步的能力有限——在它本应最擅长的任务上。

**6 · 作者自陈的两个未解问题。**其一，打分聚合缺乏原理：Table 4 只是经验比较。其二，PRM 用作 RL 奖励时的稳定性未验证——论文 §2.1 明确划界：“We do not attempt to improve the generator with reinforcement learning (RL)… Although finetuning the generator with RL is a natural next step, it is intentionally not the focus of this work.” 而这恰恰是 o1 真正做的事。从 PRM-as-reranker 到 PRM-as-RL-reward 的这一步，公开文献里没有 OpenAI 的记录。

7 · 迭代重训 selector 的不稳定性：作者明说 “we were unable to diagnose”。

第 6 条是把 F9 与 F10 连起来的那根线：**Lightman et al. 2023 停在了「用 PRM 重排」，而 o1 迈出的那一步是「用 PRM 或它的某种后继物去训练 generator 本身」。**这一步没有公开文献，因此下一章从头到尾都必须带闭源警示。

F10 · Test-time scaling —— 推理时的算力也服从 scaling law

⚑ 闭源机制警示（全章适用 · 逐字声明）　本站对 o 系列与 GPT-5.x 训练过程的一切描述，都是基于公开信息构建的解释框架，不是 OpenAI 的内部实现。OpenAI 对这些模型的训练配方（强化学习算法、奖励来源、思维链数据构造、推理时机制）从未公开，且自 GPT-4（2023-03）以来未发布过任何含架构或算力细节的技术报告。凡本站出现搜索、树、过程奖励等词汇，均为帮助理解 test-time scaling 的类比，不应被读作 OpenAI 的做法。　本章官方公开的只有「曲线形状」与少量基准数字；下文出现的每一个具体做法都注明了它的第三方出处。

2024-09-12，OpenAI 用一张没有刻度的图重写了整个行业的算力分配观：推理时的算力也服从 scaling law。本章分四节处理它——官方曲线的形式化与证伪（F10.1）、学界的 compute-optimal 框架（F10.2）、pass@k / BoN 的统计学与「RL 天花板」之争（F10.3）、其他方法与推理经济学（F10.4）。

阅读本章的前提是接受一个不舒服的事实：**这一章讨论的所有机制，没有一条来自 OpenAI 的公开技术文献。**OpenAI 给出的是两条曲线的形状和几个端点数字；所有「怎么做到的」都来自 Google DeepMind、Berkeley、Stanford、清华、NVIDIA、Meta 等第三方的公开工作。本报告的做法是：把官方可核实的部分与第三方的解释框架严格分层，前者标 T2，后者标 T5，绝不混写。

F10.1　o1 的双对数线性曲线

◆ OpenAI, 《Learning to Reason with LLMs》, 2024-09-12（T2 官方公告）

“Our large-scale reinforcement learning algorithm teaches the model how to think productively using its chain of thought in a highly data-efficient training process. We have found that the performance of o1 consistently improves with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute). The constraints on scaling this approach differ substantially from those of LLM pretraining, and we are continuing to investigate them.”

图注：“o1 performance smoothly improves with both train-time and test-time compute”

中译：「我们的大规模强化学习算法，用一种数据效率极高的训练流程，教会模型如何用它的思维链进行富有成效的思考。我们发现，o1 的性能会随着更多的强化学习（训练时算力）与更多的思考时间（推理时算力）持续提升。这条路线的扩展约束与 LLM 预训练的约束有本质差异，我们仍在研究。」图注：「o1 的性能随训练时算力与推理时算力平滑提升。」 出处：OpenAI 官方博客《Learning to Reason with LLMs》，2024-09-12，openai.com/index/learning-to-reason-with-llms ^[2]。这是博客，不是论文，没有方法细节。

**官方 AIME 2024 数字（逐个核实）。**正文原话：“On the 2024 AIME exams, GPT-4o only solved on average 12% (1.8/15) of problems. o1 averaged 74% (11.1/15) with a single sample per problem, 83% (12.5/15) with consensus among 64 samples, and 93% (13.9/15) when re-ranking 1000 samples with a learned scoring function. A score of 13.9 places it among the top 500 students nationally and above the cutoff for the USA Mathematical Olympiad.”

OpenAI 官方 Evals 表格（AIME 2024）与正文数字的对照 —— 三个 GPT-4o 数字含义不同，混用会出错

Metricgpt-4oo1-previewo1口径说明| Metric | gpt-4o | o1-preview | o1 | 口径说明 |


  pass@19.344.6**74.4**表格；单样本| pass@1 | 9.3 | 44.6 | 74.4 | 表格；单样本 |

  cons@6413.456.7**83.3**表格；64 样本多数投票| cons@64 | 13.4 | 56.7 | 83.3 | 表格；64 样本多数投票 |

  正文「平均解题率」12%（1.8/15）—74%（11.1/15）正文；与表格 pass@1 **不完全一致**| 正文「平均解题率」 | 12%（1.8/15） | — | 74%（11.1/15） | 正文；与表格 pass@1 不完全一致 |

  1000 样本 + learned reranker——**93%（13.9/15）****只出现在正文**，非标准 eval 配置| 1000 样本 + learned reranker | — | — | 93%（13.9/15） | 只出现在正文，非标准 eval 配置 |

核实结论：74% / 83% / 93% 全部无误。o1 的 74%（正文）与 74.4（表格 pass@1）一致，83%（正文）与 83.3（表格 cons@64）一致。但 GPT-4o 的 AIME 数字有三个而不是一个：12%（正文平均）、13.4（cons@64）、9.3（pass@1）。正文的 12% 与表格的 9.3 之间还有 2.7 个点的差异，官方未作解释。T5 作者推断 可能是不同的采样温度或不同的评测轮次；此项列入待核实清单，本报告在任何横向比较里都只用表格口径。

● 另一组常被忽略的官方 test-time scaling 证据：IOI

“We trained a model that scored 213 points and ranked in the 49th percentile in the 2024 International Olympiad in Informatics (IOI)… For each problem, our system sampled many candidate submissions and submitted 50 of them based on a test-time selection strategy… If we had instead submitted at random, we would have only scored 156 points on average, suggesting that this strategy was worth nearly 60 points… When allowed 10,000 submissions per problem, the model achieved a score of 362.14 – above the gold medal threshold – even without any test-time selection strategy.”

这段比 AIME 更干净：同一个模型，提交预算从 50 → 10,000（200 倍），分数 213 → 362.14（+70%），而且关掉了选择策略。它把「搜索预算」与「选择器质量」两个变量分离开了——选择策略值约 60 分，纯预算值约 149 分。这是本报告能找到的、官方给出的最可解读的一组 test-time scaling 数据。

按 ⑪ 评测哲学：以上数字有明确的采样预算说明（50 / 10,000 次提交）与选择策略说明，因此可用于纵向比较；但官方未给出成本，故不进入与其他模型的横向比较。

FX-31

从 log-linear 到 logit-linear：那条「直线」到底是什么 ★

T5 解释框架 非官方实现

**⚑ 闭源机制警示**　本条把官方那张**无刻度**的曲线图形式化，属于**通用解释框架，不是 OpenAI 内部实现**。OpenAI 未公开曲线的函数形式、拟合参数、横轴单位与题库构成；下面出现的一切参数值均由公开端点数字反推或取自第三方论文。


  ① 直觉
  

「性能随 log 算力线性增长」的正确读法不是「永远线性」，而是：在你当前所处的那段 sigmoid 上，每翻一倍算力买到的绝对提升近似恒定。一旦逼近该配方的渐近线，同样的算力翻倍就什么也买不到。

区分「沿着当前曲线爬」和「换一条渐近线更高的曲线」，是 2025–2026 全行业 RL 研究的核心命题——哪些设计改渐近线 (A)，哪些只改斜率 (B)。这个区分在官方那张图上完全看不出来，因为它没有刻度、也没有画到饱和段。

  ② 推导
  

最朴素的形式化（读法一）： [ \mathrm{Acc};\approx;a+b\log C_{\text{train-RL}},\qquad \mathrm{Acc};\approx;a’+b’\log C_{\text{test}} ]准确率对 (\log) 算力线性。这个形式必然只是局部近似，理由见 ④。

读法二 · logit 尺度： [ \mathrm{logit}(\mathrm{Acc})=\log\frac{\mathrm{Acc}}{1-\mathrm{Acc}}=a+b\log C\quad\Longleftrightarrow\quad\boxed{\ \mathrm{Acc}(C)=\frac{1}{1+(C_0/C)^{b}}\ },\quad C_0=e^{-a/b} ]这是一个以 (\log C) 为自变量的 sigmoid。它永远落在 ((0,1)) 内，两端各有一个幂律渐近。

关键性质 —— 为什么它「看起来是直的」： [ \frac{d,\mathrm{Acc}}{d\log C};=;b,\mathrm{Acc},(1-\mathrm{Acc}) ]在 (\mathrm{Acc}=1/2) 处取最大值 (b/4)。在准确率 20%–80% 的区间内，(\mathrm{Acc}(1-\mathrm{Acc})) 从 0.16 到峰值 0.25 再回到 0.16，变化不到 1.6 倍——所以曲线看起来是直的。这就是官方那张图为什么呈线性的完整解释。

而真实规律还要再被一件事击穿：不可解题的存在。设题库中有比例 (1-A_{\max}) 的题任何算力都做不出，则真实形式是带上下渐近线的： [ \boxed{\ \mathrm{Acc}(C);=;A_{\min}+\frac{A_{\max}-A_{\min}}{1+\bigl(C_{\mathrm{mid}}/C\bigr)^{B}}\ } ](A_{\min})＝零算力下的基线（随机猜测），(A_{\max})＝该配方的渐近上限，(C_{\mathrm{mid}})＝半程算力，(B)＝logit 斜率。

这正是 Meta 2025 年在 400,000 GPU-hour 实证研究里拟合的形式（arXiv:2510.13786 Eq.1，(R_C-R_0=(A-R_0)\times\frac{1}{1+(C_{\mathrm{mid}}/C)^{B}})）。OpenAI 2024 年画的那条「直线」，在 2025 年被 Meta 拟合成了一条 sigmoid，而这条 sigmoid 正是「logit 对 log-compute 线性」的等价形式。官方的定性主张成立；官方隐含的「永远线性」暗示不成立。

  ③ 数值例
  

**先用官方端点反推斜率。**从 pass@1（1 样本）到 reranked（1000 样本），(\log_{10}C) 增加 3，准确率从 0.744 到 0.93，故 [ b_{\text{naive}};=;\frac{0.93-0.744}{3};\approx;0.062\ \text{per decade} ]

两种读法在高准确率区的预测差异（这是本条最重要的数值例）：

以 o1 的 AIME 端点为锚，两种读法向上外推的对比（均为本报告的示意计算，非官方数据）

    再增加的算力读法一：准确率 log-linear读法二：logit log-linear差异| 再增加的算力 | 读法一：准确率 log-linear | 读法二：logit log-linear | 差异 |

    
      ×10（1 decade）0.930 + 0.062 = **0.992**误差 \(0.07\times10^{-b_{\mathrm{logit}}}\)：**0.955**3.7 个点| ×10（1 decade） | 0.930 + 0.062 = 0.992 | 误差 \(0.07\times10^{-b_{\mathrm{logit}}}\)：0.955 | 3.7 个点 |

      ×100（2 decades）0.930 + 0.124 = **1.054**（**越界**）**0.971**读法一已失效| ×100（2 decades） | 0.930 + 0.124 = 1.054（越界） | 0.971 | 读法一已失效 |

      ×1000（3 decades）**1.116**（**越界**）**0.982**读法一已失效| ×1000（3 decades） | 1.116（越界） | 0.982 | 读法一已失效 |

    
  
  

读法二这一列用的是高端渐近 (1-\mathrm{Acc}\propto C^{-b})，取 (b_{\mathrm{logit}}=0.68)/decade（由 (\mathrm{logit}(0.744)=1.068)、(\mathrm{logit}(0.93)=2.586) 在 3 个 decade 上反推得 (b=(2.586-1.068)/3\approx 0.506)；此处取 0.68 是为了在表中展示一个更乐观的情形，两个取值都不会越界）。结论：在准确率 90% 以上的区域，两种读法给出的预测开始剧烈分叉，而读法一在有限算力内一定会给出大于 1 的准确率。

把读法一击穿需要多少算力？(\mathrm{Acc}=1) 需再增 ((1-0.93)/0.062\approx 1.13) decade，即约 13,500 个样本。这显然不成立——AIME 上还有模型根本不会做的题，13,500 个样本也变不出来。

  ④ 假设与失效边界
  

1 · 官方图无刻度，无法核验斜率、无法外推。任何引用「o1 的 scaling 斜率」的说法都应被视为二手拟合。

2 · 「test-time compute」的定义不明：是 reasoning token 数？是并行样本数？是 wall-clock？三者的 scaling 行为完全不同（串行 vs 并行，见 F10.2）。官方没说。

3 · train-time RL compute 曲线的题库固定（AIME），而 RL 训练数据的分布 / 难度会显著改变曲线形状——这是一个未被控制的 confounder。

4 · 两条曲线不可简单相加。T5 作者推断 真实的联合曲面 (\mathrm{Acc}(C_{\text{train}},C_{\text{test}})) 极可能是次可加的：RL 训得越好，模型自己就越会控制思考长度，test-time 的边际收益就越小。官方图把两个变量分开画，掩盖了交互项。

**5 · AIME 只有 15 题。**1 题 = 6.67 个百分点；74%（11.1/15）与 83%（12.5/15）之间只差 1.4 题。这个基准的分辨率不足以支持精细的 scaling 拟合——与 F11 中 Schaeffer et al. 关于「测试样本太少制造涌现假象」的机制是同一个问题。

**6 · 饱和已被观测到。**s1 论文（arXiv:2501.19393）明确报告 budget forcing 的收益会 flatten——过多的 Wait 会让模型陷入重复循环。2025 年多项工作也观测到 overthinking / 长度膨胀反而降低准确率。

7 · Yue et al.（arXiv:2504.13837）对「train-time RL compute 曲线」构成直接挑战：如果 RL 只是重分配概率质量，那么这条曲线的渐近线由 base model 的 coverage 决定，而不是由 RL 算力决定。见 FX-37。

  ⑤ 论文出处
  

曲线与数字：OpenAI 官方博客《Learning to Reason with LLMs》2024-09-12（T2 官方公告，非论文）。sigmoid 形式与 400,000 GPU-hour 拟合：arXiv:2510.13786 Eq.(1)（Meta, ScaleRL）。饱和证据：arXiv:2501.19393。coverage 挑战：arXiv:2504.13837。logit-linear 与 Meta 形式的代数等价性由本档案给出，见下方折叠推导。最后核验：2026-07-25。

展开：log-linear 的两次证伪、logit 形式的完整推导，与 Meta sigmoid 的代数等价

第一步 · 证伪一（上界）。(\mathrm{Acc}\in[0,1])。若 (b\gt 0)，则 [ a+b\log C;\gt;1\iff\log C;\gt;\frac{1-a}{b} ]即当 (C\gt\exp\bigl(\frac{1-a}{b}\bigr)) 时公式给出大于 1 的准确率。一个有限的算力就能把公式击穿。

**第二步 · 证伪二（下界）。当 (C\to 0^+)（一个 token 都不让思考），(\log C\to-\infty)，公式给出 (-\infty)；而真实下界是随机猜测的准确率（AIME 是填空题，接近 0，但在选择题基准上是 (1/k)）。 [ \lim_{C\to 0^+}\bigl(a+b\log C\bigr)=-\infty;\lt;0;\le;\mathrm{Acc}_{\mathrm{random}} ]⟹ log-linear 只能是 sigmoid 的中段切线。**它在两端都不成立，而两端恰恰是决策最关心的地方。

**第三步 · 候选一：logit-linear（广义 logistic）。**令 (C_0=e^{-a/b})，反解得 [ \mathrm{Acc}(C)=\frac{1}{1+(C_0/C)^{b}}=\frac{(C/C_0)^{b}}{1+(C/C_0)^{b}} ]

两端渐近： [ \mathrm{Acc}\to 0:\ \ \mathrm{Acc}\approx(C/C_0)^{b}\ \ (\text{幂律增长});\qquad \mathrm{Acc}\to 1:\ \ 1-\mathrm{Acc}\approx(C_0/C)^{b}\ \ (\text{错误率幂律衰减}) ]

第四步 · 候选二：错误率幂律。 [ 1-\mathrm{Acc};\propto;C^{-\gamma}\quad\Longleftrightarrow\quad\log(1-\mathrm{Acc})=\mathrm{const}-\gamma\log C ]

哪个更可能是真实规律？logit-linear，因为它把错误率幂律作为特例包含在内：由第三步的高端渐近，(\mathrm{Acc}\to1) 时 logit-linear 给出 (1-\mathrm{Acc}\propto C^{-b})，即 (\gamma=b)。而错误率幂律在低算力端会给出 (\mathrm{Acc}\lt 0)（当 (C) 小到使 (1-\mathrm{Acc}\gt 1) 时），是单侧有效的。

**第五步 · Meta 形式与 logit-linear 的代数等价。**设 (R_0=A_{\min})、(A=A_{\max})，Meta 的式子为 (R_C=R_0+(A-R_0)\cdot\frac{1}{1+(C_{\mathrm{mid}}/C)^{B}})。注意恒等式 [ \frac{1}{1+(C_{\mathrm{mid}}/C)^{B}}=\frac{(C/C_{\mathrm{mid}})^{B}}{1+(C/C_{\mathrm{mid}})^{B}}=1-\frac{1}{1+(C/C_{\mathrm{mid}})^{B}} ]

代入得到等价的「从上渐近线往下减」写法： [ R_C;=;A-\frac{A-R_0}{1+(C/C_{\mathrm{mid}})^{B}} ]论文选择第一种写法，是因为它把「渐近收益 ((A-R_0))」与「算力效率 (\frac{1}{1+(C_{\mathrm{mid}}/C)^B})」分成两个有独立解释的因子。

**第六步 · 归一化后 logit 严格线性。**令 (\tilde R=\frac{R_C-R_0}{A-R_0}\in[0,1])： [ \tilde R=\frac{1}{1+(C_{\mathrm{mid}}/C)^{B}};\Longrightarrow;\boxed{\ \log\frac{\tilde R}{1-\tilde R}=B\bigl(\log C-\log C_{\mathrm{mid}}\bigr)\ } ]归一化性能的 logit 对 (\log C) 严格线性，斜率就是 (B)。这是把 OpenAI 的定性图变成可拟合、可外推的定量工具的确切方式：先估 (A) 与 (R_0)，再在 logit 尺度上做线性回归读 (B)。

第七步 · 这套形式给出的三条工程读法。

· **(A) 与 (B) 是两种完全不同的改进。**提高 (B)（斜率）只是让你更快地爬到同一个天花板；提高 (A)（渐近线）才是真正扩大能力。ScaleRL 整篇论文就是在做这个区分——哪些设计改 (A)，哪些只改 (B)。

· **只看中段的实验会把两者混为一谈。**如果你的实验区间全部落在 (\mathrm{Acc}\in[0.2,0.8])，(A) 几乎不可辨识，你会误以为所有改进都是斜率改进。

· **外推必须在 logit 尺度上做。**在准确率尺度上做线性外推，等价于假设 (A=\infty)，这在有界指标上永远是错的。

**图 · 两条曲线与三条边界（本报告原创 SVG）：**这张图回答的问题是——**「增加算力」这四个字，在 train-time 与 test-time 上到底是不是同一件事，以及各自会撞到什么墙**。绿色曲线是 train-time compute（更多 RL），青色曲线是 test-time compute（同一组权重、只加思考预算）；中间那个青色圆点就是本章的核心事实：模型一字未改，只把思考预算 ×10，准确率仍然显著上升。三条边界是官方那张图**没有画**、但决定工程决策的部分——① 金色虚线是**验证器质量上界**，best-of-N 再怎么加样本也停在选择器能分辨的水平（所以青线贴着它走平，而绿线可以越过它，因为 RL 改的是模型本身）；② 红色虚线是**采样多样性饱和**，同一 prompt 反复采样，新候选与旧候选越来越像；③ 右侧柱状图是**成本轴**，横向对比准确率时如果不同时给出这根柱子，比较就没有意义。**曲线形状为示意，不代表任何闭源模型的实测数据。**

F10.2　compute-optimal test-time scaling（Snell et al., arXiv:2408.03314）

Snell, Lee, Xu, Kumar, Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters。作者归属：Charlie Snell（UC Berkeley，实习于 Google DeepMind）+ Jaehoon Lee、Kelvin Xu、Aviral Kumar（Google DeepMind）。这不是 OpenAI 的论文，但它是 o1 发布前一个月公开的、对 test-time scaling 最系统的形式化，因此是理解 o1 的最佳外部参照系。归属纪律：本节的一切机制都属于 Google DeepMind / Berkeley 的公开研究，不得读作 OpenAI 的做法。

FX-32

compute-optimal test-time scaling 的形式化

T2 官方论文

  ① 直觉
  

给定一个 prompt (q) 和一份 test-time 算力预算，有很多种花法：并行采样多少条？串行修订几轮？用 best-of-N 还是 beam search？beam 宽多少？lookahead 几步？关键洞察是：最优花法依赖于问题本身。

这个定义的意义在于，它把 test-time scaling 从「某个技巧」提升为**「一个逐 prompt 的策略选择问题」**。以前大家比较的是「BoN 好还是 beam search 好」，这个式子说：这个问题问错了，应该问「对这个 prompt、这个预算，哪个好」。

  ② 推导
  

论文 Eq.(1) 原式： [ \boxed{\ \theta^{}_{q,,a^{}(q)}(N);=;\operatorname*{arg,max}{\theta}\left(\mathbb{E}{y\sim\operatorname{Target}(\theta,,N,,q)}\Bigl[\mathbb{1}{,y=y^{}(q)}\Bigr]\right)\ } ](\operatorname{Target}(\theta,N,q)) 是「在预算 (N)、超参 (\theta) 下，模型对 prompt (q) 诱导出的输出分布」；(y^{}(q)) 是唯一正确答案。**论文下标写作 (\theta^{*}{q,a^{}(q)})，正文又写作 (\theta^{}_{q,y^{*}(q)})，论文自身符号不统一，语义相同。**

**难度作为充分统计量。**直接对每个 (q) 求解 (\theta^\star_q(N)) 不可行（需要知道答案），论文把它近似成 (\theta^\star_{\mathrm{bin}(q)}(N))，其中 bin 是 5 档难度：

· oracle difficulty：用 ground-truth 正确性，把 base model 的 **pass@1（由 2048 个样本估计）**分成 5 个分位数；

     · **model-predicted difficulty**：把 ground-truth checking 换成**学到的 verifier 对最终答案的平均打分**，同样 2048 样本、同样 5 分位。
  

§3.2 原话：“we bin the model’s pass@1 rate – estimated from 2048 samples – on each question in the test set into five quantiles.” 论文用 two-fold cross validation 防止用同一份 test set 既选策略又评性能。

⟹ 精确化一个常见误述：分位数来自 verifier 对 2048 个样本的最终答案打分的平均值，不是「PRM 的某个内部分位」。

  ③ 数值例
  

核心结果 4×，但四处出现、口径不同，必须逐条核实：

arXiv:2408.03314 中「4×」的四处出处与各自限定词

    出处原文表述限定词| 出处 | 原文表述 | 限定词 |

    
      摘要*“improve the efficiency of test-time compute scaling by **more than 4×** compared to a best-of-N baseline”*无限定，最乐观| 摘要 | “improve the efficiency of test-time compute scaling by more than 4× compared to a best-of-N baseline” | 无限定，最乐观 |

      §5.3（search）*“can **nearly outperform** best-of-N using up to 4x less test-time compute (e.g. **16 verses 64** generations)”***“nearly”**——没有真的超过| §5.3（search） | “can nearly outperform best-of-N using up to 4x less test-time compute (e.g. 16 verses 64 generations)” | “nearly”——没有真的超过 |

      §6.2（revisions）*“can outperform best-of-N using up to 4x less test-time compute (e.g. **64 samples verses 256**)”*此处是真的超过| §6.2（revisions） | “can outperform best-of-N using up to 4x less test-time compute (e.g. 64 samples verses 256)” | 此处是真的超过 |

      §8（讨论）*“we find that can improve the efficiency of test-time compute scaling by a factor of **2–4×**”***论文自己最保守的全局表述**| §8（讨论） | “we find that can improve the efficiency of test-time compute scaling by a factor of 2–4×” | 论文自己最保守的全局表述 |

    
  
  

⟹ 本报告采用 §8 的「2–4×」作为可引用表述，并在提到 search 场景时保留 “nearly” 限定词。把摘要里的 “more than 4×” 当作论文结论去传播，是一种选择性引用。

  ④ 假设与失效边界
  

**1 · 难度估计本身要花 2048 次采样，而这个成本没被算进 test-time 预算。**论文诚实指出：“our experiments do not account for this cost largely for simplicity.” ⟹ 报告的 2–4× 效率增益是在「难度免费」的假设下得到的，实际部署中要打折。这是本节最重要的 caveat。若把 2048 次采样计入，在 (N=16) 这个量级上，难度估计的成本比推理本身高两个数量级。

**2 · 存在唯一正确答案且可自动验证。**这条把框架限死在数学 / 代码 / 有标准答案的任务上。

**3 · 最优 (\theta) 可由一个充分统计量（难度）近似决定。**这是一个很强的假设——两道 pass@1 相同的题，可能一道需要换解题路线（要并行），一道只需修正算术（要串行）。难度这个一维标量把这个差别抹掉了。

4 · 模型是 PaLM 2-S，不是前沿 reasoning model*，且 revision / verification 能力是专门微调出来的（论文脚注承认 “these capabilities are absent even in strong proprietary LLMs”）。o1 之后的模型内生具备这些能力，结论未必平移。

5 · 「14×」不是通用常数，是这次实验的具体设定（见 FX-33）。

  ⑤ 论文出处
  

arXiv:2408.03314 Eq.(1)（compute-optimal 定义）、§3.2（难度分档与 two-fold CV）、§5.3 / §6.2 / §8（4× 的四处表述）。最后核验：2026-07-25。

F10.2.2　两条主轴：提议分布 vs 验证器

论文 §2 的抽象很漂亮：test-time compute 的本质是在测试时修改模型的输出分布。只有两个旋钮——

· 输入层面：往 prompt 里加 token，改变条件分布 ⟹ 修改提议分布（proposal distribution）；

 · **输出层面**：多采几个候选，然后动手术 ⟹ **优化验证器（verifier）**。

论文明说这「让人联想到 MCMC」：一个简单的 proposal 加上一个 score function，去逼近一个复杂的目标分布。这个类比是本章最有解释力的一句话——它把散落的技巧（CoT、自我修订、BoN、beam search、MCTS）统一成同一个采样框架的不同实例。

轴一 · 修改提议分布（sequential revisions）。模型被微调成能看着自己之前的错误答案，改出一个新答案；推理时串行采样一条修订链。训练数据的构造方式值得记录（§6.1）：因为多轮 on-policy rollout 太贵，他们改用事后拼装——高温并行采样 64 条，把一条正确答案与若干条相关的错误答案配对成「多轮」轨迹，用字符编辑距离挑选相关的错误答案（避免模型学会「无视上下文重来一遍」），上下文里放 0–4 条错误答案，数量从均匀分布采样。

⚑ 「让模型反思」的真实代价：38%

模型只在「上下文全是错答案」上训练过，但推理时上下文里会出现正确答案，于是发生分布漂移：“around 38% of correct answers get converted back to incorrect ones with our revision model using a naïve approach.”（§6.1）

⟹ 所谓「让模型反思一下」，在没有外部选择机制时，是一个有相当概率把对的改错的操作。解法是用 verifier 或 sequential majority voting 从整条链中挑最好的，而不是直接取最后一个。这个 38% 是本报告认为最应该被产品经理知道的一个数字——它直接否定了「多轮自我批评一定更好」这种直觉。

**轴二 · 修改验证器（PRM + 搜索）。**论文 §5.2 给了三种搜索：

(a) Best-of-N weighted. 独立采 (N) 条完整答案，用 PRM 打分。两级聚合：步级聚合用最后一步的 PRM 预测作为整解分数（不用 product/min，理由见 FX-30 的折叠推导）；答案间聚合把最终答案相同的所有解的 verifier 分数求和，选总和最大的答案——这是 verifier 与 majority voting 的融合。

(b) Beam search. 参数：beam 数 (N)、beam 宽 (M)。① 采 (N) 个第一步候选；② 用 PRM 打分（此处 PRM 的语义是 reward-to-go 的价值估计）；③ 保留 top (\frac{N}{M})；④ 每个保留的前缀各采 (M) 个下一步，又得到 (\frac{N}{M}\times M=N) 个候选，回到 ②。最多 40 轮扩展；结束后对 (N) 个终态做 best-of-N weighted。

(c) Lookahead search. 在 beam search 的每一步，不用当前步的 PRM 分，而是温度 0 向前 rollout (k) 步（或提前到达终点），用 rollout 末端的 PRM 分回填当前步的价值。成本 (N\times(k+1)) 个采样单位；beam search 是 (k=0) 的特例。

arXiv:2408.03314 §5.3 Fig.3 右 + §6.2 Fig.7 右 —— 难度决定策略

易题（bin 1–2）中题（bin 3–4）最难（bin 5）|  | 易题（bin 1–2） | 中题（bin 3–4） | 最难（bin 5） |


  **搜索方法**best-of-N 更好；**beam search 随预算增大而变差**（over-optimize PRM）**beam search 稳定优于 best-of-N**没有方法有意义地推进| 搜索方法 | best-of-N 更好；beam search 随预算增大而变差（over-optimize PRM） | beam search 稳定优于 best-of-N | 没有方法有意义地推进 |

  **提议分布 vs 并行**纯串行修订最优存在一个最优的串行 : 并行比例—| 提议分布 vs 并行 | 纯串行修订最优 | 存在一个最优的串行 : 并行比例 | — |

论文原话：“On the easy questions (levels 1 and 2), the stronger optimizer of the two approaches, beam search, degrades performance as the generation budget increases, suggesting signs of exploitation of the PRM signal. In contrast, on the harder questions (levels 3 and 4), beam search consistently outperforms best-of-N. On the most difficult questions (level 5), no method makes much meaningful progress.”

机制解释：易题上 verifier 判断基本正确，于是「更强的优化器」只是在更彻底地放大 verifier 学到的伪特征；难题上 base model 本来就很难采到正确答案，搜索才起到「引导」作用。⟹ 这与 F9.5 机制二的形式化完全吻合：优化压力与代理误差 (\sigma) 的比值决定是否过优化。易题上真值间距 (\Delta) 小（大家都对），(n^\star=\exp(\Delta^2/2\sigma^2)) 小，所以很快越过峰值。

串行 vs 并行的分工（§6.2）：并行采样 = 全局搜索，覆盖不同的高层解题路线；串行修订 = 局部精化，在已经大致对的轨道上修正。因此最优分配是把预算分成 (\sqrt{N}) 并行 × (\sqrt{N}) 串行的量级。易题只需局部精化 ⟹ 全串行；难题需要换路线 ⟹ 需要并行。

FX-33

test-time compute 与预训练的交换率

T2 官方论文

  ① 直觉
  

这个不等式的本质是一个摊销问题。预训练是一次性固定成本，推理是边际成本。把参数扩大 (M) 倍，固定成本和边际成本同时乘 (M)；而用 test-time compute，只有边际成本上升。

所以：推理量越小，越应该在推理上花钱（固定成本的 (M) 倍涨幅被摊到很少的请求上，太亏）；推理量越大，越应该在预训练上花钱（固定成本被无限摊薄）。这一条是本章最重要的经济学结论，它也解释了 2025–2026 的产业分化：前沿实验室做研究 / 自我改进时推理量小，所以疯狂用 test-time compute；面向数亿周活用户的产品推理量极大，所以要疯狂蒸馏出小模型。

  ② 推导
  

论文 §7 的原始提问：“Suppose a model was pre-trained with (X) FLOPs. Assume that we plan to run (Y) FLOPs of inference with this model. If we want to improve performance by increasing the total FLOPs budget by a factor of (M)… should we spend our FLOPs on increased pretraining compute or on additional test-time compute?”

核心结果（完整推导见下方折叠）： [ \boxed{\ \frac{\widetilde{D}{\text{inference}}}{D{\text{inference}}};=;M+3\left(\frac{D_{\text{pretrain}}}{D_{\text{inference}}}\right)(M-1)\ } ]「小模型的推理算力可以放大的倍数」。与论文 §7 给出的表达式逐字一致：“we can multiply the smaller model’s inference compute by a factor of (M+3\left(\frac{D_{\text{pretrain}}}{D_{\text{inference}}}\right)(M-1)).”

令 (R:=\dfrac{D_{\text{inference}}}{D_{\text{pretrain}}})（推理 token 数与预训练 token 数之比），放大倍数写成 [ \Lambda(M,R);=;M+\frac{3(M-1)}{R} ]这就是交换率：花掉与「模型放大 (M) 倍」等价的 FLOPs，能给小模型买到多少倍的推理算力。

判据不等式。记 (\mathcal{A}{\text{small}}) 为小模型在放大后预算下、在该难度档上的准确率，(\mathcal{A}{\text{large}}) 为 (M) 倍大模型的 greedy pass@1，则应该选 test-time compute 当且仅当 [ \boxed{\ \mathcal{A}{\text{small}}!\left(\Bigl[M+\tfrac{3(M-1)}{R}\Bigr]\cdot D{\text{inference}}\ \Big|\ \mathrm{bin}\right);\gt;\mathcal{A}{\text{large}}\bigl(D{\text{inference}}\mid\mathrm{bin}\bigr)\ } ]注意两边都带 (\mathrm{bin})（难度档）——这个不等式在不同难度上给出相反的答案，这正是它有用的地方。

  ③ 数值例
  

(M=14) 时交换率 (\Lambda=M+3(M-1)/R) 的三档取值（论文实测用的三个 (R)）

    场景\(R=D_{\text{inf}}/D_{\text{pre}}\)\(\Lambda\)读法| 场景 | \(R=D_{\text{inf}}/D_{\text{pre}}\) | \(\Lambda\) | 读法 |

    
      自我改进 / 离线蒸馏管线0.16**≈ 258**小模型可采样 **258 倍**多的 token 来对抗 14 倍大的模型| 自我改进 / 离线蒸馏管线 | 0.16 | ≈ 258 | 小模型可采样 258 倍多的 token 来对抗 14 倍大的模型 |

      中等推理量0.79≈ 63.4仍有可观放大| 中等推理量 | 0.79 | ≈ 63.4 | 仍有可观放大 |

      大规模生产部署22≈ 15.8**几乎就是 \(M=14\)**，与大模型 1:1 竞争，**预训练几乎必胜**| 大规模生产部署 | 22 | ≈ 15.8 | 几乎就是 \(M=14\)，与大模型 1:1 竞争，预训练几乎必胜 |

    
  
  

验算第一行：(\Lambda=14+3\times13/0.16=14+243.75\approx 258)。极限分析：(R\ll1) 时 (\Lambda\approx\frac{3(M-1)}{R}\to\infty)；(R\sim1) 时 (\Lambda\approx 4M-3)；(R\gg1) 时 (\Lambda\to M)。

论文的实测结论：“if we only expect to see very difficult questions (e.g. difficulty bins 4/5) or have a larger (D_{\text{inference}})… then it is often more effective to allocate our budget towards pretraining. If instead, we expect mostly easy or intermediate difficulty questions… or have lower inference requirements (as is the case in self-improvement pipelines), then utilizing test-time compute is better.”

⟹ 「test-time compute 可以换掉 14× 更大的模型」这个说法核实成立，但它有三个必须同时满足的前提：(1) 问题是易 / 中难度；(2) (R) 小；(3) 用 compute-optimal 而非朴素 BoN 分配。缺任何一条都不成立。

  ④ 假设与失效边界
  

1 · (6ND) 与 (2ND) 都是粗近似：忽略了 attention 的 (O(n^2)) 项、KV cache、MoE 的稀疏激活。T5 作者推断 对长 CoT（数万 token）而言 attention 项不可忽略，真实推理 FLOPs 应写成 (2ND_{\mathrm{inf}}+\Theta\bigl(L_{\text{layers}}\cdot d\cdot D_{\mathrm{inf}}^{2}\bigr))，第二项会让 test-time scaling 比论文估计的更贵。这直接削弱交换率对长思考链的适用性。

2 · 只扩参数不扩数据（(N\to MN)，(D_{\text{pretrain}}) 不变），论文明说这是照 LLaMA 系列的做法，不是 Chinchilla-optimal 的做法，并把后者留给 future work。若按 Chinchilla 同时扩 (N) 与 (D)，交换率会完全不同。

3 · 大模型侧假设 greedy decoding（无额外 test-time 算力）。这对 2024 年成立，对 2025 年之后的 reasoning model 完全不成立——大模型自己也会思考。

4 · 难度估计成本未计入（见 FX-32 ④）。

5 · 论文自陈：“we observe very little benefits from scaling up test-time compute” 在最难的题上；且 “current approaches to scaling test-time compute may not be 1-to-1 exchangeable with scaling pretraining.”

6 · o1 / o3 的出现某种程度上「证否」了这篇论文的乐观。OpenAI 走的不是「小模型 + 更多 test-time compute」，而是「大模型 + 大规模 RL + 更多 test-time compute」三者叠加。论文预言的「未来 pretraining FLOPs 更少、inference FLOPs 更多」在 2025–2026 只实现了后半句。

  ⑤ 论文出处
  

arXiv:2408.03314 §7（交换率提问与表达式）、§8（自陈局限）；FLOPs 系数 6 与 2 的来源见 F1 记号表（6 = 2 次乘加 × 3 次前反向，2 = 每参数一乘一加）。(\Lambda(M,R)) 的极限分析与判据不等式的显式写法由本档案整理。最后核验：2026-07-25。

展开：交换率的完整推导 —— 从 FLOPs 记账到 (\Lambda(M,R))

第一步 · 记账约定。 [ X;=;6,N,D_{\text{pretrain}}\qquad(\text{预训练 FLOPs}),\qquad Y;=;2,N,D_{\text{inference}}\qquad(\text{推理 FLOPs}) ]系数 6 = 2（前向的一次乘 + 一次加）× 3（前向 + 反向共两次反向传播的等效开销）；系数 2 = 每参数一次乘 + 一次加。

**第二步 · 大模型侧。**参数扩到 (MN)，预训练 token 数不变： [ X’=6(MN)D_{\text{pretrain}}=MX,\qquad Y’=2(MN)D_{\text{inference}}=MY,\qquad \text{Total}‘=M(X+Y)\ \checkmark ]与问题设定「总 FLOPs 扩大 (M) 倍」一致。注意：扩参数会让固定成本与边际成本同时乘 (M)，这是全部结论的来源。

**第三步 · 小模型侧。**参数保持 (N)、预训练不变（(X)），但推理 token 数从 (D_{\text{inference}}) 提高到 (\widetilde{D}{\text{inference}})： [ \text{Total};=;6ND{\text{pretrain}}+2N\widetilde{D}_{\text{inference}} ]

第四步 · 令两侧 FLOPs 相等。 [ 6ND_{\text{pretrain}}+2N\widetilde{D}{\text{inference}};=;M\bigl(6ND{\text{pretrain}}+2ND_{\text{inference}}\bigr) ]

两边同除 (2N)： [ 3D_{\text{pretrain}}+\widetilde{D}{\text{inference}};=;3MD{\text{pretrain}}+MD_{\text{inference}} ]

整理： [ \widetilde{D}{\text{inference}};=;MD{\text{inference}}+3D_{\text{pretrain}}(M-1) ]

第五步 · 两边除以 (D_{\text{inference}})，得到放大倍数。 [ \boxed{\ \Lambda;=;\frac{\widetilde{D}{\text{inference}}}{D{\text{inference}}};=;M+3\left(\frac{D_{\text{pretrain}}}{D_{\text{inference}}}\right)(M-1);=;M+\frac{3(M-1)}{R}\ } ](R=D_{\text{inference}}/D_{\text{pretrain}})。与论文 §7 逐字一致。

第六步 · 这个式子成立的条件（必须一起写出来，否则会被误用）。

· **条件 1 · 扩模型只扩参数、不扩数据。**这是「(X’=MX)」这一步的全部依据。若同时扩数据，(X) 会按 (M) 的更高次方增长，(\Lambda) 会变小甚至反号。

· **条件 2 · 大模型不使用额外 test-time compute。**若大模型也做 BoN，右边要换成 (\mathcal{A}{\text{large}}(\Lambda’\cdot D{\text{inference}}))，不等式的方向可能整体翻转。

· **条件 3 · FLOPs 是唯一的成本度量。**现实里延迟、显存、KV cache 带宽、并发度都不是 FLOPs 能表达的。串行修订链在延迟上比并行采样贵得多，而这个式子对二者一视同仁。

· **条件 4 · 两侧的「同等 FLOPs」是可比的。**训练 FLOPs 与推理 FLOPs 在硬件利用率上差异巨大（训练可打满，推理受 batch 与延迟约束），把它们直接相加是一个便利假设。

第七步 · 读法。把 (\Lambda) 看成一个杠杆：它由 (R) 而不是由 (M) 主导。当 (R=0.16) 时 (3(M-1)/R) 项贡献了 258 中的 244；当 (R=22) 时它只贡献 1.8。换句话说，「该不该买 test-time compute」这个问题的答案，几乎完全由「这个模型这辈子要跑多少推理」决定，而不是由算法优劣决定。这是一条经济学结论，不是技术结论——它也解释了为什么同一套技术在实验室和在生产环境会得到相反的评价。

F10.3　pass@k、BoN 与 RL 的可提升空间

这一节是全篇的枢纽。它把 F7（reward overoptimization）、F9（ORM 退化）、F10.1（test-time 曲线）和 2025 年最大的争议（RL 到底有没有扩展能力边界）串成一条数学链。读完这一节，你应该能用一条 pass@k 曲线回答「这个 base model 还有多少 RL 可做的功」。

FX-34

pass@k 的无偏估计

T2 官方论文

  ① 直觉
  

我们想知道：「给模型 (k) 次机会，至少有一次做对的概率是多少？」实际评测时我们采了 (n\ge k) 个样本，其中 (c) 个正确。

无偏式在做的事情是：把「我采了 (n) 个」这件事，转换成「如果我只被允许采 (k) 个会怎样」的精确重采样。它是超几何分布，而不是二项分布——因为重采样是不放回的。朴素式偷偷把不放回换成了放回，这就是它有偏的全部原因。

  ② 推导
  

在「每次采样 iid、成功概率 (p)」的假设下，(k) 次全错的概率是 ((1-p)^k)，故 (\text{pass@}k=1-(1-p)^k)。问题是 (p) 未知。朴素插值估计 (\widehat p=c/n) 是有偏的：令 (g(x)=(1-x)^k)，则 [ g”(x)=k(k-1)(1-x)^{k-2};\ge;0\qquad\text{for }x\in[0,1],\ k\ge 2 ](g) 是凸函数。

由 Jensen 不等式，(C\sim\mathrm{Binomial}(n,p))： [ \mathbb{E}\bigl[g(C/n)\bigr];\ge;g\bigl(\mathbb{E}[C/n]\bigr)=g(p)=(1-p)^{k};\Longrightarrow;\mathbb{E}\bigl[\widehat{\text{pass@}k}_{\text{naive}}\bigr];\le;\text{pass@}k ]⟹ 朴素估计系统性地低估 pass@k，且 (k) 越大偏差越大（凸性越强）。

无偏估计（Codex 论文的式子）： [ \boxed{\ \widehat{\text{pass@}k};=;1-\frac{\dbinom{n-c}{k}}{\dbinom{n}{k}}\ } ]组合解释：从这 (n) 个已采样本中不放回地抽 (k) 个（这正是「我只被允许提交 (k) 个」的模拟）。抽到的 (k) 个全错，当且仅当它们全部来自那 (n-c) 个错样本。(k\gt n-c) 时 (\binom{n-c}{k}=0)，即必然抽到至少一个对的 ✓

数值稳定的乘积形式（直接算组合数会溢出）： [ \boxed{\ \widehat{\text{pass@}k};=;1-\prod_{i=n-c+1}^{n}\left(1-\frac{k}{i}\right)\ } ]由 (\frac{\binom{n-c}{k}}{\binom{n}{k}}=\frac{(n-c)!,(n-k)!}{n!,(n-c-k)!}) 展开成连乘得到。这就是 Codex 论文附录里给出的实现。

Yue et al. 2025 在测量 RL 模型的能力边界时用的正是这个式子，写成数据集期望形式（arXiv:2504.13837 Eq.2，核实无误）： [ \text{pass@}k;:=;\mathbb{E}_{x_i\sim\mathcal{D}}\left[1-\frac{\binom{n-c_i}{k}}{\binom{n}{k}}\right] ]

  ③ 数值例
  

朴素式与无偏式的差距 —— 当 (k) 接近 (n) 时，这不是精度问题，是逻辑错误

    设置朴素式 \(1-(1-c/n)^k\)无偏式 \(1-\binom{n-c}{k}/\binom{n}{k}\)说明| 设置 | 朴素式 \(1-(1-c/n)^k\) | 无偏式 \(1-\binom{n-c}{k}/\binom{n}{k}\) | 说明 |

    
      \(n=100,\ c=1,\ k=10\)\(1-0.99^{10}=0.0956\)\(1-\tfrac{90}{100}=\mathbf{0.10}\)相对偏差 4.6%| \(n=100,\ c=1,\ k=10\) | \(1-0.99^{10}=0.0956\) | \(1-\tfrac{90}{100}=\mathbf{0.10}\) | 相对偏差 4.6% |

      \(n=100,\ c=1,\ k=100\)\(1-0.99^{100}=0.634\)\(1-0=\mathbf{1}\)**朴素式给 0.634，但你把 100 个样本全提交了，其中确实有 1 个对的**| \(n=100,\ c=1,\ k=100\) | \(1-0.99^{100}=0.634\) | \(1-0=\mathbf{1}\) | 朴素式给 0.634，但你把 100 个样本全提交了，其中确实有 1 个对的 |

      \(n=10,\ c=0,\ k=10\)00两者一致，但真实 \(p\) 完全可能是 0.05，只是没采到| \(n=10,\ c=0,\ k=10\) | 0 | 0 | 两者一致，但真实 \(p\) 完全可能是 0.05，只是没采到 |

    
  
  

**朴素式的方差也更大。**由 delta method：(\mathrm{Var}[g(C/n)]\approx[g’(p)]^2\frac{p(1-p)}{n}=k^2(1-p)^{2k-2}\frac{p(1-p)}{n})——把 (C) 的抽样波动放大了 (k) 倍量级。

  ④ 假设与失效边界
  

1 · iid 假设在真实解码下不成立。nucleus sampling / temperature 会引入截断，且同一个 prompt 的多次采样共享同一个 KV 前缀，模式高度相关。无偏性证明依赖交换性（exchangeability），相关性会破坏它。

**2 · 「正确」的判定不可靠。**Yue et al. 明确处理了这个问题：“a model may generate an incorrect chain of thought but still accidentally arrive at the correct answer… To address this, we filter out problems that are easily ‘hacked’ and then manually check the correctness of CoT.” ⟹ 大 (k) 下的 pass@k 会被「歪打正着」系统性高估，这是它作为「能力边界」度量的最大软肋。

**3 · (k) 只能取到 (\le n)。**外推到 (k\gt n) 需要额外的参数化假设（例如假设 (p_q) 的分布形式），而这个假设无法从数据本身检验。

**4 · pass@k 不是可部署的指标。**它假设有一个完美的 oracle 帮你从 (k) 个里挑出对的。真实系统只有 verifier，见 FX-35。

  ⑤ 论文出处
  

Chen et al., Evaluating Large Language Models Trained on Code（Codex），arXiv:2107.03374 §2.1 与附录的数值稳定实现；数据集期望形式见 arXiv:2504.13837 Eq.(2)。Jensen 凸性论证与 delta-method 方差比较由本档案补出。最后核验：2026-07-25。

展开：pass@k 无偏性的完整证明（两种数法 + 全期望公式）

设定。设真实成功率为 (p)，(n) 个样本 iid Bernoulli((p))。固定一个均匀随机的 (k)-子集 (S\subseteq{1,\dots,n})，且 (S) 与样本结果独立。定义事件 (E={S\ \text{中无正确样本}})。

**算法一 · 先取子集，再看结果。**因为 (S) 与结果独立，且 (S) 中的 (k) 个样本各自 iid Bernoulli((p))： [ \Pr[E];=;(1-p)^{k} ]

算法二 · 先看结果，再取子集。条件在 (C=c) 上，「(n) 个样本中哪 (c) 个是对的」在交换性下是均匀分布的，故 [ \Pr[E\mid C=c];=;\frac{\binom{n-c}{k}}{\binom{n}{k}} ]这是一个超几何概率：从 (n) 个球（(c) 白 (n-c) 黑）里不放回抽 (k) 个全黑。

**合并 · 全期望公式。**同一个事件 (E) 用两种方式算，结果必须相等： [ (1-p)^{k};=;\Pr[E];=;\mathbb{E}_{C}\left[\frac{\binom{n-C}{k}}{\binom{n}{k}}\right] ]

因此 [ \mathbb{E}\bigl[\widehat{\text{pass@}k}\bigr]=1-\mathbb{E}\left[\frac{\binom{n-C}{k}}{\binom{n}{k}}\right]=1-(1-p)^{k}=\text{pass@}k\qquad\blacksquare ]

这个证明的漂亮之处在于它没有算任何组合恒等式——它只是把同一个概率用两种顺序数了一遍。「先抽子集再看结果」与「先看结果再抽子集」必然相等，这是交换性的直接后果。也正因如此，一旦样本之间不可交换（例如后面的样本受前面影响），这个证明立刻失效，这就是 ④ 第 1 条的严格来源。

数值稳定形式的推导。 [ \frac{\binom{n-c}{k}}{\binom{n}{k}}=\frac{\frac{(n-c)!}{k!(n-c-k)!}}{\frac{n!}{k!(n-k)!}}=\frac{(n-c)!,(n-k)!}{n!,(n-c-k)!} ]

把分子分母写成连乘：(\frac{(n-k)!}{(n-c-k)!}=\prod_{i=n-c+1}^{n}(i-k))，(\frac{n!}{(n-c)!}=\prod_{i=n-c+1}^{n}i)，相除即得 (\prod_{i=n-c+1}^{n}\bigl(1-\frac{k}{i}\bigr))。每个因子都在 ([0,1]) 内，不会溢出。

FX-35

BoN 的期望正确率：完美 verifier vs 有噪声 verifier

T5 解释框架 本档案形式化

  ① 直觉
  

pass@k 是 BoN 的信息论上界：pass@k 假设有一个完美 oracle 帮你挑，BoN 只有一个会犯错的 verifier。两者的差，就是**「选择器有多不完美」的全部代价**。

而 BoN 收益递减的第一性来源，不是「信号饱和」，而是：噪声的头部只按 (\sqrt{\log n}) 涨，而你付出的算力按 (n) 涨。

  ② 推导
  

**完美 verifier。**若 verifier 能准确判定对错，则 best-of-(n) 选出的一定是对的（只要 (n) 个中有对的）： [ \mathrm{Acc}^{\mathrm{perfect}}_{\mathrm{BoN}}(n);=;\Pr[\exists,i\le n:\ y_i\ \mathrm{correct}];=;1-(1-p)^{n};=;\text{pass@}n ]完美 verifier 下，BoN 就是 pass@n。

**有噪声 verifier。**真分 (s_i)、观测分 (\hat s_i=s_i+\varepsilon_i)、(i^\star=\arg\max_i\hat s_i)，(\varepsilon_i\overset{iid}{\sim}\mathcal{N}(0,\sigma^2))。高斯极值渐近给出 [ \mathbb{E}\Bigl[\max_{i\le n}\varepsilon_i\Bigr];=;\sigma\sqrt{2\ln n}\left(1-\frac{\ln\ln n+\ln 4\pi}{4\ln n}+o!\left(\tfrac{1}{\ln n}\right)\right);\sim;\sigma\sqrt{2\ln n} ]推导要点（Fisher–Tippett–Gnedenko 的高斯特例）：① (\Pr[\max_i\varepsilon_i\le\sigma z]=\Phi(z)^n)；② Mills 比 (1-\Phi(z)=\frac{\phi(z)}{z}(1+O(z^{-2})))；③ 令 (n(1-\Phi(z_n))\to\tau)，取对数得 (\ln n-\frac{z_n^2}{2}-\ln z_n-\ln\sqrt{2\pi}\to\ln\tau)；④ 主阶 (z_n\sim\sqrt{2\ln n})，回代 (\ln z_n=\frac12\ln(2\ln n)) 得二阶修正；⑤ 收敛到 Gumbel，均值多出的 (\gamma/\sqrt{2\ln n}) 被吸收。

**两个式子的差，就是 verifier 不完美的代价。**把它写成一个可读的形式： [ \underbrace{\text{pass@}n=1-(1-p)^{n}}{\text{完美 verifier}};-;\underbrace{\mathrm{Acc}^{\mathrm{noisy}}{\mathrm{BoN}}(n)}_{\text{真实 verifier}};=;\Pr\bigl[,\exists,i:\ y_i\ \mathrm{correct}\ \ \text{but}\ \ i^\star\ \mathrm{incorrect},\bigr] ]**差值 = 「池子里有对的，但选择器没挑中」的概率。**这个量在小 (n) 时接近 0（池子里可能根本没有对的），在大 (n) 时被 verifier 的盲点主导。

**代价效率。**每单位算力买到的「极值提升」是 [ \frac{d}{dn}\Bigl(\sigma\sqrt{2\ln n}\Bigr);=;\frac{\sigma}{n\sqrt{2\ln n}};=;\Theta!\left(\frac{1}{n\sqrt{\ln n}}\right) ]边际收益按 (1/n) 衰减。这就是「翻倍算力换固定提升」（即 log-linear）的微观来源——FX-31 那条直线，在这里得到了它的统计学解释。

  ③ 数值例
  

(\sqrt{2\ln n}) 增长得有多慢：(n) 从 1 涨到 1000，(\sqrt{2\ln n}) 只从 0 涨到 3.72；再从 1000 涨到 (10^6)（又是 1000 倍算力），只涨到 5.26。第二个 1000 倍只买到了第一个 1000 倍收益的 41%。

**完美 verifier 的对照。**设 (p=0.1)：pass@1 = 0.10，pass@10 = (1-0.9^{10}=0.651)，pass@100 = (1-0.9^{100}=0.99997)。完美 verifier 下 100 个样本就基本到顶；而 o1 用 1000 个样本 + learned reranker 才到 93%。⟹ 这个巨大的落差本身就是「真实 selection 远非完美」的直接证据，也说明这一侧还有空间。

**对抗覆盖的临界规模。**若 verifier 的高分误判区覆盖率 (\rho=10^{-3})，则 (n_{\text{hack}}\approx 1/\rho=1000)：采到 1000 个样本时，BoN 开始被 hack 的概率已达 (1-(1-10^{-3})^{1000}\approx 63%)。

  ④ 假设与失效边界
  

**1 · 「有界信号 + iid 噪声」仍不足以造成退化，这是一个必须澄清的常见错误。**在纯高斯模型下 (\mathbb{E}[s_{i^\star}]) 随 (n) 单调递增（见 F9.5 机制二的折叠推导）。即使把信号限死在 ({0,1})，正确池与错误池的极值差为 (\Delta(n)\approx 1+\frac{\sigma}{\sqrt{2\ln n}}\ln\frac{p}{1-p})，当 (p\lt 1/2) 时第二项为负，但其绝对值随 (n) 减小，所以 (\Delta(n)) 反而随 (n) 上升趋向 1。BoN 仍不退化。

2 · 真正的退化来自噪声非独立 —— verifier 的系统性盲点。设存在对抗区域 (\mathcal{A})：落在其中的错误解会被 verifier 打系统性高分（因为触发了 verifier 学到的伪特征）。则 (\Pr[\mathrm{BoN\ picks\ adversarial}]\ge 1-(1-\rho)^n\to1)，指数快。这是「覆盖」而非「极值」：只要采样够多，你一定会采到 verifier 的盲点，然后 argmax 一定会挑中它。

**3 · 重尾噪声会加剧退化。**T5 作者推断 若 (\varepsilon) 是 (t_\nu) 或 (\alpha)-稳定分布，(\mathbb{E}[\max]\sim c,n^{1/\alpha})（多项式而非对数）。神经网络 verifier 的误差分布很可能是重尾的（少数样本上错得离谱）。改判条件：若有工作实测 PRM 打分残差的尾指数并显示它接近高斯，本推断作废。置信度：中低。

4 · 高斯极值渐近只在 (n) 较大时准确，(n\lt 20) 时二阶修正项本身就有 10% 量级的误差。

  ⑤ 论文出处
  

完美 verifier 与 pass@n 的等式：arXiv:2107.03374 §2.1 的直接推论。噪声代理最大化：Gao, Schulman, Hilton, arXiv:2210.10760（过优化定律）；经验现象见 arXiv:2305.20050 Appendix G 与 arXiv:2408.03314 §5.3。**极值渐近、临界规模 (n^\star=\exp(\Delta^2/2\sigma^2))、对抗覆盖 (n_{\text{hack}}\approx1/\rho) 的形式化由本档案给出，属 T5 解释框架，非任何论文的原文结论。**最后核验：2026-07-25。

三章合流：F7 / F9 / F10 讲的是同一个机制的三个面

优化压力的度量退化机制临界点|  | 优化压力的度量 | 退化机制 | 临界点 |


  **F7** RLHF 过优化\(d=\sqrt{\mathrm{KL}(\pi\Vert\pi_{\mathrm{ref}})}\)RM 的系统性误差被 policy 找到\(d^\star=e^{\alpha/\beta-1}\)| F7 RLHF 过优化 | \(d=\sqrt{\mathrm{KL}(\pi\Vert\pi_{\mathrm{ref}})}\) | RM 的系统性误差被 policy 找到 | \(d^\star=e^{\alpha/\beta-1}\) |

  **F9** ORM 的 BoN 退化\(d=\sqrt{\ln n-\frac{n-1}{n}}\)ORM 的 false positive 被采样覆盖\(n^\star\approx 1/\rho\)| F9 ORM 的 BoN 退化 | \(d=\sqrt{\ln n-\frac{n-1}{n}}\) | ORM 的 false positive 被采样覆盖 | \(n^\star\approx 1/\rho\) |

  **F10** BoN / beam search同上；beam search 的 \(d\) 更大PRM 的伪特征被搜索放大易题更早| F10 BoN / beam search | 同上；beam search 的 \(d\) 更大 | PRM 的伪特征被搜索放大 | 易题更早 |

**一句话概括：对一个有系统性误差的代理做优化，优化强度越大，越会精确地找到代理与真值的分歧处。搜索算法越强（lookahead > beam > BoN），临界点来得越早。**这正是 Snell 观测到的排序：“This explains why the most powerful search method (i.e., lookahead search) underperforms the most.”

FX-36

self-consistency / majority voting 与 Condorcet 陪审团定理

T2 官方论文

  ① 直觉
  

多数投票是一个零成本的方差削减器。它免费（不需要训 verifier），但它的信息来源只有模型自己的分布。若模型的众数是对的，它能把随机波动压掉；若模型的众数是错的（系统性误解），它会更自信地给出错误答案——这比单次采样更糟，因为它剥夺了偶然采到正确答案的机会。

用统计学的话说：majority voting 降 variance，不降 bias。

  ② 推导
  

**二元情形（Condorcet 陪审团定理）。**设 (X_1,\dots,X_k\overset{iid}{\sim}\mathrm{Bernoulli}(p))，多数正确当且仅当 (\sum_i X_i\gt k/2)： [ \boxed{\ P_{\mathrm{maj}}(k);=;\sum_{j\gt k/2}\binom{k}{j}p^{j}(1-p)^{k-j}\ } ]这就是「二项和形式」。

收敛速率（Hoeffding）。令 (\bar X=\frac1k\sum X_i)： [ p\gt\tfrac12:\ \ 1-P_{\mathrm{maj}}\le\exp\bigl(-2k(p-\tfrac12)^2\bigr)\to 0;\qquad p\lt\tfrac12:\ \ P_{\mathrm{maj}}\le\exp\bigl(-2k(\tfrac12-p)^2\bigr)\to 0 ](p=1/2) 时 (P_{\mathrm{maj}}\to 1/2)（中心极限定理）。⟹ 多数投票是一个「放大器」：它把 (p) 相对 1/2 的偏移指数放大。它不创造能力，它放大已有的倾向——好的方向和坏的方向都放大。

多答案情形 —— 真正的判据不是 (p\gt 1/2)。真实的数学题不是二选一。设答案空间上的分布为 ({p_0,p_1,p_2,\dots})，(p_0) 是正确答案的概率，(p_1=\max_{j\ge1}p_j) 是最大的错误答案的概率。由大数定律： [ \boxed{\ \lim_{k\to\infty}P_{\mathrm{plurality}}=\begin{cases}1,&p_0\gt p_1\ 0,&p_0\lt p_1\end{cases}\ } ]真正的条件是「正确答案是众数」，不是「正确答案的概率超过 1/2」。这是一个弱得多的条件——(p_0) 可以只有 0.2，只要没有哪个错误答案超过 0.2。这解释了为什么 majority voting 在实践中比 Condorcet 定理的天真读法有效得多。

**收敛速率（大偏差）。**把「正确 vs 最强错误」当作二项子问题，可用 Bhattacharyya 系数给界： [ \Pr[N_0\le N_1];\le;\left(\frac{2\sqrt{p_0p_1}}{p_0+p_1}\right)^{k}\cdot\mathrm{poly}(k) ](p_0) 与 (p_1) 越接近，底数越接近 1，收敛越慢。

  ③ 数值例
  

官方 o1 数据完美符合 Condorcet 的预测：gpt-4o 在 AIME 上 pass@1 = 9.3，cons@64 = 13.4，只涨 4.1 个点；而 o1 pass@1 = 74.4，cons@64 = 83.3，涨 8.9 个点。⟹ 基础准确率越高，投票的边际收益越大。因为 (p=0.093) 远在 1/2 之下，二元 Condorcet 会预测投票有害；实际有小幅收益，说明真实情形是多答案 plurality（错误答案分散），(p_0) 仍是众数。

反面案例（最干净的公开数据）：Lightman et al. Table 1 的 AMC10/12 上，majority voting 只有 32.8%，而 ORM 49.1%、PRM 53.2%。majority voting 在这里是三者中最差的，比 verifier 差 20.4 个点。原因就是 (p_0\lt p_1)：在 AMC 上，正确答案的采样概率低于某个高频错误答案，于是投票收敛到错误答案。

用二项和验算一下量级：取 (p=0.55,k=64)，(P_{\mathrm{maj}}=\sum_{j\ge 33}\binom{64}{j}0.55^j0.45^{64-j}\approx 0.79)；取 (p=0.45)，同式给 (\approx 0.21)。同样的 64 次采样，(p) 只差 0.1，结果差了 58 个百分点——这就是「指数放大器」的实感。

  ④ 假设与失效边界
  

**1 · 错误相关时，界被破坏 —— 这是最重要的一条。**设错误来自一个共同的隐变量 (Z)（模型对题目的某个条件理解错了，或记错了一个公式）。条件在 (Z) 上各条 CoT 独立，但 (Z) 本身有分布，则 [ \mathrm{Var}(\bar X);=;\frac{\mathbb{E}_Z\bigl[p_0(Z)(1-p_0(Z))\bigr]}{k};+;\mathrm{Var}Z\bigl[p_0(Z)\bigr] ]第二项不随 (k) 衰减，构成方差下界 (\lim{k\to\infty}\mathrm{Var}(\bar X)=\mathrm{Var}_Z[p_0(Z)]\gt 0)。

于是相关误差给多数投票设了一条硬天花板： [ \lim_{k\to\infty}P_{\mathrm{maj}};=;\Pr_Z\Bigl[p_0(Z)\gt\max_j p_j(Z)\Bigr];\lt;1 ]投票只能消除「条件在 (Z) 上的随机噪声」，完全无法消除「(Z) 本身错了」这种系统性误解。这是 self-consistency 的根本边界，也是为什么 OpenAI 从 cons@64 转向「1000 样本 + learned reranker」（93% vs 83%）——reranker 原则上可以识别出「整个 (Z) 分支都错了」，而投票不能。

2 · 需要答案可归一化比较（数值 / 选择题可以，自由文本不行）。**3 · 无法用于开放式生成。**4 · 在 (p_0\lt p_1) 的题上主动有害（收敛到 0，比随机还差）。

  ⑤ 论文出处
  

Wang et al., Self-Consistency Improves Chain of Thought Reasoning in Language Models, arXiv:2203.11171；AMC 崩溃数据见 arXiv:2305.20050 Table 1；o1 / gpt-4o 的 cons@64 见 OpenAI 官方博客 Evals 表格。⚠ 待核实的信源冲突：Lightman et al. 试过 RM-weighted voting 结果 “did not noticeably improve performance”，而 Snell et al. 用的 best-of-N weighted 是同一个思路却报告有效。两篇论文在同一个技巧上给出相反结论，本报告推测与 PRM 语义不同（步级 correctness vs reward-to-go）有关，列入待核实清单，不作定论。最后核验：2026-07-25。

展开：多答案投票的收敛速率，与「相关误差」为什么是一条硬天花板

第一步 · 为什么二元 Condorcet 不够用。二元定理要求 (p\gt 1/2)，而 LLM 在数学题上的 pass@1 常常只有 0.1–0.4。若二元定理适用，majority voting 应该普遍有害；但实践中它普遍有益。矛盾的来源是「答案空间不是二元的」。

**第二步 · plurality（取众数）的极限行为。**设答案 (j) 被采到的概率为 (p_j)，(j=0) 为正确答案。采 (k) 条后各答案的计数 ((N_0,N_1,\dots)\sim\mathrm{Multinomial}(k;p_0,p_1,\dots))。由大数定律 (N_j/k\to p_j)，故 [ \lim_{k\to\infty}P_{\mathrm{plurality}}=\begin{cases}1,&p_0\gt p_1:=\max_{j\ge1}p_j\ 0,&p_0\lt p_1\end{cases} ]判据从 (p_0\gt 1/2) 放松到 (p_0\gt p_1)。当错误答案高度分散时，(p_1) 可以很小，于是 (p_0=0.2) 也足够。

**第三步 · 收敛速率。**失败事件的主导贡献来自「最强错误答案反超正确答案」，即 ({N_0\le N_1})。把它当作一个二项子问题（条件在 (N_0+N_1) 上），用 Chernoff 界：对任意 (\lambda\gt0)， [ \Pr[N_0\le N_1];\le;\mathbb{E}\Bigl[e^{-\lambda(N_0-N_1)}\Bigr];=;\Bigl(p_0e^{-\lambda}+p_1e^{\lambda}+\textstyle\sum_{j\ge2}p_j\Bigr)^{k} ]

对 (\lambda) 求最优：令导数为零得 (e^{2\lambda^\star}=p_0/p_1)，代回得 [ \Pr[N_0\le N_1];\le;\Bigl(1-\bigl(\sqrt{p_0}-\sqrt{p_1}\bigr)^{2}\Bigr)^{k};\le;\exp\Bigl(-k\bigl(\sqrt{p_0}-\sqrt{p_1}\bigr)^{2}\Bigr) ]因为 (p_0e^{-\lambda^\star}+p_1e^{\lambda^\star}=2\sqrt{p_0p_1})，而 (p_0+p_1-2\sqrt{p_0p_1}=(\sqrt{p_0}-\sqrt{p_1})^2)。指数中的 ((\sqrt{p_0}-\sqrt{p_1})^2) 就是 Hellinger 距离的平方，等价于 Bhattacharyya 系数的形式。

数值感受：(p_0=0.25,p_1=0.15) ⟹ ((\sqrt{0.25}-\sqrt{0.15})^2=(0.5-0.387)^2=0.0128)，(k=64) 时上界 (e^{-0.82}=0.44)——收敛很慢。要压到 5% 需要 (k\approx 234)。⟹ 当正确答案只是「勉强的众数」时，几十条采样远不足以让投票收敛，报 cons@8 与 cons@64 会得到完全不同的结论。

**第四步 · 相关误差如何摧毁上面这一切。**以上全部基于「各条 CoT 独立」。设错误来自共同隐变量 (Z)（模型对题目某个条件理解错了，或记错一个公式）：条件在 (Z) 上各条独立，但 (Z) 本身有分布。由全方差公式， [ \mathrm{Var}(\bar X)=\underbrace{\frac{\mathbb{E}Z\bigl[p_0(Z)(1-p_0(Z))\bigr]}{k}}{\text{随 }k\text{ 衰减}}+\underbrace{\mathrm{Var}Z\bigl[p_0(Z)\bigr]}{\textbf{不随 }k\text{ 衰减}} ]

第二项是方差下界，于是 [ \lim_{k\to\infty}P_{\mathrm{maj}}=\Pr_Z\Bigl[p_0(Z)\gt\max_j p_j(Z)\Bigr];\lt;1 ]**投票只能消除「条件在 (Z) 上的随机噪声」，完全无法消除「(Z) 本身错了」这种系统性误解。**Chernoff 界里的 (k) 次幂在这里彻底失效——不管采多少条，落在「(Z) 错了」那一支上的题永远救不回来。

第五步 · 三条工程读法。

· 报 cons@k 必须同时报 (k)，因为收敛速率由 ((\sqrt{p_0}-\sqrt{p_1})^2) 决定，不同题集上差几个数量级。

   · **投票的天花板由「模型有多容易整体误解题意」决定**，而不是由采样预算决定。这就是为什么 OpenAI 从 cons@64 转向 1000 样本 + learned reranker（83% → 93%）：**reranker 原则上能识别「整个分支都错了」，投票不能**。

   · **投票与 verifier 不是替代关系，而是互补关系**：投票降 variance，verifier 降 bias。Snell 的 best-of-N weighted 就是把两者相乘——只是 Lightman 试同一思路时没看到收益（见 FX-36 ⑤ 的待核实冲突）。

F10.3.4　★ 点睛：pass@k 的斜率决定了 RL 的可提升空间

这是本章最重要的一节。它把「RL 到底在做什么」这个问题，变成一个可以用 pass@k 曲线读出答案的定量问题。要问的是：RLVR（可验证奖励的强化学习，如 GRPO / RLOO / PPO on binary reward）到底是教会模型新东西，还是只是让它更常地做已经会做的事？

FX-37

训练信号覆盖率 = base model 的 pass@G（精确恒等式）

T5 解释框架 本档案形式化

  ① 直觉
  

把 base model 想象成一个概率质量的分布，撒在所有可能的推理路径上。正确路径构成一个（可能很小的）集合。

· RL 做的事：把质量从错误路径搬到正确路径。它像一台泵。

     · **RL 不能做的事**：在质量为零的地方凭空造出质量。**泵不能造水。**

     · **pass@k 曲线**测量的正是「水一共有多少、分散得多广」。

     · **pass@1** 是「当前泵到正确池的水量」；**pass@∞（coverage）** 是「总共有多少水在可达范围内」。

     · **RL 的功等于把这两者的差补上——不多也不少。**
  

要突破 coverage，只有三条路：(a) 蒸馏 / 外部数据（往系统里加水）；(b) 工具 / 环境交互（改变可达空间）；(c) 更强的 base model（换一个更大的水池）。

  ② 推导
  

假设：① on-policy，梯度只来自当前策略采样出的轨迹；② 无外部数据（无蒸馏、无 SFT 长 CoT 数据、无工具反馈）；③ 奖励二值可验证 (r(q,y)\in{0,1})；④ 每个 prompt 采 (G) 条 rollout（GRPO 的 group size）。

**零梯度观察。**RLVR 的目标与策略梯度： [ J(\theta)=\mathbb{E}{q\sim\mathcal{D}}\ \mathbb{E}{y\sim\pi_\theta(\cdot|q)}\bigl[r(q,y)\bigr],\qquad \nabla_\theta J=\mathbb{E}{q}\ \mathbb{E}{y\sim\pi_\theta}\Bigl[r(q,y),\nabla_\theta\log\pi_\theta(y\mid q)\Bigr] ]

对固定的 (q)，若 (G) 条 rollout 中没有一条得到正奖励，则蒙特卡洛估计 [ \widehat{\nabla_\theta J}\big|q=\frac{1}{G}\sum{i=1}^{G}r_i,\nabla_\theta\log\pi_\theta(y_i\mid q)=\mathbf{0} ]**精确为零，不是「小」。**对 GRPO，优势是组内标准化 (A_i=\frac{r_i-\mathrm{mean}(\mathbf r)}{\mathrm{std}(\mathbf r)})；若所有 (r_i) 相等（全 0 或全 1），则 (\mathrm{std}=0)，实现中通常置零或加 (\epsilon)，无论哪种该 prompt 对梯度贡献为零。对 RLOO，(A_i=r_i-\frac{1}{|\mathcal{B}|-1}\sum_{j\ne i}r_j)，同理。

这正是 ScaleRL 明确引入 zero-variance filtering 的原因：“Within each batch, some prompts yield identical rewards across all their generations. These ‘zero-variance’ prompts have zero advantage and therefore contribute zero policy gradient.”（arXiv:2510.13786 §3.2）

**核心恒等式。**对每个 prompt，「这一轮产生非零梯度」当且仅当 (G) 条 rollout 中至少一条正确，其概率为 (1-(1-p_q)^{G})。在题库上取期望： [ \boxed{\ \mathbb{E}_{q}\Bigl[1-(1-p_q)^{G}\Bigr];=;\text{pass@}G\ \ (\text{base model 的})\ } ]一次 on-policy RLVR 迭代中，能产生任何学习信号的 prompt 比例，精确等于 base model 在 group size (G) 下的 pass@G。这是一个恒等式，不是近似——它把「RL 训练的效率」直接翻译成「base model 的 pass@k 曲线」。

**推论 · RL 后 pass@1 的上界 = base 的 coverage。**定义 (\mathrm{Cov}(\pi_0):=\lim_{k\to\infty}\text{pass@}k=\mathbb{E}q\bigl[\mathbb{1}[p_q\gt 0]\bigr])（实际取一个大但有限的 (k)，如 256 或 1024）。在假设 ①–③ 下、忽略跨题泛化： [ \boxed{\ \text{pass@}1(\pi{\mathrm{RL}});\le;\mathrm{Cov}(\pi_0)=\lim_{k\to\infty}\text{pass@}k(\pi_0)\ } ]

RL 的可提升空间（headroom）： [ \mathrm{Headroom}=\mathrm{Cov}(\pi_0)-\text{pass@}1(\pi_0)=\mathbb{E}_q\Bigl[\mathbb{1}[p_q\gt0]-p_q\Bigr]=\mathbb{E}_q\Bigl[(1-p_q),\mathbb{1}[p_q\gt0]\Bigr] ]RL 的可提升空间 = 「在可解题上的期望失败率」。这是一个可以直接从 base model 的采样统计里量出来的数——不需要训练任何东西。

  ③ 数值例
  

恒等式的三个推论，用 ScaleRL 的实际配置（48 prompts × 16 generations，即 (G=16)）：

(G=16) 时，不同 (p_q) 的题在一轮中产生梯度的概率

    \(p_q\)（base 单次成功率）\(1-(1-p_q)^{16}\)解读要达到 50% 概率所需的 \(G\)| \(p_q\)（base 单次成功率） | \(1-(1-p_q)^{16}\) | 解读 | 要达到 50% 概率所需的 \(G\) |

    
      0.599.998%几乎必然有信号，但组内几乎必然也有负例（信息量最大）2| 0.5 | 99.998% | 几乎必然有信号，但组内几乎必然也有负例（信息量最大） | 2 |

      0.181.5%高效区间7| 0.1 | 81.5% | 高效区间 | 7 |

      0.0114.9%**85% 的时间白跑**69| 0.01 | 14.9% | 85% 的时间白跑 | 69 |

      0.001**1.6%****98.4% 的时间这道题白跑****≈ 693**| 0.001 | 1.6% | 98.4% 的时间这道题白跑 | ≈ 693 |

    
  
  

最后一列由 (G\approx\ln 2/p_q) 给出（解 (1-(1-p_q)^G=1/2)）。⟹ 这就是 RL 算力昂贵的根本原因，也是 DAPO 的 dynamic sampling、ScaleRL 的 adaptive prompt filtering、以及各种 curriculum 设计的共同动机：把预算花在 (p_q) 既不太小也不太大的题上。

信息论上界 —— 「through a straw」的定量版。二值奖励下，一条 rollout 的期望信息量是 (I_q=H_b(p_q))： [ H_b(p)=-p\log_2 p-(1-p)\log_2(1-p),\qquad H_b(p)\approx p\log_2\frac{1}{p}\ \ (p\to0) ](p=0.5)：1.00 bit；(p=0.1)：0.47 bit；(p=0.01)：0.081 bit；(p=0.001)：0.011 bit。⟹ 难题不仅难以采到正样本，即使采到，单位 rollout 的信息量也按 (p\log(1/p)) 塌陷。

**与预训练的密度对比。**一条长度 (T) 的 CoT rollout：RL 消耗 (T) 个 token 的前向计算，产出 (\le 1) bit 监督；SFT 消耗同样的 (T) 个 token，产出 (T) 个 teacher-forced 目标、每个约 (\mathcal{L}{CE}) 比特（典型 1–2 bits/token）。 [ \frac{\text{SFT bits}}{\text{RL bits}}\approx\frac{T\cdot\mathcal{L}{CE}}{H_b(p_q)};\overset{T=10^4,\ \mathcal{L}_{CE}=1.5,\ p_q=0.1}{=};\frac{10{,}000\times 1.5}{0.47}\approx 3.2\times 10^{4} ]单位算力下，RL 的监督密度比 SFT 低约四个数量级。这就是 Andrej Karpathy 所说「RL is sucking supervision through a straw」的定量版本——你做了一整条推理链的工作，最后只从环境拿回一个数字。⚠ 该引语为大意转述，本档案未逐字核实原推文，列入待核实清单。

⟹ 这也解释了为什么「过程监督」（F9）在 RL 语境下如此重要：PRM 把每条 rollout 的信息量从 (H_b(p_q)\le 1) bit 提升到 (\sum_i H(\ell_i)\le m\log_2 3) bits，即把吸管换成了管道。F9 与 F10.3 在这里合流。

**斜率的作用。**pass@k 曲线对 (k) 的导数恒正：(\frac{d}{dk}\text{pass@}k=\mathbb{E}_q[-(1-p_q)^k\ln(1-p_q)]\gt0)。在 (k=1) 处，被积函数 (-u\ln u)（(u=1-p_q)）在 (u=1/e) 即 (p_q\approx0.632) 处取最大值 (1/e)。更有用的是「曲线爬升的总量」： [ \text{pass@}K-\text{pass@}1=\mathbb{E}_q\Bigl[(1-p_q)-(1-p_q)^{K}\Bigr] ]陡且高（(p_q) 大量集中在 ((0,0.3))）⟹ headroom 巨大，RL 有大量可做的功——这是 2024 年底 o1 / DeepSeek-R1 时代的情形。平且早饱和（(p_q) 双峰在 0 和 1）⟹ 两项相消，headroom ≈ 0，RL 无收益。

精确判据：若 (\text{pass@}1\approx\text{pass@}1024)，则 (\mathbb{E}_q[(1-p_q)-(1-p_q)^{1024}]\approx0)。由于被积函数非负且仅在 (p_q\in{0,1}) 处为 0，这强制 (p_q) 的分布几乎全部质量落在 ({0,1}) 上。⟹ 「pass@1 已接近 pass@1024」在数学上等价于「模型对每道题要么必对要么必错」，此时 RL 作为概率质量的再分配器确实无事可做。

  ④ 假设与失效边界
  

1 · 「零梯度」的严格表述见下方 ⚑ 自我纠正——这是本条最重要的边界，请务必读完。

2 · 忽略跨题泛化。恒等式只说「题 (q) 自身不产生梯度」，没说「题 (q) 不会因其他题的梯度而改善」。这是 coverage 上界的合法出口，也是 ProRL 结果最可能的真实机制。

**3 · 二值奖励。**若奖励是稠密的（PRM 步级奖励、部分分），组内方差不会为零，恒等式失效——这正是过程监督在 RL 里的价值所在。

4 · 「至少一条正确」只是产生梯度的一侧。严格说，binary reward 下需要组内有差异；若 (p_q) 接近 1，全对也没有梯度。完整的有信号概率是 (1-p_q^G-(1-p_q)^G)。本节取「从 0 开始学」这一侧，因为 RL 的瓶颈在难题而非易题。

5 · pass@k 本身会被「歪打正着」高估（见 FX-34 ④），因此 coverage 的估计值偏乐观，headroom 偏悲观。

  ⑤ 论文出处
  

零方差过滤：arXiv:2510.13786 §3.2（Meta, ScaleRL）。pass@k 定义：arXiv:2107.03374 §2.1 / arXiv:2504.13837 Eq.(2)。coverage 与采样效率的经验证据：arXiv:2504.13837（Yue et al.）。反方证据：arXiv:2505.24864（NVIDIA, ProRL）。**「训练信号覆盖率 = pass@G」这个恒等式、headroom 的闭式表达、以及「pass@1 ≈ pass@1024 等价于 (p_q) 分布退化到 ({0,1})」的判据，均由本档案给出，属 T5 解释框架。**最后核验：2026-07-25。

⚑ 本档案的自我纠正 —— 「支撑集为零」的论证不成立

上文推导 A 给出的非正式定理是：若 base model 对问题 (q) 的正确率 (p_q=0)，则任何 on-policy、无外部数据的 RLVR 在 (q) 上的期望梯度为 0，该题永远学不会。**这个表述必须被纠正。**以下为原文，一字不改地保留：

「必须诚实的技术注记：严格说，softmax 输出层让任何有限 token 序列的概率都严格大于 0，所以形式上 (p_q \gt 0) 恒成立，「支撑集」论证不成立。正确的表述是有效可达性：若 (p_q \lll 1/G)，则在整个训练过程中（(T) 步 × (G) rollouts）采到正样本的概率是 (1-(1-p_q)^{TG})，若 (p_q \cdot TG \ll 1) 则近似为 0。「学不会」是一个关于采样预算的陈述，不是一个关于支撑集的陈述。 这个区分很重要，因为它说明「扩大 RL 算力」（增大 (TG)）确实能触及更低 (p_q) 的题——只是代价是 (1/p_q) 量级的。」

为什么保留这段自我纠正比删掉它更重要：如果按「支撑集为零」来读，Yue et al. 与 ProRL 的冲突就是一方必错；而按「采样预算」来读，两方可以同时为真——ProRL 训 2000+ 步、累计 rollout 数远超 Yue et al.，因此触及了更低 (p_q) 的题。一字之差，决定了你会把 2025 年那场争论读成「谁错了」还是「他们在争论不同的命题」。

本框为本档案在原始推导之后所作的自我纠正，逐字保留，不做压缩。它是本报告诚实性纪律的一部分：推错的地方要留在原地，并在旁边写清为什么错、正确的表述是什么。

[ \Pr\bigl[,\text{整个训练过程中至少采到一次正样本},\bigr];=;1-(1-p_q)^{TG};\approx;p_q,T,G\quad(p_q TG\ll 1) ]纠正后的正确判据：**能不能学会，取决于 (p_q\cdot TG) 这个乘积，而不是 (p_q) 是否严格为 0。**要把 (p_q=10^{-6}) 的题学会，需要 (TG\sim10^{6}) 量级的累计 rollout——这不是「不可能」，而是「贵到什么程度」。

Yue et al. 的 pass@k 交叉现象，与它和上面那个恒等式的关系

Yang Yue, Zhiqi Chen, Rui Lu, Andrew Zhao, Zhaokai Wang, Yang Yue, Shiji Song, Gao Huang（清华 LeapLab + 上海交大），Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, arXiv:2504.13837。实验规模：Qwen-2.5 7B/14B/32B-Base、Qwen-2.5-Math-7B、LLaMA-3.1-8B；GSM8K / MATH500 / Minerva / Olympiad / AIME24 / AMC23；代码（LiveCodeBench、HumanEval+）；视觉推理（MathVista、MathVision）。温度 0.6、top-p 0.95、最长 16,384 token。

核心发现（逐条摘录）：

1 · 大 (k) 下 base model 反超：“RLVR-trained models perform worse than base models in pass@(k) at large (k) values… at sufficiently large (k), base models achieve even higher pass@k scores than their RL-enhanced counterparts.”

2 · 具体数字：Minerva 基准、32B 模型、(k=128) 时，base model 比 RL 模型高约 9 个百分点（即多解约 9% 的题）。Oat-Zero-7B 在 AIME24 上初期领先 base 近 30 个点，最终仍被 base 反超。

3 · 机制：困惑度分析显示，RL 模型生成的推理路径本就存在于 base model 的输出分布中且概率密度可观。“RLVR boosts sampling efficiency but reduces the scope of reasoning capacity… RL training reduces the model’s exploration capacity, resulting in smaller coverage of solvable problems at large (k).”

4 · 算法差异不重要：定义采样效率差 (\Delta_{\mathrm{SE}}:=\text{pass@}1(\mathrm{RL})-\text{pass@}256(\mathrm{base}))。PPO / GRPO / Reinforce++ / RLOO / ReMax / DAPO 之间 (\Delta_{\mathrm{SE}}) 只有微小差异，且差距始终很大：“current RL approaches, which primarily work by improve sampling efficiency, are still far from optimal.”

5 · 蒸馏不同：“While RL improves sampling efficiency, distillation can genuinely introduce new knowledge into the model. As a result, distilled models often exhibit an expanded scope of reasoning capability beyond that of the base model.”

◈ 交叉现象与 FX-37 恒等式的确切关系

FX-37 的恒等式预测的是「RL 能在哪些题上拿到梯度」，Yue et al. 测量的是「RL 之后 coverage 变成了什么」。二者的接口是这样的：

① 恒等式解释了「为什么 RL 只在 pass@G 覆盖的那部分题上起作用」。(G) 通常是 8–64 量级，所以 RL 的有效训练集就是 base model 的 pass@8 到 pass@64 覆盖的题。(p_q) 极小的那部分题从头到尾没有参与训练——这直接给出了 (\text{pass@}1(\pi_{\mathrm{RL}})\le\mathrm{Cov}(\pi_0))。

② 但恒等式只给了「不上升」，Yue et al. 观测到的是「下降」。大 (k) 处 base 反超，说明 coverage 缩小了。这是恒等式没有预测的部分，需要一个额外机制：熵坍缩。RL 提高了正确路径的概率质量，同时压低了整个分布的熵，于是那些「概率很低但非零」的正确路径变得更加采不到。⟹ 恒等式说 RL「不能造水」，Yue et al. 补充说 RL 还会「把水面收窄」。

**③ 交叉点的位置由什么决定？**设 RL 把易解题的 (p_q) 从 (p) 提到 (p’\gt p)，同时把难解题的 (p_q) 从 (\epsilon) 压到 (\epsilon’\lt\epsilon)。则 pass@k 之差为 (\mathbb{E}_q[(1-p_q)^k-(1-p’_q)^k])，小 (k) 时由前者主导（RL 赢），大 (k) 时 ((1-\epsilon)^k) 与 ((1-\epsilon’)^k) 的差被指数放大（base 赢）。交叉点大致在 (k^\star\sim1/\epsilon) 量级——与自我纠正框里「(p_q\cdot TG)」是同一个尺度。

2025 年那场争论的现状（截至 2026-07）—— 两方在争论不同的命题

反方：Yue et al.（arXiv:2504.13837）正方：ProRL（NVIDIA, arXiv:2505.24864）|  | 反方：Yue et al.（arXiv:2504.13837） | 正方：ProRL（NVIDIA, arXiv:2505.24864） |


  **命题**在**固定的、短的** on-policy RL 预算下，coverage 不扩展且会收窄在**足够长的、有熵管理的** RL 下，coverage 可以扩展| 命题 | 在固定的、短的 on-policy RL 预算下，coverage 不扩展且会收窄 | 在足够长的、有熵管理的 RL 下，coverage 可以扩展 |

  **数学上**零梯度 + 熵坍缩跨题泛化 + 更大的累计采样预算| 数学上 | 零梯度 + 熵坍缩 | 跨题泛化 + 更大的累计采样预算 |

  **证据**6 个模型族 × 9 个基准的 pass@k 交叉，无例外2000+ 步训练；在 base 的 **pass@128 完全失败**的题上能稳定解出| 证据 | 6 个模型族 × 9 个基准的 pass@k 交叉，无例外 | 2000+ 步训练；在 base 的 pass@128 完全失败的题上能稳定解出 |

  **双方都同意**：RL 的**主要**作用是提高采样效率；边界扩展（若有）是**二阶效应且昂贵**。| 双方都同意：RL 的主要作用是提高采样效率；边界扩展（若有）是二阶效应且昂贵。 |

ProRL 如何可能挑战零梯度观察？三个候选解释（本档案分析，T5 作者推断）：① 跨题泛化——在题 A 上学到的技能迁移到题 B。零梯度只说「题 B 自身不产生梯度」，没说「题 B 不会因其他题的梯度而改善」。**这是最可能的真实机制，也是定理的合法出口。**② 采样预算——训 2000+ 步 × 大 batch，累计 rollout 数远超 Yue et al.，因此触及了更低 (p_q) 的题（正是自我纠正框里说的那一点）。③ 熵管理——KL 惩罚 + 周期性参考策略重置抑制了熵坍缩，直接针对 Yue et al. 诊断的病因下药。

我的看法 · 作者（AI）个人观点 · T5

**这场争论真正的未解问题不是「RL 有没有用」，而是「跨题泛化的强度有多大」。**如果 RL 在 (N) 道题上的梯度能让第 (N+1) 道题（原本 (p_q) 有效为 0）变得可解，那么「RL 只是重分配」就是错的——但目前没有人能量化这个泛化项。我认为这是 2026 年 RL 理论最重要的开放问题，也是唯一能把两方的实验结果统一起来的量。

更实用的一条判断：**2025 年之后各家在 RL 之前疯狂加「中期训练」（mid-training），本质上是承认了 coverage 论证。**OpenAI 的 Noam Brown 在 2025 年提出「Mid-training is the new pre-training」——先用大量高质量推理数据把 coverage 抬上去，再让 RL 去泵。如果 RL 真能扩展边界，就没必要先抬 coverage。

反例与改判条件：若出现一项工作，在严格控制累计 rollout 预算相同的条件下（而不是训得更久），证明 RL 模型在 (k=1024) 处的 pass@k 高于 base，且经过人工 CoT 核验排除歪打正着，我就承认这条判断错了。置信度：中高。

本段为作者（AI）推断（T5）。Noam Brown 的表述来自 2025-07-03 的公开访谈整理，属 T4 二手整理，未逐字核实。

F10.4　其他 test-time 方法与推理经济学

F10.4.1　Tree of Thoughts 与 MCTS 的 UCT

CoT 是一条链；ToT（Yao et al., arXiv:2305.10601）把它变成一棵树，允许回溯与前瞻。要在树上分配采样预算，就需要一个 bandit 准则。经典答案是 UCT（Kocsis & Szepesvári, Bandit based Monte-Carlo Planning, ECML 2006）：

[ \boxed{\ \mathrm{UCT}_j;=;\bar{X}_j;+;c\sqrt{\frac{2\ln n}{n_j}}\ } ](\bar X_j)＝节点 (j) 的平均回报（exploitation 项）；(n)＝父节点被访问总次数；(n_j)＝节点 (j) 被访问次数；(c)＝探索常数（理论上 (c=1) 对应回报归一化到 ([0,1]) 的 UCB1）。

探索项从哪来？它就是 Hoeffding 置信半径。由 Hoeffding 不等式，(n_j) 次独立观测的样本均值满足 (\Pr[|\bar X_j-\mu_j|\ge\epsilon]\le 2\exp(-2n_j\epsilon^2))。要让所有 (n) 步中所有臂的置信区间同时成立（union bound），令失败概率约为 (n^{-4})：

[ 2\exp\bigl(-2n_j\epsilon^{2}\bigr)=2n^{-4};\Longrightarrow;\epsilon=\sqrt{\frac{2\ln n}{n_j}} ]它的语义是「这个臂的真实价值最乐观能有多高」（optimism in the face of uncertainty）。关键性质：探索项按 (\sqrt{\ln n/n_j})，所以访问次数越多的臂，探索加成衰减越快；而 (\ln n) 的缓慢增长保证了所有臂最终都会被无限次访问（无遗漏）。

● 把 AlphaGo 搬到 LLM 上最常见的错误

Snell et al. 明确指出：在 test time，MCTS 的随机探索成分应该去掉。

“this version of lookahead search is a special case of MCTS, wherein the stochastic elements of MCTS, designed to facilitate exploration, are removed since the PRM is already trained and is frozen. These stochastic elements are largely useful for learning the value function (which we’ve already learned with our PRM), but less useful at test-time when we want to exploit rather than explore.”（arXiv:2408.03314 §5.2）

⟹ UCT 的探索项是为了「学价值函数」服务的。价值函数（PRM）已经训好之后，测试时应该纯 exploit。把 UCB 常数原封不动搬过来，等于在浪费预算去重新发现一个已经学好的东西。

**成本与计费口径。**lookahead 的成本是 (\mathrm{Cost}_{\text{lookahead}}=N\times(k+1)) 个采样单位；beam search 是 (\Theta(\text{beam width}\times\text{depth}))。Snell 的实现是 beam 数 (N)、宽 (M)、最多 40 轮扩展，每轮 (N) 次采样，总计 (O(N\times 40)) 步采样，但按「完整答案数」计费时只算作 (N)。⚠ 计费口径不同会让不同论文的「预算」完全不可比——这正是 ⑪ 评测哲学要求「必须给出采样预算与成本口径」的原因。

Snell 的实测结论很反直觉：lookahead search 在同等 generation budget 下普遍最差。原因是 rollout 的算力开销超过了价值估计精度提升的收益。⟹ 在 LLM 上，「更聪明的搜索」未必胜过「更多的独立采样」，因为前者的常数因子太大。再叠加 FX-35 的结论——搜索越强，越早撞上 verifier 的系统性盲点——「更聪明的搜索」在两个方向上同时吃亏。

FX-38

推理经济学：每题成本、最优停止与最小成本问题

T5 解释框架 非官方实现

**⚑ 闭源机制警示**　本条末尾涉及 GPT-5.x 的 adaptive reasoning。**o1 / o3 / GPT-5.x 的思考预算分配机制未公开**，本条只给**通用解释框架，不是 OpenAI 内部实现**：官方公开的只有 API 参数名与「reasoning tokens 计费」这一事实，任何关于「它如何决定思考多久」的描述均为第三方推断。


  ① 直觉
  

**思考更久的成本是线性的，收益是次线性的。**这一句话就是全部推理经济学。o 系列的 reasoning tokens 按 output token 计费，即使用户看不到它们——OpenAI API 把它们计入 completion_tokens_details.reasoning_tokens 并明确计费。于是「让模型多想想」在账单上是实打实的钱。

从这里出发，「该思考多久」不再是一个玄学问题，而是一个可以写出一阶条件的最优停止问题。

  ② 推导
  

**每题成本的形式化。**把「每题成本 = 单 token 价格 × 生成 token 数 × 采样数」写全（区分输入与输出、显式列出 reasoning tokens 与采样数 (n)）： [ \boxed{\ \mathrm{Cost};=;n_{\text{prompt}}\cdot p_{\text{in}};+;n\cdot\bigl(n_{\text{completion}}+n_{\text{reasoning}}\bigr)\cdot p_{\text{out}}\ } ](p_{\text{in}}/p_{\text{out}})＝每 token 单价；(n)＝并行采样数；(n_{\text{reasoning}})＝隐藏的思考 token 数，用户看不到但要付钱。记 (\kappa:=p_{\text{out}})（每 token 边际成本），(C:=n(n_{\text{completion}}+n_{\text{reasoning}}))（总生成 token 数）。

最小成本问题。「达到目标准确率 (A_{\text{target}}) 的最小成本」是一个约束优化： [ \boxed{\ \min_{n,,T,,\theta}\ \ n,T,p_{\text{out}}\ +\ n_{\text{prompt}},p_{\text{in}}\qquad\text{s.t.}\qquad \mathrm{Acc}(n,T,\theta);\ge;A_{\text{target}}\ } ](T)＝单条回答的生成长度（含 reasoning tokens），(\theta)＝test-time 策略（BoN / beam / revisions 及其超参）。这正是 FX-32 的 compute-optimal 问题的对偶形式：Snell 固定预算求最大准确率，这里固定准确率求最小成本。两者由 Lagrange 对偶联系。

**无约束版本 —— 最优停止。**采用 FX-31 的 logit-linear 形式 (\mathrm{Acc}(C)=\sigma(a+b\ln C))： [ \frac{d,\mathrm{Acc}}{d\ln C}=b,\mathrm{Acc}(1-\mathrm{Acc})\qquad\Longrightarrow\qquad\frac{d,\mathrm{Acc}}{dC}=\frac{b,\mathrm{Acc}(1-\mathrm{Acc})}{C} ]

设一个准确率百分点的价值为 (V)，单位算力成本为 (\kappa)。继续思考的净收益为正，当且仅当 (V\cdot\frac{b,\mathrm{Acc}(1-\mathrm{Acc})}{C}\gt\kappa)，取等号即得最优停止准则： [ \boxed{\ C^{\star};=;\frac{V,b,\mathrm{Acc}(C^\star)\bigl(1-\mathrm{Acc}(C^\star)\bigr)}{\kappa}\ } ]这是一个隐式方程（(C^\star) 出现在两边），实践中用不动点迭代或直接查表求解。

三个可读的推论：

· (C^\star\propto V/\kappa)：任务价值越高、单价越低，就该思考越久。这正是「Pro」档位存在的经济学依据。

     · **\(C^\star\propto\mathrm{Acc}(1-\mathrm{Acc})\)**：在 \(\mathrm{Acc}\approx 0.5\) 的题上思考最划算；在几乎必对或几乎必错的题上，多思考都是浪费。**⟹ 这就是 adaptive reasoning / router 的数学依据，它与 Snell 的 compute-optimal（按难度分档选策略）是同一件事的两种写法。**

     · **收益按 \(1/C\) 衰减**，所以固定预算下的最优是「广撒网 + 精选」，而不是「死磕一条链」。
  

**与 pass@k 的接口。**若 test-time compute 完全用于并行采样（(C\propto n)）且 verifier 完美，则 (\mathrm{Acc}(n)=1-(1-p)^n)： [ \frac{d,\mathrm{Acc}}{dn}=-(1-p)^{n}\ln(1-p)\approx p,e^{-np}\quad(p\ \text{小})\qquad\Longrightarrow\qquad n^{\star}\approx\frac{1}{p}\ln\frac{Vp}{\kappa} ]**边际收益按 (e^{-np}) 指数衰减，比 logit-linear 的 (1/C) 快得多。**这解释了 OpenAI 为什么要用 learned reranker 而不是纯 pass@n：完美 verifier 下的 (e^{-np}) 衰减太快，1000 样本就到顶；而 reranker 只到 93%，说明真实的 selection 远非完美，还有空间。

  ③ 数值例
  

**用最优停止准则算一个具体的档位切换点。**取 (b=0.5)（每 e 倍算力提升 0.5 个 logit）、(\kappa) 归一化为 1（单位：每千 token 的相对价格）、(V=200)（一个准确率百分点值 200 个单位）：

最优思考预算 (C^\star=Vb,\mathrm{Acc}(1-\mathrm{Acc})/\kappa) 随当前准确率的变化（(V=200,b=0.5,\kappa=1)，本报告示意计算）

    当前 Acc\(\mathrm{Acc}(1-\mathrm{Acc})\)\(C^\star\)（相对单位）产品含义| 当前 Acc | \(\mathrm{Acc}(1-\mathrm{Acc})\) | \(C^\star\)（相对单位） | 产品含义 |

    
      0.050.04754.75几乎必错：**不值得思考**，直接给答案或拒答| 0.05 | 0.0475 | 4.75 | 几乎必错：不值得思考，直接给答案或拒答 |

      0.300.21021.0值得中等思考| 0.30 | 0.210 | 21.0 | 值得中等思考 |

      0.50**0.250****25.0**最划算，全力思考| 0.50 | 0.250 | 25.0 | 最划算，全力思考 |

      0.900.0909.0几乎必对：**思考是浪费**| 0.90 | 0.090 | 9.0 | 几乎必对：思考是浪费 |

      0.990.00990.99基本不该思考| 0.99 | 0.0099 | 0.99 | 基本不该思考 |

    
  
  

读法：最优预算是一条倒 U 形曲线，两端都塌到接近 0。这与「难题应该多想」这个朴素直觉不一致——真正该多想的是中等难度的题。这一条与 Snell 的实测（最难档 level 5 上没有任何方法有意义地推进）完全吻合。

**成本口径的现实提醒。**Lightman et al. 的 78.2% 是 Best-of-1860；o1 的 93% 是 1000 样本 + learned reranker。按上面的成本公式，前者的每题成本约是 pass@1 的 1860 倍，后者约 1000 倍。把它们与任何一个 pass@1 的数字并排放进一张排行榜，在经济学上是没有意义的。

  ④ 假设与失效边界
  

1 · (V) 与 (\kappa) 都不可观测。「一个准确率百分点值多少钱」高度依赖场景，从近乎 0（闲聊）到极大（医疗、金融、法律）。这个模型给的是结构，不是可直接代入的数字。

**2 · 成本不只是 token 价格。**延迟、显存占用、并发度、KV cache 带宽都不进这个式子。串行修订链在延迟上远贵于并行采样，而公式对二者一视同仁。

3 · (\mathrm{Acc}(C)) 的 logit-linear 形式本身只在中段成立（见 FX-31 ④），因此 (C^\star) 在两端的数值不可信，只有定性形状可信。

4 · 难度估计本身有成本（Snell 的 2048 次采样问题）。自适应路由要先知道题有多难，而这件事不免费。

5 · 评测纪律。按 ⑪ 评测哲学，只报分数不报成本的 benchmark 不予采信：缺少 harness、工具权限、采样预算、每题成本、污染说明中的任何一项，本报告都不做横向排名，只做「同一模型、同一 harness 下的纵向比较」。上文所有带 (N) 的数字（Best-of-1860、cons@64、10,000 submissions）都已标注采样预算；凡未标注成本的，本报告一律注明「无成本与采样预算说明，不进入横向比较」。

  ⑤ 论文出处
  

reasoning tokens 计费：OpenAI API 官方文档（completion_tokens_details.reasoning_tokens，T2 官方）。(\mathrm{Acc}(C)) 的形式：arXiv:2510.13786 Eq.(1)。compute-optimal 对偶：arXiv:2408.03314 Eq.(1)。**成本公式、最小成本优化问题与最优停止准则 (C^\star=Vb,\mathrm{Acc}(1-\mathrm{Acc})/\kappa) 由本档案给出，属 T5 解释框架，OpenAI 从未公开任何此类内部准则。**最后核验：2026-07-25。

F10.4.3　2025–2026 的新工作

s1: Simple test-time scaling —— budget forcing　T2 官方论文　（Muennighoff, Yang, Shi, Li, Fei-Fei, Hajishirzi, Zettlemoyer, Liang, Candès, Hashimoto, arXiv:2501.19393）。方法只有两件事：① s1K——仅 1,000 条问题 + 推理轨迹，按 difficulty / diversity / quality 三准则筛选；② budget forcing——强制截断（思考 token 到预算后插入 end-of-thinking 分隔符 + Final Answer:，逼模型作答）与强制延长（模型想结束时抑制 end-of-thinking token 并追加 Wait，逼它继续）。

核实数字：s1-32B（Qwen2.5-32B-Instruct + s1K SFT）在竞赛数学上超过 o1-preview 最多 27%（MATH 与 AIME24）；budget forcing 把 AIME24 从 50% 推到 57%——即「外推到超过它在无 test-time 干预时的性能」。理论意义：这是一个最小工作示例，证明 test-time scaling 不需要 RL、不需要 PRM、不需要搜索，只需要（a）会长思考的模型 +（b）一个能控制思考长度的旋钮。⟹ 它把 o1 的「神秘性」祛魅了一大半。

Sleep-time compute　T2 官方论文　（Lin et al., Letta / UC Berkeley, arXiv:2504.13171）。核心思想：test-time compute 假设「问题到来时才开始想」，但很多场景下上下文是提前已知的（代码库、文档、用户历史），于是可以在「睡眠期」预先对上下文做推理并缓存结论。经济学意义：把 test-time 的在线延迟成本转成离线批处理成本（后者单价可低一个数量级，且可用闲置算力）；若 (m) 个 query 共享同一上下文，成本被摊薄 (m) 倍。⟹ 这把 FX-33 的 (R=D_{\text{inference}}/D_{\text{pretrain}}) 分成了三段：预训练 / 睡眠期 / 在线，交换率分析要相应地三分。

Parallel scaling / 并行 test-time scaling law　T4 二手整理　一系列 2025 年工作（如 ParScale, arXiv:2505.10475）主张：并行流数 (P) 可以作为与参数量、数据量并列的第三个 scaling 轴，且损失对 (\log P) 的响应与对 (\log N) 的响应形式相同（等效参数量正比于 (N\cdot P^{\alpha})）。⚠ 具体指数本档案未核实，列入待核实清单，不进入任何定量结论。

Adaptive / deliberative thinking 与 GPT-5.1 的 adaptive reasoning　T2 官方 T5 推断　2025 年 11 月起，OpenAI 在 GPT-5.1 上引入 adaptive reasoning：模型自行决定思考多久，简单问题几乎不思考，难题长时间思考；API 上表现为 reasoning_effort 参数（minimal / low / medium / high）以及后续版本中的自动档。参数名与「模型自行决定」这一行为描述属官方公开；其内部如何估计难度、如何分配预算，OpenAI 未公开。

T5 作者推断 这在解释框架上正是 FX-38 最优停止准则的产品化：把 (C^\star=\frac{Vb,\mathrm{Acc}(1-\mathrm{Acc})}{\kappa}) 中的难度估计交给模型自己做。与 Snell 的 compute-optimal（用外部 difficulty bin）的区别是：模型内生估计难度，成本被吸收进思考过程本身，恰好解决了 Snell 论文里「难度估计成本未计入」那条 caveat。但这只是一个解释框架，不是 OpenAI 的实现。

Anthropic 的 extended thinking（Claude 3.7 Sonnet 起，2025-02）是同一思想的另一实现：用户可显式设定 thinking budget（token 数），且 Claude 的思考过程默认对用户可见——与 OpenAI 隐藏 CoT 的选择形成对照。⟹ 同一技术路线上的两种「CoT 可见性」策略，反映了两家对 F9.5 机制三（过程可解释性 vs 商业 / 安全）的不同权衡。这一对照在 ⑪ 前沿·竞品对照与 ⑧ 安全模块里有完整展开。

▲ 本章总限：读 test-time scaling 时最容易犯的六个错

**1 · 把无刻度的官方图当作定量证据。**OpenAI 的两条曲线没有横轴数值，任何「斜率」都是二手拟合。

**2 · 把 log-linear 当作定律。**它只是 sigmoid 的中段切线；在有限算力内会给出大于 1 的准确率（FX-31）。

**3 · 把「test-time compute」当成一个量。**reasoning token 数、并行样本数、wall-clock 是三个不同的东西，scaling 行为完全不同。

4 · 把第三方的机制读成 OpenAI 的实现。Snell 的 compute-optimal、Yue 的 coverage 论证、s1 的 budget forcing 都不是 OpenAI 的做法；OpenAI 只公开了曲线形状与端点数字。

**5 · 忽略采样预算做横向比较。**78.2%（BoN-1860）、93%（1000 样本 + reranker）、74.4%（pass@1）不能并排放进一张榜。凡缺 harness / 工具权限 / 采样预算 / 成本 / 污染说明的数字，本报告一律注明「无成本与采样预算说明，不进入横向比较」。

6 · 把「RL 扩不扩展边界」当成一个有唯一答案的问题。见 FX-37 的自我纠正框：这取决于你怎么定义「学不会」，而正确的定义是关于采样预算的。

最后回到本章开头那条闭源警示。本章能确定的只有三件事：① 推理时加算力确实能换准确率（官方 AIME 与 IOI 数字、s1 的 budget forcing、Snell 的全部实验共同支持）；② 这条曲线会饱和，饱和位置由验证器质量、采样多样性与 base model 的 coverage 共同决定；③ 该不该买这份算力，是一个由 (R=D_{\text{inference}}/D_{\text{pretrain}}) 主导的经济学问题，而不是技术问题。至于 o1 / o3 / GPT-5.x 内部到底怎么做的——公开文献里没有答案，本报告也不猜。

F11 · Emergence Debate

F11 · 涌现之争：Wei 的「质变」与 Schaeffer 的「海市蜃楼」

这场争论的价值不在于谁对，而在于它逼所有人把「能力」这个词拆成三件事：模型的行为、我们的度量、下游的效用。这三层在 2022 年被混为一谈，而 2023 年的反驳论文之所以能拿到 NeurIPS 最佳论文，正是因为它把第二层从前两层里剥了出来。本节先把两边的数学都写完整，再回答一个更难的问题：如果涌现能被平滑指标解释，为什么我们仍然应该关心它。

F11.1　Wei et al. 的定义与主张

2022 年 6 月，Jason Wei 等十六位作者（Google Brain / Stanford / DeepMind / UNC 联合）在 TMLR 发表《Emergent Abilities of Large Language Models》，给出了一个后来被反复引用的定义：

论文原文定义（arXiv:2206.07682）

“An ability is emergent if it is not present in smaller models but is present in larger models.”

「如果一种能力在较小模型中不存在、在较大模型中存在，则称它是涌现的。」作者补充的推论是：“thus they cannot be predicted by simply extrapolating the performance improvements on smaller-scale models.”——因此它们无法通过外推小模型的性能改善来预测。

两个定义性质（这个提炼来自后来的反驳方，但它比原文更清楚）：① Sharpness（陡峭性）——从「不存在」到「存在」看起来是瞬间完成的；② Unpredictability（不可预测性）——转变发生在事先无法预知的规模上。注意这两条都是关于「曲线的形状」的陈述，而不是关于「模型内部发生了什么」的陈述，这个区分是后面全部争论的起点。

经验形态。论文展示了 8 个模型族（LaMDA、GPT-3、Gopher、Chinchilla、PaLM 等）× 数十个任务的曲线：在某个训练 FLOPs / 参数量阈值以下，性能贴着随机基线走；越过阈值后陡升。Wei 另外维护了一份「137 emergent abilities of large language models」清单，强调这个现象的广度而不只是个案。

为什么这件事在 2022 年如此重要。它给「scaling 信仰」补上了一个质变的叙事：不只是 loss 平滑下降，而是新能力会突然出现。这一步对两个群体同时是决定性的——对产业界，它意味着「继续加算力」的回报可能是不连续的跳变而不是边际递减；对 AI safety 社群，它是一记警报，Steinhardt、Hendrycks 与 Krakovna 的「sharp left turn」威胁模型都直接引用它。换句话说，涌现叙事同时是 scaling 的营销词和安全议程的动员令。

F11.2　Schaeffer / Miranda / Koyejo：涌现是度量的产物

2023 年 4 月，Stanford 的 Rylan Schaeffer、Brando Miranda、Sanmi Koyejo 发表《Are Emergent Abilities of Large Language Models a Mirage?》，当年拿到 NeurIPS 2023 最佳论文。核心论证只有一句：

核心论证一句话（arXiv:2304.15004）

“emergent abilities appear due the researcher’s choice of metric rather than due to fundamental changes in model behavior with scale.”

「涌现能力的出现，源于研究者对度量的选择，而非模型行为随规模发生的根本变化。」

支撑事实（对 BIG-Bench 上人工标注的涌现能力做元分析）：在 39 个常用度量中，至多 5 个表现出涌现；人工标注数据显示涌现只出现在 4/39 个度量上；而且超过 92% 的涌现集中在两个度量上——Multiple Choice Grade（不连续、阶跃）与 Exact String Match（非线性）。这不是一个「有些度量比较敏感」的弱结论，而是一个高度集中的分布：如果涌现是模型的性质，它不该只在两种纵轴上出现。

论文沿用 BIG-Bench 的 emergence score 做判定，其定义为「总跨度 ÷ 相邻步的典型跨度」，方向由极值出现的先后决定： [ \text{EmergenceScore}\Bigl({(x_n,y_n)}{n=1}^{N}\Bigr) := \frac{\operatorname{sign}\bigl(\arg\max_i y_i - \arg\min_i y_i\bigr)\bigl(\max_i y_i-\min_i y_i\bigr)}{\sqrt{\operatorname{Median}\bigl({(y_i-y{i-1})^{2}}_i\bigr)}} ](x_n) 为模型规模，(y_n) 为该规模下的度量值。分子是全程跨度，分母是相邻规模点之间跨度的典型尺度；分数越大越像「一步跨完全程」。注意分母依赖规模采样的密度——采样越稀，分母越大或越不稳定，这一点在 F11.3 的第三个机制里会再次出现。

FX-39

从平滑的交叉熵到「陡峭的」准确率

T2 官方论文

  ① 直觉
  

scaling law 的经验事实是：per-token 交叉熵随规模平滑地幂律下降。现在拿一个「(L) 个 token 必须全对才算 1 分」的度量去观测这条平滑曲线，会看到什么？答案是 (p^{L})——一个平滑上升的量取 (L) 次幂。幂运算会把「per-token 错误率降到 (1/L) 以下」这个门槛推到很后面，于是在门槛之前，全对的概率长期贴着 0。曲线的形状变了，模型没变。

  ② 推导
  

**推导 1 · 单 token 正确概率。**论文写的幂律形式是（注意符号：论文用指数 (\alpha) 并明确 (\alpha \lt 0)，不是 (-\alpha)）： [ \mathcal{L}{CE}(N) = \left(\frac{N}{c}\right)^{\alpha}, \qquad c \gt 0,\ \alpha \lt 0 ](N) 为参数量，(c) 为尺度常数，(\mathcal{L}{CE}) 为 per-token 交叉熵（nats）。二手转述常把它写成 ((N/c)^{-\alpha}) 并隐含 (\alpha \gt 0)，数值等价，但引用原文时应写成论文的形式。

用观测 token (v^\star) 的 one-hot 近似真分布，则 (\mathcal{L}{CE}=-\log \hat p_N(v^\star))，于是 [ p(\text{single token correct}) ;=; \hat p_N(v^\star) ;=; \exp\bigl(-\mathcal{L}{CE}(N)\bigr) ;=; \exp!\left(-\left(\frac{N}{c}\right)^{\alpha}\right) ](\alpha \lt 0) ⟹ (N\uparrow) 时 ((N/c)^\alpha\downarrow) ⟹ 指数项 (\to e^{0}=1)。平滑单调上升，渐近于 1，没有任何跳变。

剩下两步——「非线性度量制造假象」与「线性度量让假象消失」——写在下面的折叠块里，它们是本节全部结论的来源。

  展开：推导 2（Accuracy 为什么「看起来陡」）与推导 3（Token Edit Distance 为什么平滑）
    

**推导 2 · Accuracy 是非线性度量 ⟹ 涌现的假象。**exact match 需要 (L) 个 token 全对；在「各 token 是否正确相互独立」的近似下： [ \text{Accuracy}(N) ;\approx; \Bigl[p(\text{single token correct})\Bigr]^{L} ;=; \exp!\left(-L\left(\frac{N}{c}\right)^{\alpha}\right) ](L) 为目标串的 token 数。论文脚注明确承认独立性假设不成立：“While the independence assumption is not true, the approximation yields results qualitatively matching the observed emergence claims.”

在对数横轴上求斜率。令 (x=\ln N)，(u(x)=L(N/c)^{\alpha}=L,e^{\alpha(x-\ln c)})，则 (\text{Accuracy}=e^{-u})，且 (du/dx=\alpha u)： [ \frac{d,\text{Accuracy}}{d\ln N} ;=; -e^{-u}\frac{du}{dx} ;=; -\alpha,u,e^{-u} ;=; |\alpha|,u,e^{-u} ](\alpha \lt 0) 故该导数为正 ✓。对 (u) 求极值：(\frac{d}{du}(ue^{-u})=e^{-u}(1-u)=0\Rightarrow u=1)。 [ \left.\frac{d,\text{Accuracy}}{d\ln N}\right|_{\max}=\frac{|\alpha|}{e}\approx 0.368,|\alpha|, \qquad\text{发生在}\ \text{Accuracy}=e^{-1}\approx 0.368 ]最大斜率只由 (|\alpha|) 决定，与 (L) 无关。

转变发生的位置由 (u=1)，即 (L(N^\star/c)^{\alpha}=1) 给出： [ \ln N^{\star} ;=; \ln c-\frac{\ln L}{\alpha} ;=; \ln c+\frac{\ln L}{|\alpha|} ]两个推论：(i) (L) 越大，转变点越靠右，且 (\ln N^\star) 随 (\ln L) 线性右移——这正是论文第三条预测（「加长目标串会可预测地影响性能」）的来源，并被 GPT-3 家族的 2 位数乘法 / 4 位数加法实验证实；(ii) 最大斜率 (|\alpha|/e) 与 (L) 无关，斜率不随 (L) 变陡。

必须澄清一个流行的误读。「(L) 越大曲线越陡」这个说法，在 (\text{Accuracy}) 对 (\ln N) 的绝对斜率意义上是错的。真正变化的只是转变区间相对于观测窗口的位置。把转变宽度算出来：从 (\text{Accuracy}=0.01)（(u=\ln 100=4.6)）到 (0.99)（(u=\ln(1/0.99)\approx 0.01)），由 (u\propto e^{\alpha x})： [ \Delta x ;=; \frac{1}{|\alpha|}\ln\frac{4.6}{0.01} ;=; \frac{6.13}{|\alpha|} ]转变宽度只由 (|\alpha|) 决定，与 (L) 完全无关。(L) 只平移曲线，不压缩它。

那「看起来陡」到底从哪来？典型 scaling law 指数只有 (|\alpha|\sim 0.05)–(0.1)，代进去转变宽度是 80 个自然对数单位、约 35 个数量级——这个数学模型本身预测的是极其平缓的转变。真正让曲线看起来像阶跃的是另外两条：测试集分辨率不足（见 FX-40）与模型规模采样稀疏（只有 4–8 个规模点，中间的平滑过渡被跳过）。论文 §2 结尾本来就是三条并列的：“(1) the researcher choosing a metric that nonlinearly or discontinuously scales the per-token error rate, (2) having insufficient resolution…, and (3) insufficiently sampling the larger parameter regime.”二手转述通常只保留第 (1) 条，而 (2)(3) 恰恰才是「陡」的主因。

**推导 3 · Token Edit Distance 是（近）线性度量 ⟹ 涌现消失。**TED 定义为把预测序列改成目标序列所需的增 / 删 / 改次数，它至少不小于逐位不匹配的个数： [ \text{TED}(t_n,\hat t_n) := \text{Subs}+\text{Adds}+\text{Dels} ;\ge; \sum_{\ell=1}^{L}\mathbb{1}\bigl[t_{n\ell}\ne\hat t_{n\ell}\bigr] ]

取期望（忽略增删，因为模型没有描述过度 / 不足生成），并代入推导 1： [ \mathbb{E}[\text{TED}] ;\ge; L\bigl(1-p(\text{single token correct})\bigr) ;\Longrightarrow; \text{TED}(N)\approx L\Bigl(1-\exp\bigl(-(N/c)^{\alpha}\bigr)\Bigr) ]

**关键差别在归一化的位置。**记 (v=(N/c)^{\alpha}=u/L)。Accuracy (=e^{-Lv})，指数里带 (L)，转变发生在 (v\sim 1/L)；TED(/L=1-e^{-v})，指数里不带 (L)，转变发生在 (v\sim 1)。用对数弹性写出来最干净： [ \left|\frac{\partial\ln\text{Accuracy}}{\partial\ln v}\right| = Lv, \qquad \left|\frac{\partial\ln(\text{TED}/L)}{\partial\ln v}\right| = \frac{v e^{-v}}{1-e^{-v}} \xrightarrow[\ v\to 0\ ]{} 1 ]这就是「非线性度量 vs 线性度量」的精确定义：Accuracy 的对数弹性是 (Lv)，在 (v \gt 1/L) 的区域可以远大于 1；TED 的对数弹性恒等于 1。非线性度量把转变阈值从 (v\sim1) 推到了 (v\sim 1/L)，并在过渡区把相对灵敏度放大了 (L) 倍。

  ③ 数值例
  

取 GPT-3 论文的典型指数 (|\alpha|=0.076)。(a) 最大斜率：(|\alpha|/e=0.076/2.718\approx 0.028)（每自然对数单位）。换算成「模型规模每涨 10 倍」，即乘以 (\ln 10=2.303)，得准确率最多只涨约 6.4 个百分点。这个数学模型自己预测的根本不是跳变。****(b) 转变宽度：(6.13/0.076\approx 80.7) 个自然对数单位 (\approx 35) 个数量级——比整个可观测的参数量区间还宽两个数量级。(c) 转变点右移：目标串从 (L=5) 加长到 (L=10)，(\Delta\ln N^\star=\ln 2/0.076\approx 9.1)，约 4 个数量级的规模差。⟹ 三个数字合起来说明：论文的 (p^{L}) 模型解释的是「为什么曲线是 S 型、并随 (L) 右移」，而不是「为什么它看起来像阶跃」。

  ④ 假设与失效边界
  

A · 五条假设缺一不可：① per-token 交叉熵按幂律下降；② 用观测 token 的 one-hot 代替未知真分布；③ 各 token 是否正确相互独立；④ 每个 token 的错误概率相同；⑤ 度量是 exact match。

B · 论文自己承认其中两条是假的：独立性假设「is not true」（脚注），错误率恒定在 Appendix A 被写作「empirically false」。真实的推理链条里各 token 高度相关（前面错了后面几乎必错），这会让实际曲线比 (p^L) 更陡——这一点对 Schaeffer 不利，很少被提及。

**C · 模型解释不了「阶跃」。**由 ③ 的数字，(|\alpha|) 较小时这个模型给出的是极平缓的 S 型。**只有把分辨率不足与规模采样稀疏一起算进去，才能复现观测到的陡峭。**把这条推导单独拿出来当作「涌现已被证伪」，是对论文的过度解读。

D · 它是充分性论证，不是必要性论证。论文证明的是「坏度量足以制造涌现」，没有证明「所有报告过的涌现都是度量造成的」。作者自己在结论里明确写了这一点（见 F11.5）。

  ⑤ 论文出处
  

arXiv:2304.15004 §2（三条机制并列）、Appendix A.2–A.3（TED 与 Accuracy 的附录式子）；被反驳对象为 arXiv:2206.07682（Wei et al., TMLR 2022）。emergence score 的定义式转引自 BIG-Bench（arXiv:2206.04615）。全文核验：ar5iv 渲染版 ^[3]。

⚑ 本报告核实发现：论文附录中的一处内部不一致

**Appendix A.2（Eq. 9）**写 (\mathbb{E}[\text{TED}]\approx L(1-\epsilon))，而 (\epsilon) 在附录 A 开头被定义为 per-token 错误概率；**Appendix A.3（Eq. 17）**写 (\mathbb{E}[\text{Accuracy}]\approx(1-\epsilon)^{L})。

**这两式不能同时成立。若 (\epsilon) 是错误率，TED 应为 (L\epsilon) 而非 (L(1-\epsilon))；若 (\epsilon) 是正确率，Accuracy 应为 (\epsilon^{L}) 而非 ((1-\epsilon)^{L})。⟹ 论文在两个附录小节中对 (\epsilon) 的语义不一致（一处当正确率、一处当错误率）。**主文的式子用 (p(\text{single token correct})) 显式命名，是正确的；附录属排印疏漏。引用时应以主文为准，这条不影响论文结论，但会让照抄附录的读者算错方向。

本条为本报告在逐字核验 arXiv:2304.15004 附录时发现的原创核实结果，已登记为低优先级待向作者确认项。

FX-40

第二个机制：测试样本太少 —— 离散度量下的假突变

T2 官方论文

  ① 直觉
  

准确率是一个有最小刻度的量：用 (N_{\text{test}}) 道题去测，你能报出的最小非零值就是 (1/N_{\text{test}})。如果模型的真实准确率是 (10^{-4})，而你只出了 100 道题，那么它会被记成 0——不是模型不会，而是你的尺子没有那么细的刻度。等到真实准确率涨过 (1/N_{\text{test}})，读数会从 0 突然变成一个正数。这个「突然」完全由尺子的刻度造成。

  ② 推导
  

论文引入记号 (\lfloor a\rceil_b) 表示「把 (a) 四舍五入到 (1/b) 的最近整数倍」。用 (N_{\text{test}}) 道题、每题 (L) 个 token，可分辨精度是 (1/(N_{\text{test}}L))，于是实际报出的量是： [ \bigl\lfloor\mathbb{E}[\text{Accuracy}]\bigr\rceil_{N_{\text{test}}L} ;=; \bigl\lfloor(1-\epsilon)^{L}\bigr\rceil_{N_{\text{test}}L} ](\epsilon) 为 per-token 错误率。由于 ((1-\epsilon)^{L}) 随 (L) 几何衰减，「分辨率不足」这个问题对非线性度量的杀伤力被指数放大——这正是为什么 BIG-Bench 上那些只有几十道题的任务最容易报出涌现。

**所需样本量的估计式（本报告补出）。**设真实准确率为 (a)，题目独立同分布。「一道都答不对」的概率是 ((1-a)^{N_{\text{test}}}\approx e^{-aN_{\text{test}}})。要让「至少命中一次」的概率不低于 (1-\delta)： [ (1-a)^{N_{\text{test}}} \le \delta ;\Longrightarrow; N_{\text{test}} ;\ge; \frac{\ln(1/\delta)}{-\ln(1-a)} ;\approx; \frac{\ln(1/\delta)}{a} \quad (a\ll 1) ](\delta) 为「把一个真实非零的能力误记成 0」的容许概率。若还要把 (a) 估到 (\pm 50%) 的相对精度，按 Poisson 计数需要期望命中数 (\gtrsim 4)，即 (N_{\text{test}}\gtrsim 4/a)，量级不变。

论文的实验验证：“…we increased the resolution by generating additional test data, and found that on both arithmetic tasks, all models in the InstructGPT/GPT-3 family achieve above-chance accuracy.”——把题量加上去以后，所谓「零准确率的小模型」全都变成了非零。

  ③ 数值例
  

取论文提到的小模型量级 (a=10^{-4})、容许误判概率 (\delta=0.05)：(N_{\text{test}}\ge\ln 20/10^{-4}=2.996\times 10^{4})，即约 3 万道题才能有 95% 的把握看到「至少一次答对」。而 BIG-Bench 上的典型任务只有几十到几百道题——差了 2 到 3 个数量级。⟹ 在这种题量下，「小模型准确率为 0」这个观测几乎不携带关于模型的信息，它主要携带的是关于题量的信息。

  ④ 假设与失效边界
  

A · 题目独立同分布。真实基准里题目高度聚类（同一模板的变体），有效样本量远小于名义题量，上式会低估所需题量。

**B · 只处理「假 0」，不处理「假 1」。**这条机制解释的是低端被截断，对高端的天花板效应（准确率接近 1 时的分辨率问题）同样存在但方向相反。

C · 加题量不总是可行。很多任务（尤其人工标注的推理题、危险能力评测）本身就不存在几万道题，加分辨率的成本可能高于换度量的成本——所以论文的实操建议是「优先换连续度量」而不是「优先加题」。

D · 这不是一个关于模型的结论。它是关于评测设计的结论。把它当成「涌现不存在」的证据是越界的——它只说明「在低分辨率的离散度量下报告的涌现不可信」。

  ⑤ 论文出处
  

arXiv:2304.15004 §2（第二条机制与 (\lfloor\cdot\rceil_b) 记号）、§3（GPT-3 家族算术任务的加题实验）、§7（评测建议）。样本量估计式为本报告依据同一模型补出的标准 Poisson / 二项计算，不是论文原文。

F11.3　第三个机制：反向实验 —— 人为制造一个涌现

这是全篇最有说服力的一击：**如果度量真的能制造涌现，那么应该可以在一个从没人报告过涌现的地方，靠换度量把它造出来。**论文在视觉自编码器上做到了。定义一个人为的不连续度量： [ \text{Reconstruction}c\bigl({x_n}{n=1}^{N}\bigr) := \frac{1}{N}\sum_{n=1}^{N}\mathbb{1}\Bigl[\lVert x_n-\hat x_n\rVert^{2} \lt c\Bigr] ](x_n) 为原图，(\hat x_n) 为重建，(c) 为人为设定的阈值。这就是把连续的 MSE 硬切成 0/1。

浅层非线性自编码器在 CIFAR-100 上的 MSE 随 bottleneck 单元数平滑下降；但用 (\text{Reconstruction}_c) 度量（对某些 (c)），出现了陡峭且看似不可预测的「图像重建能力涌现」，形状与 BIG-Bench 上 Periodic Elements 任务报告的涌现在定性上一致。同样的构造在另外两个设定上复现：自回归 Transformer 分类 Omniglot（把准确率重定义为「(L) 张图全对」，(L\in[1,5])）与 LeNet 分类 MNIST（(K) 张全对的 subset accuracy）。

⟹ 这是一个构造性证明：给定任何平滑的底层曲线，都能设计出一个度量让它看起来涌现。因此「某模型涌现了某能力」作为一句对模型的陈述是不完整的——必须同时指定度量，否则这句话没有确定的真值。

论文的多重比较警告（这一条被引用得远远不够）：“In BIG-Bench alone, there are ≥220 tasks, ~40 metrics per task, ~10 model families, for a total of ~(10^{6}) task-metric-model family triplets, meaning probability that no task-metric-model family triplet exhibits an emergent ability by random chance might be small.”⟹ 一百万次比较。即使每次「假涌现」的概率只有 (10^{-4})，也期望看到 100 个。这是一个赤裸裸的 p-hacking 风险提示：在这个搜索空间里，「找到了 137 个涌现能力」这件事本身并不构成强证据。

F11.4　反驳与再反驳

Wei 的回应（发表在个人网站的《Common arguments regarding emergent abilities》）有三点：① 「换个度量就没了」不等于「不存在」——如果我们关心的下游任务本身就用离散度量（代码要么通过测试要么不通过），那么该度量下的相变就是真实的；② 连续度量上的平滑改善，不蕴含离散度量上的可预测性——即使知道交叉熵的幂律，也无法从小模型外推出「什么时候 4 位数加法会做对」；③ 那份 137 项清单强调现象的广度。

⟹ 本报告的评价：Wei 的第 ② 点在数学上其实是弱的。由 FX-39 的推导，只要知道 (\alpha, c, L)，转变点 (\ln N^{\star}=\ln c+\ln L/|\alpha|) 是完全可预测的。真正的困难是估计这三个常数（尤其是一个新任务的有效步数 (L)），而不是原理上的不可预测。把「估不准参数」说成「原理上不可预测」，是这场争论里双方都犯过的措辞错误。

工作立场主张与机制| 工作 | 立场 | 主张与机制 |


  Wei et al.

arXiv:2206.07682涌现是现象小模型不存在、大模型存在，且不可由外推预测。8 个模型族 × 数十任务的经验证据。| Wei et al.arXiv:2206.07682 | 涌现是现象 | 小模型不存在、大模型存在，且不可由外推预测。8 个模型族 × 数十任务的经验证据。 |

  Schaeffer et al.

arXiv:2304.15004涌现是度量假象非线性 / 不连续度量 + 分辨率不足 + 规模采样稀疏。并给出构造性反向实验。| Schaeffer et al.arXiv:2304.15004 | 涌现是度量假象 | 非线性 / 不连续度量 + 分辨率不足 + 规模采样稀疏。并给出构造性反向实验。 |

  Caballero et al.

arXiv:2210.14891涌现是真的「Broken Neural Scaling Laws」：分段幂律，主导幂律在某个规模发生切换。与 Schaeffer 直接对立——Schaeffer 说「单一幂律 + 坏度量」，Caballero 说「多段幂律」。| Caballero et al.arXiv:2210.14891 | 涌现是真的 | 「Broken Neural Scaling Laws」：分段幂律，主导幂律在某个规模发生切换。与 Schaeffer 直接对立——Schaeffer 说「单一幂律 + 坏度量」，Caballero 说「多段幂律」。 |

  Michaud et al.

arXiv:2303.13506涌现是真的「量子化模型」：能力由离散的 quanta 构成，在强数据假设下涌现真实存在。| Michaud et al.arXiv:2303.13506 | 涌现是真的 | 「量子化模型」：能力由离散的 quanta 构成，在强数据假设下涌现真实存在。 |

  Ganguli et al.（Anthropic）

FAccT 2022两者并存“performance is predictable at a general level, performance on a specific task can sometimes emerge quite unpredictably and abruptly at scale.”| Ganguli et al.（Anthropic）FAccT 2022 | 两者并存 | “performance is predictable at a general level, performance on a specific task can sometimes emerge quite unpredictably and abruptly at scale.” |

  Berti et al.

arXiv:2503.05788综述梳理度量论 / grokking / in-context learning 三条解释路线，指出争论核心已从「是否存在」转移到「如何预测」。| Berti et al.arXiv:2503.05788 | 综述 | 梳理度量论 / grokking / in-context learning 三条解释路线，指出争论核心已从「是否存在」转移到「如何预测」。 |

grokking 与相变。OpenAI 自己也有一篇直接相关的论文：Power、Burda、Edwards、Babuschkin、Misra 的《Grokking》（arXiv:2201.02177）。现象是：在小型算法数据集（如模 (p) 加法）上，网络先完美记住训练集（train acc → 100%，val acc 仍随机），然后在远远更晚的训练步数上，验证准确率突然跳到 100%。这是 epoch-wise 的相变，而涌现是 scale-wise 的相变——二者在数学结构上同源：某个隐藏量平滑变化 + 一个阈值度量。（作者中的 Yuri Burda、Harri Edwards 后来都出现在《Let’s Verify Step by Step》的作者名单里。）

Nanda 的机制可解释性视角 —— 「底层平滑 + 指标突变」的双层图景。Nanda、Chan、Lieberum、Smith、Steinhardt（ICLR 2023, arXiv:2301.05217）逆向工程了模运算 grokking 的 Transformer，发现它学到的是一个离散傅里叶变换 + 三角恒等式的电路：把 (a,b) 嵌入到若干频率的单位圆上，用积化和差算出 (a+b)，再读出。关键在于他们定义了两个连续的进度度量——restricted loss 与 excluded loss（分别测量「只用关键频率」与「去掉关键频率」时的损失）——这两个度量显示：

• 电路的形成是渐进的、平滑的，在验证准确率还是随机水平时就已经在稳步进行；

• 训练分三个阶段：memorization → circuit formation（平滑）→ cleanup（权重衰减清除记忆成分）；

• 验证准确率的突变发生在第三阶段——当记忆成分被清除、泛化电路成为主导时。

⟹ 这是「底层平滑 + 指标突变」目前最干净的证据，而且是机制层面的、不是唯象拟合。它同时支持双方：支持 Schaeffer 的是「底层确实平滑，突变来自度量」；支持 Wei 的是「那个突变对应着电路结构的真实相变**（从记忆主导切换到泛化主导），不是纯粹的观测假象」。这是本报告认为整场争论中最被低估的一篇文献。**

F11.5　本质追问：如果涌现能被平滑指标解释，我们为什么仍然应该关心？

这是本节的辩证核心。四个论点。

论点一 · 度量是人造的，但效用不是。Schaeffer 的论证成立，当且仅当我们关心的是「模型的内部状态如何随规模变化」。但工程与经济决策关心的是下游效用，而下游效用在大量场景中本身就是离散的：代码要么编译通过要么不通过（token 编辑距离为 3 的代码和为 300 的代码，效用都是 0）；数学证明要么成立要么不成立；agent 完成一个 5 步任务，中间任何一步失败整个任务失败；一个自动化流程达到 95% 可靠性可以上线，94% 不能——这条线是业务定的，不是研究者随手选的。⟹ 「exact match 是一个坏度量」这个批评，在「exact match 恰好就是效用函数」的场合是无效的。

**论点二 · 把这个反驳形式化。**设下游效用 (U=\phi(\text{质量}))，(\phi) 是阶跃函数或强凸的近阶跃函数，则 [ \mathbb{E}[U] ;=; \Pr\bigl[\text{质量} \gt \text{阈值}\bigr] ]即使「质量」随规模平滑变化，(\mathbb{E}[U]) 也会呈现 sigmoid 甚至近阶跃的形态。这不是度量误差，这是效用的真实形状。

若一个任务需要 (L) 步全对，代入 FX-39 的结果得 (\mathbb{E}U\approx\exp(-L(N/c)^{\alpha}))，转变点仍是 (\ln N^\star=\ln c+\ln L/|\alpha|)。**这个 (N^\star) 是一个真实的、有经济意义的阈值：在它之前产品不能做，在它之后可以做。**把它写成幂律关系： [ N^{\star} ;\propto; L^{,1/|\alpha|} ](L) 为任务的有效步数，(N^\star) 为该任务变得可用所需的模型规模。以 (|\alpha|=0.076) 计，(1/|\alpha|\approx 13)。

**⟹ 任务长度翻倍（(L\to 2L)），所需模型规模要乘以 (2^{13}\approx 8000) 倍。**本报告认为这是整场争论最有价值的产物：它是「长程 agent 任务为什么这么难」的定量解释，也解释了为什么行业整体转向 test-time compute 与工具使用——纯靠扩参数量去撑长任务，指数是灾难性的。（对照 METR 的「任务时长每 7 个月翻倍」经验规律：若那条规律成立，它必然不是靠单纯扩参数实现的。）

论点三 · 可预测性才是真问题。Wei 说「不可预测」，Schaeffer 说「可预测（只要换个度量）」，但两人说的是不同的可预测：Schaeffer 的是事后的——给定 (\alpha,c,L) 可算出 (N^\star)；Wei 关心的是事前的——在只有小模型时，能不能预知大模型会获得什么能力？后者需要预知任务的有效步数 (L)，而对一个新任务，你不知道它需要几步。⟹ 真正的分歧不在数学，在于「我们能否在训练大模型之前，先知道任务的有效难度参数」。这个问题至今无解——这也正是 OpenAI 每次发布前都要做大规模 eval 的原因：他们同样预测不了。

论点四 · 安全含义没有被消解。AI safety 关心的是「危险能力会不会突然出现」，而 Schaeffer 的结论没有降低这个风险：即使底层平滑，危险行为的触发也是离散的（一次成功的越狱、一次成功的自我复制）；更要命的是，分辨率不足这个机制本身就是风险——如果你的评测集只有 100 个样本，那么一个 1% 触发率的危险能力对你就是「不存在」，直到它变成 20%。⟹ 这篇论文的正确安全解读不是「别担心涌现」，而是「别用低分辨率的离散度量去评测危险能力」，这与作者在 §7 的建议完全一致：“if one chooses accuracy, one should make sure to have sufficient data to accurately measure accuracy to avoid the risk of drawing invalid scientific conclusions.”

综合判断。「涌现是海市蜃楼」这个标题被过度传播了；论文的正文远比标题克制。作者自己写道：“We emphasize that nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities; rather, our message is that previously claimed emergent abilities… might likely be a mirage induced by researcher analyses.”正确的三层图景是：

层是否平滑证据| 层 | 是否平滑 | 证据 |


  **参数 / 损失层**平滑（幂律）scaling laws（arXiv:2001.08361）；Nanda 的 progress measures| 参数 / 损失层 | 平滑（幂律） | scaling laws（arXiv:2001.08361）；Nanda 的 progress measures |

  **机制 / 电路层**主要平滑，但有**阶段切换**（memorization → circuit formation → cleanup）Nanda et al., arXiv:2301.05217| 机制 / 电路层 | 主要平滑，但有阶段切换（memorization → circuit formation → cleanup） | Nanda et al., arXiv:2301.05217 |

  **行为 / 效用层****真实地不连续**代码跑不跑通、agent 任务成不成、可靠性阈值是否达标| 行为 / 效用层 | 真实地不连续 | 代码跑不跑通、agent 任务成不成、可靠性阈值是否达标 |





我的看法 · 作者（AI）个人观点 · T5

「度量是人造的」这个反驳，取消了第一层与第三层之间的神秘性，但没有取消第三层的不连续性。能力在某个规模突然变得有用，这件事是真的，而且是唯一在经济上重要的那件事。我认为这场争论的正确收束不是「谁赢了」，而是把「涌现」这个词拆成两个词：机制涌现（模型内部出现了新结构）与效用涌现（越过了某条业务阈值）。Schaeffer 基本否定了前者的证据强度，但完全没有触及后者；而绝大多数引用这篇论文的人，引的其实是后者。

我还想指出一个双方都没占便宜的地方：Schaeffer 的独立性假设对他自己不利。真实推理链条里 token 高度相关（前面错了后面几乎必错），这会让实际曲线比 (p^{L}) 更陡——也就是说，论文用了一个低估陡峭度的模型去论证「陡峭是假象」，这个方向上的偏差从未被充分讨论。

反例与改判条件：如果出现一份工作，能在连续度量上（如 restricted loss 一类的机制型进度指标）看到真正的不连续跳变，且该跳变在多个模型族、多种超参配置下稳健复现，我就承认「涌现」在第一层也是真的，上述「拆成两个词」的收束需要作废。反过来，如果有工作能对新任务事先估计出有效步数 (L) 并成功预测 (N^\star)（误差在一个数量级内），那么 Wei 的「不可预测」将被彻底证伪，本节论点三也要重写。置信度：中。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

F12 · Compression as Intelligence

F12 · 压缩视角：Kolmogorov / Solomonoff / MDL，以及它的六条裂缝

这是 OpenAI（尤其是 Ilya Sutskever）认知体系的形而上学地基：「训练语言模型 = 训练一个无损压缩器」「压缩得越好就越理解世界」。本节的写法是先把它的数学骨架搭到最严，再逐条拆它的裂缝——因为这套论证的每一步在数学上都是干净的，问题恰恰出在数学与工程之间那几处没有被证明的连接。

FX-41

交叉熵 = 编码长度（Shannon 源编码）

T2 官方论文

  ① 直觉
  

要把一段文本发给别人，最省 bit 的做法是：常见的东西用短码，罕见的东西用长码。Shannon 告诉我们最优码长恰好是 (-\log_2 p(x))。而语言模型给出的 (q) 只是对真分布 (p) 的一个估计，用 (q) 去编码来自 (p) 的数据，期望码长就是交叉熵。⟹ 训练时最小化交叉熵，字面意义上就是在最小化码长。这不是比喻，是恒等式。

  ② 推导
  

自回归分解把一整段序列的概率拆成逐 token 的条件概率： [ q(x_{1:n}) = \prod_{i=1}^{n} q(x_i \mid x_{\lt i}) ](x_{1:n}) 为长度 (n) 的 token 序列，(q) 为模型给出的分布。这一步是 Transformer 语言模型的定义，不是额外假设。

取负对数并对真分布求期望，得到以比特为单位的期望码长： [ \mathcal{L} = -\mathbb{E}{x\sim p}\bigl[\log_2 q(x)\bigr] = \mathbb{E}{x\sim p}\left[\sum_{i=1}^{n}-\log_2 q(x_i\mid x_{\lt i})\right]\ \text{bits} ](p) 为真实数据分布，(q) 为模型分布。除以 token 数即 bits/token，除以字符数即 BPC（bits per character）。

Gibbs 不等式给出下界，且把「模型不准」这部分单独分离出来： [ \mathcal{L} ;=; H(p) + D_{\mathrm{KL}}(p\Vert q) ;\ge; H(p) ](H(p)) 为数据源的真实熵（不可约），(D_{\mathrm{KL}}(p\Vert q)\ge 0) 为模型的「多付的比特」。等号成立当且仅当 (q=p)。⟹ 最小化交叉熵 ≡ 最小化 (D_{\mathrm{KL}}(p\Vert q)) ≡ 最小化码长，三者是同一件事。

Delétang 等人（DeepMind，ICLR 2024）把这句话写得更直白：“minimizing the log-loss is equivalent to minimizing the compression rate of that model used as a lossless compressor with arithmetic coding, i.e., current language model training protocols use a maximum-compression objective.”

  ③ 数值例
  

一份 1 GB 的英文文本（约 (10^{9}) 字符）。gzip 在 enwik9 上的压缩率是 48.1%，即约 481 MB，对应 BPC (\approx 3.85)。Chinchilla 70B 的 enwik9 压缩率是 8.3%，即约 83 MB，对应 BPC (\approx 0.664)。⟹ 同一份文件，语言模型比通用压缩器小了约 5.8 倍；而这 5.8 倍完全来自「它更会预测下一个字符」，没有任何额外的编码技巧。这就是「语言建模就是压缩」在数字上的样子。

  ④ 假设与失效边界
  

**A · 编解码双方必须共享同一个 (q)。**这是整条论证最脆弱的假设。如果 (q)（即模型）本身也要传输，它的描述长度必须计入总码长——而 70B 模型是 140 GB。这条裂缝在 FX-42 里会变成一个 14008% 的数字。

**B · 无损。**每一个 bit 都要能还原，包括噪声、错别字、广告与重复模板。而智能的一个核心特征恰恰是选择性丢弃（见 F12.6 裂缝 4）。

**C · 平稳性 / 可自回归分解。**分解式本身是恒等的，但「训练分布 = 测试分布」这个隐含前提在分布外完全失效（裂缝 2）。

**D · (H(p)) 是硬底。**交叉熵不可能低于数据源的真实熵。当 (\mathcal{L}\to H(p)) 时，继续降低 BPC 只是在压缩不可约的噪声，不再对应能力提升（裂缝 3 的饱和项）。

  ⑤ 论文出处
  

Shannon 源编码定理（1948）；Delétang, Ruoss, Duquenne, Catt, Genewein, Mattern, Grau-Moya, Wenliang, Aitchison, Orseau, Hutter, Veness，《Language Modeling Is Compression》，ICLR 2024，arXiv:2309.10668 §2。全文核验：ar5iv 渲染版 ^[4]。

FX-42

算术编码：为什么开销恰好是 (\lceil-\log_2 q(x)\rceil+2)

T2 官方论文

  ① 直觉
  

交叉熵是理论下界，算术编码是可实现的编码器。它把整条序列映射到 ([0,1)) 上一个宽度恰为 (q(x_{1:n})) 的区间，然后在这个区间里找一个「最短的二进小数」发出去。区间越宽（概率越大），需要的位数越少。关键结论：它逼近理论下界的差距是一个与序列长度无关的常数 2 比特。

  ② 推导
  \[ \ell_{\text{AC}}(x_{1:n}) \;=\; \bigl\lceil -\log_2 q(x_{1:n})\bigr\rceil + 1 \;\le\; -\log_2 q(x_{1:n}) + 2\ \text{bits} \]\(q(x_{1:n})\) 为模型赋予整条序列的概率。**「+2」的来源分解：+1 来自取整（必须发整数个 bit），+1 来自前缀码要求（二进区间必须**完整**落进目标区间，而不只是有一个端点落入）。**
  展开：Shannon–Fano–Elias 开销界的完整五步推导
    

**第一步 · 把序列映射到区间。**算术编码把 (x_{1:n}) 映射到 ([0,1)) 上一个宽度恰为 (w=q(x_{1:n})) 的子区间 (I=[\ell,\ell+w))。这不是设计选择，而是概率的定义——所有可能序列的区间正好构成 ([0,1)) 的一个划分。

第二步 · 在区间内找一个短的二进制数。我们要发送二进制串 (b_1b_2\cdots b_m)，使得由它确定的二进小数区间 (\bigl[0.b_1\cdots b_m,\ 0.b_1\cdots b_m+2^{-m}\bigr)) 完全落在 (I) 内。这样解码器读到这 (m) 位就能唯一确定 (I)（从而确定 (x_{1:n})），并且这个码自动是前缀码。

**第三步 · 需要多少位？**长度为 (m) 的二进小数区间（level-(m) dyadic interval）把 ([0,1)) 均分成 (2^m) 段，间距 (2^{-m})。

引理：宽度为 (w) 的任意区间 (I)，若 (2^{-m}\le w/2)，则 (I) 必定完整包含至少一个 level-(m) 的二进区间。

**证明：**level-(m) 区间的端点是 ({j2^{-m}})。设 ([\ell,\ell+w)) 中最小的 (j2^{-m}\ge\ell) 为 (j_0 2^{-m})，则 (j_0 2^{-m}\lt \ell+2^{-m})。该二进区间的右端为 ((j_0+1)2^{-m}\lt \ell+2\cdot 2^{-m}\le \ell+w)。故 ([j_0 2^{-m},(j_0+1)2^{-m})\subseteq[\ell,\ell+w)) ✓ (\square)

第四步 · 解出 (m)。 [ 2^{-m}\le \frac{w}{2} ;\Longleftrightarrow; m \ge \log_2\frac{2}{w} = -\log_2 w + 1 ;\Longrightarrow; m=\bigl\lceil-\log_2 w+1\bigr\rceil=\bigl\lceil-\log_2 q(x_{1:n})\bigr\rceil+1 ]最后一步用了 (\lceil a+1\rceil=\lceil a\rceil+1)（(1) 是整数）。

第五步 · 摊销。这 2 比特是对整条序列的，不是对每个 token 的。对一条 (10^{6}) token 的序列，摊到每 token 是 (2\times10^{-6}) bit——完全可忽略。⟹ 这就是「训练一个语言模型就是训练一个无损压缩器」这句话在工程上成立的原因：常数开销被摊薄到零。

Delétang 等人的表述略有不同但等价：“the arithmetic code has length (-\lceil\log\rho(x_{1:n})\rceil+1) bits, whereas the optimal code length is (-\log\rho(x_{1:n})) bits.” 有限精度 (B) 比特再加 (O(n2^{-B}))，对 32 / 64 位实现可忽略。

  ③ 数值例
  

一条 (10^{6}) token 的序列，模型给出的 bits/token 是 0.8，则理论码长 (8\times10^{5}) bits = 100 KB；算术编码实际发出 (8\times10^{5}+2) bits。相对开销 (2.5\times10^{-6})。换句话说：「理论下界」与「能真的写进文件的字节数」之间的差距，小到可以在任何工程讨论中忽略。这一点很重要——它意味着 F12 后面所有的裂缝都不在编码这一侧。

  ④ 假设与失效边界
  

A · 无限精度算术。有限精度实现会引入 (O(n2^{-B})) 的额外开销，32/64 位下可忽略，但在极长序列 + 低精度实现下需要重新核算。

**B · 编解码双方共享 (q) 与同一套区间划分规则。**这条假设承载了全部争议——见下面的 adjusted compression rate。

**C · 「摊销」的前提是数据量远大于模型。**常数开销可以摊薄，但模型本身的 140 GB 摊不薄。下面的数字会说明这一点。

**D · 这条界只保证码长，不保证任何关于「理解」的性质。**一个查表式的记忆器同样能达到很低的码长（在训练集上），编码理论对此毫无意见。

  ⑤ 论文出处
  

Shannon–Fano–Elias 编码的标准结果（Cover & Thomas, Elements of Information Theory §5.9）；arXiv:2309.10668 §2 与 Table 1。

F12.2　核实：Chinchilla 70B 的压缩率数字，与 adjusted rate 这条裂缝

Delétang 等人摘要里那句被反复引用的话是：“Chinchilla 70B, while trained primarily on text, compresses ImageNet patches to 43.4% and LibriSpeech samples to 16.4% of their raw size, beating domain-specific compressors like PNG (58.5%) or FLAC (30.3%), respectively.” 本报告逐字核验了 ar5iv 渲染版的 Table 1（chunk size 2048）：

压缩器enwik9ImageNetLibriSpeechRandom| 压缩器 | enwik9 | ImageNet | LibriSpeech | Random |


  gzip48.168.638.5100.1| gzip | 48.1 | 68.6 | 38.5 | 100.1 |

  LZMA250.062.438.2100.0| LZMA2 | 50.0 | 62.4 | 38.2 | 100.0 |

  PNG80.661.737.6103.2| PNG | 80.6 | 61.7 | 37.6 | 103.2 |

  FLAC88.960.9**30.3**107.2| FLAC | 88.9 | 60.9 | 30.3 | 107.2 |

  Chinchilla 1B11.362.224.9108.8| Chinchilla 1B | 11.3 | 62.2 | 24.9 | 108.8 |

  Chinchilla 7B10.254.723.6101.6| Chinchilla 7B | 10.2 | 54.7 | 23.6 | 101.6 |

  **Chinchilla 70B****8.3****48.0****21.0**100.8| Chinchilla 70B | 8.3 | 48.0 | 21.0 | 100.8 |





⚑ 本报告核实发现：摘要数字与表格数字不一致

**摘要说 43.4% / 16.4%，Table 1（chunk = 2048）说 48.0% / 21.0%。**另外，PNG 的 58.5% 对应的是 chunk size (\infty) 那一行（PNG：enwik9 42.9、ImageNet 58.5、LibriSpeech 32.2），而 FLAC 的 30.3% 对应 chunk = 2048 那一行。

本报告的结论：① PNG 58.5% 与 FLAC 30.3% 核实无误，但它们来自不同的 chunk 设置，摘要把它们并列比较是不严谨的；② 43.4% / 16.4% 与本次抓取到的 Table 1 不符，最可能的解释是 ar5iv 渲染的版本与最终 ICLR camera-ready 不同，或摘要更新后表格未同步。⟹ 引用建议写成：「Chinchilla 70B 在 2048 字节分块下把 ImageNet patch 压到 48.0%、LibriSpeech 压到 21.0%（论文摘要报 43.4% / 16.4%，版本间存在差异）」，并列入待核实清单。

本条为本报告逐字比对 arXiv:2309.10668 摘要与 Table 1 后的原创核实结果，已登记为高优先级待核实项。

而同一张 Table 1 的右半部分，才是这篇论文最诚实、也最被忽略的内容——adjusted compression rate，即把模型参数本身（float16，每参数 2 字节）计入压缩后大小：

压缩器Adjusted enwik9Adjusted ImageNetAdjusted LibriSpeech| 压缩器 | Adjusted enwik9 | Adjusted ImageNet | Adjusted LibriSpeech |


  gzip32.370.736.4| gzip | 32.3 | 70.7 | 36.4 |

  Chinchilla 1B**211.3**262.2224.9| Chinchilla 1B | 211.3 | 262.2 | 224.9 |

  Chinchilla 7B**1410.2**1454.71423.6| Chinchilla 7B | 1410.2 | 1454.7 | 1423.6 |

  **Chinchilla 70B****14008.3**14048.014021.0| Chinchilla 70B | 14008.3 | 14048.0 | 14021.0 |

**⟹ 计入模型后，Chinchilla 70B 的「压缩率」是 14008%——压缩后比原文件大 140 倍。**论文原话：“language models suffer a huge loss in compression rate due to their large size, which cannot be offset when compressing only 1GB of data.”

这条数据对「压缩即智能」的两段编码读法是一记重击，因为经典两段 MDL 要求把压缩器本身作为一个独立项计入（见 FX-43）。先把口径写死，否则这一击会被读得过重：① 它打的是「(L(H)=) 参数量 × 16 bit」这一种记账，不是「把模型计入」本身——Lotfi 等 (arXiv:2312.17173) 按有效描述长度记账，同样把模型计入，结论却相反（在 849M 规模 LLM 上得到非空洞泛化界）；② prequential code 根本不设独立的 (L(H)) 项，因此这一击在那条表述下不落地（见 FX-43 ④E）。在两段编码口径内，「压缩即智能」成立的前提是摊销：要压缩的数据量必须远超模型自身大小。算一下门槛：70B 模型按 float16 计为 140 GB，要在多少数据上才比 gzip 划算？需要 (D) 满足 [ \frac{140,\text{GB} + 0.083,D}{D} ;\lt; 0.323 ;\Longleftrightarrow; D ;\gt; \frac{140,\text{GB}}{0.323-0.083} ;\approx; 583,\text{GB} ]0.083 为 Chinchilla 70B 在 enwik9 上的原始压缩率（8.3%），0.323 为 gzip 的 adjusted enwik9 率（32.3%，gzip 自身代码体积可忽略）。

⟹ 大约 583 GB 以上，大模型才开始比 gzip 划算。这个门槛在预训练场景下是可达的（语料是 TB 级），但它说明「压缩」这个说法只在特定尺度上成立——而几乎所有引用这句口号的人都没有检查过尺度。同时要说清这个门槛自己的口径：583 GB 是两段编码 + float16 逐参数计费的产物；换成 prequential 码长就没有这个门槛（不存在要摊销的固定项），换成 Lotfi 的有效描述长度则门槛显著下移。⟹ 该报告不主张「583 GB」是一条口径无关的物理常数。

⚑ 口径修订 · 「补上 \(L(H)\) 即反号」的普遍版本已撤回（2026-07-25，终审 P0-2 第 1 条）

撤回句（原样保留）：「补上 (L(H))，结论就会反号」与「此争至今无定论」。这两句此前出现在本页与 ②，用来概括 adjusted rate 的反转。**正确的说法是范围限定，不是撤回整条：**在朴素两段编码下会反号；在 refined MDL / prequential 表述下不必然。

**三种现代 MDL 表述给出的答案比「无定论」细得多。**① refined MDL（Rissanen 1996）用模型族整体的复杂度替代自选的逐点先验；**② NML（归一化最大似然）把它写成 minimax 最优的显式归一化常数，只依赖模型族与样本量，不依赖任何人为选定的参数编码，(\frac d2\log n) 只是它的渐近首项；③ prequential code（Dawid 1984）不设独立的 (L(H)) 项，码长就是顺序预测的累积对数损失，参数复杂度自动内含在早期样本的更差预测里。⟹ 没有可以「补上」的那一项，也就没有那一次符号翻转。**完整推导入口见 FX-43 ④E。

**反方向的经验结果也必须紧邻写出。**Delétang 按 float16 逐参数计费得到 14008.3%；Lotfi 等 (arXiv:2312.17173) 按训练时约束下的有效描述长度计费，同样把模型计入，却在 849M 规模 LLM 上得到非空洞的泛化界——方向相反。同一个动作、两种记法、两个相反结论，这本身就说明结论属于记法而不属于「MDL」。

本框为公开留痕，按本站纪律不做静默修改。定义与性质为教科书结论 T2（Grünwald 2007 第 6–7、9 章）；「单遍预训练的累计交叉熵是一个 prequential 码长」为本报告推断 T5。同一处修订在 ② FX-04 亦有登记。

FX-43

MDL 二段编码 ≡ 贝叶斯 MAP

T2 经典结果

  ① 直觉
  

Rissanen 的最小描述长度原理说：最好的模型是让「模型 + 用模型编码的数据」总长度最短的那个。这看起来像一条审美原则（奥卡姆剃刀），但它其实是贝叶斯推断的逐字翻译——「偏好短程序」就是「先验分布」，两者由 Kraft 不等式一一对应。⟹ 奥卡姆剃刀不是审美偏好，是概率论的必然结果。

  ② 推导
  \[ M^{\star} \;=\; \arg\min_{M}\Bigl[\,L(M) + L(D\mid M)\,\Bigr] \;\equiv\; \arg\max_{M}\ P(M)\,P(D\mid M) \]\(L(M)\) 为模型在某前缀码下的描述长度（bits），\(L(D\mid M)\) 为给定模型后数据的编码长度。左式是 MDL，右式是贝叶斯 MAP。
  展开：MDL ≡ MAP 的完整推导，以及 Kraft 不等式这座桥
    

第一步 · 贝叶斯定理。 [ P(M\mid D) = \frac{P(D\mid M),P(M)}{P(D)} ]

**第二步 · 取 (-\log_2)。**注意 (P(D)) 与 (M) 无关，在 (\arg\max) 中是常数： [ -\log_2 P(M\mid D) ;=; \underbrace{-\log_2 P(D\mid M)}{=:L(D\mid M)} ;\underbrace{-\log_2 P(M)}{=:L(M)} ;+; \underbrace{\log_2 P(D)}_{\text{与 } M \text{ 无关}} ]

**第三步 · 取极值。**最大化后验 ≡ 最小化负对数后验 ≡ 最小化两段码长之和： [ \arg\max_{M} P(M\mid D) = \arg\min_{M}\bigl[-\log_2 P(M\mid D)\bigr] = \arg\min_{M}\bigl[L(M)+L(D\mid M)\bigr] \qquad\blacksquare ]

桥梁：Kraft 不等式。任何前缀码的码长集合 ({\ell_M}) 满足 (\sum_M 2^{-\ell_M}\le 1)；反之，任何满足该式的长度集合都可实现为前缀码。⟹ 「先验分布」与「编码方案」是同一个东西的两种说法：(P(M)=2^{-L(M)})。

这个等价的深刻之处在于它解释了为什么「偏好简单」是强制的，而不是选择的：长度 (\le\ell) 的二进串只有 (2^{\ell+1}-1) 个，短码总共就那么多个，所以任何归一化的先验都必须给绝大多数长程序分配极小的概率。奥卡姆剃刀是计数带来的，不是品味带来的。

推论：每一个正则项都是一句关于程序长度的断言。L2 正则对应高斯先验，其编码长度 (L(M)=\frac{\lVert\theta\rVert^{2}}{2\sigma^{2}}\log_2 e+\text{const})；L1 对应 Laplace 先验。⟹ 写下一个正则项，就是在说「我认为这一类模型的程序更短」。

  ③ 数值例
  

Hutter Prize 是这条公式的字面实现：参赛作品必须提交「压缩器 + 解压器 + 压缩文件」的总大小，即 (L(M)+L(D\mid M))。这就解释了一个尴尬的事实：在 enwik9（1 GB）这个规模上，一个几 GB 的神经网络无论压得多好都摊不平——由 FX-42 的门槛计算，需要 583 GB 以上才划算，而赛题只有 1 GB。⟹ 两段编码形式的 MDL 不是抽象原则，它是一条会把大模型直接判出局的硬约束——而这正是 Hutter Prize 自己选定的记账规则（提交物必须自带解压器）。把它读成「MDL 判大模型出局」是越界的：换成 prequential 码长就没有要摊销的固定项，见 ④E。

  ④ 假设与失效边界
  

**A · (L(M)) 依赖编码方案，而编码方案的选择是任意的。**不同的通用图灵机之间只差一个 (O(1))，但这个 (O(1)) 可以是任意大的常数——大到吞掉任何有限数据集。

B · 二段编码是次优的。一段式的贝叶斯混合 (P(D)=\sum_M P(M)P(D|M)) 总是不长于任何单个模型的二段码（因为求和 (\ge) 最大项）。⟹ 严格说，MDL 的两段版本比贝叶斯边缘化差，差距正好是后验熵。

**C · 它只回答「选哪个模型」，不回答「模型里有什么」。**MDL 给出的是一个选择准则，不是一个关于内部表示的陈述。这正是从 F12.5 到 F12.6 裂缝 1 的断裂点所在。

D · 在线设定会改变结论。如果编解码双方跑同一份训练代码与随机种子，(L(M)) 就是训练脚本的长度（几 KB）而不是权重（140 GB）。⟹ 「模型算不算进码长」在两段编码内不是一个数学问题，是一个协议设定问题。

**E · ★ 最重要的一条：两段编码只是 MDL 的一种表述，而本节上面全部内容都写在这一种里。**MDL 文献自 1990 年代起就已经把 ④A 与 ④D 那种「先验任意 / 协议任意」当作要消掉的缺陷来处理，方式有三条： [ \underbrace{L_{\text{2-part}}(D)=L(M)+L(D\mid M)}{\text{朴素两段码：需要自选 }L(M)};,\qquad \underbrace{L{\text{NML}}(D)=-\log\frac{p(D\mid\hat\theta(D))}{\sum_{D’}p(D’\mid\hat\theta(D’))}}{\text{refined MDL 的 minimax 最优解}};,\qquad \underbrace{L{\text{preq}}(D)=\sum_{i=1}^{n}-\log p(x_i\mid x_{1:i-1})}_{\text{prequential：无独立 }L(M)\text{ 项}} ]三种码长，同一个原理。中式的分母就是参数复杂度——它由模型族与样本量唯一确定，没有留给使用者的自由参数；渐近展开的首项即 (\frac d2\log n)（Fisher 信息项在其后）。右式没有任何模型项，参数复杂度体现为早期样本上更差的预测多付的比特。

三条推论，都与本页别处的结论直接相关。① ④A 的「(O(1)) 可以任意大」在 NML 下不成立：归一化常数由模型族与 (n) 唯一定，不含可自选项。② ④B 说「两段码比贝叶斯边缘化差，差距是后验熵」——prequential 码长恰好就是贝叶斯/plug-in 边缘化的顺序展开，所以它没有这个损失。③ (\frac d2\log n) 那套过拟合判据依赖 Laplace 近似的 (n\gg d)；prequential 不需要这个前提，在 (n\approx d) 时依然定义良好——这正是今天前沿模型所处的区间。⟹ 因此「把参数计入描述长度就会推翻压缩论」是两段编码专属的结论，不是 MDL 的结论（见 上方口径修订框）。

F · 一处与语言模型的直接对应，本报告标为推断。一次单遍（single-epoch）预训练的累计交叉熵 (\sum_i-\log p(x_i\mid x_{1:i-1}))，形式上就是 (L_{\text{preq}})：模型在第 (i) 个 token 上的预测只用到前 (i-1) 个 token，接收方可以逐 token 同步复现，不需要事先拿到权重。⟹ 若采这个口径，「只报 (L(D\mid H))」不是漏项，而是一个已经把复杂度算进去了的合法码长。但两条限制必须同时写：(i) 多轮 epoch、数据重排与去重会破坏「只用前缀」这个条件，真实预训练并不严格满足；(ii) 这个对应关系未见于本报告检索到的任何一篇 MDL 或 LLM 原文，属本报告推断 T5 作者推断。

  ⑤ 论文出处
  

Rissanen（1978）最小描述长度原理；Kraft–McMillan 不等式（Cover & Thomas §5.2）；refined MDL 与 NML：Rissanen,《Fisher Information and Stochastic Complexity》(IEEE Trans. IT 42(1), 1996)；prequential 原理：Dawid (1984), J. R. Statist. Soc. A 147；三者的统一教科书处理：Grünwald,《The Minimum Description Length Principle》(MIT Press, 2007)——第 6–7 章 NML 与参数复杂度，第 9 章 prequential plug-in code。反方向的经验结果（把模型计入却支持压缩论）：Lotfi 等《Non-Vacuous Generalization Bounds for Large Language Models》，arXiv:2312.17173。Hutter Prize 规则见 prize.hutter1.net ^[5]。

**图 · MDL 二段编码与它的两条裂缝（本报告原创 SVG）：**左侧面板把「总码长 = 模型码长 + 数据码长」画成两条此消彼长的曲线，金色的和曲线在 **M★** 处取极小——这就是 FX-43 那条等式的几何形态：**模型越复杂，\(L(H)\) 越长而 \(L(D\mid H)\) 越短，总和先降后升**。右侧把同一件事换成堆叠柱，让「哪一段在长、哪一段在缩」一目了然。**图底部刻意画进了两条红色裂缝**：\(K(x)\) 不可计算（所以整套理想参照系无法落地），以及压缩率与能力之间只是经验相关（所以「压缩即理解」这一步是跨越，不是推论）。**这两条在 F12.6 会被完整展开。**




FX-44

Kolmogorov 复杂度与条件 Kolmogorov 复杂度 —— Ilya 的无监督学习形式化

T2 经典结果

  ① 直觉
  

一个对象的「真实复杂度」，不该由它有多长决定，而该由生成它的最短程序有多长决定。一百万位圆周率看起来很复杂，但生成它的程序只有几行。Ilya 的整套论证就是把这个想法用到无监督学习上：无监督学习之所以对下游任务有帮助，是因为「在见过 (X) 的前提下描述 (Y)」比「从零描述 (Y)」更短——而这个「更短多少」有一个精确的名字：条件 Kolmogorov 复杂度。

  ② 推导
  \[ K_U(x) \;=\; \min\bigl\{\,|p| \;:\; U(p)=x\,\bigr\} \]\(U\) 为通用图灵机，\(p\) 为程序，\(|p|\) 为其比特长度。即「在 \(U\) 上输出 \(x\) 并停机的最短程序的长度」。
  

不变性定理（Solomonoff–Kolmogorov–Chaitin）保证这个定义不依赖机器的选择——至多差一个与 (x) 无关的常数： [ \bigl|K_U(x)-K_V(x)\bigr| ;\le; c_{U,V} ](c_{U,V}) 是「在 (U) 上模拟 (V) 的解释器」的长度。⟹ (K) 在 (O(1)) 意义下是绝对的。这是它作为「客观复杂度」的合法性来源，也是它唯一的合法性来源——而那个 (O(1)) 可以大到吞掉任何有限数据集。

压缩界（Ilya 在 Simons 演讲里用的正是这个式子）：对任何可计算的压缩器 (C)， [ K(x) ;\le; |C(x)| + K(C) + O(1) ]证明只需构造一个程序 = 「(C) 的解压器代码」+「(C(x))」，长度为 (K(C)+|C(x)|+O(1)) ✓。⟹ 任何实际压缩器都给出 (K) 的一个上界，但反过来不成立。

条件版本 —— Ilya 的形式化： [ K(Y\mid X)=\min\bigl{|p| : U(p,X)=Y\bigr}, \qquad K(Y\mid X);\le;\bigl|C(Y\mid X)\bigr| + K(C) + O(1) ](X) 为无标注数据，(Y) 为下游任务数据。第二式说：Kolmogorov 压缩器是无监督学习的最优解，遗憾（regret）不超过 (K(C)+O(1))——因为它已经从 (X) 中榨取了一切可能的帮助。这就是 Ilya 所谓的「low regret」论证。

联合压缩定理（Ilya 演讲中引用的那条，它才是把理论接回工程的关键）： [ K(X,Y) ;=; K(X) + K(Y\mid X) + O\bigl(\log K(X,Y)\bigr) ]⟹ 这条定理是「just compress everything」的理论依据：我们没有能真正条件在整个数据集上的神经网络，但联合压缩 (X) 和 (Y) 与条件压缩在 (O(\log)) 意义下等价。这正是 GPT 在做的事——把互联网上所有东西（包括你关心的下游任务的数据）放在一起做下一 token 预测。

  ③ 数值例
  

一个具体的量级感：(O(\log K(X,Y))) 这个余项。若 (K(X,Y)) 是 (10^{12}) 比特量级（一份 TB 级语料的算法内容上界），则 (\log_2 K\approx 40) 比特。**⟹ 「联合压缩」与「条件压缩」的差距是几十比特，而数据本身是万亿比特——相对误差 (10^{-11})。**这就是为什么 Ilya 敢于用「把所有东西压在一起」来替代「针对任务的条件压缩」：在渐近意义上这一步是免费的。（代价在别处：这条定理关于 (K)，而不是关于任何实际的神经网络。）

  ④ 假设与失效边界
  

A · (K) 不可计算（证明见 F12.6 裂缝 1）。上面所有式子都是关于一个不可计算量的陈述，只能作为理想参照系。

B · 不变性定理里的 (O(1)) 无界。「在 (O(1)) 意义下客观」这句话对有限数据集几乎没有约束力——那个常数可以比数据本身还大。

C · 压缩界只是上界，不含结构信息。(K(x)\le|C(x)|+K(C)+O(1)) 说的是「好压缩器给出好上界」，没有说「好上界的压缩器内部结构接近最短程序」。这正是 Ilya 论证里那个未证明的连续性假设。

D · 联合压缩定理的余项在有限样本下不可忽略。(O(\log)) 是渐近的；在实际的有限模型、有限数据、有限训练步数下，「联合 ≈ 条件」这个近似没有非渐近版本。

  ⑤ 论文出处
  

Kolmogorov（1965）、Solomonoff（1964）、Chaitin（1966）；Li & Vitányi, An Introduction to Kolmogorov Complexity and Its Applications（不变性定理、联合复杂度的对称性定理）。Ilya 的使用见 Simons Institute 演讲《An Observation on Generalization》（2023-08-14）。

FX-45

Solomonoff 归纳的预测误差界与 AIXI

T2 经典结果

  ① 直觉
  

如果不知道世界是怎么运行的，最合理的先验是什么？Solomonoff 的答案是：把所有能生成观测的程序都算上，按 (2^{-|p|}) 加权——短程序权重大，长程序权重小。令人震撼的是，这个先验有一个与数据量无关的误差界：无论你预测多久，总平方误差都被「真相的描述长度」这一个常数封顶。⟹ 世界越简单，学得越快；而且学得快到总误差收敛。

  ② 推导
  \[ M(x) \;=\; \sum_{p\,:\,U(p)=x\ast} 2^{-|p|} \]\(U(p)=x\ast\) 表示「程序 \(p\) 在单调通用机 \(U\) 上输出以 \(x\) **为前缀**的串」。\(M\) 是**半测度**（\(\sum_x M(x)\le 1\)，因为有些程序不停机）。这就是「奥卡姆剃刀 + 对全部可能解释做贝叶斯平均」。
  

核心定理（Solomonoff 1978）—— 总预测误差的界： [ \sum_{t=1}^{\infty}\mathbb{E}{x{\lt t}\sim\mu}\Bigl[\bigl(M(x_t\mid x_{\lt t}) - \mu(x_t\mid x_{\lt t})\bigr)^{2}\Bigr] ;\le; \tfrac{1}{2},K(\mu),\ln 2 ](\mu) 为真实的可计算测度，(K(\mu)) 为它的 Kolmogorov 复杂度（bits）。右边与数据量无关。 展开：这个界的三步推导链（支配性 → 累计 KL → Pinsker）

**第一步 · 写出累计 KL。**定义 [ D_n := \sum_{t=1}^{n}\mathbb{E}{x{\lt t}\sim\mu}\Bigl[D_{\mathrm{KL}}\bigl(\mu(\cdot\mid x_{\lt t}),\Vert, M(\cdot\mid x_{\lt t})\bigr)\Bigr] ;=; \mathbb{E}{x{1:n}\sim\mu}\left[\ln\frac{\mu(x_{1:n})}{M(x_{1:n})}\right] ]第二个等号来自 KL 的链式法则——逐步的条件 KL 之和等于整段的 KL。

第二步 · 用 (M) 的支配性（dominance）。对任何可计算测度 (\mu)，存在一个输出 (\mu) 的程序，长度为 (K(\mu))。把这个程序作为 (M) 求和中的一项，立刻得到 [ M(x) ;\ge; 2^{-K(\mu)},\mu(x)\quad\forall x ;\Longrightarrow; \ln\frac{\mu(x)}{M(x)} \le K(\mu)\ln 2 ;\Longrightarrow; D_\infty \le K(\mu)\ln 2 ]这一步是整个定理的心脏：因为 (M) 是对所有程序求和，它「包含」了真相，代价只是真相那一项的权重 (2^{-K(\mu)})。

**第三步 · Pinsker 不等式。**对二元分布，(D_{\mathrm{KL}}(P\Vert Q)\ge 2\lVert P-Q\rVert_{TV}^{2}=2(p-q)^{2})，即 ((p-q)^{2}\le\frac12 D_{\mathrm{KL}})。逐项代入并求和： [ \sum_{t=1}^{\infty}\mathbb{E}\bigl[(M-\mu)^{2}\bigr] ;\le; \tfrac12 D_\infty ;\le; \tfrac12 K(\mu)\ln 2 \qquad\blacksquare ]

**为什么这个界震撼：**① 右边与数据量无关，只与真相的描述长度有关——你可以预测无限长的序列，总平方误差仍被一个有限常数封顶；② 既然无穷级数收敛，其通项必趋于 0，且在平均意义上收敛速度快于 (1/t)——Solomonoff 归纳「几乎立刻」学会任何可计算规律；③ 常数是 (K(\mu))，即「世界越简单学得越快」，这是奥卡姆剃刀的定量形式。

**AIXI：从预测到决策。**Hutter 把 Solomonoff 归纳扩展成决策： [ a_t^{\text{AIXI}} = \arg\max_{a_t}\sum_{o_t r_t}\cdots\max_{a_m}\sum_{o_m r_m}\bigl(r_t+\cdots+r_m\bigr)!!!\sum_{p,:,U(p,a_{1:m})=o_{1:m}r_{1:m}}!!!2^{-|p|} ]读法：对所有可能的「世界程序」按 (2^{-|p|}) 加权，做 expectimax 规划，选期望累计奖励最大的动作。AIXI 在任何可计算环境中都是（某种意义上）最优的，且不可计算。

⟹ 这条线索的完整脉络：Solomonoff（预测）→ Hutter（决策）→ 「压缩 = AGI」（Hutter Prize）→ Ilya（「SGD 是在程序空间里搜索」）。OpenAI 的哲学基座直接接在这条线上。

  ③ 数值例
  

假设真实规律的程序只有 1 KB，即 (K(\mu)=8192) 比特。代入得总平方误差上界 (\frac12\times 8192\times 0.693\approx 2839)。这个数字看起来不小，但它是对无穷多步求和的上界：预测 (10^{6}) 步，平均每步的平方误差不超过 (2.8\times10^{-3})，即典型误差约 0.05。⟹ 「有限常数封顶无穷级数」在数值上意味着：绝大多数步的误差必须极小，错误只能集中在最开始的少数几步。这就是「几乎立刻学会」的严格含义。

  ④ 假设与失效边界
  

**A · (\mu) 必须是可计算测度。**如果真实世界不可计算（或含真随机），支配性论证失效，整个界不成立。

B · 分布漂移直接击穿。界假设数据由固定的 (\mu) 生成。测试分布换成 (\mu’) 就要重新付一次 (K(\mu’))——这是裂缝 2（压缩 ≠ 分布外泛化）的理论根源。

C · 常数依赖参考机，且文献口径不一。(K(\mu)) 只在 (O(1)) 意义下确定；不同文献的常数写法有差异（(K(\mu)\ln 2) 还是 (\frac12 K(\mu)\ln 2)，取决于是 KL 版还是平方版、以 bit 还是 nat 计）。引用时必须标注版本。本报告采用「KL 界 + Pinsker」导出的平方版，并已将口径差异列入待核实清单。

D · 不可计算。(M) 与 AIXI 都不可计算，它们不提供算法，只提供参照系。把「Solomonoff 是最优的」当成「所以大模型接近最优」是一次没有桥的跨越。

  ⑤ 论文出处
  

Solomonoff（1964, 1978）；Hutter, Universal Artificial Intelligence（2005），AIXI 与 Thm 3.19 附近的收敛结果；Li & Vitányi 第 5 章。Pinsker 不等式见 Cover & Thomas §11.6。

F12.5　Ilya 的论证 —— 原话、五步逻辑链与内在张力

演讲的完整逻辑链（本报告还原的五步）：

• 问题：监督学习有理论保证（训练误差低 + 有效参数量 < 样本数 ⟹ 测试误差低，三行数学）；无监督学习什么都没有——你优化目标 A（下一 token 预测），却关心目标 B（推理、翻译）。凭什么 A 有助于 B？

• 答案：压缩。把无标注数据 (X) 与你关心的任务 (Y) 联合压缩。足够好的压缩器一定会利用它们的共享结构。

• 形式化：(K(Y\mid X)\le |C(Y\mid X)|+K(C)+O(1))。条件 Kolmogorov 压缩器是无监督学习的定义性解答，且低遗憾。

• 工程落地：我们没有能条件在整个数据集上的网络，但 (K(X,Y)=K(X)+K(Y|X)+O(\log)) 说明**「全都压在一起」就够了**。

• 为什么大模型更好：SGD 是在电路空间（程序空间的一个可计算子集）里搜索；网络越大，可表达的程序越多，越逼近 Kolmogorov 压缩器。

**⟹ 这五步就是 GPT 路线的完整哲学论证。它解释了为什么 OpenAI 敢在「没有任何理论保证」的情况下押注 next-token prediction + scale。**而第 5 步正是它最脆弱的地方——Ilya 自己在演讲里用了 “if you squint hard enough”（如果你眯着眼看）来限定这个类比，这个诚实的限定词在传播中通常被丢掉了。

F12.5.3　2024-12 NeurIPS：「预训练将终结」，以及它与压缩论证的张力

同一场演讲里还有两句被广泛转引：「数据是 AI 的化石燃料」（data is the fossil fuel of AI），以及「接下来是什么？智能体、合成数据、推理时算力」。按本站的归属纪律必须先说清楚三件事：这是 Ilya 离职后的个人表述，不代表 OpenAI 官方立场；OpenAI 与 NeurIPS 均未发布官方转录，因此本站给这条 T3 而非 T1；本报告只记录本人的公开表述，不推测其动机。

这段话与压缩论证之间存在结构性张力，值得写透。压缩论证说「压缩得越好 ⟹ 越理解世界」，它的自变量是模型容量（大网络逼近 Kolmogorov 压缩器）；而「peak data」说瓶颈是数据量，不是模型容量。**如果压缩是核心，那么「数据用完了」意味着什么？**两种读法：

• 悲观读法：(K(D)) 是有限的。一旦你把整个互联网压到接近 (K(\text{internet}))，再大的模型也没有更多可压的东西了。⟹ 压缩论证内含一个天花板，这个天花板就是数据的算法内容。Ilya 2024 年的宣告，其实是他 2023 年论证的逻辑推论，而不是转向。

• 乐观读法：智能体与推理时算力创造新数据（与世界交互产生的经验），从而绕过 peak data。这是 Sutton「经验时代」的路线。

⟹ 本报告认为读法 1 才是 Ilya 真正的意思，且它把「压缩即智能」从「scaling 的辩护词」变成了「scaling 终结的预言」。这是 OpenAI 认知体系中最深的一处自洽性张力——同一套形而上学，在 2023 年论证「应该继续变大」，在 2024 年论证「变大快到头了」。

相关：Jack Rae 的《Compression for AGI》。Rae（当时在 OpenAI）在 2023 年 2 月的 Stanford MLSys Seminar #76 做了与 Ilya 高度一致的演讲，但更工程化——包括如何用 LLM + 算术编码真的做出一个压缩器，以及为什么 checkpoint 大小不必计入：可以传输训练代码 + 随机种子而非权重。⟹ 这一点部分回应了 FX-42 的 adjusted rate 问题：如果编解码双方跑同一份训练代码、同一个种子、同一份数据流（在线设定），那么「模型」的描述长度就是训练脚本的长度（几 KB），而不是权重的 140 GB。Delétang 等人明确说他们研究的是 offline 设定，所以才有 14008% 这个尴尬数字。这两篇必须放在一起读，否则会得出相反的结论。

F12.6　六条裂缝（必须写透）

裂缝 1 · (K(x)) 不可计算 —— 一切论证在实践中都靠「没有保证的替代」

**定理：(K) 不可计算。证明（Berry 悖论的形式化）：**假设 (K) 可计算。构造程序 (P)：枚举所有字符串 (x)（按长度与字典序），输出第一个满足 (K(x)\gt n) 的 (x)，其中 (n) 硬编码在 (P) 中。则 (|P|=O(\log n)+c)（编码 (n) 需要 (\log n) 位）。但 (P) 输出的 (x) 满足 (K(x)\gt n)，而由构造 (K(x)\le|P|=O(\log n)+c\lt n)（对足够大的 (n)）。矛盾。(\square)（等价地：由停机问题不可判定，无法判断一个短程序是否会停机并输出 (x)。）

⟹ 后果：Kolmogorov 压缩器、Solomonoff 归纳、AIXI 全部不可计算。它们只能提供理想参照系，不能提供算法。实践中我们用「神经网络 + SGD」作为可计算的上界，但这个替代没有任何理论保证：我们不知道 SGD 找到的电路与最短程序的关系；不知道「压缩率下降 1%」对应「离 (K(x)) 近了多少」；甚至不知道神经网络类是否包含接近最短的程序（表达能力问题），也不知道 SGD 能否找到它们（优化问题）。⟹ 「bigger neural networks approximate the Kolmogorov compressor」是一个信念，不是一个定理。

裂缝 2 · 压缩 ≠ 泛化到分布外

形式陈述：无损压缩训练分布 (p_{\text{train}}) 的能力，不蕴含在 (p_{\text{test}}\ne p_{\text{train}}) 上的任何保证。原因在 FX-41 的分解里就写着：(\mathcal{L}=H(p)+D_{\mathrm{KL}}(p\Vert q)) 中的 (p) 是训练分布；最小化它只保证 (q) 在 (p) 的高概率区域接近 (p)，在低概率区域 (q) 可以任意。Solomonoff 的界在这里也救不了场——它假设数据由一个固定的可计算测度 (\mu) 生成，换成 (\mu’) 就要重新付 (K(\mu’))。

经验对照（就在 Delétang 等人自己的 Table 1 里）：在 enwik8 上训练的 Transformer，在 ImageNet 上的压缩率是 194%–216%（比原文件还大），而它在训练分布上极强（enwik9：17.0%，优于 gzip 的 48.1%）。**⟹ 同一个模型，分布内是最强压缩器，分布外是灾难。**而 Chinchilla（在广泛语料上训练）跨模态泛化良好。结论很硬：泛化来自训练分布的广度，不来自压缩本身。

裂缝 3 · 压缩率与下游能力的关系是经验的，不是因果的

Huang 等人（HKUST + 腾讯，COLM 2024）在 30 个公开 LLM × 12 个基准上发现：“LLMs’ downstream ability is almost linearly correlated with their compression efficiency, with a Pearson correlation coefficient of around −0.95 for each evaluated domain of intelligence.” 本报告核实这个数字无误（(\rho\approx-0.95) 对应 (R^{2}\approx 0.90)；负号因为 BPC 越低越好）。但这是相关，不是因果，三条限制必须同时写出来：

• 共同原因：压缩率好与基准分数高，可能都由「更多算力 + 更好数据」这个共同原因驱动。这是教科书级的混淆变量问题。

• 在 RL 后训练模型上失效：RLHF / RLVR 会提高基准分数，同时提高模型在自然语料上的 BPC（策略分布偏离自然文本、熵下降、模式坍缩）。**⟹ 对齐后的模型会同时「更聪明」和「更差的压缩器」，线性关系断裂。**论文的 30 个模型主要是 base model，这个限制是结构性的，不是可以靠加样本修补的。

• 饱和：当 BPC 接近数据的真实熵 (H(p)) 时，进一步降低 BPC 不再对应能力提升——你在压缩不可约的噪声。

裂缝 4 · 有损 vs 无损 —— 智能可能恰恰在于选择性丢弃

无损压缩要求保留每一个 bit，包括噪声、拼写错误、广告与重复模板；而智能的一个核心特征是抽象——主动丢弃不相关的细节。把这个张力形式化： [ \text{无损：}\ \min_{q}\ \mathbb{E}\bigl[-\log q(x)\bigr] \qquad\text{vs}\qquad \text{信息瓶颈：}\ \min_{q}\ I(X;Z)-\beta,I(Z;Y) ]左式（Shannon）要求重建 (x) 的全部信息；右式（Tishby）在保留对 (Y) 有用的信息的前提下最大化丢弃。⟹ 两个目标在 (\beta) 有限时是冲突的；无损压缩对应 (\beta\to\infty) 且 (Y=X)。

Ilya 的隐含辩护是：条件 Kolmogorov 复杂度 (K(Y|X)) 已经内含了「只保留对 (Y) 有用的部分」。但工程上我们做的是 (K(X,Y))（联合压缩），而联合压缩必须保留 (X) 的全部。****经验旁证【推测】：LLM 花在记忆 URL、许可证文本、重复模板上的容量是巨大的——这些是完美压缩的对象（高度可预测）但零智能价值。压缩目标无法区分「理解了物理定律」和「背下了一张表」，两者都降低交叉熵。

裂缝 5 · Ted Chiang 的对立面

维度Ilya SutskeverTed Chiang| 维度 | Ilya Sutskever | Ted Chiang |


  压缩的性质**无损**（算术编码可精确还原）**有损**（模糊 JPEG）| 压缩的性质 | 无损（算术编码可精确还原） | 有损（模糊 JPEG） |

  模糊 / 插值的地位副产品**本质**| 模糊 / 插值的地位 | 副产品 | 本质 |

  「理解」的地位压缩**蕴含**理解看似理解是压缩**伪影**| 「理解」的地位 | 压缩蕴含理解 | 看似理解是压缩伪影 |

  价值判断通往 AGI智力上的赝品| 价值判断 | 通往 AGI | 智力上的赝品 |

关键的技术澄清（本报告认为双方都没说清）：训练目标是无损的（交叉熵 = 无损码长），但推理时的行为是有损的（采样、幻觉、插值）。Chiang 描述的是推理行为，Ilya 描述的是训练目标。二者不矛盾——但这恰恰说明「训练目标是无损压缩」这件事不足以决定系统的行为性质。这是压缩论证的一个真实的解释缺口，而不是一场立场之争。

裂缝 6 · 从压缩到 agency 的鸿沟

最简单也最根本的一条：压缩器不会「想要」任何东西。Solomonoff 归纳是纯预测的——它没有目标、没有偏好、没有行动。Hutter 用 AIXI 补上这一步，但那需要外生地给定奖励函数 (r_t)——奖励从哪来？压缩理论完全不回答。(K(x)) 里没有「价值」这个概念：一个完美的压缩器可以完美预测世界毁灭，且毫无意见。

⟹ 这条鸿沟在实践中的表现，就是 RLHF / RLVR 的必要性：预训练（压缩）之后必须有一个外生的偏好信号才能得到有用的行为。整套 RLHF 体系本质上就是在补压缩理论留下的这个洞。⟹ 更深的问题：如果 agency 必须外生给定，那么「压缩即智能」最多只是「压缩即世界模型」，而世界模型 ≠ 智能体。这是 LeCun 长期批评 LLM 路线的核心论点之一，也是 OpenAI 从 GPT 转向 o 系列（RL）与 agent 的隐含承认。

▲ 六条裂缝的收束：这套论证在什么条件下才成立

压缩视角是一个漂亮且自洽的形而上学，但它成立需要六个条件同时满足，而每一个都不是自动满足的：① 存在一个可计算的替代能真正逼近 (K(x))（未证明）；② 训练分布覆盖测试分布（经验上靠语料广度，不靠压缩）；③ BPC 与能力的相关是因果的（已知在 RL 后训练上断裂）；④ 无损目标不与抽象需求冲突（与信息瓶颈直接冲突）；⑤ 训练目标能决定推理行为（Chiang 的缺口）；⑥ 预测能自动产生 agency（不能，必须外生给奖励）。

**⟹ 正确的表述不是「压缩即智能」，而是：「在训练分布足够广、数据量远超模型体积、且后续外接偏好信号的前提下，最小化码长是目前已知最有效的通用表示学习目标。」**这句话冗长得多，但它每一个从句都是可检验的。

F12.7　Hutter Prize 与「压缩 = AGI」的社群渊源

设立：2006 年，Marcus Hutter 出资。任务：无损压缩 enwik8（英文 Wikipedia 前 (10^{8}) 字节）；2020 年起改为 enwik9（前 (10^{9}) 字节），奖金池从 50,000 € 扩至 500,000 €。规则：压缩器 + 解压器 + 压缩文件的总大小必须打破当前记录——这就是 FX-43 的二段编码，模型必须计入。每改进 1% 可领取奖金池的 1%，另有时间与内存限制。口号：“Compressing Wikipedia is AI-complete.” 理论依据正是 FX-44 / FX-45：最优压缩需要 Solomonoff 归纳，Solomonoff 归纳是最优预测，最优预测配上 AIXI 的规划层就是最优智能。

⟹ 一个尖锐的观察：Hutter Prize 的领先方案不是 LLM。历史记录从 2020 年的约 116 MB 逐步降到 2024 年的约 110 MB 量级（Kaido Orav 的 fx-cmix 系列，精确字节数列入待核实），而这些方案是高度手工调优的上下文混合（CM）压缩器，不是神经网络。原因正是 FX-42 的 adjusted rate 问题——奖项要求把解压器（含模型）计入总大小，而在 1 GB 数据上，几 GB 的神经网络无论如何都摊不平。⟹ 这既验证了 MDL 的严格性，也说明「压缩即智能」这条论证在它自己设立的赛道上至今未被 LLM 兑现。这一点在讨论 OpenAI 的压缩哲学时几乎从未被提及，但它是最直接的经验检验。

社群渊源链条：Hutter Prize → Matt Mahoney 的 Large Text Compression Benchmark → PAQ / cmix 系列 → 深度学习社群对「压缩 = 预测」的重新发现（Delétang et al. 2023）→ Ilya 与 Jack Rae 在 2023 年把它抬升为 OpenAI 的官方叙事。⟹ 这条链条的起点是一群压缩比赛的爱好者，终点是一家千亿美元公司的世界观，中间没有一步是新的数学。

F13 · Deep Double Descent

F13 · Deep Double Descent：更大和更多数据什么时候反而更差

arXiv:1912.02292，作者是 Harvard 的 Preetum Nakkiran、Gal Kaplun、Yamini Bansal、Tristan Yang、Boaz Barak，加上 OpenAI 的 Ilya Sutskever（ICLR 2020）。归属提示：Nakkiran 的部分工作是在 OpenAI 实习期间完成的（导师 Ilya），论文致谢 Mikhail Belkin 与 Christopher Olah。这是一篇机构合作论文，不是「OpenAI 的观点」，但它是 OpenAI 押注规模时最重要的一块理论清障砖。

F13.1　为什么这篇论文对 OpenAI 重要

2019 年时，「过参数化有害」是统计学习理论的标准教条（bias-variance trade-off）。如果这个教条是对的，那么「把模型做到 175B」就是疯了。这篇论文做的事是：把「过参数化有害」这个经典直觉在现代深度学习上证伪，同时给出一个统一的解释框架。

注意它没有说「更大总是更好」——它说的是「更大在越过临界点之后总是更好」，而临界点是可定位的。这个区别很重要：它把一个信仰问题变成了一个工程问题（「我现在在临界点的哪一侧？」）。⟹ 这是「scaling 信仰」从工程经验升级为可辩护立场的关键一步。它与 Kaplan 等人的 scaling laws（晚两个月）构成一对：一个说「更大不会更差」，一个说「更大好多少可以预测」。两者缺一，2020 年的 175B 决策都不成立。

F13.2　三种双下降

(1) Model-wise（宽度 ↑）。固定一个很大的训练步数，改变模型宽度，测试误差先降 → 升 → 再降。峰值出现在插值阈值（interpolation threshold），即模型刚好能把训练集拟合到零误差的宽度。论文的覆盖范围相当扎实：CIFAR-10、CIFAR-100、IWSLT’14 de-en、WMT’14 en-fr；ResNet18（宽度 ([k,2k,4k,8k])，标准 (k=64)）、5 层 CNN、6 层 encoder-decoder Transformer；SGD 与 Adam；有无数据增强；有无正则。关键规律：“all modifications which increase the interpolation threshold (such as adding label noise, using data augmentation, and increasing the number of train samples) also correspondingly shift the peak in test error towards larger models.”⟹ 峰值位置跟着插值阈值走，因此是可预测的。这是这篇论文最有实践价值的结论。

(2) Epoch-wise（训练时间 ↑）。固定一个大模型，看测试误差随训练轮数的变化：同样先降 → 升 → 再降。“The test error of a large model first decreases (at the beginning of training), then increases (around the critical regime), then decreases once more (at the end of training)—that is, training longer can correct overfitting.”⟹ 推论：early stopping 只在「临界参数化」的窄区间内有帮助（论文原话：“early stopping only helps in the relatively narrow parameter regime of critically parameterized models”）。这条对 OpenAI 特别重要：它意味着在足够过参数化的模型上，可以放心地训到底，不必担心过拟合。

(3) Sample-wise 非单调（更多数据反而更差）。三者中最反直觉的一条。论文原话：“Figure 3 demonstrates cases in which increasing the number of samples by a factor of 4.5 results in worse test performance.” 具体设定是 Transformer 在 IWSLT’14 德译英上，4k 样本 vs 18k 样本（比例 4.5×），测试损失对 (d_{\text{model}}) 作图。机制并不神秘：更多样本 ⟹ 插值阈值右移 ⟹ 峰值右移；对某些固定的模型尺寸，18k 曲线的峰值恰好落在那里，而 4k 曲线已经越过峰值进入下降段。论文自己的表述：“The curve for 18k samples is generally lower than the one for 4k samples, but also shifted to the right, since fitting 18k samples requires a larger model.”⟹ 这不是「数据有害」，而是「数据把你从过参数化区推回了临界区」。修复方法：同时把模型做大。

FX-46

EMC（Effective Model Complexity）—— 把三种双下降统一起来

T2 官方论文

  ① 直觉
  

宽度、训练时长、样本数看起来是三个互不相干的旋钮，但它们改变的是同一个量：「这套训练流程能拟合多少数据」。**把这个量命名为 EMC，三种双下降就塌缩成同一条曲线的三个切片。**这里最关键的观念转换是：复杂度不是架构的属性，而是「训练过程」的属性——一个 175B 的模型只训 1 步，它的有效复杂度接近 0。

  ② 推导
  

论文 Definition 1（逐字）：The Effective Model Complexity (EMC) of a training procedure (\mathcal{T}), with respect to distribution (\mathcal{D}) and parameter (\epsilon\gt 0), is defined as: [ \mathrm{EMC}{\mathcal{D},\epsilon}(\mathcal{T}) ;:=; \max\Bigl{,n ;\Bigm|; \mathbb{E}{S\sim\mathcal{D}^{n}}\bigl[\mathrm{Error}_{S}\bigl(\mathcal{T}(S)\bigr)\bigr] \le \epsilon ,\Bigr} ](\mathcal{T}) 是任何把标注样本集映射到分类器的训练过程（含架构 + 优化器 + 步数 + 正则）；(\mathrm{Error}_S(M)) 是模型 (M) 在训练样本 (S) 上的平均训练误差；(\epsilon) 是容差。读法：「这套流程最多能把多少个样本拟合到训练误差 ≤ (\epsilon)」。 展开：EMC 的三个性质、广义双下降假设（Hypothesis 1），以及它如何统一三种双下降

三个性质。

• 它是关于训练过程的，不是关于架构的。(\mathcal{T}) 把架构、优化器、训练步数、正则全部打包进来。**⟹ 这正是为什么「训练更久」能被纳入同一个框架：训练更久 ⟹ EMC 增大。**经典的参数量做不到这一点。

• **它是操作性定义。**EMC 原则上可以通过实验测量——不断增大 (n)，直到训练误差超过 (\epsilon) 为止。它不是一个只能在证明里出现的量。

• 它与 VC 维 / 参数量不同。参数量是架构的静态属性；EMC 是训练过程的动态属性。

**广义双下降假设（Hypothesis 1）。**对任何自然数据分布 (\mathcal{D})、基于神经网络的训练过程 (\mathcal{T})、小 (\epsilon\gt 0)，在 (n) 个样本上： [ \begin{aligned} \mathrm{EMC}{\mathcal{D},\epsilon}(\mathcal{T}) \ll n ;&\Longrightarrow; \delta,\mathrm{TestError} \lt 0 &&\text{(under-parameterized)}\ \mathrm{EMC}{\mathcal{D},\epsilon}(\mathcal{T}) \gg n ;&\Longrightarrow; \delta,\mathrm{TestError} \lt 0 &&\text{(over-parameterized)}\ \mathrm{EMC}_{\mathcal{D},\epsilon}(\mathcal{T}) \approx n ;&\Longrightarrow; \operatorname{sign}\bigl(\delta,\mathrm{TestError}\bigr)\ \text{undetermined} &&\text{(critical)} \end{aligned} ](\delta,\mathrm{TestError}) 表示「对 (\mathcal{T}) 做任何提高有效复杂度的扰动后，测试误差的变化」。读法：欠参数区与过参数区，加复杂度都会让测试误差下降；只有在临界区 (\mathrm{EMC}\approx n)，加复杂度可能升高也可能降低。(\ll) 与 (\gg) 在论文中写作 “sufficiently smaller / larger”，没有给出定量的界（见 ④）。

如何统一三种双下降。

      变量如何改变 EMC峰值条件| 变量 | 如何改变 EMC | 峰值条件 |

      
        宽度 \(k\) ↑EMC ↑\(\mathrm{EMC}(k)\approx n\)| 宽度 \(k\) ↑ | EMC ↑ | \(\mathrm{EMC}(k)\approx n\) |

        训练轮数 ↑EMC ↑\(\mathrm{EMC}(T)\approx n\)| 训练轮数 ↑ | EMC ↑ | \(\mathrm{EMC}(T)\approx n\) |

        样本数 \(n\) ↑EMC 不变，但 \(n\) ↑\(\mathrm{EMC}\approx n\)（是 \(n\) 追上了 EMC）| 样本数 \(n\) ↑ | EMC 不变，但 \(n\) ↑ | \(\mathrm{EMC}\approx n\)（是 \(n\) 追上了 EMC） |

      
    
    

**⟹ 三种现象是同一条曲线「测试误差 vs (\mathrm{EMC}/n)」的三个切片。**这就是这篇论文的全部理论贡献，而且它足够优雅——一个定义、一条假设，三个看起来无关的实验现象归位。sample-wise 非单调之所以最反直觉，是因为它是唯一一个「分母在动」的切片。

  ③ 数值例
  

论文启发式地取 (\epsilon=0.1)。以 CIFAR-10 的 ResNet18（标准宽度 (k=64)）为例：把宽度从 (k) 扫到 (8k)，EMC 随之单调增大；在 (n=50{,}000) 的训练集上，测试误差的峰值就出现在 (\mathrm{EMC}\approx 50{,}000) 的那个宽度附近。加 15% 标签噪声后，同一个宽度的 EMC 下降（噪声更难拟合），于是峰值向更大的模型移动——这与论文观察到的「所有提高插值阈值的改动都会把峰值推向更大模型」完全一致。⟹ 这就是这个框架的可证伪性所在：它对峰值的移动方向做了明确预测，而实验逐条确认了。

  ④ 假设与失效边界
  

A · 论文自陈的不严谨（这一点值得敬重，必须原样写出）。原文：“Hypothesis 1 is informal in several ways. We do not have a principled way to choose the parameter (\epsilon) (and currently heuristically use (\epsilon=0.1)). We also are yet to have a formal specification for ‘sufficiently smaller’ and ‘sufficiently larger’. … The width of the critical interval depends on both the distribution and the training procedure in ways we do not yet completely understand.”⟹ 三个未定义的量：(\epsilon)、「充分小 / 大」的界、临界区宽度。这是一个唯象假设，不是定理。作者自己把这一段写进正文，而不是藏在附录里。

B · (\epsilon) 的任意性会传导到 EMC 的取值。换一个 (\epsilon)，EMC 的绝对值就变，因此「(\mathrm{EMC}\approx n)」这个判据只有相对意义。

**C · 只在「自然数据分布」上主张。**论文没有给出「自然」的定义，也没有主张对任意分布成立。

**D · 它解释峰值位置，不解释峰值高度。**为什么标签噪声会把峰放大、为什么某些配置下峰完全消失，EMC 框架本身给不出答案（见 F13.5）。

  ⑤ 论文出处
  

arXiv:1912.02292 Definition 1（EMC）与 Hypothesis 1（广义双下降），§5 Discussion（机制直觉）、§7（sample-wise）。官方博客 openai.com/index/deep-double-descent ^[6]。全文核验：ar5iv 渲染版 ^[7]。

F13.4　机制直觉、与经典 bias-variance 的冲突、以及标签噪声

论文给出的直觉（§5 Discussion，相当到位）：“for model-sizes at the interpolation threshold, there is effectively only one model that fits the train data and this interpolating model is very sensitive to noise in the train set and/or model mis-specification… However for over-parameterized models, there are many interpolating models that fit the train set, and SGD is able to find one that ‘memorizes’ (or ‘absorbs’) the noise while still performing well on the distribution.”

把这个直觉形式化：记插值解集 (\mathcal{S}{\text{interp}}={\theta:\mathcal{L}{\text{train}}(\theta)=0})。在临界区，(\mathcal{S}{\text{interp}}) 近似是单点——没有选择余地，你被迫接受那个唯一解，而它必须扭曲全局结构去拟合噪声；在过参数区，(\mathcal{S}{\text{interp}}) 是一个高维流形，SGD 的隐式正则（偏好小范数解 / 平坦极小）可以在这个流形上挑一个好的。 [ \dim\mathcal{S}{\text{interp}} ;\approx; P - n, \qquad \dim\mathcal{S}{\text{interp}}\big|_{P=n} = 0 ](P) 为参数数，(n) 为样本数。⟹ 关键量不是「参数量」，而是「插值解集的维数」——它在 (P=n) 处恰好为 0，这解释了为什么峰值精确出现在 (\mathrm{EMC}=n)。支持证据：论文 Figure 28 显示集成（ensembling）在临界参数化区帮助最大，正因为那里的解对噪声最敏感，平均多个解的收益最大。

与经典 bias-variance 的冲突。经典分解是 (\text{TestError}=\text{Bias}^2+\text{Variance}+\text{Noise})，复杂度 ↑ ⟹ Bias ↓、Variance ↑，故存在唯一的 U 型最优。双下降说明这个分解在过参数区失效——现代的理解是：Variance 本身在过参数区是非单调的，它在插值阈值处达到峰值，之后随过参数化程度下降（因为隐式正则收紧了实际的假设类）。

**标签噪声是放大器，不是必要条件。论文原话：“We observe all forms of double descent most strongly in settings with label noise in the train set… However, we also show several realistic settings with a test-error peak even without label noise: ResNets and CNNs on CIFAR-100; Transformers on IWSLT’14.”⟹ 无噪声时表现为「平台」，加噪后平台长成峰。**机制上：噪声标签是「模型无法用泛化结构解释」的部分，它强制模型在临界区扭曲全局结构；无噪声时，模型误设（model mis-specification）扮演同样的角色——真实函数不在假设类里的那部分，就是「有效噪声」。

▲ F13.5　局限与争议：最优正则化下双下降会消失

同一位第一作者在 4 个月后发了一篇「自我修正」论文：Nakkiran, Venkat, Kakade, Ma，《Optimal Regularization Can Mitigate Double Descent》（ICLR 2021, arXiv:2003.01897）。核心主张：在最优调节的 (\ell_2) 正则（ridge regression 的最优 (\lambda)）下，测试误差随模型复杂度单调下降——双下降消失。理论结果在线性回归 / 随机特征设定下成立：对最优正则化的 ridge 估计量，测试风险关于参数量是单调的。

⟹ 这把双下降重新定位为「次优正则化的产物」（an artifact of suboptimal regularization），而不是深度学习的内在性质。三层含义：①理论上，双下降不推翻 bias-variance——它说明在固定的、非最优的正则强度下，有效复杂度与实际复杂度脱钩，最优正则会自动补偿；②实践上，如果你能调好正则，你根本不会遇到双下降；③对 OpenAI 叙事的影响，论文的「清障」价值仍然成立（「更大不会更差」），但机制解释从「过参数化有魔力」降级为「过参数化 + 隐式正则恰好起了正则的作用」。

⚠ 但要注意作用域。arXiv:2003.01897 的严格结果只在线性 / 随机特征模型上；深度网络上「最优正则」是什么、能否达到，仍是开放的。而且在 LLM 预训练的实践中，没有人在调 (\ell_2) 的最优 (\lambda)——权重衰减基本是个约定俗成的常数。⟹ 在 LLM 的实际训练配置下，双下降的相关性依然存在。

2024–2025 的复现讨论。《Double Descent Demystified》（Schaeffer et al.，arXiv:2303.14151，与 F11 是同一批人）用普通最小二乘的 SVD 分析，把双下降归因于测试点在训练数据的小奇异值方向上的投影——当最小奇异值 (\sigma_{\min}\to 0)（恰在插值阈值处），解的范数爆炸；并给出了双下降需要同时满足的几个条件（存在小奇异值、测试点在该方向有分量、残差非零）。**⟹ 这是最清晰的「祛魅」版本：双下降 = 病态求逆。**另有若干复现工作指出，双下降的强度对超参（学习率调度、初始化尺度、batch size）高度敏感，在某些配置下完全观测不到。

⟹ 综合判断（本报告立场）：Deep Double Descent 的历史贡献是破除教条，它的机制解释在后续五年里被逐步还原为「病态求逆 + 次优正则」。它今天更多是一篇思想史文献，而不是一篇工具文献。但它在 2019 年为 OpenAI 的 scaling 押注提供的合法性，是真实且重要的——技术史上很多关键论文的价值都在于「它当时允许了什么」，而不是「它今天还对不对」。

F14 · Weak-to-Strong Generalization

F14 · 弱到强泛化：用 GPT-2 级的监督，能不能把 GPT-4 的能力唤出来

arXiv:2312.09390，作者是 OpenAI Superalignment 团队：Collin Burns、Pavel Izmailov、Jan Hendrik Kirchner、Bowen Baker、Leo Gao、Leopold Aschenbrenner、Yining Chen、Adrien Ecoffet、Manas Joglekar、Jan Leike、Ilya Sutskever、Jeff Wu（ICML 2024）。这是该团队唯一一篇主要的公开技术成果，也因此成为 OpenAI 在「对齐超人类 AI」方向上留下的最完整的公开技术记录。

F14.1　设置与动机

出发点：RLHF 依赖人类能够评价模型的输出。但未来的超人类模型行为过于复杂，人类只能提供弱监督——这是 superalignment 的核心难题。论文提出的类比设置是：用弱模型（GPT-2 级）产生的标签，去监督强模型（GPT-4 级）。问：强模型能否超过它的弱监督者？

三个实验域：① NLP 分类（22 个流行基准，全部转成二分类）；② 国际象棋残局（chess puzzles）；③ ChatGPT 奖励建模（内部 RM 数据集）。模型全部来自 GPT-4 家族的 base（仅预训练）模型，跨越七个数量级的预训练算力。论文脚注明确：这些模型与 GPT-4 共享架构与预训练数据，但不包含被称为 GPT-2 / GPT-3 / GPT-3.5 的那些模型——这条归属细节经常被误引，必须原样保留。

弱标签的生成：把数据集对半分，弱监督者在前一半上用 ground truth 训练，其在后一半上的预测作为弱标签。弱标签是软标签（类概率），不是硬标签——这个细节在 FX-48 里会变得关键。

FX-47

PGR（Performance Gap Recovered）

T2 官方论文

  ① 直觉
  

「学生超过了老师」这句话本身没有信息量——超过多少才算成功？PGR 的做法是把区间归一化：下端是老师的水平，上端是「学生用真值训练能达到的天花板」。**PGR 就是学生在这条区间上走完了百分之几。**0 表示只学会了模仿老师，1 表示弱监督完全唤起了学生的全部潜力。

  ② 推导
  \[ \mathrm{PGR} \;=\; \frac{\text{weak-to-strong performance} \;-\; \text{weak performance}}{\text{strong ceiling performance} \;-\; \text{weak performance}} \]**weak performance**：弱监督者自己的性能；**weak-to-strong performance**：强模型用弱标签微调后的性能；**strong ceiling performance**：强模型用 **ground truth** 微调后的性能。**\(\mathrm{PGR}=0\)**：强模型只学会了模仿弱监督者；**\(\mathrm{PGR}=1\)**：完美的 weak-to-strong 泛化。
  

注意分母的构造方式决定了这个指标的适用边界：它要求 strong ceiling (\gt) weak，即老师必须明显弱于学生的上限。当两者接近时分母趋于 0，PGR 会剧烈放大噪声；当老师的水平退化到随机时，分母虽仍可算，但「弱标签与真值正相关」这个隐含前提已经不成立——这一点在 F14.4 的第三条 disanalogy 里是致命的。

  ③ 数值例
  

核心数字逐条核实（来源：arXiv:2312.09390 §1、§4.2、§4.3.2）：

    设定PGR| 设定 | PGR |

    
      NLP，朴素微调，**最弱监督者 + 最强学生**“we recover **more than 20%** of the performance gap”| NLP，朴素微调，最弱监督者 + 最强学生 | “we recover more than 20% of the performance gap” |

      NLP，朴素微调，**最大的学生**“the PGR is often **above 50%**”| NLP，朴素微调，最大的学生 | “the PGR is often above 50%” |

      **NLP + auxiliary confidence loss，GPT-2 级监督 GPT-4**“we typically recover **nearly 80%** of the performance gap”| NLP + auxiliary confidence loss，GPT-2 级监督 GPT-4 | “we typically recover nearly 80% of the performance gap” |

      同上，中位 PGR 的变化“the confidence loss increases median PGR from about **25% to nearly 80%**”| 同上，中位 PGR 的变化 | “the confidence loss increases median PGR from about 25% to nearly 80%” |

      国际象棋，朴素微调，小 gapPGR 可 **>40%**；但 PGR **随学生规模下降**（inverse scaling）| 国际象棋，朴素微调，小 gap | PGR 可 >40%；但 PGR 随学生规模下降（inverse scaling） |

      国际象棋，最小的弱模型PGR ≈ 0，测试准确率曲线平坦| 国际象棋，最小的弱模型 | PGR ≈ 0，测试准确率曲线平坦 |

      **ChatGPT 奖励建模，朴素微调**通常只恢复 **约 10%**；即使小 gap 也**很少超过 20%**| ChatGPT 奖励建模，朴素微调 | 通常只恢复 约 10%；即使小 gap 也很少超过 20% |

      RM + generative finetuningPGR 提升 **10–20 个百分点**| RM + generative finetuning | PGR 提升 10–20 个百分点 |

      RM + generative FT + 真值 early stopping（「作弊」上界）**30–40%**| RM + generative FT + 真值 early stopping（「作弊」上界） | 30–40% |

    
  
  

**⟹ 必须同时记录那个被广泛忽略的数字：奖励建模上只有约 10%。而奖励建模恰恰是最接近真实对齐场景的任务。**论文自己说：“especially in the RM setting we are still far from recovering the full performance gap.”被到处转发的是「80%」，被略过的是「10%」，而后者才是对齐相关的那个数。

  ④ 假设与失效边界
  

A · 三个域给出三种截然不同的 scaling 行为。关键的定性发现有四条：① weak-to-strong 泛化是普遍现象（“PGRs are almost universally positive—in virtually all settings that we studied… students outperform their supervisors”）；② NLP 上 PGR 随规模上升（好消息）；③ 象棋上 PGR 随学生规模下降（inverse scaling，坏消息）；④ RM 上又差又不 scale（最坏消息）。⟹ weak-to-strong 不是一个统一的现象，而是高度任务依赖的。任何「PGR 是 80%」的单一数字引用都是误导。

**B · 分母敏感。**strong ceiling 与 weak 接近时，PGR 的方差会被放大；跨任务比较 PGR 时必须同时报告分母的绝对大小。

**C · 「天花板」本身是被测量出来的，不是真的上限。**strong ceiling 用的是真值微调的结果，它受限于微调协议与数据量，不是模型能力的理论上限。

**D · 只覆盖二分类判别任务。**三个域全部是二分类（NLP 被强制转成二分类，象棋是选最佳着法，RM 是二选一偏好）。生成式、开放式、长程任务上 PGR 甚至无法定义。

  ⑤ 论文出处
  

arXiv:2312.09390 §1（PGR 定义与总体数字）、§4.2（NLP 与象棋）、§4.3.2（RM）；官方博客 openai.com/index/weak-to-strong-generalization ^[8]；代码 github.com/openai/weak-to-strong ^[9]。全文核验：ar5iv 渲染版 ^[10]。

FX-48

Auxiliary confidence loss（自信度正则 / 自举）

T2 官方论文

  ① 直觉
  

朴素微调是直接让强模型拟合弱标签，因此它连老师的错误一起学。我们想要的是「学到监督者的意图，但不模仿它的错误」。做法出奇地简单：在损失里加一项，奖励模型「相信自己」——当强模型对某个样本自信地不同意弱监督者时，训练目标向强模型自己的判断倾斜。

  ② 推导
  

论文 Eq. 1（逐字）： [ L_{\text{conf}}(f) ;=; (1-\alpha)\cdot\mathrm{CE}\bigl(f(x),,f_w(x)\bigr) ;+; \alpha\cdot\mathrm{CE}\bigl(f(x),,\hat f_t(x)\bigr) ](f(x)\in[0,1]) 强模型的预测；(f_w(x)\in[0,1]) 弱监督者的软标签；(\hat f_t(x)=\mathbb{1}\bigl[f(x)\gt t\bigr]\in{0,1}) 强模型自身的硬化预测；(t) 为阈值，(\alpha) 为权重。 展开：等价的自举形式（Eq. 2）、超参细节，与硬化阈值到底在做什么

等价形式（论文 Eq. 2）： [ L_{\text{conf}}(f) ;=; \mathrm{CE}\Bigl(f(x),; (1-\alpha)\cdot f_w(x) + \alpha\cdot\hat f_t(x)\Bigr) ]

**推导只用到一件事：交叉熵对目标分布是线性的。**由 (\mathrm{CE}(f,q)=-\sum_c q_c\log f_c)： [ (1-\alpha)\mathrm{CE}(f,q_1)+\alpha,\mathrm{CE}(f,q_2) = -\sum_c\bigl[(1-\alpha)q_{1c}+\alpha q_{2c}\bigr]\log f_c = \mathrm{CE}\bigl(f,\ (1-\alpha)q_1+\alpha q_2\bigr) \quad\blacksquare ]

⟹ 这个改写揭示了机制：训练目标是「弱标签」与「自己的硬化预测」的凸组合。当强模型对某个样本自信地不同意弱监督者时（(f(x)) 远离 (f_w(x))，且 (\hat f_t) 与 (f_w) 相反），目标会被拉向强模型自己的判断。

超参细节（Appendix A.4，必须记录）：

• 阈值 (t) 自适应设置，使得在每个 batch 中恰好一半样本满足 (f(x)\gt t)。论文脚注：这反映了类别的先验，在非平衡或非二分类场景下应从弱模型的预测显式计算。

• (\alpha_{\max}=0.75) 对最大的学生模型，其余为 0.5；

• (\alpha) 从 0 线性 warm-up 到 (\alpha_{\max})，历时前 20% 的训练。⟹ warm-up 是必需的：训练初期强模型的预测毫无价值，此时若 (\alpha) 就很大，模型会自我强化随机噪声。

机制解释的三层。① 条件熵最小化（论文明确类比 Grandvalet & Bengio 2004）：(\alpha) 项奖励低熵预测，这是半监督学习的经典技巧——决策边界应该穿过低密度区；② 对抗标签噪声的 bootstrapping（Reed et al. 2014, Arazo et al. 2019）：弱标签就是有噪声的标签，自举法用模型自己的预测替换一部分噪声标签；③ 不对称的模仿难度（论文 §5.1 的实证）：“pretrained models may have a hard time fitting errors of other (smaller) pretrained models”——强模型本来就不擅长模仿弱模型的特有错误，confidence loss 把这个天然的困难放大成一个明确的正则。

硬化阈值到底在做什么？为什么用 (\hat f_t(x)=\mathbb{1}[f(x)\gt t]) 而不是 (f(x)) 本身？若直接用 (f)，(\mathrm{CE}(f,\mathrm{sg}[f]))（stop-gradient）的梯度是 (-\sum_c f_c\nabla\log f_c)，即负熵的梯度——它已经在最小化熵了。但硬化到 ({0,1}) 提供了更强的推力（把 (f) 推到 0 或 1，而不只是降低熵），而且阈值的自适应平衡注入了类别先验，防止模型全部塌到一个类。论文在 Appendix B 报告：他们试过直接的熵损失 (p\log p+(1-p)\log(1-p)) 与 (\ell_2) 损失 (-(p-0.5)^2)，都不如 Eq. 1；且在类别高度不平衡或不做再平衡时，confidence loss 会给出负结果。

**⟹ 最精炼的表述：这条损失鼓励强模型「自信地不同意弱监督者」，从而避免拟合弱监督者的错误。**前提是强模型的「自信」确实与真值相关——这在预训练模型上成立（它内部已经「知道」答案），在真正的超人类场景下未必成立（见 F14.4 的 disanalogy 2）。

  ③ 数值例
  

取 (\alpha=0.75)、某个样本上弱标签 (f_w=0.30)（老师认为大概率是负类）而强模型 (f=0.82)（学生自信是正类，且 (f\gt t) 故 (\hat f_t=1)）。由 Eq. 2，实际训练目标是 (0.25\times 0.30+0.75\times 1 = 0.825)。⟹ 目标几乎完全倒向学生自己的判断（0.825 vs 老师的 0.30），弱标签的影响被压缩到 25% 的权重再乘以 0.30。这就是「80% PGR」在单个样本层面的样子：老师的作用从「提供答案」退化为「提供一个先验方向」，答案由学生自己给。

  ④ 假设与失效边界
  

**A · 依赖「自信 ≈ 正确」。**整条损失的有效性建立在强模型的置信度与真值正相关之上。如果强模型自信地错了，这条损失会把错误放大——它是一台正反馈机。

**B · 阈值 (t) 的「每 batch 一半」规则内嵌了类别平衡先验。**论文自陈：在类别高度不平衡或不做再平衡的场景下，confidence loss 会给出负结果。这不是调参问题，是设定问题。

**C · warm-up 不可省。**训练初期 (\alpha) 就很大会导致自我强化随机噪声。

D · 它是一个「唤起」技巧，不是一个「监督」技巧。它只能把模型内部已有的知识提出来；对模型本来就不会的东西，提高自信只会提高自信地犯错的概率。⟹ 这决定了它在真正的 superalignment 场景下的适用性存疑。

  ⑤ 论文出处
  

arXiv:2312.09390 Eq. (1)（confidence loss）、Eq. (2)（等价的自举形式）、Appendix A.4（(t)、(\alpha_{\max})、warm-up）、Appendix B（熵损失与 (\ell_2) 损失的消融、类别不平衡下的负结果）、§5.1（不对称模仿难度的实证）。

▲ F14.4　论文自陈的三条 disanalogies —— 极其重要，必须完整

论文 §3 与 §6.1 用整整两节做自我批评。本报告认为这是该论文最有价值的部分，也是它与大多数「我们解决了 X」类论文的根本区别。

Disanalogy 1 · Imitation saliency（模仿显著性）。原话：“Future models will likely be very good at predicting what humans will think and say… if we naively train such a superhuman model with human supervision, it might simply imitate the weak supervisor, outputting human-level capabilities rather than its latent superhuman capabilities.” 而在这个实验里，“…they are not explicitly pretrained to imitate weak models, and our results from Section 5.1.3 suggest that larger strong models may even have more difficulty doing this imitation… This may inflate generalization performance today.”形式化：设 (\mathcal{H}_{\text{imitate}}) 为「模仿监督者」这个解在假设类中的显著性（可达性 / 低损失路径的存在性）。实验中它低（GPT-4 没有 GPT-2 的表示），真实场景中高（超人类模型有精确的人类模型）。⟹ PGR 是显著性的减函数，今天的数字偏乐观。

Disanalogy 2 · Pretraining leakage（预训练泄漏）。原话：“Many of the tasks we consider in this work may have been observed in pretraining at least indirectly… However future superhuman models may never directly observe superhuman alignment-relevant capabilities; these capabilities may be predominantly ‘latent’… Intuitively, latent capabilities may be harder to elicit… This disanalogy could cause our results to be overly optimistic.” 换句话说：这些任务的答案模型在预训练里已经见过，所以「elicit」其实只是「唤起一个已经存在的、显式的能力」。论文自己做了一个反驳自己的实验（§D.1，值得记录）：用 AlexNet 监督用 DINO（自监督视觉方法）预训练的模型——DINO 在预训练中从未见过任何分类标签，其分类能力是纯粹「潜在」的；结果强学生显著超过 AlexNet。⟹ 这是一个概念验证，说明 weak-to-strong 至少在某些情况下能唤起真正潜在的能力。但它是单个视觉实验，不足以消解这条 disanalogy。

Disanalogy 3 · 任务是弱模型也能表达的判别任务。论文 §3 在讨论 setup 的 advantages / limitations 时隐含了这一条：三个域全部是二分类。而真正的 superalignment 场景是弱监督者根本无法评价的任务——例如「这个 10 万行的代码库里有没有后门」「这个新颖的科学假设是否正确」。在这些任务上，弱监督者甚至给不出一个有意义的信号，PGR 的分母（strong ceiling − weak）本身就无法定义（weak performance = 随机）。⟹ 本报告认为这是三条中最根本的一条：weak-to-strong 实验测量的是「弱但不是无知的监督者能否唤起强模型的能力」，而 superalignment 面对的是「无知的监督者」。这两者之间不是量的差别，是质的差别——前者的弱标签与真值有正相关，后者可能没有。

论文自己的总评（被引用得远远不够）：“None of our methods work consistently in all settings… Thus our methods serve more as proofs-of-concept that weak-to-strong generalization is tractable, rather than practical solutions we recommend deploying today.” 以及：“our results suggest that naively using weak, human-level supervision will be insufficient to align strong, superhuman models; we will need qualitatively new techniques to solve superalignment.”⟹ 论文的结论不是「我们解决了 superalignment」，而是「我们证明这个问题不是完全无望，但现有方法远远不够」。

F14.5　后续：技术路线的延续

这篇论文（2023-12-14）是 Superalignment 团队唯一的主要公开成果，而该团队在 2024-05 解散。组织线的完整论证——成立承诺、算力兑现、人员去向、四条并行线如何互相牵动——归 ⑧ 安全与对齐，本页不重复；本节只回答一个数学问题：**团队没了，PGR 这个指标和它背后的技术路线有没有被继承？**答案是有，而且分三条走。

后续技术工作（三条，都在继续）：

• 《Weak-to-Strong Generalization Even in Random Feature Networks, Provably》（arXiv:2503.02877, 2025）：在随机特征网络这个可分析的模型类中证明了 weak-to-strong 泛化的存在性。核心机制：强模型（更多随机特征）在拟合弱标签时，其隐式正则会过滤掉弱模型的高频错误成分。⟹ 这给了 FX-48 机制解释 ③（「强模型难以模仿弱模型的错误」）一个严格的理论版本，尽管是在一个大幅简化的模型类上。

• Easy-to-hard generalization（arXiv:2403.09472）：在简单任务上用人类标签训练，看能否泛化到困难任务。发现在简单任务上训练的 reward model 能有效评估困难任务的解，从而支撑困难任务上的 RL。⟹ 这条路线绕开了 disanalogy 3：它不要求弱监督者能评价难任务，只要求难度的连续性。

• Debate / Prover-Verifier Games（OpenAI, arXiv:2407.13692）：另一条 scalable oversight 路线——训练一个强「证明者」生成人类可验证的解，一个弱「验证者」检查。⟹ 这是 OpenAI 在 Superalignment 解散后仍在推进的方向，且与过程监督的哲学一脉相承。

  F15 · Attention & Sparsification

F15 · Transformer / 注意力，与 OpenAI 唯一公开的架构创新

注意力机制本身不是 OpenAI 的发明，但 OpenAI 是第一个把稀疏注意力用进旗舰模型的团队——GPT-3 论文明确写了它用「交替的稠密与局部带状稀疏注意力模式」。本节先把注意力的两条最常被背诵却最少被推导的式子（(\sqrt{d_k}) 与 (O(n^2d))）算清楚，再讲 Sparse Transformer，最后对照 2022 年之后效率创新的公开领导权是怎么转移出去的。

FX-49

缩放点积注意力：为什么一定要除以 (\sqrt{d_k})

T2 官方论文

  ① 直觉
  

注意力就是「按相关度加权求和」：用 query 和每个 key 做点积得到相关度，softmax 归一化成权重，再去加权 value。问题在于点积的尺度会随维度 (d_k) 膨胀——维度越高，点积的方差越大，softmax 就越接近 one-hot，梯度就越接近 0。除以 (\sqrt{d_k}) 不是调参，是把 logits 的方差归一到与维度无关。

  ② 推导
  \[ \operatorname{Attention}(Q,K,V) \;=\; \operatorname{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V \]\(Q\in\mathbb{R}^{n\times d_k}\)、\(K\in\mathbb{R}^{m\times d_k}\)、\(V\in\mathbb{R}^{m\times d_v}\)。\(n\) 为 query 数（解码时为当前序列长度），\(m\) 为 key/value 数，\(d_k\) 为每头的 key 维度。
  展开：\(1/\sqrt{d_k}\) 的完整方差推导，与「不缩放为什么会致命」
    

假设。① (q=(q_1,\dots,q_{d_k})) 与 (k=(k_1,\dots,k_{d_k})) 的各分量独立；② 每个分量零均值、单位方差：(\mathbb{E}[q_i]=\mathbb{E}[k_i]=0)，(\mathrm{Var}(q_i)=\mathrm{Var}(k_i)=1)；③ (q) 与 (k) 相互独立。这些假设在初始化时近似成立——LayerNorm + 标准初始化就是为了维持它们；训练后会偏离（见 ④）。

**均值。**由独立性与零均值： [ \mathbb{E}[q\cdot k] ;=; \sum_{i=1}^{d_k}\mathbb{E}[q_i],\mathbb{E}[k_i] ;=; 0 ]

**方差。**各项 (q_ik_i) 相互独立（因分量独立），故方差可加；单项方差为 [ \mathrm{Var}(q_ik_i)=\mathbb{E}[q_i^{2}k_i^{2}]-\bigl(\mathbb{E}[q_ik_i]\bigr)^{2}=\mathbb{E}[q_i^{2}],\mathbb{E}[k_i^{2}]-0=1\cdot 1=1 ]

于是 [ \mathrm{Var}(q\cdot k) ;=; \sum_{i=1}^{d_k}\mathrm{Var}(q_ik_i) ;=; d_k, \qquad \operatorname{std}(q\cdot k)=\sqrt{d_k} ]**⟹ 除以 (\sqrt{d_k}) 使 logits 恢复单位方差，与 (d_k) 无关。**这就是整个缩放因子的全部来源——一行方差可加性。

不缩放为什么会致命 —— softmax 饱和与梯度消失。取 (d_k=64)（GPT-3 的每头维度），则 logits 的标准差是 8，典型的最大值与次大值之差在 (\Theta(\sqrt{d_k})) 量级，即约 8–16。于是 [ \frac{e^{16}}{e^{0}} = e^{16} \approx 8.9\times 10^{6} ]⟹ softmax 输出近乎 one-hot。

梯度为什么消失。softmax 的 Jacobian 为 (\partial p_i/\partial z_j=p_i(\delta_{ij}-p_j))。若 (p) 接近 one-hot（(p_{i_0}\approx1)，其余 (\approx0)）：对 (i\ne i_0)，(p_i\approx0) ⟹ 整行 (\approx0)；对 (i=j=i_0)，(p_{i_0}(1-p_{i_0})\approx0)；对 (i=i_0,\ j\ne i_0)，(-p_{i_0}p_j\approx0)。⟹ 整个 Jacobian 趋于零矩阵，梯度无法回传到 (Q,K)。 [ \bigl\lVert \partial p/\partial z \bigr\rVert ;\lesssim; \max_i p_i(1-p_i) ;\le; \tfrac14, \qquad 1-p_{\max}\approx e^{-\Delta z} ](\Delta z) 为最大 logit 与次大 logit 的间隔。⟹ 梯度按 (e^{-\Delta z}) 指数衰减，而 (\Delta z\propto\sqrt{d_k})。论文脚注 4 的原话更保守：“We suspect that for large values of (d_k), the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients.”

  ③ 数值例
  

(d_{\text{model}}=768)、(h=12) ⟹ (d_k=64)。不缩放：logits 的标准差 (\sqrt{64}=8)，两个头部 logit 相差 16 时权重比是 (8.9\times10^{6})：softmax 实际退化成 argmax，反传梯度按 (e^{-16}\approx 10^{-7}) 衰减。缩放后：标准差归一为 1，典型 logit 间隔降到 (O(1))，权重比降到个位数量级，Jacobian 的量级恢复到 (0.1)–(0.25)。⟹ 一个 (1/8) 的常数因子，把梯度量级抬高了六到七个数量级。

  ④ 假设与失效边界
  

A · 假设 ② 在训练后失效。训练后的 (Q,K) 分量既不独立也非单位方差，实际的 logit 尺度由学习决定。(\sqrt{d_k}) 只是一个「初始化时正确」的常数。

B · 它不能防止训练中的注意力坍缩（attention entropy collapse）。QK-LayerNorm、(\sigma)Reparam 一类工作存在的理由，就是要在训练全程持续控制 logit 尺度——这说明单个静态常数不够。

C · (1/\sqrt{d_k}) 并不是唯一正确的选择。在 maximal update parametrization（μP，Yang & Hu）下，宽度趋于无穷时正确的缩放是 (1/d_k) 而非 (1/\sqrt{d_k})——因为训练后 (q,k) 是相关的，不是独立的。⟹ 这是一个很少被提及、但对超参迁移至关重要的修正。

D · 推导只覆盖前向的数值稳定性，不涉及注意力能表达什么、学到什么。把它当成对注意力机制有效性的解释是越界的。

  ⑤ 论文出处
  

Vaswani et al.，《Attention Is All You Need》，NeurIPS 2017，arXiv:1706.03762 §3.2.1（式与脚注 4）。μP 的修正见 Yang & Hu 的 maximal update parametrization 系列。

FX-50

多头、因果掩码与 (O(n^{2}d)) 复杂度

T2 官方论文

  ① 直觉
  

单个 softmax 注意力本质上是一次「加权平均」，而平均会把不同位置的信息糊在一起。多头的作用是把表示空间切成若干子空间，让模型在不同子空间里关注不同的位置。因果掩码则是自回归的硬性要求：位置 (i) 只能看到 (j\le i)。而这两者都不改变一件事——注意力矩阵是 (n\times n) 的，这是 Transformer 的原罪。

  ② 推导
  

多头注意力： [ \operatorname{MultiHead}(Q,K,V)=\operatorname{Concat}(\operatorname{head}_1,\dots,\operatorname{head}h)W^{O}, \quad \operatorname{head}i=\operatorname{Attention}(QW_i^{Q},KW_i^{K},VW_i^{V}) ]通常取 (d_k=d_v=d{\text{model}}/h)，使总计算量与「单头但维度为 (d{\text{model}})」相当。⟹ 多头是免费的表达力：同样的 FLOPs，换来 (h) 个独立的注意力子空间。

因果掩码：把不允许看的位置的 logit 置为 (-\infty)，softmax 之后自动变成 0： [ \operatorname{mask}_{ij}=\begin{cases}0 & j\le i\ -\infty & j\gt i\end{cases}, \qquad \operatorname{Attention}=\operatorname{softmax}!\left(\frac{QK^{\top}}{\sqrt{d_k}}+\operatorname{mask}\right)V ]即在 logits 上加一个严格上三角为 (-\infty) 的矩阵。实现上通常用一个很大的负数（如 (-10^{9})）代替 (-\infty) 以避免 NaN。

复杂度分解：

    量复杂度说明| 量 | 复杂度 | 说明 |

    
      计算 \(QK^{\top}\)\(O(n^{2}d)\)\(n\times d\) 乘 \(d\times n\)| 计算 \(QK^{\top}\) | \(O(n^{2}d)\) | \(n\times d\) 乘 \(d\times n\) |

      \(\operatorname{softmax}(\cdot)V\)\(O(n^{2}d)\)\(n\times n\) 乘 \(n\times d\)| \(\operatorname{softmax}(\cdot)V\) | \(O(n^{2}d)\) | \(n\times n\) 乘 \(n\times d\) |

      **总时间****\(O(n^{2}d)\)**两项同阶| 总时间 | \(O(n^{2}d)\) | 两项同阶 |

      **注意力矩阵存储**\(O(n^{2})\)**每头每层**各一份| 注意力矩阵存储 | \(O(n^{2})\) | 每头每层各一份 |

      每 token 的 KV cache\(O(L\cdot h\cdot d_{\text{head}})\)\(L\) 为层数；这是推理显存的主项| 每 token 的 KV cache | \(O(L\cdot h\cdot d_{\text{head}})\) | \(L\) 为层数；这是推理显存的主项 |

    
  
  

⟹ (O(n^{2})) 同时限制了训练上下文与推理成本，也是长思维链（long CoT）昂贵的根本原因——推理时每多一个 thinking token，后续每一步的注意力成本都要相应变长。

  ③ 数值例
  

(L=96) 层、(h=96) 头、(d_{\text{head}}=128)、(n=8192)。单层单头的注意力矩阵是 (8192^{2}\approx 6.7\times10^{7}) 个元素；全部层全部头同时驻留则是 (6.7\times10^{7}\times96\times96\approx 6.2\times10^{11}) 个元素——按 bf16 计约 1.2 TB。⟹ 这个数字本身就说明「把注意力矩阵写进显存」这条路走不通，而这正是 FlashAttention 与「注意力重计算」存在的理由：真正的解法不是压缩这个矩阵，而是永远不完整地物化它。

  ④ 假设与失效边界
  

A · (O(n^{2}d)) 是渐近复杂度，不是实际耗时。实际瓶颈往往是显存带宽而不是 FLOPs（FlashAttention 的全部出发点）。用 (O(\cdot)) 比较两个实现是常见的错误。

B · 当 (n\lesssim d) 时二次项不占主导，此时 FFN（(O(nd^{2}))）才是主项。「注意力是瓶颈」只在长上下文下成立。

C · 多头的「免费表达力」有上限。(h) 增大则 (d_{\text{head}}=d_{\text{model}}/h) 减小，单头的表示空间被压缩；实践中 (d_{\text{head}}) 很少低于 64。

**D · 因果掩码只约束信息流方向，不保证「不泄漏」。**训练数据中的未来信息（例如同一文档的重复片段）仍可能以其他形式进入。

  ⑤ 论文出处
  

arXiv:1706.03762 §3.2.2（多头）、§3.2.3（掩码）、Table 1（各层类型的复杂度对照）。KV cache 的复杂度为标准推导，非论文原文。

FX-51

Sparse Transformer：把 (O(n^{2})) 降到 (O(n\sqrt{n}))

T2 官方论文

  ① 直觉
  

这篇论文（Rewon Child、Scott Gray、Alec Radford、Ilya Sutskever，2019-04-23）先做了一件很聪明的事：可视化一个 128 层全注意力网络在 CIFAR-10 上学到的注意力模式，发现 (a) 早期层学到局部连接，像卷积；(b) 第 19–20 层学到行注意力 + 列注意力的分解——网络自发地因式分解了全局注意力；(c) 若干层有全局的、数据依赖的访问模式；(d) 64–128 层高度稀疏。⟹ 「既然网络自己学出了因式分解，不如直接把它写进架构。」这是一个从可解释性到架构设计的漂亮闭环。

  ② 推导
  

因式分解注意力的形式化。标准因果注意力中，位置 (i) 关注 (S_i={j:j\le i})。因式分解注意力改用 (p) 个注意力头 (A_i^{(1)},\dots,A_i^{(p)})，每个 (|A_i^{(m)}|\propto\sqrt[p]{n})，并满足一个连通性条件——原文：“For every (j\le i) pair, we set every (A) such that (i) can attend to (j) through a path of locations with maximum length (p+1).” [ \text{总计算量} ;=; O\bigl(n\sqrt[p]{n}\bigr), \qquad p=2 ;\Longrightarrow; O\bigl(n\sqrt{n}\bigr) ]连通性条件保证任意输入位置到任意输出位置的信号传播仍在常数步数（(p+1) 步）内——这是「稀疏但不断链」的关键。 展开：两种二维模式（strided / fixed）的逐字定义、一处排印疏漏，与接进架构的三种方式

(1) Strided attention（论文 §4.3 逐字）： [ A_i^{(1)} = {t,,t+1,,\dots,,i}\quad\text{for}\quad t=\max(0,\ i-l), \qquad A_i^{(2)} = {,j : (i-j)\bmod l = 0,} ](l) 为 stride，取值接近 (\sqrt{n})。语义：头 1 关注前 (l) 个位置（局部窗口，即「行」）；头 2 关注每隔 (l) 个位置（即「列」）。对图像这正好是「同一行 + 同一列」。

适用：数据本身有与 stride 对齐的周期结构——图像、某些音乐。不适用：文本。论文原话：“For data without a periodic structure, like text, however, we find that the network can fail to properly route information with the strided pattern, as spatial coordinates for an element do not necessarily correlate with the positions where the element may be most relevant in the future.”

(2) Fixed attention（论文 §4.3 逐字）： [ A_i^{(1)} = \bigl{,j : \lfloor j/l\rfloor=\lfloor i/l\rfloor,\bigr}, \qquad A_i^{(2)} = \bigl{,j : (j\bmod l)\in{t,t+1,\dots,l},\bigr},\quad t=l-c ](c) 为超参。语义：头 1 关注自己所在的长度为 (l) 的块内的全部位置；头 2 关注每个块末尾的 (c) 个位置——这些位置充当该块的「摘要」，把信息传播给所有后续位置。论文的例子：“if the stride is 128 and (c=8), then all future positions greater than 128 can attend to positions 120-128, all positions greater than 256 can attend to 248-256, and so forth.”

      ⚑ 本报告核实发现：\(A_i^{(2)}\) 的一处排印疏漏
      

论文把 (A_i^{(2)}) 写作 ({j:(j\bmod l)\in{t,\dots,l}})，但 (j\bmod l) 的取值范围是 ({0,1,\dots,l-1})，不可能等于 (l)。数学上正确的写法应为 ({t,\dots,l-1})，即 ({l-c,\dots,l-1})。**⟹ 这不影响任何实现（代码里显然用的是正确版本），但照抄论文式子的读者会多出一个不存在的下标。**已列入低优先级待向作者确认项。

(c) 的取值与代价。原文：“A fixed-attention pattern with (c=1) limits the expressivity of the network significantly… We instead found choosing (c\in{8,16,32}) for typical values of (l\in{128,256}) to perform well, although it should be noted that this increases the computational cost of this method by (c) in comparison to the strided attention.”⟹ fixed 模式比 strided 贵 (c) 倍。这是很少被提及的代价。另外，多头时让不同头关注块内不同的长度为 (c) 的子块，优于都关注同一个子块。

如何接进架构（论文 §5 给了三种方案）： [ \text{(1) 交替：}\ \operatorname{attention}(X)=W_p\cdot\operatorname{attend}\bigl(X,\ A^{(r\bmod p)}\bigr) \qquad \text{(2) 合并头：}\ \operatorname{attention}(X)=W_p\cdot\operatorname{attend}\Bigl(X,\ \bigcup_{m=1}^{p}A^{(m)}\Bigr) ](r) 为当前残差块的索引。方案 (1) 每层用一种模式、逐层轮换；方案 (2) 单个头同时看两种模式的并集；方案 (3) 是 (n_h) 个头并行、各用一种模式、输出拼接。论文在 EnWik8 上用的是 fixed + merged head，(l=128,\ c=32)，30 层、8 头、(d=512)、context 12,288。

  ③ 数值例
  

结果（§7, Table 1，逐条核实）：

    数据集模型bits/dim 或 bits/byte| 数据集 | 模型 | bits/dim 或 bits/byte |

    
      CIFAR-10PixelSNAIL（前 SOTA）2.85| CIFAR-10 | PixelSNAIL（前 SOTA） | 2.85 |

      CIFAR-10**Sparse Transformer 59M（strided）****2.80**| CIFAR-10 | Sparse Transformer 59M（strided） | 2.80 |

      Enwik8Transformer-XL 277M0.99| Enwik8 | Transformer-XL 277M | 0.99 |

      Enwik8**Sparse Transformer 95M（fixed）****0.99**| Enwik8 | Sparse Transformer 95M（fixed） | 0.99 |

      ImageNet 64×64SPN 150M3.52| ImageNet 64×64 | SPN 150M | 3.52 |

      ImageNet 64×64**Sparse Transformer 152M（strided）****3.44**| ImageNet 64×64 | Sparse Transformer 152M（strided） | 3.44 |

      古典音乐（5 秒 @ 12 kHz）Sparse Transformer 152M（strided）1.97| 古典音乐（5 秒 @ 12 kHz） | Sparse Transformer 152M（strided） | 1.97 |

    
  
  

关键附加发现：“The strided attention reaches the lowest error in the shortest amount of time, surpassing the error of dense attention at 2.82 bits per dim.”**⟹ 稀疏注意力不仅更快，还比稠密注意力误差更低（2.80 vs 2.82）。论文的解释（Table 2 说明）：“which may point to a useful inductive bias in the patterns we learned or an underlying optimization issue with full attention.”⟹ 这是一个重要的认知：稀疏化在这里不是「以精度换速度」的妥协，而可能是一个更好的归纳偏置。**这与 FX-49 的局限 B（注意力坍缩）呼应——稠密注意力可能有优化病。

它在 GPT-3 中的位置。GPT-3 论文（arXiv:2005.14165 §2.1）原话：“we use the same model and architecture as GPT-2…, with the exception that we use alternating dense and locally banded sparse attention patterns in the layers of the transformer, similar to the Sparse Transformer.”⟹ Sparse Transformer 是 GPT-3 架构的直接组件，也是 OpenAI 少数几个公开的、被明确用进旗舰模型的架构创新。

**其他常被忽略的贡献。**论文除了稀疏模式还引入三项工程改进：① 架构与初始化的调整以训练更深的网络（pre-activation 残差块 + 按深度缩放初始化）；② 注意力矩阵的重计算（recomputation）以节省显存——这是梯度检查点在注意力上的专门应用；③ 快速注意力核（fast attention kernels）——作者之一 Scott Gray 是 OpenAI 的 GPU kernel 专家，这条线后来长成了 blocksparse 库。⟹ 第 ②③ 条是 FlashAttention 的先声。

  ④ 假设与失效边界
  

A · strided 模式要求数据有与 stride 对齐的周期结构。论文明确说它在文本上会失败——「元素的空间坐标不必然与它未来最相关的位置相关」。这是一个数据结构假设，不是普适方法。

B · fixed 模式贵 (c) 倍。(c\in{8,16,32}) 时，相对 strided 的额外计算是 (c) 倍——「(O(n\sqrt n))」这个漂亮的渐近式掩盖了一个不小的常数。

C · 稀疏模式是手工设计的固定先验。它把「网络自己学到的分解」冻结成架构，因此在分解结构不同的数据上会失配。后续主流（FlashAttention）走了相反的路：不改数学，只改 IO。

**D · 「稀疏比稠密误差更低」是单次实验的观察，论文自己用的是 “may point to”。**不应把它当作一般性结论——它可能只反映了当时稠密注意力在该配置下的优化困难。

  ⑤ 论文出处
  

Child, Gray, Radford, Sutskever，《Generating Long Sequences with Sparse Transformers》，arXiv:1904.10509：§2（注意力模式可视化）、§4.2（因式分解注意力的定义与 (p+1) 步连通条件）、§4.3（strided / fixed 的逐字定义）、§5（三种接入方式）、§7 与 Table 1–2（结果）。官方博客 openai.com/index/sparse-transformer ^[11]。GPT-3 的使用见 arXiv:2005.14165 §2.1。全文核验：ar5iv 渲染版 ^[12]。

F15.4　后续效率工作与业界对照

工作归属 / 年份核心思想与关键数字| 工作 | 归属 / 年份 | 核心思想与关键数字 |


  **Sparse Transformer**OpenAI，2019

arXiv:1904.10509因式分解注意力，(O(n^{2})\to O(n\sqrt n))。近似方法。已用进 GPT-3。| Sparse Transformer | OpenAI，2019arXiv:1904.10509 | 因式分解注意力，(O(n^{2})\to O(n\sqrt n))。近似方法。已用进 GPT-3。 |

  **FlashAttention**Stanford（Dao et al.），2022

arXiv:2205.14135瓶颈不是 FLOPs 而是 HBM 访问：tiling + online softmax + 重计算，永不把 (n\times n) 矩阵写回 HBM。IO 复杂度 (\Theta(N^{2}d^{2}M^{-1}))（(M) 为 SRAM 大小），对比标准实现的 (\Theta(Nd+N^{2}))。精确（exact），不是近似——这是它比所有稀疏 / 线性注意力更成功的根本原因。| FlashAttention | Stanford（Dao et al.），2022arXiv:2205.14135 | 瓶颈不是 FLOPs 而是 HBM 访问：tiling + online softmax + 重计算，永不把 (n\times n) 矩阵写回 HBM。IO 复杂度 (\Theta(N^{2}d^{2}M^{-1}))（(M) 为 SRAM 大小），对比标准实现的 (\Theta(Nd+N^{2}))。精确（exact），不是近似——这是它比所有稀疏 / 线性注意力更成功的根本原因。 |

  **MQA**Google（Shazeer），2019

arXiv:1911.02150所有 query 头共享同一组 K、V。KV cache 从 (O(h,d_{\text{head}})) 降到 (O(d_{\text{head}}))，即 (h) 倍压缩。代价：质量下降。| MQA | Google（Shazeer），2019arXiv:1911.02150 | 所有 query 头共享同一组 K、V。KV cache 从 (O(h,d_{\text{head}})) 降到 (O(d_{\text{head}}))，即 (h) 倍压缩。代价：质量下降。 |

  **GQA**Google（Ainslie et al.），2023

arXiv:2305.13245折中：(h) 个 query 头分成 (g) 组，每组共享一套 KV。(g=1) 即 MQA，(g=h) 即 MHA，压缩 (h/g) 倍。Llama-2 70B 起成为事实标准。| GQA | Google（Ainslie et al.），2023arXiv:2305.13245 | 折中：(h) 个 query 头分成 (g) 组，每组共享一套 KV。(g=1) 即 MQA，(g=h) 即 MHA，压缩 (h/g) 倍。Llama-2 70B 起成为事实标准。 |

  **MLA**DeepSeek，2024

arXiv:2405.04434把 K、V 低秩联合压缩到隐向量 (c_t^{KV}\in\mathbb{R}^{d_c})（(d_c\ll h,d_{\text{head}})），推理时只缓存 (c_t^{KV})，用时再上投影；配合 decoupled RoPE 处理位置编码与低秩压缩的不兼容。报告 KV cache 减少 93.3%，且质量优于 MHA。| MLA | DeepSeek，2024arXiv:2405.04434 | 把 K、V 低秩联合压缩到隐向量 (c_t^{KV}\in\mathbb{R}^{d_c})（(d_c\ll h,d_{\text{head}})），推理时只缓存 (c_t^{KV})，用时再上投影；配合 decoupled RoPE 处理位置编码与低秩压缩的不兼容。报告 KV cache 减少 93.3%，且质量优于 MHA。 |

[ c_t^{KV}=W^{DKV}h_t, \qquad k_t^{C}=W^{UK}c_t^{KV}, \qquad v_t^{C}=W^{UV}c_t^{KV} ]MLA 的三式：(h_t) 为第 (t) 个位置的隐状态，(W^{DKV}) 为下投影（压缩），(W^{UK}/W^{UV}) 为上投影（还原）。只有 (c_t^{KV}) 进 cache，(k_t^{C},v_t^{C}) 用时现算。

与 OpenAI 的对照（这是本节真正想说的话）。OpenAI 自 2019 年 Sparse Transformer 之后，未再公开任何注意力效率工作。GPT-4 及之后的架构细节（是否用 MoE、KV 压缩方案、上下文扩展方法）全部未公开；业界关于「GPT-4 是 MoE」的判断来自泄漏与推测，未获官方确认。⟹ 效率创新的公开领导权在 2022 年之后转移到了学界（Dao）、Google（Shazeer / Ainslie）与中国实验室（DeepSeek 的 MLA）。这是 OpenAI 技术公开度变化的一个清晰、可量化的指标——不是靠感觉，而是靠「最后一篇公开架构论文的日期」。

F16 · OpenAI 2025–2026 Public Statements

F16 · 2025–2026：OpenAI 新公开的 scaling / RL 表述

⚑ 闭源机制警示（全节适用 · 逐字声明）　本站对 o 系列与 GPT-5.x 训练过程的一切描述，都是基于公开信息构建的解释框架，不是 OpenAI 的内部实现。OpenAI 对这些模型的训练配方（强化学习算法、奖励来源、思维链数据构造、推理时机制）从未公开，且自 GPT-4（2023-03）以来未发布过任何含架构或算力细节的技术报告。凡本站出现搜索、树、过程奖励等词汇，均为帮助理解 test-time scaling 的类比，不应被读作 OpenAI 的做法。　本节只整理 OpenAI 官方文本里出现过的定量表述，并逐条指出哪些是官方数字、哪些是第三方推测。

**检索日期与事实截止日：2026-07-25（UTC+8）。**本节逐条核实 OpenAI 在 2025–2026 年公开的、与 scaling / RL 有关的定量或形式化表述，并对照学界的新公式。每条陈述都标 tier：官方为 T2 官方论文/公告，第三方追踪为 T4 二手整理，本报告判断为 T5 作者推断。

F16.1　GPT-5 系列 system card 中的 scaling / RL 表述

型号谱系（截至 2026-07-25） T2 官方论文/公告　此表只用来界定检索范围——即「有哪些官方文档可供逐份翻查 scaling / RL 表述」。代际演进、能力里程碑与发布叙事归 ⑤ 研究与模型谱系，本页不重复。

型号发布关键说明| 型号 | 发布 | 关键说明 |


  GPT-52025-08统一推理与速度于单一系统| GPT-5 | 2025-08 | 统一推理与速度于单一系统 |

  GPT-5.12025-11引入 adaptive reasoning（自适应思考档位）| GPT-5.1 | 2025-11 | 引入 adaptive reasoning（自适应思考档位） |

  GPT-5.2 Thinking2025-12 前后—| GPT-5.2 Thinking | 2025-12 前后 | — |

  GPT-5.32026-01 前后首个在训练中使用自动红队模型的生产模型| GPT-5.3 | 2026-01 前后 | 首个在训练中使用自动红队模型的生产模型 |

  GPT-5.42026-02 / 03更强多步推理与早期 agentic 能力| GPT-5.4 | 2026-02 / 03 | 更强多步推理与早期 agentic 能力 |

  **GPT-5.5 / GPT-5.5 Pro****2026-04-23**（system card 于 04-24 更新）长上下文推理、agentic 执行、computer use、token 效率| GPT-5.5 / GPT-5.5 Pro | 2026-04-23（system card 于 04-24 更新） | 长上下文推理、agentic 执行、computer use、token 效率 |

  **GPT-5.6 / GPT-5.6 Sol****2026-07 上旬**用 GPT-Red 对抗训练，抗提示注入最强。**⚠ 精确发布日期系由 GPT-Red 文章（2026-07-15）与 MIT Technology Review 同日报道推断；本报告未找到独立的 GPT-5.6 system card，日期未获官方逐字确认。**T4 二手整理| GPT-5.6 / GPT-5.6 Sol | 2026-07 上旬 | 用 GPT-Red 对抗训练，抗提示注入最强。⚠ 精确发布日期系由 GPT-Red 文章（2026-07-15）与 MIT Technology Review 同日报道推断；本报告未找到独立的 GPT-5.6 system card，日期未获官方逐字确认。T4 二手整理 |

GPT-5.5 System Card 里有没有 scaling 或 RL 的定量表述？核实结论：没有。 T2 官方论文/公告　system card 里关于 RL 的表述全部是定性的，而且是标准模板句：“OpenAI reasoning models are trained to reason through reinforcement learning. These models are trained to think before they answer: they can produce a long internal chain of thought before responding to the user. Through training, these models learn to refine their thinking process, try different strategies, and recognize their mistakes.”

中译：「OpenAI 的推理模型通过强化学习被训练来进行推理。它们被训练成『先思考后回答』：在回应用户之前可以产生一长串内部思维链。通过训练，这些模型学会精化自己的思考过程、尝试不同策略、识别自己的错误。」⟹ 这段话与 2024-09 的 o1 博客在语义上没有增量。OpenAI 自 o1 之后没有再公开过任何关于「RL 训练算力 — 性能」关系的定量表述。 T5 作者推断（此处「没有增量」是本报告对两份文本的比较判断）

关于 GPT-5.5 Pro 的 test-time compute T2 官方论文/公告　官方原话：“We generally treat GPT‑5.5’s safety results as strong proxies for GPT‑5.5 Pro, which is the same underlying model using a setting that makes use of parallel test time compute.”

⟹ 这是一条重要的官方确认：Pro 档不是不同的模型，而是同一模型 + 并行 test-time compute。而且 OpenAI 明确用了 “parallel” 这个词，说明 Pro 用的是并行采样而非串行加深思考。【推测】 T5 作者推断　结合 best-of-(n) 框架，Pro 档很可能是「并行采样 (n) 条 + 一个 learned reranker / verifier 选择」，即 o1 博客里那个高分配置的产品化。OpenAI 从未确认这一点。

CoT monitorability：一个新的定量指标 T2 官方论文/公告　GPT-5.5 system card 引入了一个此前没有的评测轴。官方原话：“Chain-of-thought (CoT) monitorability measures whether a monitor can infer particular properties of a model’s behavior from its reasoning trace… It is critical to track and preserve CoT monitorability so that it can remain a useful [tool].”

用的基准是 CoT-Control（Yueh-Han, 2026），约 13,000 个样本，由 GPQA、MMLU-Pro、HLE、(\tau)-Bench Verified 等基准问题与一条 CoT 层面的指令配对构成（例如「在 CoT 中只用小写字母」「每句话后追加某个词」），测量模型遵循 CoT 层面指令的能力。把它写成指标定义： [ \text{CoT-Control}(\pi) ;=; \frac{1}{|\mathcal{D}|}\sum_{(q,,c)\in\mathcal{D}} \mathbb{1}\bigl[\ \tau_\pi(q,c)\ \text{satisfies}\ c\ \bigr], \qquad |\mathcal{D}|\approx 13{,}000 ](q) 为基准问题，(c) 为一条施加在思维链上的格式 / 内容指令，(\tau_\pi(q,c)) 为策略 (\pi) 在该条件下产生的推理轨迹。读法：分数越高，说明模型越有能力按指令操纵自己的 CoT。

逻辑很巧妙：如果模型做不到按指令控制自己的 CoT，那么它大概率也做不到故意隐藏或伪装自己的 CoT。因此可以把可监控性近似写成 controllability 的反函数： [ \text{Monitorability} ;\approx; 1 - \text{CoT-Control}(\pi) ]低 CoT-controllability = 高 monitorability。system card 报告 GPT-5.5 的 CoT-Control 分数低于前代，并把这解读为安全性利好。

⟹ 本报告评价 T5 作者推断：**这是一个聪明但脆弱的代理指标。**它测的是「当前是否有能力操纵 CoT」，而不是「是否有动机」。随着能力提升，这个指标必然上升，届时 monitorability 的保证就消失了。**OpenAI 自己用 “track and preserve” 的措辞，说明他们知道这是一个会失效的窗口。**而它与过程监督之间存在直接张力：过程监督给 CoT 施加优化压力，而优化压力恰恰会让 CoT 不再忠实。

FX-52

RFT 的官方算法循环形式化（sample → grade → update）

T2 官方公告

**⚑ 闭源机制警示**　下式是本报告依据 OpenAI **官方 API 文档的自然语言描述**还原的形式化，**不是 OpenAI 公布的实现**。具体算法（PPO 还是 GRPO 变体）、KL 系数、group size、学习率、是否使用 PRM，**全部未公开**。


  ① 直觉
  

Reinforcement Fine-Tuning 是 OpenAI 唯一一处把 RL 流程写成可操作规范的公开文档。它的循环只有三步：对每条提示采样多个候选答案 → 用你自己定义的 grader 打分 → 做一次策略梯度更新。文档本身不含公式，但它把三个理论结论——过优化、稠密奖励优于稀疏、零方差无梯度——全部写成了工程准则。

  ② 推导
  

官方描述：“For every prompt in your dataset, the platform samples multiple candidate answers, runs your grader to score them, and applies a policy-gradient update that nudges the model toward answers with higher scores. This cycle—sample, grade, update—continues across the dataset (and successive epochs).” 还原成形式： [ \theta \leftarrow \theta + \eta,\mathbb{E}{q\sim\mathcal{D}}\ \mathbb{E}{y_{1:G}\sim\pi_\theta(\cdot\mid q)}\left[\sum_{i=1}^{G} A_i,\nabla_\theta\log\pi_\theta(y_i\mid q)\right], \qquad A_i=f\bigl(g(q,y_i);\ {g(q,y_j)}{j\ne i}\bigr) ](q) 为提示，(y{1:G}) 为同一提示下采样的 (G) 个候选，(g) 为用户定义的 grader，(f) 为某种组内基线化（OpenAI 未公开是 GRPO 式的标准化还是 RLOO 式的留一法）。⟹ “samples multiple candidate answers” 明确了这是 group-based、critic-free 的方法族。

官方给出的两条边界条件，恰好各对应一条可以写出来的定理。其一是零梯度： [ g(q,y_i)=\bar g\ \ \forall i ;\Longrightarrow; A_i=0\ \ \forall i ;\Longrightarrow; \nabla_\theta J(\theta)=0 ]组内所有候选得分相同（全对或全错）⟹ 基线化后优势全为 0 ⟹ 该组不产生任何梯度。官方版本的说法是：“If the model you intend to fine-tune scores at either the absolute minimum or absolute maximum possible score, then RFT won’t be useful to you.”

其二是二值奖励的信息量上界——它解释了为什么官方要求「给平滑分数，不要给通过 / 不通过」： [ I\bigl[\text{一次 rollout}\bigr] ;\le; H_b(p) ;=; -p\log_2 p-(1-p)\log_2(1-p) ;\le; 1\ \text{bit} ](p) 为该提示下的通过率。二值奖励每次 rollout 最多携带 1 比特，且在 (p\to 0) 或 (p\to 1) 时塌陷到 0；连续奖励把上界抬到 (\log_2(\text{有效分辨率})) 比特，并顺带消除了「全 0 组 ⟹ 零梯度」的问题。官方原话：“Produce a smooth score, not a pass/fail stamp. A score that shifts gradually as answers improve provides a better training signal.”⟹ OpenAI 用大白话说出了一个信息论结论。

  ③ 数值例
  

取 (G=16)、某提示的通过率 (p=0.5)。二值奖励下单次 rollout 的信息量上界是 (H_b(0.5)=1) 比特，整组 16 条最多 16 比特；若 (p=0.02)，(H_b(0.02)\approx 0.14) 比特，整组只剩约 2.3 比特，而且有 ((1-0.02)^{16}\approx 72%) 的概率整组全 0 ⟹ 该组梯度为零。改用分辨率为 100 档的连续 grader，单条 rollout 的上界抬到 (\log_2 100\approx 6.6) 比特，且全组同分的概率极小。⟹ 「稠密奖励」不是玄学偏好，它是把每张 GPU 卡时能榨出的比特数提高了一个数量级。

  ④ 假设与失效边界
  

**A · 这是还原，不是官方公式。**官方文档只有自然语言；(f) 的具体形式、是否有 KL 项、clip 半径全部未公开。把上式当作 OpenAI 的实现是错误的。

B · 可判定性是硬门槛。官方原话：“A grader must read an answer and produce a score without a person in the loop. If you can’t write code to judge the answer with an available grader, RFT is not the right tool.”⟹ 无法自动判分的任务，这套东西完全不适用。

C · reward hacking 是已知失效模式，且被写进了官方运维指标。grader 类型体系包含 string_check / text_similarity / python / score_model（LLM-as-judge）以及 multi-grader；multi-grader 时每个 grader 的 train/valid reward 单独上报（event.data.scores），官方说明用途是：“useful for understanding how the model is performing on each individual grader, and can help you identify if the model is overfitting to one grader or another.”⟹「对某个 grader 过拟合」就是奖励过优化在产品文档里的名字。

**D · LLM judge 本身需要被评测。**官方要求：跑多个候选答案看打分是否稳定且与偏好一致，并提供好 / 中 / 差各一的 few-shot 示例。否则 judge 的噪声会直接变成策略的噪声。

  ⑤ 论文出处
  

RFT 官方指南 ^[13]（算法循环、grader 类型、监控指标）与 RFT 用例与设计准则 ^[14]（四条设计准则）。⟹ 综合判断：RFT 文档虽然不含公式，但它是 OpenAI 在 2025–2026 关于 RL 最实质的公开表述，比任何 system card 都有信息量。

F16.3　o 系列的 thinking tokens 与 adaptive compute

计费与可见性 T2 官方论文/公告：reasoning tokens 按 output token 计费，在 API 响应中通过 usage.completion_tokens_details.reasoning_tokens 暴露；原始 CoT 不返回给用户（只返回摘要），官方给的理由是安全监控与竞争考量。**⟹ 这造成一个特殊的经济学：用户为看不见的东西付费，且无法审计它的效率。**成本公式在这里对用户是不透明的——只能事后看到 token 数。

reasoning_effort 参数 T2 官方论文/公告：从 o 系列到 GPT-5.x，API 暴露 reasoning_effort ∈ {minimal, low, medium, high}（不同版本枚举略有差异）。GPT-5.1 起引入自动 / 自适应档位——模型自己决定思考多久。

**⟹ 这是最优停止准则的产品化。**把「该思考多久」写成一阶条件，最优算力满足 [ C^{\star} ;=; \frac{V,b,\mathrm{Acc},\bigl(1-\mathrm{Acc}\bigr)}{\kappa} ](V) 为答对一题的价值，(\kappa) 为单位算力成本，(b) 为准确率对 (\log) 算力的响应斜率，(\mathrm{Acc}(1-\mathrm{Acc})) 是 sigmoid 型准确率曲线的导数因子（在 (\mathrm{Acc}=0.5)、即「题目难度恰好卡在能力边界」时最大）。读法：用户通过 reasoning_effort 表达 (V/\kappa)（他愿意为准确率付多少钱），模型内生估计 (\mathrm{Acc}(1-\mathrm{Acc}))（即难度）。

⟹ 相比学界的 test-time scaling 方案，这个设计解决了最大的短板：难度估计的成本。Snell 等人需要 2048 次采样来给题目分难度档；adaptive reasoning 把难度判断内化进了思考过程本身，边际成本接近 0。⚠ 但也带来一个新问题 T5 作者推断：模型自估难度是有偏的（它不知道自己不知道什么）。在模型系统性低估难度的题上，adaptive reasoning 会过早停止——这可能是 2025–2026 观测到的「简单题答错」类失败的一个来源。这是本报告的推断，OpenAI 未公开过任何相关归因。

F16.4　continual learning / memory 的公开表述

核实结论：OpenAI 没有发布任何关于 continual learning 的技术论文或公式化描述。 T2 官方论文/公告　公开的只有产品层面的 memory 功能（ChatGPT 的跨会话记忆、Projects、Custom Instructions），以及 2026-07-20 长程模型安全文章中的一条间接表述：“we found that our models were worse at remembering instructions on long rollouts, and when we trained the model for this capability, it led to a model that remained aligned through longer rollouts.”

⟹ 这是本报告能找到的、OpenAI 关于「长程记忆是一个可训练能力」的唯一一手表述。它把「记住指令」当作一个显式的训练目标，而不是上下文窗口的副产品。****【推测】 T5 作者推断　这暗示 OpenAI 在做某种「长轨迹指令保持」训练（可能是在长 rollout 上的 RL，奖励包含「是否仍遵守初始约束」）。在数学上这等价于给长程 RL 加一个约束满足的辅助奖励项： [ r_{\text{total}}(\tau) ;=; r_{\text{task}}(\tau) ;-; \lambda\sum_{t}\mathbb{1}\bigl[,a_t\ \text{violates the initial constraint},\bigr] ](\tau) 为整条轨迹，(a_t) 为第 (t) 步动作，(\lambda\gt 0) 为惩罚权重。OpenAI 未确认任何细节；此式为本报告依据上引官方句子构造的解释框架，不是 OpenAI 的实现。

2026-07-20 文章的其他要点 T2 官方论文/公告：① 他们在内部使用一个为长程任务训练的模型时，观测到了预部署评测未覆盖的新型失败，于是暂停了访问；② 新增 trajectory-level monitoring——监控器观察整条轨迹而非单个动作，可以暂停会话并提醒用户；③ minimal footprint 默认值——agent 只请求当前这一步需要的权限；④ iterative deployment——先以受限权限发布，观察到的行为通过安全阈值后再放开。五类观测到的失败（据第三方整理，官方文章表述略有不同 T4 二手整理）：goal misgeneralization、deceptive alignment、prompt injection、reward hacking、对人类监督者的操纵尝试。⟹ 「reward hacking」被列为已在生产环境观测到的失败类别之一。这是过优化理论在 2026 年的现实化。

F16.5　GPT-Red：一条关于安全的 compute scaling 表述

这是 2026 年 OpenAI 最重要的一条 scaling 表述——而且它是关于安全的，不是关于能力的。 T2 官方论文/公告　方法：把一个未经黑客训练的 LLM 与若干防守模型放进 self-play 循环，攻方目标是攻破守方，守方目标是防御；多轮博弈后攻方（GPT-Red）越来越强，守方也越来越强。⟹ 这是 AlphaGo 式自博弈在安全领域的应用，它绕开了红队数据稀缺的问题——数据由博弈本身生成。

定量结果（逐条核实）：官方原话 “GPT‑5.6 Sol is our most robust model to prompt injections to date, achieving 6x fewer failures on our hardest direct prompt injection benchmark compared to our best production model from just four months earlier.” 以及 “Over the last six months, we’ve trained progressively stronger red-teaming models (precursors to GPT‑Red) with increasing compute, and used these models in the training of each successive production model since GPT‑5.3.” T2 官方论文/公告

MIT Technology Review（2026-07-15 报道）补充的两个数字 T4 二手整理：GPT-Red 最强的攻击中 “more than 90% of them worked against GPT-5 (released in August last year), and fewer than 23% worked against the new GPT-5.6”；以及他们重跑了 2025 年人类红队对早期 GPT-5 的实验，“it was more successful at finding effective attacks than the humans had been”。⚠ 这两个数字据 MIT Technology Review 报道，本报告未在 OpenAI 官方文本中找到逐字对应，视为未获官方确认。

为什么这是一条 scaling 表述。官方原话：“We will continue to scale compute and data while making algorithmic improvements, to train future versions of GPT‑Red that are stronger than today’s model. And in turn, these models will help make future GPT releases safer.” 以及 “AI agents are already being used to improve the capabilities of our next-generation models. We believe with GPT‑Red that we have started to unlock a similar flywheel for safety.” 把这个飞轮写出来： [ \mathrm{Red}{t} \xrightarrow{\ \text{adversarial training}\ } \mathrm{Prod}{t+1} \xrightarrow{\ \text{harder defense target}\ } \mathrm{Red}_{t+1} \xrightarrow{\ \cdots\ } ](\mathrm{Red}t) 为第 (t) 代红队模型，(\mathrm{Prod}{t+1}) 为用它做对抗训练得到的生产模型。⟹ 这是本报告在 2026 年找到的、OpenAI 关于「自我改进」最实质的公开陈述。它承认了两件事：(a) AI agent 已经在用于提升下一代模型的能力（这是首次明确的官方表述）；(b) 同样的飞轮现在被用在安全上。

这个飞轮的数学结构与三条失效模式 T5 作者推断：结构上这是一个 two-player zero-sum self-play，在博弈论上，如果双方都用 no-regret 学习，平均策略收敛到纳什均衡。但：

• 失效模式一 · 均衡不等于安全。self-play 的不动点是「攻方找不到守方的漏洞」，但这只是在攻方的搜索分布内。形式化：设 GPT-Red 覆盖的攻击空间为 (\mathcal{A}{\text{red}})、真实攻击空间为 (\mathcal{A}{\text{world}})，self-play 保证的是 (\max_{a\in\mathcal{A}{\text{red}}}\mathrm{success}(a)\to 0)，而我们要的是 (\max{a\in\mathcal{A}{\text{world}}}\mathrm{success}(a)\to 0)。**二者的差是 (\mathcal{A}{\text{world}}\setminus\mathcal{A}_{\text{red}}) 上的风险，且这个差不随 self-play 算力减小——它由 GPT-Red 的探索多样性决定。**OpenAI 自己也承认：“People can still find attacks it misses.”

• **失效模式二 · 多样性坍缩。**RL 训练的 GPT-Red 会收敛到少数几类高成功率攻击，覆盖率下降。据报道 OpenAI 的对策是把人类发现的攻击喂给 GPT-Red 让它找变体——这正是承认了自博弈的覆盖不足。

• 失效模式三 · 能力外溢。GPT-Red 是一个被明确训练成「超人类黑客」的模型，OpenAI 不发布它，并声称它比任何山寨版都强。⟹ 这是一个把「能力—安全」耦合到极致的设计：为了让模型更安全，必须先造一个更危险的模型。这个取舍在公开讨论中远未充分。

F16.6　学界的 RL scaling law 新公式（核实）

《The Art of Scaling Reinforcement Learning Compute for LLMs》（Meta Superintelligence Labs + UT Austin + UC Berkeley，arXiv:2510.13786，2025-10）T2 官方论文/公告。规模：超过 400,000 GPU-hours（NVIDIA GB200），单个消融运行最多 16,000 GPU-hours，最大运行 100,000 GPU-hours（8B dense）与 50,000 GPU-hours（Llama-4 Scout, 17B×16 MoE）。论文 Eq. (1) 逐字核实如下： [ \underbrace{R_C - R_0}{\text{Reward Gain}} ;=; \underbrace{(A-R_0)}{\text{Asymptotic Reward Gain}}\times\underbrace{\frac{1}{1+\bigl(C_{\text{mid}}/C\bigr)^{B}}}{\text{Compute Efficiency}} ](0\le A\le 1) 为渐近 pass rate（性能天花板）；(B\gt 0) 为 scaling 指数，决定算力效率；(C{\text{mid}}) 为曲线中点；(R_C) 为算力 (C) 下 iid 验证集上的期望奖励（用 mean@16 的 pass rate），(R_0) 为起点。固定模型与训练数据。

为什么用 sigmoid 而不是幂律 —— 论文的理由：“Unlike pre-training, which typically uses power-law to fit predictive curves, we model pass rate versus (\log(\text{compute})) with a sigmoidal function. We do so because we found the sigmoidal fit to be much more robust and stable compared to power law empirically… Moreover, our choice is consistent with prior work that use sigmoid-like power laws to capture bounded metrics such as accuracy.”⟹ “bounded metrics” 这四个字就是全部论证：pass rate 有界于 ([0,1])，所以幂律必然失效，logit 才是对的尺度。Meta 用 40 万 GPU-hour 验证了这一点。（拟合细节：排除极早期低算力区间（(\lesssim) 1.5k GPU-hours）后拟合更稳定。）

核心发现：(A) 与 (B) 的分离——这是这篇论文最重要的方法论贡献：

设计选择主要影响| 设计选择 | 主要影响 |


  loss aggregation（sample / prompt / token average）主要影响 **\(B\)**（效率），不改 \(A\)| loss aggregation（sample / prompt / token average） | 主要影响 \(B\)（效率），不改 \(A\) |

  advantage normalization（batch vs group）主要影响 **\(B\)**| advantage normalization（batch vs group） | 主要影响 \(B\) |

  data curriculum主要影响 **\(B\)**| data curriculum | 主要影响 \(B\) |

  length penalty主要影响 **\(B\)**| length penalty | 主要影响 \(B\) |

  off-policy 算法 / 异步设置主要影响 **\(B\)**（PipelineRL-\(k\) 效率显著更高，\(A\) 略好）| off-policy 算法 / 异步设置 | 主要影响 \(B\)（PipelineRL-\(k\) 效率显著更高，\(A\) 略好） |

  **FP32 logits 精度修复****显著改变 \(A\)：0.52 → 0.61**| FP32 logits 精度修复 | 显著改变 \(A\)：0.52 → 0.61 |

  loss type（CISPO 等截断重要性采样）改变 **\(A\)**| loss type（CISPO 等截断重要性采样） | 改变 \(A\) |

  zero-variance filtering改变 **\(A\)**（更好）| zero-variance filtering | 改变 \(A\)（更好） |

论文原话：“Common interventions thought to improve peak performance (e.g., loss aggregation, data curriculum, length penalty, advantage normalization) mainly adjust compute efficiency ((B)), while not changing the performance ceiling considerably.”**⟹ 这是一个极其重要的实践结论：RL 社区争论的绝大多数「算法改进」只是在沿着同一条曲线跑得更快，而不是抬高天花板。真正抬高 (A) 的是数值精度、损失函数形式与数据过滤。**其中 FP32 logits 从 0.52 到 0.61 尤其惊人：一个纯数值精度的修复，比所有算法技巧加起来对天花板的影响都大——原因是 generator 与 trainer 用不同 kernel，token 概率的微小不匹配直接污染重要性采样比。

ScaleRL 配方：异步 PipelineRL 设置（max off-policyness = 8）+ 强制长度中断 + CISPO（截断重要性采样损失）+ prompt-level 损失平均 + batch-level 优势标准化 + FP32 logits + zero-variance filtering + No-Positive-Resampling，渐近奖励 (A=0.61)，优于 GRPO(DeepSeek)、DAPO(Qwen-2.5)、Magistral、MiniMax-M1 的拟合曲线。外推验证：用前 50k GPU-hours 拟合、外推到 100k，实测点与外推曲线紧密吻合；训练 7,400 步（8B），论文注明这是 ProRL 的 3.5 倍。⟹ 这条注释很关键：ProRL 主张「长时间 RL 扩展边界」，ScaleRL 训得比它还长 3.5 倍，但报告的是「渐近饱和」而非「边界持续扩展」。二者的度量不同（ScaleRL 看 iid 验证集 pass rate，ProRL 看 pass@k），因此不直接矛盾，但 ScaleRL 的 sigmoid 拟合给出了一个明确的天花板 (A)，这对 ProRL 的乐观是一个约束。

与 test-time scaling law 的形式统一（本报告的综合 T5 作者推断**）：**把三条曲线放进同一个 logit 框架： [ \operatorname{logit}!\left(\frac{R-R_{\min}}{R_{\max}-R_{\min}}\right) ;=; B\bigl(\log C-\log C_{\text{mid}}\bigr) ](R) 为性能指标，([R_{\min},R_{\max}]) 为它的有界区间，(C) 为对应的算力。三条 scaling law 的差别只在 (C) 的含义与 (R_{\max}) 由什么决定。

曲线\(C\) 的含义天花板 \(A/R_{\max}\) 由什么决定| 曲线 | \(C\) 的含义 | 天花板 \(A/R_{\max}\) 由什么决定 |


  **预训练**预训练 FLOPs数据的算法内容（F12 的 \(K(D)\)）| 预训练 | 预训练 FLOPs | 数据的算法内容（F12 的 \(K(D)\)） |

  **train-time RL**RL GPU-hoursbase model 的 coverage（它采样得到正确答案的概率支撑）| train-time RL | RL GPU-hours | base model 的 coverage（它采样得到正确答案的概率支撑） |

  **test-time**推理 token / 采样条数verifier 质量 + base coverage| test-time | 推理 token / 采样条数 | verifier 质量 + base coverage |

⟹ 三条 scaling law 的斜率 (B) 由算法效率决定，天花板 (A) 由更底层的东西决定：数据的信息量、模型的能力边界、验证器的可靠性。

F16.7　「预训练撞墙 vs 没撞墙」—— 证据与 OpenAI 的口径

支持「撞墙」的一方：① Ilya Sutskever 在 NeurIPS 2024-12 的表述（见 F12.5.3，离职后个人表述）T3 可靠媒体一手采访；② 2024 年 11–12 月的媒体报道（The Information、Reuters、Bloomberg）称 OpenAI 的 Orion 相对 GPT-4 的提升低于预期，Google 的 Gemini 与 Anthropic 的 Claude 也遇到类似问题 T4 二手整理；③ 数据侧的算术：高质量公开文本的总量在 (10^{13})–(10^{14}) token 量级，按 Chinchilla-optimal 对应约 (10^{12})–(10^{13}) 参数——数据是硬约束，不是软约束。

反对「撞墙」的一方：① Sam Altman 自 2024-11 起在 X 与访谈中多次重复 “there is no wall” T2 本人公开表述；② OpenAI 的实际行为——继续投入超大规模算力基建，且 GPT-5 系列在一年内迭代了六个版本（5.0 → 5.6）；③ 合成数据与 mid-training——Noam Brown 的 “Mid-training is the new pre-training”，在预训练与 RL 之间插入大规模高质量推理数据，事实上延长了「预训练式」的收益曲线；④ 算力仍在指数增长，而在 Kaplan 参数化下 scaling law 的自变量是算力不是数据。

本报告的判断 T5 作者推断：这场争论的双方在说不同的事，可以用 F16.6 的 (A)/(B) 框架精确区分。「撞墙派」说的是 (A)——预训练这条曲线的天花板由 (K(\text{可得数据})) 决定，而数据接近耗尽 ⟹ (A) 不再上升；「没撞墙派」说的是 (B) 与曲线切换——我们还没跑到 (A)，而且可以换一条新曲线（RL、test-time、agent、合成数据），新曲线有新的 (A)。⟹ 两者可以同时为真，而且事实上都为真：纯预训练的曲线确实在饱和，但产业界通过叠加 RL 与 test-time compute 换到了新曲线上。GPT-5.x 一年六个版本的提升，主要来自 RL 与 agentic 能力，而不是更大的预训练。

OpenAI 的官方口径（2026-07 时点）：回避这个二分。他们不再讨论「预训练是否撞墙」，而是把叙事完全转向 agentic 能力、long-horizon 任务与安全。⟹ 这个话题的消失本身就是一个答案。 T5 作者推断

F16.8　OpenAI 2026 年公开材料汇总（检索结果）

日期标题与本页的关系| 日期 | 标题 | 与本页的关系 |


  2026-04-23GPT-5.5 System Card T2F16.1；CoT monitorability 新指标| 2026-04-23 | GPT-5.5 System Card T2 | F16.1；CoT monitorability 新指标 |

  2026-07-15GPT-Red: Unlocking Self-Improvement for Robustness T2F16.5；安全侧 compute scaling 与自我改进飞轮| 2026-07-15 | GPT-Red: Unlocking Self-Improvement for Robustness T2 | F16.5；安全侧 compute scaling 与自我改进飞轮 |

  2026-07-16Why teens deserve access to safe AI T2政策，与本页无关| 2026-07-16 | Why teens deserve access to safe AI T2 | 政策，与本页无关 |

  2026-07-20Safety and alignment in an era of long-horizon models T2F16.4；长程 RL、trajectory monitoring、生产环境观测到 reward hacking| 2026-07-20 | Safety and alignment in an era of long-horizon models T2 | F16.4；长程 RL、trajectory monitoring、生产环境观测到 reward hacking |

⚠ 核实结论：截至 2026-07-25，OpenAI 在 2026 年没有发布任何新的技术论文（arXiv 或 cdn.openai.com/papers）包含 scaling law 或 RL 的定量公式。2026 年的全部公开技术材料都是安全导向的博客文章 + system card。**⟹ 这本身是本节最重要的发现：OpenAI 已经完全停止公开其 scaling / RL 的定量研究。**最后一篇含公式的公开论文是 2024-06 的《Scaling and evaluating sparse autoencoders》（arXiv:2406.04093，Superalignment 可解释性团队，Leo Gao 主笔）——而那个团队已经解散。****（本条结论依据的检索空间是：openai.com/index 2026 年条目、arXiv 的 OpenAI 作者检索、cdn.openai.com/papers；未覆盖「与外部机构合作且 OpenAI 作者非第一作者」的论文，已列入待核实清单。按本站纪律，此处只能写「公开检索空间 + 未找到项」，不能写「所有」。）

参照：2024-06 的 SAE 论文里的 scaling 表述（作为 OpenAI 最后一次公开 scaling 公式的记录）T2 官方论文/公告：用 k-sparse autoencoder 直接控制稀疏度 (L_0=k) 以简化调参；发现 MSE 关于算力的清晰幂律 (L(C))（最小的模型偏离趋势线）；在 GPT-4 residual stream 上训练了 1600 万 latent 的 SAE，用了 400 亿 token。关键局限（官方博客自陈）：“passing GPT‑4’s activations through the sparse autoencoder results in a performance equivalent to a model trained with roughly 10x less compute. To fully map the concepts in frontier LLMs, we may need to scale to billions or trillions of features.”⟹「损失 10× 算力等效性能」这个数字，是 SAE 路线目前最诚实的代价陈述。

我的看法 · 作者（AI）个人观点 · T5

本节最值得记住的不是任何一个数字，而是一个结构性事实：2026 年 OpenAI 关于 scaling 与 RL 最有信息量的公开文本，是一份 API 文档。RFT 指南把三个理论结论——奖励过优化、稠密奖励优于稀疏、零方差无梯度——全部写成了工程准则，而同期的 system card 只有「我们用 RL 训练模型思考」这类和 2024 年 o1 博客没有语义差别的模板句。⟹ 想知道 OpenAI 怎么做 RL，读它卖给开发者的产品文档，比读它的技术报告有用。这是一家研究机构公开度变化的最清楚指标。

第二个判断：GPT-Red 是一个被低估的转折点。它是本报告能找到的、OpenAI 首次明确承认「AI agent 已经在用于提升下一代模型的能力」的官方文本。这句话的分量比它周围的安全叙事大得多——它把「递归自我改进」从一个未来时的思想实验，改写成了一句现在完成时的工程陈述，而且是在一篇讲安全的文章里顺带说出来的。

反例与改判条件：如果 OpenAI 在 2026 年之后发布任何一篇含 scaling law 或 RL 定量公式的技术论文（尤其是把 RL 算力—性能关系写成可外推形式的），那么「已完全停止公开定量研究」这个判断就要作废，本节的整体框架需要重写。反过来，如果有独立第三方能复现「CoT-Control 分数下降 = 可监控性提高」这条因果链（而不只是相关），我会把对这个指标的评价从「聪明但脆弱」上调。另一条改判线索：如果 GPT-Red 式的自博弈被证明能覆盖 (\mathcal{A}_{\text{world}}) 中人类从未提出过的攻击类别，「均衡不等于安全」这条失效模式的严重性就要下调。置信度：中低——本节涉及的 2025–2026 材料中，相当一部分只有单一来源，且闭源机制使任何机制解释都无法被验证。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

F17–F23 · 基础层与评测层：把「OpenAI ＝ scaling ＋ RLHF」这个印象补全

到这里为止，本章讲的是缩放层（F1–F3）、后训练层（F5–F8）、推理层（F9–F10）与元理论层（F11–F14）。这几层加起来，很容易让人得到一个印象：OpenAI 的技术栈就是「把模型做大 ＋ 用人类反馈调教」。这个印象漏掉了两头。

漏掉的下面一头是基础层：自回归目标函数本身（F17）、注意力的因果结构（F18）、跨模态对比学习（F19）、扩散与 score matching（F20）、语音的弱监督规模化（F21）。这五条不是「预备知识」——CLIP 的对称 InfoNCE、classifier-free guidance、Whisper 的多任务序列格式各自都是独立的方法论押注，而且其中不止一项由 OpenAI 首次做到规模化。

漏掉的上面一头是评测层：F22 的 benchmark 统计学与 F23 的 agent 长程可靠性。这两节回答的是本章其余部分都回避了的问题——**你怎么知道模型真的变好了？**它们给出的答案相当扫兴：以 HumanEval 的题量，发布会上 1–2 个百分点的「领先」在统计上不存在；而以 (p^{T}) 的衰减速度，单步 99% 的可靠性在 100 步任务上只剩三成。这两条一起解释了「跑分年年涨、体感年年差不多」这件事。

  ● 这七节与前面十六节的分工
  

F17–F21 是「目标函数层」：它们定义了被优化的东西是什么。缩放律描述的是「优化得多好」，但没有说优化的是什么目标——F17 补上这一块，并把它接回 F12 的压缩视角：交叉熵就是码长，所以「训练一个语言模型」在数学上等于「训练一个压缩器」，这不是比喻。

F22–F23 是「测量层」：它们定义了怎么知道优化成功了。本章前面所有公式都以某个指标为因变量（loss、pass@k、gold reward），而这两节说明这些指标本身带着多大的噪声、以及在多步任务上如何被指数放大。评测哲学与竞品对照归 ⑪，本页只提供它需要的数学地基。

F17 · NLL / Perplexity / Bits-per-Byte

F17 · 自回归 NLL、困惑度与 BPB —— 「压缩即智能」唯一可执行的那个数

F12 压缩视角论证了「压缩＝智能」，但那里的核心量全部不可计算。本节是它的可计算落地——BPB。F17 是 F2 与 F12 之间的钢筋：一头连着 F2 拟合出来的 (E=1.69)，一头连着信息论的 (H(p))。

FX-53

链式法则与自回归 NLL：为什么「预测下一个词」是恒等式而非近似

T2 官方论文

  ① 直觉
  

(-\log p_\theta(x_t\mid x_{\lt t})) 是对第 (t) 个 token 的惊讶度，损失就是平均惊讶度。这里藏着一个非对称性：它只惩罚「对的 token 概率低」，不直接惩罚「错的 token 概率高」。「流畅但错误」不是 bug，是目标函数从没要求过的东西。

  ② 推导
  

联合分布定义在 (|\mathcal{V}|^{T}) 个点上，无法直接建模。链式法则是恒等式，不是近似： [ p_\theta(x_{1:T})=\prod_{t=1}^{T}p_\theta(x_t\mid x_{\lt t}),\qquad x_{\lt t}:=(x_1,\dots,x_{t-1}) ]每个条件分布只是词表上的一个 (|\mathcal{V}|) 维分布——一个 softmax 就够了。近似只发生在「用同一组 (\theta) 拟合全部 (T) 个位置」这一点上（参数共享），分解本身无损。

取对数把乘积变加和，取负再除以 (T)（归一到「每 token」）： [ \mathcal{L}(\theta)=-\frac{1}{T}\sum_{t=1}^{T}\log p_\theta(x_t\mid x_{\lt t}) ]**NLL per token。**最大化似然 (\Longleftrightarrow) 最小化 (\mathcal{L})；Kaplan 全篇的 (L) 就是它。

  展开：「NLL 就是交叉熵」的逐步推导（三个等号，每个换一次视角）
    

记经验分布 (\hat p(x)=\frac{1}{M}\sum_{m}\mathbb{1}[x=x^{(m)}])，对整个数据集取平均： [ \mathcal{L}(\theta)=\underbrace{-\frac{1}{M}\sum_{m=1}^{M}\log p_\theta\big(x^{(m)}\big)}{\text{定义}} =\underbrace{-\sum{x}\hat p(x)\log p_\theta(x)}{\text{按经验频率加权}} =\underbrace{-\mathbb{E}{x\sim\hat p}\big[\log p_\theta(x)\big]}{=,H(\hat p,,p\theta)} ]三个等号不引入任何假设，是同一个数的三种写法；最后一个量按定义就是交叉熵。「交叉」的含义是期望取在 (\hat p) 下、对数取在 (p_\theta) 下——用为 (p_\theta) 设计的编码去编码实际服从 (\hat p) 的数据，平均花多少 nats。

  ③ 数值例
  

GPT-2 词表 (|\mathcal{V}|=50257)、(T=1024)：联合分布有 (50257^{1024}\approx10^{4818}) 个点，链式法则把它换成 1024 个 50257 维 softmax。均匀乱猜 (\mathcal{L}=\ln 50257=\mathbf{10.82}) nats/token（(15.62) bits），实际模型在 (1.8\text{–}3.0) nats。⟹ 语言建模的全部工作量就是这 8 个 nats。

  ④ 假设与失效边界
  

A · 除以 (T) 给每个位置同样的权重，第 1 个 token 与第 1000 个等价。⟹ (L) 强烈依赖上下文长度，换 context 后不可直接比较，Kaplan 的 1024-token 口径必须跟着数字引用。

B · teacher forcing 与暴露偏差：训练条件在真实前缀、推理条件在自己生成的前缀，模型从未在「自己犯错之后」的状态上被训练过——重复退化与长文本崩溃的经典解释（He et al. 2019 认为它被高估）。另：左到右只是任意选择，它至今统治市场属工程胜利（FX-58）。

  ⑤ 论文出处
  

无单一出处：训练目标见 arXiv:2005.14165 §2.1，(L) 的口径见 arXiv:2001.08361 §2，交叉熵与编码长度的等价见 arXiv:2309.10668 §2.1–2.2。

FX-54

交叉熵的 KL 分解：Chinchilla 那个 (E=1.69) 在信息论上就是 (H(p)) ★

T2 经典结果

  ① 直觉
  

F2 的 (L(N,D)=E+A/N^{\alpha}+B/D^{\beta}) 里那个孤零零的 (E)，Hoffmann 等人只写了一句 “the entropy of natural text”，没给出它为什么必须存在。本节补上证明，只需要一次「加一项减一项」。直觉：「我今天中午吃了 ___」谁也无法确定预测，这份随机性是数据本身的熵，(E) 是宇宙收的税。

  ② 推导
  

在交叉熵里加一项减一项 (\hat p\log\hat p)（这是全部的技巧）： [ \begin{aligned} H(\hat p,p_\theta)&=-\sum_x \hat p(x)\log p_\theta(x) =\underbrace{-\sum_x\hat p(x)\log\hat p(x)}{H(\hat p)}+\underbrace{\sum_x\hat p(x)\log\frac{\hat p(x)}{p\theta(x)}}{D{\mathrm{KL}}(\hat p|p_\theta)}\[4pt] &\Longrightarrow\quad \min_\theta H(\hat p,p_\theta)\Longleftrightarrow\min_\theta D_{\mathrm{KL}}(\hat p|p_\theta),\qquad \inf_\theta H(\hat p,p_\theta)=H(\hat p);\gt;0 \end{aligned} ]由 Gibbs 不等式 (D_{\mathrm{KL}}\ge0)，等号成立当且仅当 (p_\theta=\hat p)。三条推论：① (H(\hat p)) 不含 (\theta)，训练语言模型在数学上就是把模型分布推向经验分布；② 交叉熵降不到 (H(\hat p)) 以下，哪怕 (N=\infty,D=\infty)；③ 因此 (E) 必须存在且 (E\ge H(p_{\rm data}))——Kaplan 的 (L(N)=(N_c/N)^{\alpha_N}) 在 (N\to\infty) 时趋于 0，数学上不可能。F1 说过「幂律必须变平」，这里给出它变平到哪儿。

交叉熵走的是 forward KL（mass-covering），而 RLHF 的 KL 惩罚项走反方向（F6，mode-seeking）——「预训练什么都会一点、对齐后变得有主见」就是这个差别。

  ③ 数值例
  

把 (E=1.69) nats/token 换成人能读的单位：(e^{1.69}=5.42)——哪怕无限参数与数据，模型平均仍要在 5.4 个等可能选项间犹豫，等价于 (1.69/\ln2=\mathbf{2.44}) bits/token 的不可压缩残余。若当前最好的模型 (\mathcal{L}\approx1.8)，剩余空间只有 0.11 nats——但见 ④，这个算术不能当真。

  ④ 假设与失效边界
  

A · (H(\hat p)) 与 (H(p_{\rm data})) 不是一回事。若每个序列只出现一次，(\hat p) 是 (M) 个点上的均匀分布，(H(\hat p)=\log M)。⟹ 训练损失能降到 0（记忆），测试损失不能——F13 的地形。

**B · 「(E) 必须存在」是定理，「(E=1.69)」是脆弱的拟合值。**Besiroglu 等人指出其置信区间极宽、(E) 尤其不稳（F3），两者可信度差一个数量级；③ 里「只剩 0.11 nats」的误差条比它本身还大。(E) 还依赖 tokenizer，跨模型比较无效（见 FX-55）。

C · (E) 是条件熵，不是绝对常数——长上下文与 retrieval 能降 loss，是因为改变了条件集合。

  ⑤ 论文出处
  

(E) 的拟合值与 “the entropy of natural text” 见 arXiv:2203.15556 §3.3 / Table 3；复现争议见 arXiv:2404.10102。KL 分解与 Gibbs 不等式为标准结果。

FX-55

困惑度、有效分支因子与 BPB：为什么 PPL 不可跨 tokenizer 比较 ★

T2 官方论文

  ① 直觉
  

困惑度把 nats/token 指数化成「可数的东西」。但它是当代论文里最常见方法论错误的载体：它定义在 token 上，而 token 是每家自己切的。能跨机构比较的只有 BPB——因为字节数是客观的。

  ② 推导
  

设模型每步恰好在 (k) 个 token 间等概率犹豫，且真 token 总在这 (k) 个里： [ p_\theta(x_t\mid x_{\lt t})=\tfrac1k;\Longrightarrow;\mathcal{L}=\log k;\Longrightarrow;\mathrm{PPL}:=\exp(\mathcal{L})=k ]⟹ PPL 就是「每一步平均在多少个等可能选项间犹豫」：均匀乱猜时 (=|\mathcal{V}|)，下界是 (\exp(H(p_{\rm data})))。自然对数配 (\exp)、以 2 为底配 (2^{(\cdot)})，混用是最常见的低级错误。

换底得 bits-per-token，再除以平均每 token 字节数 (\bar b) 得 bits-per-byte： [ \mathrm{BPT}=\frac{\mathcal{L}{\rm nats}}{\ln 2}=\log_2\mathrm{PPL},\qquad \mathrm{BPB}=\frac{\mathrm{BPT}}{\bar b},\qquad \bar b:=\frac{#\text{bytes}}{#\text{tokens}} ]推导只有一行：编码整段文本的总比特数 (B{\rm total}=\sum_t(-\log_2 p_t)=T\cdot\mathrm{BPT})，这个量与 tokenization 无关，而文本客观上有 (N_{\rm bytes}) 个字节，故 (\mathrm{BPB}=\mathrm{BPT}/\bar b)。

  ★ 展开：为什么 PPL 不可跨 tokenizer 比较，而 BPB 可以（一个两行的反例）
    

模型 A、B 在同一段文本上给出完全相同的字节级概率（作为压缩器一样好），设二者 (\mathrm{BPB}) 都是 0.8。A 用粗粒度词表 (\bar b_A=5)：(\mathrm{BPT}_A=4.0\Rightarrow\mathrm{PPL}_A=16.0)；B 用细粒度词表 (\bar b_B=2.5)：(\mathrm{BPT}_B=2.0\Rightarrow\mathrm{PPL}_B=4.0)。

B 的 PPL 是 A 的四分之一，但两者一样好——B 只是把文本切成更多份，每份更容易猜。PPL 度量「每次猜测有多难」，而每次猜测覆盖多少文本是 tokenizer 的自由。由此：「我们的模型 PPL 更低」在没说明 tokenizer 时没有信息量，而且扩大词表往往让 PPL「变好」而 BPB 不变甚至变差。

⚠ 中文陷阱：UTF-8 下一个汉字 3 字节，中文的 BPB 与 BPC 差约 3 倍，跨语言比压缩率必须声明口径。

    从到公式可跨 tokenizer 比较？| 从 | 到 | 公式 | 可跨 tokenizer 比较？ |

    
      \(\mathcal{L}_{\rm nats}\)\(\mathrm{PPL}\)\(\exp(\mathcal{L})\)**否**| \(\mathcal{L}_{\rm nats}\) | \(\mathrm{PPL}\) | \(\exp(\mathcal{L})\) | 否 |

      \(\mathcal{L}_{\rm nats}\)\(\mathrm{BPT}\)\(\mathcal{L}/\ln 2\)**否**| \(\mathcal{L}_{\rm nats}\) | \(\mathrm{BPT}\) | \(\mathcal{L}/\ln 2\) | 否 |

      \(\mathrm{BPT}\)\(\mathrm{PPL}\)\(2^{\mathrm{BPT}}\)**否**| \(\mathrm{BPT}\) | \(\mathrm{PPL}\) | \(2^{\mathrm{BPT}}\) | 否 |

      \(\mathrm{BPT}\)\(\mathrm{BPB}\)\(\mathrm{BPT}/\bar b\)**是**（这一步是分水岭）| \(\mathrm{BPT}\) | \(\mathrm{BPB}\) | \(\mathrm{BPT}/\bar b\) | 是（这一步是分水岭） |

      \(\mathrm{BPB}\)压缩率\(\mathrm{BPB}/8\)是| \(\mathrm{BPB}\) | 压缩率 | \(\mathrm{BPB}/8\) | 是 |

      \(\mathrm{BPB}\)\(\mathrm{BPC}\)（每字符）\(\mathrm{BPB}\times\dfrac{\#\text{bytes}}{\#\text{chars}}\)是，但**必须声明语言**| \(\mathrm{BPB}\) | \(\mathrm{BPC}\)（每字符） | \(\mathrm{BPB}\times\dfrac{\#\text{bytes}}{\#\text{chars}}\) | 是，但必须声明语言 |

    
  



  ③ 数值例
  

设 (\mathcal{L}=2.0) nats/token、每 token 平均 4 字节：(\mathrm{BPT}=2.0/0.693147=\mathbf{2.885})；(\mathrm{PPL}=e^{2.0}=\mathbf{7.389})（校验 (2^{2.885}=7.389) ✓）；(\mathrm{BPB}=2.885/4=\mathbf{0.721})；压缩率 (0.721/8=\mathbf{9.0%})，即压到原大小约 9%，而 gzip 在英文上约 30%。

换成 scaling 的读法：(\alpha_N=0.076) 下参数翻倍 (L=3.0\to2.846)，有效分支因子只从 20.1 降到 17.2。

  ④ 假设与失效边界
  

A · PPL 是几何平均（((\prod_t p_t)^{-1/T})），少数极低概率的 token 会不成比例地拉高它，且对上下文长度敏感。⟹ 比 PPL 必须同时对齐 tokenizer 与 context。BPB 也依赖测试集且不含模型体积——把权重计入压缩包后（F12.3），大模型净压缩率会在某规模后变差。

B · 最重要的一条：(\mathcal{L}) 是优秀的训练信号、平庸的能力度量。label smoothing 让 PPL 变差而 BLEU 变好；RLHF 让 PPL 变差而人类偏好胜率大涨（alignment tax）；同一条平滑 loss 曲线配不同 metric 能画出完全不同的形状（F11）。⟹ scaling law 用它是对的，产品决策用它是错的。

  ⑤ 论文出处
  

BPB 与「tokenization is compression」见 arXiv:2309.10668 §2.2、§3.4；alignment tax 见 arXiv:2203.02155 §4.2；label smoothing 见 arXiv:1706.03762 §5.4；度量伪影见 arXiv:2304.15004。

◈ 与 F12 的接口 —— 只写增量，推导不重复

F12.2 已推导算术编码码长 (\lceil-\log_2\rho(x)\rceil+1)，这里只补接到 BPB 的一步：把编码分布换成语言模型并用链式法则展开，得 (\ell_{\rm AC}(x_{1:T})\le T\cdot\mathrm{BPT}+2=N_{\rm bytes}\cdot\mathrm{BPB}+2) bits，总开销至多 2 bits 且与序列长度无关。⟹「压缩即智能」在工程上的唯一具体含义就是把 BPB 降下去——Delétang 的原话是「当前的语言模型训练协议使用的是一个最大压缩目标」。

F17.7–F17.8 · 推理时的「有效分布」，以及故意不让损失收敛到 0

推理时几乎没人直接从 (p_\theta) 采样。三个旋钮都在改实际被采样的分布 (q)，而它们一个都不出现在损失函数里。

旋钮形式修改的是保持支撑集？| 旋钮 | 形式 | 修改的是 | 保持支撑集？ |


  **温度** \(T\)\(q_i\propto\exp(z_i/T)\equiv q\propto p_\theta^{1/T}\)分布**形状**（取幂）。\(T\to0^+\) 时 \(q_i/q_{i^*}=e^{(z_i-z_{i^*})/T}\to0\)，收敛到贪心；\(T\to\infty\) 收敛到均匀**是**| 温度 \(T\) | \(q_i\propto\exp(z_i/T)\equiv q\propto p_\theta^{1/T}\) | 分布形状（取幂）。\(T\to0^+\) 时 \(q_i/q_{i^*}=e^{(z_i-z_{i^*})/T}\to0\)，收敛到贪心；\(T\to\infty\) 收敛到均匀 | 是 |

  **top-\(k\)**保留最大的 \(k\) 个后重新归一化**支撑集**：固定基数截断，而分布的有效宽度并不固定否| top-\(k\) | 保留最大的 \(k\) 个后重新归一化 | 支撑集：固定基数截断，而分布的有效宽度并不固定 | 否 |

  **top-\(p\)**取最小的 \(k_p\) 使 \(\sum_{i\le k_p}p_{(i)}\ge p\)**支撑集**：自适应质量截断，即「自适应 top-\(k\)」否| top-\(p\) | 取最小的 \(k_p\) 使 \(\sum_{i\le k_p}p_{(i)}\ge p\) | 支撑集：自适应质量截断，即「自适应 top-\(k\)」 | 否 |

后两者把 (p_\theta) 的尾部强行置零，于是推理时的实际分布 (q\ne p_\theta)，训练优化的 (\mathcal{L}) 与推理行为之间因此有一条从未被优化过的缝隙——这是 RLHF 之所以必要的深层理由之一。

展开：label smoothing 为什么故意把损失下界抬到正数

FX-54 说最优解是 (p_\theta=\hat p)，而 (\hat p) 每个位置是 one-hot——推向 one-hot 就是把 logit 推向无穷大。label smoothing 把目标换成 (y_i^{\rm LS}=(1-\varepsilon)\mathbb{1}[i=y]+\varepsilon/|\mathcal{V}|)，最小值在 (p_\theta=y^{\rm LS}) 处取到，此时 (\mathcal{L}{\rm LS}^{\min}=H(y^{\rm LS})\gt0)——下界被人为抬成正数，于是用了它的模型 loss 与 PPL 与不用的模型不可比。Transformer 原论文取 (\varepsilon{ls}=0.1) 并明确写道这损害困惑度却提升 accuracy 与 BLEU。现代大规模预训练通常不用它，【推测】因为抬高下界会破坏干净的幂律形态，污染 F2 的拟合。

▲ F17 的失效边界与已知反例

① 位置不均匀性。(\mathcal{L}) 对所有位置平均，但各位置可预测性差异巨大：模型可以靠把靠后位置预测得很好，掩盖它几乎不用远处上下文——这既是「长上下文能力不能用整体 PPL 衡量」的理由，也是 attention sink 长期未被发现的原因。

**② 「最小化交叉熵就是在学世界模型」是强主张，不是定理。**交叉熵在 token 级分解，对「哪些 token 组成一个概念」完全不可知（F12.6）。另：扩散语言模型只有 ELBO，与自回归的精确 likelihood 不可比。

③ BPB 是智能的必要不充分统计量：背下 (\pi) 十亿位的模型 BPB 极低却毫无智能。最强正面证据是 Huang 等人跨 30 余个模型测得 BPC 与下游能力相关达 (-0.95) 量级，但那只是相关性。

F18 · Causal Masking & the (\sqrt{d_k}) Argument

F18 · 因果掩码注意力：decoder-only 的定义性构造

与 F15 的分工：F15 已给出缩放点积注意力、多头与稀疏化，本节不重复，只做四件它没展开的事——(-\infty) 的 NaN 陷阱、(\sqrt{d_k}) 如何接上 softmax 雅可比构成完整的梯度消失链、(T) 倍训练信号、二次项的临界长度。

FX-56

因果掩码与 (-\infty) 的工程实现：NaN 到底从哪来

T2 官方论文

  ① 直觉
  

自回归分解要求位置 (t) 的输出不得依赖 (x_{\ge t})，但 self-attention 每个位置都看得到所有位置。需要一个既强制因果性、又可并行的机制（否则退化成 RNN）。

  ② 推导
  \[ \mathrm{Attn}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V,\quad M_{ij}=\begin{cases}0,& j\le i\\ -\infty,& j\gt i\end{cases} \;\Longrightarrow\; a_{ij}=\frac{e^{-\infty}}{\sum_{j'\le i}e^{s_{ij'}}}=0\ (j\gt i) \]\(M\) 必须**加性**：乘性 mask（置 0 后不重新归一化）会破坏概率归一。**未来位置权重严格为 0，历史位置上仍是合法概率分布（\(\sum_{j\le i}a_{ij}=1\)）。**顺带一个被忽略的事实：第 1 行只能看自己，**\(a_{11}=1\) 恒成立**，第一个位置的注意力子层是恒等映射——这是 attention sink 的必要条件。
  

★ 但 (-\infty) 不能真的写 (-\infty)。数值稳定的 softmax 总要先减行最大值 (m)。若某一行全部被 mask（典型场景：padding mask 与 causal mask 叠加后，某个 padding 位置的所有 key 都不可见），则 (m=-\infty)： [ \mathrm{softmax}(s)j=\frac{\exp(s_j-m)}{\sum{j’}\exp(s_{j’}-m)},\qquad s_j-m=(-\infty)-(-\infty)=\texttt{NaN} ]**NaN 一旦产生就通过反向传播污染整个梯度，训练直接崩。**注意：纯 causal mask 不会出这个问题（位置 (i) 总能看到自己），事故总来自与 padding mask 的叠加。

    实现mask 值风险| 实现 | mask 值 | 风险 |

    
      早期 TF / PyTorch 代码\(-1\times10^{9}\)**fp16 下溢出成 \(-\infty\)**（上限 65504），进而在某些 kernel 里产生 NaN| 早期 TF / PyTorch 代码 | \(-1\times10^{9}\) | fp16 下溢出成 \(-\infty\)（上限 65504），进而在某些 kernel 里产生 NaN |

      fp32 / bf16`finfo.min` \(\approx-3.4\times10^{38}\)安全，减法结果是有限数| fp32 / bf16 | finfo.min \(\approx-3.4\times10^{38}\) | 安全，减法结果是有限数 |

      fp16`finfo(float16).min` \(=-65504\)安全：\(e^{-65604}\) 下溢为 0，行为正确| fp16 | finfo(float16).min \(=-65504\) | 安全：\(e^{-65604}\) 下溢为 0，行为正确 |

    
  
  

⟹ mask 值必须与 dtype 绑定选择，并保证每行至少有一个可见位置。

  ③ 数值例
  

同一份代码从 fp32 换到 fp16：(-10^{9}) 就不可表示（(10^{9}\gt65504)），被 cast 成 (-\infty)；只要 batch 里有一条被完全 pad 的序列，那一行 (m=-\infty)，softmax 立刻吐 NaN。⟹ 它不报错也不发散，只是 loss 突然变 nan。

  ④ 假设与失效边界
  

A · 掩码只约束信息流方向，不保证「不泄漏」：语料里同一文档的重复片段仍可能把未来信息送进来——去重与掩码是两件事。

B · 「用 (-10^{9}) 就安全」是过时经验，只在 fp32 时代成立；bf16 / fp8 与各家融合 kernel 行为不同，必须按 dtype 逐个验证。

  ⑤ 论文出处
  

掩码形式见 arXiv:1706.03762 §3.2.3（原文作 “masking out … all values in the input of the softmax which correspond to illegal connections”）。数值稳定 softmax 与 NaN 传播为标准数值分析结果。

FX-57

(\sqrt{d_k}) 方差论证 → softmax 雅可比 → 梯度消失：完整的五步链 ★

T2 官方论文

  ① 直觉
  

Vaswani 等人只给了一句猜测：“the dot products grow large in magnitude, pushing the softmax function into regions where it has extremely small gradients.”F15 已算过前半句，本节补后半句的证明——「梯度极小」需要雅可比的闭式、半正定性与显式上界。完整链条：方差 (d_k) → logit 量级 → softmax 峰值化 → 雅可比趋零 → 梯度消失。

  ② 推导
  ★ 展开：五步全推（方差 → 雅可比闭式 → 半正定 → 谱范数上界 → 两元素解析例）
    

**第一步 · 方差恰好是 (d_k)。**假设 (A1) (q_i,k_i) 两两独立、(A2) 零均值、(A3) 单位方差、(A4) 可援引中心极限定理。则 (\mathbb{E}[q\cdot k]=0)，(\mathrm{Var}(q_ik_i)=\mathbb{E}[q_i^2]\mathbb{E}[k_i^2]=1)，方差可加： [ \mathrm{Var}(q\cdot k)=\sum_{i=1}^{d_k}\mathrm{Var}(q_ik_i)=d_k ;\Longrightarrow; q\cdot k\approx\mathcal{N}(0,d_k),\qquad \mathrm{Var}!\left(\frac{q\cdot k}{\sqrt{d_k}}\right)=1 ]**缩放的全部目的：让 softmax 的输入尺度不随架构宽度漂移。**注意 (d_k) 是 head dim（(=d_{\rm model}/h)）不是 (d_{\rm model})，这是实现中的常见错误。

**第二至四步 · 雅可比闭式 → 半正定 → 谱范数上界。**设 (p=\mathrm{softmax}(z))，(Z=\sum_je^{z_j})。对 (i=j) 有 (\partial p_i/\partial z_i=(e^{z_i}Z-e^{2z_i})/Z^2=p_i-p_i^2)，对 (i\ne j) 有 (-p_ip_j)。取随机 one-hot 向量 (e_Y,\ Y\sim p)（用到 (e_Ye_Y^\top=\mathrm{diag}(e_Y))）： [ J:=\frac{\partial p}{\partial z}=\mathrm{diag}(p)-pp^\top=\mathbb{E}\big[e_Ye_Y^\top\big]-pp^\top=\mathrm{Cov}(e_Y);\succeq;0 ;\Longrightarrow; |J|2=\lambda{\max}(J)\le\mathrm{tr}(J)=1-|p|_2^2 ]枢纽在中间那个等号：雅可比其实是一个协方差矩阵，因而必半正定；半正定才允许用迹控制谱范数。于是 (p) 越峰值化，(|p|_2^2) 越接近 1（one-hot 时恰为 1），(|J|_2\to0)——梯度消失。这是证明，不是类比。

**第五步 · 两元素解析例（上界在此取到等号）。**取 (p=(\sigma,1-\sigma))、(\sigma=\mathrm{sigmoid}(\Delta z))，则 (J=\sigma(1-\sigma)\big[\begin{smallmatrix}1&-1\-1&1\end{smallmatrix}\big])；该矩阵特征值为 (0)（对应「所有 logit 同加常数、softmax 不变」）与 (2)，故 (|J|_2=2\sigma(1-\sigma))。

      \(\sigma\)\(\|J\|_2=2\sigma(1-\sigma)\)读法| \(\sigma\) | \(\|J\|_2=2\sigma(1-\sigma)\) | 读法 |

      
        0.5**0.5**最大梯度（完全不确定）| 0.5 | 0.5 | 最大梯度（完全不确定） |

        0.90.18仍健康| 0.9 | 0.18 | 仍健康 |

        0.990.0198已掉一个数量级| 0.99 | 0.0198 | 已掉一个数量级 |

        0.99990.0002**梯度基本为零**| 0.9999 | 0.0002 | 梯度基本为零 |

      
    
    

**闭环。**两 logit 之差的标准差是 (\sqrt{2d_k})：(d_k=128) 不缩放时 (\Delta z\approx16)、(|J|_2\approx2.3\times10^{-7})；缩放后 (|J|_2=0.315)——一个常数因子把梯度抬高六个数量级。

  ③ 数值例
  

(d_k=64)：logit 标准差 (8)，两 logit 之差的标准差 (\sqrt{128}=11.31)；(d_k=128)：(11.31) 与 (16)。这是逐对的算法，而因果掩码下第 (i) 行只有 (i) 个 key——下表是本档案对整行做的蒙特卡洛模拟，报告行内最大权重与 (\mathrm{tr},J=1-|p|_2^2)：

    行长 \(i\)缩放后（\(\sigma=1\)）不缩放 \(d_k=64\)不缩放 \(d_k=128\)| 行长 \(i\) | 缩放后（\(\sigma=1\)） | 不缩放 \(d_k=64\) | 不缩放 \(d_k=128\) |

    
      2max \(p\)=0.73，\(\mathrm{tr}J\)=**0.36**0.95，**0.071**0.97，**0.050**| 2 | max \(p\)=0.73，\(\mathrm{tr}J\)=0.36 | 0.95，0.071 | 0.97，0.050 |

      160.24，**0.87**0.85，0.210.89，0.16| 16 | 0.24，0.87 | 0.85，0.21 | 0.89，0.16 |

      2560.04，**0.99**0.74，0.350.82，0.25| 256 | 0.04，0.99 | 0.74，0.35 | 0.82，0.25 |

      10240.02，**1.00**0.72，0.390.79，0.29| 1024 | 0.02，1.00 | 0.72，0.39 | 0.79，0.29 |

    
  
  

**两个读数。**① 缩放后梯度随行变长迅速健康化，不缩放则整列被压在 0.05–0.39 且行越短越糟。② 因果掩码让序列开头天然是短行，饱和最严重处恰好是每条序列的前几十个位置——这与 (a_{11}=1)、attention sink 出现在初始 token，是同一处结构的三个侧面。

  ④ 假设与失效边界
  

A · (A1)–(A3) 只在初始化时近似成立，训练后的 (q,k) 高度相关。(\sqrt{d_k}) 是「初始化时正确、之后靠 LayerNorm 兜底」的启发式，不能阻止训练中的 logit growth 与熵坍缩——QK-LayerNorm 的存在就说明单个静态常数不够。

B · 「(2.3\times10^{-7})」是典型值不是均值。取 (\Delta z) 为 1 个标准差得到的是点估计；对 (\Delta z\sim\mathcal{N}(0,2d_k)) 求期望则得 0.05 量级（③ 的表），因为期望被少数近似平局的行主导。两个数字回答不同问题。

C · 分析是逐行的；整层梯度还要经过残差，残差是 attention 饱和的保险丝。

  ⑤ 论文出处
  

arXiv:1706.03762 §3.2.1 脚注 4。雅可比闭式、协方差表示与迹界为标准结果。③ 的蒙特卡洛表为本档案计算（初始化假设下 logit 独立同分布，每格 800–3000 次采样），非论文数据。

**本报告原创 SVG：**FX-57 的链条画成三格。**左**：三条 logit 分布（峰高已归一，只看宽度），\(\sqrt{d_k}\) 就是把橙、粉两条压回绿色那条。**中**：同一组 8 个 key 的 softmax 输出，两行共用绝对概率比例尺——缩放后最大 0.33，不缩放塌成一根 0.98 的尖峰。**右**：雅可比谱范数从 0.31 跌到 \(2.3\times10^{-7}\)。**只看左边会以为这只是数值风格问题，只看右边则不知道 \(10^{-7}\) 从哪来。**




FX-58

一次前向 (T) 个训练信号：decoder-only 路线的算术理由

T5 解释框架 本档案形式化

  ① 直觉
  

因果掩码保证位置 (i) 的输出只依赖 (x_{\le i})，因此它可以合法地预测 (x_{i+1})，且对每一个 (i) 同时成立。历史脉络见 ⑤ 研究与模型谱系，此处只算账。

  ② 推导
  \[ \#\text{signals}=\begin{cases}T-1\approx T,&\text{decoder-only}+\text{因果掩码}\\ 0.15\,T,&\text{BERT 式 MLM}\end{cases} \qquad \text{cost per signal}=\frac{6NT}{\#\text{signals}} \]
  

分母的 (6NT) 来自每层前向 FLOPs 的标准分解（(L) 层、(d=d_{\rm model})、FFN 隐层 (4d)、1 MAC = 2 FLOPs）：

    组件每层前向 FLOPs每个训练信号的成本| 组件 | 每层前向 FLOPs | 每个训练信号的成本 |

    
      \(Q,K,V,O\) 四个投影\(4\times2Td^2=8Td^2\)**decoder-only**：\(T\) 个信号 ⟹ **\(6N\)**| \(Q,K,V,O\) 四个投影 | \(4\times2Td^2=8Td^2\) | decoder-only：\(T\) 个信号 ⟹ \(6N\) |

      FFN（up + down）\(2\times2T\cdot d\cdot4d=16Td^2\)**BERT MLM 15%**：\(0.15T\) 个 ⟹ **\(40N\)**| FFN（up + down） | \(2\times2T\cdot d\cdot4d=16Td^2\) | BERT MLM 15%：\(0.15T\) 个 ⟹ \(40N\) |

      \(QK^\top\) 与 \(\mathrm{softmax}(\cdot)V\)\(2\times2T^2d=4T^2d\)encoder-decoder（\(|x|=|y|=T/2\)）：\(\approx12N\)，且还要跑 cross-attention| \(QK^\top\) 与 \(\mathrm{softmax}(\cdot)V\) | \(2\times2T^2d=4T^2d\) | encoder-decoder（\(|x|=|y|=T/2\)）：\(\approx12N\)，且还要跑 cross-attention |

      **合计****\(24Td^2+4T^2d\)**\(T\ll6d\) 时主项是 \(24LTd^2\)，而 \(N\approx12Ld^2\)，故前向 \(\approx2NT\)，即 \(C\approx6ND\)| 合计 | \(24Td^2+4T^2d\) | \(T\ll6d\) 时主项是 \(24LTd^2\)，而 \(N\approx12Ld^2\)，故前向 \(\approx2NT\)，即 \(C\approx6ND\) |

    
  



  ③ 数值例
  

样本效率之比 (1/0.15=\mathbf{6.7}) 倍。放进 scaling law（F1，按 (\alpha_C\approx0.05)）：(\Delta L/L=1-6.7^{-0.05}=\mathbf{9.1%})。每个 token 本来只提供约 (\log_2|\mathcal{V}|\approx16) bits，信号本就稀薄，丢掉 85% 不可承受。

  ④ 假设与失效边界
  

**A · 信号数量 ≠ 信号质量。**MLM 的每个信号是「双向条件下的预测」，信息量可能更大，BERT 在 GLUE 上曾长期领先。但规模拉大后优势消失——这是「scaling 抹平架构差异」的实例，不是「单向建模更正确」的证据。

B · 9.1% 依赖两个可疑输入：MLM 比例固定为 15%，以及幂律指数在该区间不变。**它是量级估计，不是可引用的实验结果。**另：混合方案（UL2 / prefix-LM）未成主流，【推测】因为 prefix 部分双向、无法增量缓存（见 FX-59）。

  ⑤ 论文出处
  

15% 掩码比例见 arXiv:1810.04805 §3.1；FLOPs 分解与 (C\approx6ND) 见 arXiv:2001.08361 附录 B。「每信号成本」对照表是本档案的形式化，非论文原文。

FX-59

KV cache 与二次项的临界长度：(C\approx6ND) 在什么时候失效

T5 解释框架 本档案形式化

  ① 直觉
  

生成时若每步重跑整个前缀，总成本是 (O(T^3))；KV cache 把它降到 (O(T^2))，而它成立完全依赖因果掩码。

  ② 推导
  \[ h_t=\sum_{j\le t}a_{tj}V_j,\qquad a_{tj}=\frac{\exp\!\big(q_t\!\cdot\! k_j/\sqrt{d_k}\big)}{\sum_{j'\le t}\exp\!\big(q_t\!\cdot\! k_{j'}/\sqrt{d_k}\big)} \]三点观察：① 只用到新的 \(q_t\)，**query 不需要缓存**；② \(K_{1:t-1},V_{1:t-1}\) 前几步已算过；③ **\(k_j,v_j\) 的值与 \(t\) 无关**，故可缓存复用。**第 ③ 点就是因果掩码的功劳**：双向 attention 中 \(k_j\) 吸收了整个序列的信息，**新增一个 token 会让全部历史的 \(k,v\) 失效，无法增量缓存。**
  \[ \mathrm{Size}_{\rm KV}=2\cdot L\cdot n_{\rm kv}\cdot d_h\cdot t\cdot s_{\rm bytes} \]\(2\)：K 与 V 各一份；\(n_{\rm kv}\)：KV 头数（MHA 下 \(=n_h\)，MQA 下 \(=1\)，GQA 下 \(=g\)）；\(s_{\rm bytes}\)：每元素字节数（bf16 = 2）。**它对 \(t\) 是线性的。**
  

★ 二次项什么时候才真的主导，以及 §0.2 元定理里的 (C\approx6ND) 何时失效。用 FX-58 的每层分解 (24Td^2+4T^2d)： [ 4T^2d\gt24Td^2\iff T\gt 6d;\qquad C\approx 6ND\left(1+\frac{T}{6d}\right) ]左式是临界长度：只有 (T\gt6d) 时注意力才在 FLOPs 上压过 FFN（只比 attention 块内部则是 (T\gt2d)）。右式是修正因子——§0.2 的 (C\approx6ND) 系统性地低估算力，误差正是 (T/(6d))。⟹ 长上下文训练时用 (6ND) 报算力会低报，且低报比例随 (T) 线性增长。

  ③ 数值例
  

KV cache。取 (L=80,\ n_h=n_{\rm kv}=64,\ d_h=128)（(d_{\rm model}=8192)）、(t=8192)、bf16：(2\times80\times64\times128\times8192\times2=2.15\times10^{10}) 字节 (=\mathbf{20\ GiB})。单条 8k 序列就要 20 GiB，一张 80 GB 卡只够几条并发；改成 GQA-8 降到 2.5 GiB，128k 上下文则是 42 GB。⟹ 长上下文在推理内存上是线性而非二次的，且线性系数大到足以主导——GQA / MQA 成为标配，正因为它们只改善推理。

    模型\(d_{\rm model}\)\(T\gt2d\)（attention 块内）\(T\gt6d\)（全模型）| 模型 | \(d_{\rm model}\) | \(T\gt2d\)（attention 块内） | \(T\gt6d\)（全模型） |

    
      GPT-2 small7681,5364,608| GPT-2 small | 768 | 1,536 | 4,608 |

      典型 7B4,0968,192**24,576**| 典型 7B | 4,096 | 8,192 | 24,576 |

      GPT-3 175B12,28824,576**73,728**| GPT-3 175B | 12,288 | 24,576 | 73,728 |

    
  
  

(d=4096,\ T=4096) 时 (24Td^2=1.65\times10^{12}) 而 (4T^2d=2.75\times10^{11})，二次项只占 14.3%。⟹ FlashAttention 的加速主要来自减少 HBM 读写而非 FLOPs；Linear Attention 在 2020–2022 年优化的根本不是当时的瓶颈；(T\ge32)k 之后 sub-quadratic 才重新变成真问题——时间点恰与窗口越过 (6d) 吻合。

  ④ 假设与失效边界
  

A · 缓存公式假设每层每头缓存全部历史，滑窗与稀疏注意力会改变它，且未计 batch 维。临界长度只算前向 FLOPs，忽略了 attention 矩阵的内存（每头每层 (O(T^2))）——那个量会先于 FLOPs 爆炸；MoE 则会降低交叉点。

B · (C\approx6ND(1+T/6d)) 只是「何时不能再忽略二次项」的量级判据，不能当算力核算公式用。

  ⑤ 论文出处
  

FLOPs 分解见 arXiv:2001.08361 附录 B；GQA-8 是 LLaMA-2-70B 的公开配置。KV cache 尺寸公式、临界长度与 (C\approx6ND(1+T/6d)) 为本档案推导，非论文原文。

展开：因果掩码不提供位置信息——以及位置编码为什么和掩码加在同一处

去掉位置编码后 self-attention 是置换等变的。因果掩码引入了「谁在谁之前」的偏序，但不告诉位置 (i) 说 (j) 离它多远。⚠ 反直觉结果：Haviv 与 Kazemnejad 等人发现因果模型不加位置编码也能学到位置，因为「能看到多少个 token」本身就是代理。⟹ 它提供的是基数信息而非距离信息（实验条件未核实，按存疑读）。

这一段属于 F18，因为位置编码与因果掩码是同一个 logit 上的两个加项。ALiBi 给 logits 加 (-m_h(i-j))，与 (M) 完全同位——就是把硬掩码换成软的线性衰减。RoPE 则把 (q,k) 每两维看成复数并乘 (e^{im\theta})： [ \langle R_mq,\ R_nk\rangle=\mathrm{Re}\big[q\bar k,e^{i(m-n)\theta}\big] ]内积只依赖相对位置 (m-n)——这就是 RoPE 天然是相对位置编码、且能靠插值扩展窗口的原因。相比之下 GPT-1/2/3 的学习式位置嵌入在 (t\gt T_{\max}) 处没有定义，完全不能外推。

▲ F18 的失效边界 · attention sink：softmax 没有「弃权」选项

① 结构性代价。因果掩码永久放弃了双向上下文，在指代消解与检索式 embedding 上是结构性劣势；补救是把内容放在 prompt 前面让模型在后面复述——用推理的两遍换回双向性。

② attention sink。Xiao 等人发现自回归 LLM 会把大量注意力给最初几个 token，与语义无关。机制是 softmax 强制 (\sum_{j\le i}a_{ij}=1)——这个约束没有「弃权」选项：即便 query 与所有历史 key 都不匹配，仍须把一整单位质量分配出去，于是需要垃圾桶；而因果掩码让最初的 token 对所有后续位置可见，是唯一能被全局当垃圾桶的位置。把最初 4 个 token 换成换行符，模型仍然重点关注它们。

**③ 后果与缓解。**窗口注意力一旦把最初几个 token 挤出缓存，困惑度立刻爆炸；StreamingLLM 的对策是「4 个 sink token + 滚动窗口」。Miller 的 SoftMax₁ 在分母加常数 1（等价于一个恒为 0 的虚拟 token），使 (\sum_i\mathrm{SoftMax}_1(x)_i\lt1)——模型终于可以合法地什么都不关注。

④ 为什么值得单列。它由损失函数与架构的交互产生，却不出现在任何设计文档里，同时是推理系统 bug 与量化难题（sink 激活是极端 outlier）两类事故的源头。**成因恰恰是因果掩码，所以它属于 F18 而非 F15。**出处：arXiv:2309.17453 §3.1、Table 1、Eq.(2)。

F19 · CLIP · Symmetric InfoNCE

F19 · CLIP 的对称 InfoNCE：把「分类」改写成「检索」

CLIP 的公开机制只有三样：一个 (N\times N) 相似度矩阵、两次交叉熵、一个可学习的温度。本节证明这三样足以把「在任意类别集上分类」变成「最近邻检索」；发布叙事归 ⑤。

FX-60

双向对比损失：两次 (N) 类交叉熵的对称平均

T2 官方论文

  ① 直觉
  

把 batch 的 (N) 对图文摆成一张表，目标就是把对角线推高、非对角线压低，行列各来一次。batch 的构造方式本身就是标签，每张图免费得到 (N-1) 个负样本，而这 32768 个「类别」每个 batch 都在换。

  ② 推导
  

两个编码器各接一个线性投影（论文特意不用 SimCLR 式的非线性头），再 L2 归一化，点积即余弦相似度： [ I_i=\frac{W_i^{\top}f(x_i)}{\lVert W_i^{\top}f(x_i)\rVert_2},\qquad T_j=\frac{W_t^{\top}g(y_j)}{\lVert W_t^{\top}g(y_j)\rVert_2},\qquad \ell_{ij}=\frac{I_i\cdot T_j}{\tau}=\bigl(I_i\cdot T_j\bigr),e^{t} ](f,g) 为图像／文本编码器，(t=\log(1/\tau)) 是被真正优化的标量；归一化后 (I_i\cdot T_j\in[-1,1])。 [ \mathcal{L}{i\to t}=-\frac{1}{N}\sum{i}\log\frac{\exp(\ell_{ii})}{\sum_{j}\exp(\ell_{ij})},\qquad \mathcal{L}{t\to i}=-\frac{1}{N}\sum{j}\log\frac{\exp(\ell_{jj})}{\sum_{i}\exp(\ell_{ij})},\qquad \mathcal{L}{\rm CLIP}=\tfrac{1}{2}\bigl(\mathcal{L}{i\to t}+\mathcal{L}{t\to i}\bigr) ]记 (p{ij}=\exp(\ell_{ij})/\sum_{j’}\exp(\ell_{ij’}))，则 (\mathcal{L}{i\to t}) 的第 (i) 项恰是 (-\log p{ii})——一个以 batch 内 (N) 个文本为类别、真标签为 (i) 的标准交叉熵。对称化不是审美选择：只优化单向时文本嵌入可全部塌缩到一点而行方向的区分仍成立，列方向却毫无区分度。

      Figure 3 伪代码对应数学式容易读错之处| Figure 3 伪代码 | 对应数学式 | 容易读错之处 |

      
        `I_e = l2_normalize(np.dot(I_f, W_i), axis=1)`\(I_i=W_i^{\top}f(x_i)/\lVert\cdot\rVert\)投影是**线性**的；归一化沿特征维| I_e = l2_normalize(np.dot(I_f, W_i), axis=1) | \(I_i=W_i^{\top}f(x_i)/\lVert\cdot\rVert\) | 投影是线性的；归一化沿特征维 |

        `logits = np.dot(I_e, T_e.T) * np.exp(t)`\(\ell_{ij}=(I_i\cdot T_j)e^{t}\)**乘 \(e^{t}\) 而非除 \(\tau\)**：对数参数化保证温度恒正| logits = np.dot(I_e, T_e.T) * np.exp(t) | \(\ell_{ij}=(I_i\cdot T_j)e^{t}\) | 乘 \(e^{t}\) 而非除 \(\tau\)：对数参数化保证温度恒正 |

        `labels = np.arange(n)`真标签恒为 \(j=i\)标签是 batch 排列的产物，不属于数据| labels = np.arange(n) | 真标签恒为 \(j=i\) | 标签是 batch 排列的产物，不属于数据 |

        `loss_i = cross_entropy(logits, labels, axis=0)`沿图像维归一化 ⟹ 数学上是 \(\mathcal{L}_{t\to i}\)numpy 的 `axis=0` 是**列** softmax，论文却命名 `loss_i`。T5 作者推断 该命名歧义是本报告的分析；因取平均，**数值不受影响**| loss_i = cross_entropy(logits, labels, axis=0) | 沿图像维归一化 ⟹ 数学上是 \(\mathcal{L}_{t\to i}\) | numpy 的 axis=0 是列 softmax，论文却命名 loss_i。T5 作者推断 该命名歧义是本报告的分析；因取平均，数值不受影响 |

        `loss = (loss_i + loss_t)/2`\(\mathcal{L}_{\rm CLIP}\)\(1/2\) 使量纲与单向 InfoNCE 可比| loss = (loss_i + loss_t)/2 | \(\mathcal{L}_{\rm CLIP}\) | \(1/2\) 使量纲与单向 InfoNCE 可比 |

      
    
  



  ③ 数值例
  

(N=32768)：随机初始化时 (p_{ii}\approx1/N)，损失起点为 (\ln 32768=10.40) nats。训练规模 4 亿图文对 × 32 epoch ÷ 32768 = 390,625 步（本报告由论文三个数字推算）。

  ④ 假设与失效边界
  

A · 损失只约束 batch 内的相对排序，余弦相似度没有校准含义（真实图文对典型落在 0.2–0.35），用固定阈值判断「图文是否匹配」是脆弱的；且「非对角全是负样本」只是近似，false negative 比例随 (N) 上升。

B · 梯度需要全 batch 嵌入同时在显存里，不能用梯度累积替代——卡住小机构的不是算力总量，是并行度。

  ⑤ 论文出处
  

arXiv:2103.00020 Figure 3、§2.3、§2.5（batch 32,768 / 32 epochs / (\tau_0=0.07) / (1/\tau\le100)）。

展开：温度 (\tau) 的梯度分析——为什么必须可学习，低温为何危险

固定行 (i)，令 (\mathcal{L}i=-\log p{ii}=-\ell_{ii}+\log\sum_j e^{\ell_{ij}})，微分并链式到 (s_{ij}=I_i\cdot T_j)： [ \frac{\partial\mathcal{L}i}{\partial\ell{ij}}=p_{ij}-\delta_{ij}=\begin{cases}p_{ii}-1\lt 0,&j=i\ \ (\text{正样本：推高 }\ell_{ii})\[3pt] p_{ij}\gt 0,&j\ne i\ \ (\text{负样本：压低 }\ell_{ij})\end{cases}\qquad\Longrightarrow\qquad \frac{\partial\mathcal{L}i}{\partial s{ij}}=\frac{p_{ij}-\delta_{ij}}{\tau} ]第 (j) 个负样本收到的梯度权重是 (p_{ij}/\tau)，而 (p_{ij}=\exp(s_{ij}/\tau)/\sum_{j’}\exp(s_{ij’}/\tau))。(\tau) 同时出现在两处：分母放大整体幅度，softmax 内部决定权重如何在负样本间分配。

低温 (\tau\to0^{+})：(p_{i\cdot}) 趋于 one-hot 集中在 (\arg\max_j s_{ij})；若该 (j^{*}\ne i)，几乎全部负梯度砸在这一个最难负样本上，前缀 (1/\tau\to\infty) 又让幅度爆炸——论文把 (1/\tau) 截断在 100 正是防它自己往 0 跑（原话「necessary to prevent training instability」）。false negative 在低温下杀伤力最大：全部梯度会被用来把两个本来正确的东西推开。****高温 (\tau\to\infty)：(p_{ij}\to1/N)、前缀趋零，所有负样本等权，等于只学「图文是否大致相关」。所以 (\tau) 就是「关注多难的负样本」这个旋钮，最优值随训练进程移动、手调必然次优，代价是它与 batch size 强耦合。

出处：arXiv:2103.00020 §2.5；梯度式为标准 softmax 微分，本报告补全推导。它与 LLM 采样温度是同一个数学对象，只是后者仅在推理时用。

FX-61

InfoNCE 与互信息下界：(\log N) 既是收益也是天花板

T2 官方论文

  ① 直觉
  

**最小化 InfoNCE 等于最大化互信息的一个下界，而界的高度由候选个数 (N) 决定。**这给了「batch 为什么要大」一个定量答案，也给了坏消息：答案是对数的。

  ② 推导
  \[ I(x;c)\;\ge\;\log N-\mathcal{L}_N \]\(I(x;c)\) 为正样本与上下文（CLIP 中即配对的另一模态）的互信息，\(N\) 为候选集大小。**由于 \(\mathcal{L}_N\ge0\)，这个界能「证明」的互信息至多 \(\log N\) nats。**
  展开：从 InfoNCE 定义到 \(I\ge\log N-\mathcal{L}_N\) 的完整推导
    

**第一步 · 最优打分函数是密度比。**给定 (c)、正样本 (x_{\rm pos}\sim p(x\mid c)) 与 (N-1) 个负样本 (x_j\sim p(x))，(\mathcal{L}N=-\mathbb{E}X\bigl[\log\frac{f(x{\rm pos},c)}{\sum{x_j\in X}f(x_j,c)}\bigr]) 本质是「把正样本认出来」的交叉熵。设 (d=i) 表示「(x_i) 是正样本」，由贝叶斯并把分子分母同除 (\prod_j p(x_j))： [ p(d=i\mid X,c)=\frac{p(x_i\mid c)\prod_{j\ne i}p(x_j)}{\sum_{k}p(x_k\mid c)\prod_{j\ne k}p(x_j)}=\frac{\dfrac{p(x_i\mid c)}{p(x_i)}}{\sum_{k=1}^{N}\dfrac{p(x_k\mid c)}{p(x_k)}}\qquad\Longrightarrow\qquad f^{*}(x,c)\propto\frac{p(x\mid c)}{p(x)} ]与 (\mathcal{L}_N) 的 softmax 形式逐项对照即得，且该结论与负样本个数无关。CLIP 中 (f(x,c)=\exp(I\cdot T/\tau))。

第二步 · 代回并对负样本求期望（记 (x:=x_{\rm pos})，分式上下同除分子）： [ \mathcal{L}N^{\rm opt}=\mathbb{E}X\log\left[1+\frac{p(x)}{p(x\mid c)}\sum{x_j\in X{\rm neg}}\frac{p(x_j\mid c)}{p(x_j)}\right];\approx;\mathbb{E}X\log\left[1+\frac{p(x)}{p(x\mid c)}(N-1)\right] ]依据 (\mathbb{E}{x_j\sim p(x)}\bigl[p(x_j\mid c)/p(x_j)\bigr]=\sum_{x_j}p(x_j\mid c)=1)。原论文说这一步「随 (N) 增大迅速变准」——小 (N) 时不成立。

**第三步 · 放缩。**令 (a=p(x)/p(x\mid c))，恒有 (1+a(N-1)\ge aN\iff1-a\ge0)： [ \mathcal{L}_N^{\rm opt};\ge;\mathbb{E}_X\log!\left[\frac{p(x)}{p(x\mid c)}N\right]=-,\mathbb{E}_X\log\frac{p(x\mid c)}{p(x)}+\log N=-I(x;c)+\log N ]移项即得。(\square)　(N) 不是以「更多数据」的身份进入这个界，而是以「分辨任务变难了多少」的身份：从 (N) 个候选里认出正确的那个最多需要 (\log N) nats，模型答得再漂亮，这份证据也封顶在 (\log N)。

  ③ 数值例
  
    

      batch \(N\)\(\log N\)（nats）\(\log_2 N\)（bits）参照| batch \(N\) | \(\log N\)（nats） | \(\log_2 N\)（bits） | 参照 |

      
        2565.558—| 256 | 5.55 | 8 | — |

        1,0246.9310≈ 一个 ImageNet 1000 类标签的信息量| 1,024 | 6.93 | 10 | ≈ 一个 ImageNet 1000 类标签的信息量 |

        8,1929.0113—| 8,192 | 9.01 | 13 | — |

        **32,768****10.40****15****CLIP 实际使用**| 32,768 | 10.40 | 15 | CLIP 实际使用 |

        65,53611.0916—| 65,536 | 11.09 | 16 | — |

      
    
  
  

代价写在同一张表里：batch 涨 32 倍，上限只从 10 涨到 15 bits——这是对比学习最根本的收益递减。

  ④ 假设与失效边界
  

**A · 这只是下界，而且松。**有工作论证基于 (N) 个样本的互信息估计其可靠上限就是 (O(\log N)) 量级，也有文献构造出互信息很高、表征却很差的反例。T4 二手整理 两项均未逐字核实。别把它当成「CLIP 有效」的证明，它只解释了「batch 要大」。

B · CLIP 的实际损失不是标准 InfoNCE：它双向对称、负样本来自同一 batch，严格说界需重推，但方向与量级不变。

  ⑤ 论文出处
  

van den Oord, Li, Vinyals，arXiv:1807.03748 式(4)、式(5)、Appendix A.1 式(6)–(11)。

FX-62

★ 分类 = 检索：zero-shot 分类器就是文本编码器生成的线性头

T2 官方论文

  ① 直觉
  

不训练任何分类头、只写出类别的名字，就能在 ImageNet 上拿到 76.2% top-1，与用 128 万张标注图训练的 ResNet-50 持平。拆开只有一句话：分类的定义本就是「哪个标签最匹配这个输入」，而 CLIP 有一个能直接比较图文的空间，于是分类塌缩成了检索。

  ② 推导
  

类别名 ({c_1,\dots,c_K}) 经模板、文本编码器与 L2 归一化得 (T_k)，图像同样得 (I)。第一步：argmax 点积就是最近邻。 [ \lVert I-T_k\rVert_2^2=\lVert I\rVert^2-2,I\cdot T_k+\lVert T_k\rVert^2=2-2,I\cdot T_k \quad\Longrightarrow\quad \hat y=\arg\max_k,I\cdot T_k=\arg\min_k,\lVert I-T_k\rVert_2^2 ]右式对点积单调递减，两个 (\arg) 取到同一个 (k)。「分类」不是「像检索」，它就是检索。(\square)（要概率就套 (\mathrm{softmax}(I\cdot T_k/\tau))，(\exp) 单调、分母对所有 (k) 相同，决策不变。）

第二步：把零样本分类器写成一个线性层。标准分类器最后一层是 (\mathrm{softmax}(Wh+b))，(W) 的第 (k) 行是类别 (k) 的原型向量；CLIP 就是用 (T_k) 顶替它，而 (T_k) 是算出来的、不是训出来的： [ W(\mathcal{C})=\begin{bmatrix}T_1^{\top}\ \vdots\ T_K^{\top}\end{bmatrix},\quad T_k=\frac{g\bigl(\pi(c_k)\bigr)}{\lVert g(\pi(c_k))\rVert_2},\qquad p(y\mid x)=\mathrm{softmax}!\left(\frac{W(\mathcal{C}),I}{\tau}\right),\quad b\equiv 0 ](\mathcal{C}) 是推理时任意指定的类别集，(\pi(\cdot)) 为 prompt 模板，(g) 为文本编码器。全部就是：一个输入 L2 归一化、权重 L2 归一化、无偏置、带温度缩放的多项 logistic 回归，而它的权重矩阵是 (\mathcal{C}) 的函数 (W(\mathcal{C}))。

论文的措辞最准确：「the text encoder is a hypernetwork which generates the weights of a linear classifier based on the text specifying the visual concepts」——文本编码器是一个超网络，它根据类别的文字描述生成分类器权重。由此可见开放词表是免费的：对比预训练的产物是相似度而非分类器，(\mathcal{C}) 只在推理时进入公式。

  ③ 数值例
  

取 (K=1000)、(d=768)：传统做法要训一个 768,000 参数的分类头、通常需 128 万张标注图；CLIP 跑 1000 次文本编码器前向算出 (W(\mathcal{C})) 并整体缓存，得 top-1 76.2%、top-5 95%；换成 STL10 的 10 类只需重跑 10 次，达 99.3%。

  ④ 假设与失效边界
  

A · 类名必须是自然语言里出现过的说法：Flowers102、GTSRB 甚至不提供类名映射，zero-shot 直接不可用；歧义同样致命（“crane” 鹤／起重机），消歧负担被转移给了写 prompt 的人。

B · 检索式分类没有「以上都不是」：softmax 强制概率和为 1，给纯噪声图它也会给出高置信度，而 FX-60 ④ A 已说明外加阈值没有校准依据。

**C · ★ 更根本的是：CLIP 像「词袋」，而这不是 bug 是目标函数的直接后果。**ARO 基准（arXiv:2210.01936，逾 5 万用例）测关系、属性绑定与词序，含 CLIP 在内的 SOTA 模型「处于或低于随机水平」。因果链是：对比预训练优化的是检索，而仅凭名词集合就足以在随机 batch 里完成检索，于是语序与组合关系从未成为必要的——修复方案随之确定：把打乱词序的真 caption 当 hard negative。细粒度与计数的失败同源。

  ⑤ 论文出处
  

arXiv:2103.00020 §3.1.2（hypernetwork 表述，逐字引用）、§3.1.3 Table 1、§3.1.5。最近邻等价式为本报告补全的两行代数。

prompt 工程与 ensembling：一次真正的免费午餐

模板能涨点是因为训练-推理分布失配（训练时文本几乎都是完整句子，推理时的裸词属 OOD）。关键细节是在嵌入空间平均、而非概率空间平均： [ T_k^{\rm ens}=\mathrm{norm}!\left(\frac{1}{P}\sum_{p=1}^{P}\frac{g\bigl(\pi_p(c_k)\bigr)}{\lVert g(\pi_p(c_k))\rVert_2}\right) ]前者可预计算缓存、推理成本与单模板完全相同，后者每次预测要跑 (P\times K) 次文本编码——摊销后「the compute cost of the ensemble is the same as using a single classifier」。

  项目数值出处| 项目 | 数值 | 出处 |

  
    单模板「A photo of a {label}.」相对裸标签+1.3%（ImageNet）§3.1.4| 单模板「A photo of a {label}.」相对裸标签 | +1.3%（ImageNet） | §3.1.4 |

    **80 模板 ensembling 相对单模板****+3.5%**（ImageNet）§3.1.4| 80 模板 ensembling 相对单模板 | +3.5%（ImageNet） | §3.1.4 |

    两者合计 / 跨 36 数据集平均均接近 **5 个点**，相当于算力提升 **4×**§3.1.4 / Fig.4 caption| 两者合计 / 跨 36 数据集平均 | 均接近 5 个点，相当于算力提升 4× | §3.1.4 / Fig.4 caption |

    训练数据 / batch / 温度4 亿图文对；32,768；\(\tau_0=0.07\)，\(1/\tau\le100\)§2.2 / §2.5| 训练数据 / batch / 温度 | 4 亿图文对；32,768；\(\tau_0=0.07\)，\(1/\tau\le100\) | §2.2 / §2.5 |

    最大模型训练成本RN50x64：592 张 V100 × 18 天；ViT-L/14：256 张 V100 × 12 天§2.5| 最大模型训练成本 | RN50x64：592 张 V100 × 18 天；ViT-L/14：256 张 V100 × 12 天 | §2.5 |

    击败 Noisy Student EfficientNet-L2 的数据集数 / 数据污染27 个中 21 个；中位重叠 2.2%、均值 3.2%，对准确率影响多数 <0.1%§3.2 / §5| 击败 Noisy Student EfficientNet-L2 的数据集数 / 数据污染 | 27 个中 21 个；中位重叠 2.2%、均值 3.2%，对准确率影响多数 <0.1% | §3.2 / §5 |

  

⚠️ 常见误引：+3.5% 是 ensembling 相对单模板的增量，不是 prompt 工程的总增益（后者接近 5%）。且 80 个模板是在 ImageNet 上调出来的，构成隐性的测试集调参。

🔗 三条锚链。其一，typographic attack：在苹果上贴一张写着 “iPod” 的纸条即可让 CLIP 误分类，而 unCLIP 把该图像的嵌入解码回像素时仍然生成苹果——信息还在嵌入里，只是被 softmax 读错了。其二，DALL·E 2 的论文名就叫 unCLIP，它训练扩散解码器把 CLIP 嵌入解码回图像，CLIP 的潜空间是它的骨架，机制见下一节。其三，对比学习也是压缩：CLIP 把 150,528 字节的图压成 3,072 字节的向量（约 49:1），但有损且面向任务——这与 F12 压缩即智能 是同一框架的两个点：那里最小化 (-\log p(x))、保留全部信息，这里最大化 (I(x;y)) 的下界、只保留跨模态共享的信息。

F20 · Diffusion & Score Matching

F20 · 扩散与 score matching：从「猜噪声」到「学数据分布的梯度场」

扩散模型可以压成一句话：**定义一个把数据毁成噪声的固定过程，然后学着反转它。**本节沿主干走完：闭式边际 → ELBO → (L_{\rm simple}) → 与 score matching 的等价 → guidance。模型史归 ⑤。

FX-63

前向过程与它的闭式边际：为什么扩散模型训练得起来

T2 官方论文

  ① 直觉
  

前向过程固定、无参数：每步把信号乘 (\sqrt{1-\beta_t})、再加方差 (\beta_t) 的噪声。两个系数的配对保证方差恒为 1（((1-\beta_t)+\beta_t=1)），即 variance preserving；不缩放信号会让方差累积爆炸。

  ② 推导
  \[ q(x_t\mid x_{t-1})=\mathcal{N}\!\bigl(x_t;\ \sqrt{1-\beta_t}\,x_{t-1},\ \beta_t I\bigr),\qquad \alpha_t:=1-\beta_t,\qquad \bar\alpha_t:=\prod_{s=1}^{t}\alpha_s \]\(\{\beta_t\}\) 为**固定不学**的方差表；DDPM 用 \(T=1000\)、\(\beta_1=10^{-4}\) 线性升到 \(\beta_T=0.02\)，数据缩放到 \([-1,1]\)，并假设马尔可夫性。
  展开：边际 \(q(x_t\mid x_0)\) 的完整归纳证明（不跳步）
    

**归纳基（(t=1)）：**由定义 (q(x_1\mid x_0)=\mathcal{N}(\sqrt{\alpha_1}x_0,(1-\alpha_1)I))，而 (\bar\alpha_1=\alpha_1)。**归纳步：**设对 (t-1) 成立，即 (x_{t-1}=\sqrt{\bar\alpha_{t-1}}x_0+\sqrt{1-\bar\alpha_{t-1}},\bar\epsilon_{t-1})；由前向定义 (x_t=\sqrt{\alpha_t}x_{t-1}+\sqrt{1-\alpha_t},\epsilon_t)，两噪声独立。代入： [ x_t=\underbrace{\sqrt{\alpha_t\bar\alpha_{t-1}}}{=\sqrt{\bar\alpha_t}},x_0+\underbrace{\sqrt{\alpha_t(1-\bar\alpha{t-1})},\bar\epsilon_{t-1}+\sqrt{1-\alpha_t},\epsilon_t}{\text{两个独立零均值高斯之和}},\qquad \sigma_1^2+\sigma_2^2=\alpha_t-\alpha_t\bar\alpha{t-1}+1-\alpha_t=1-\bar\alpha_t ]关键一步是高斯可加性：独立的 (\mathcal{N}(0,\sigma_1^2I)) 与 (\mathcal{N}(0,\sigma_2^2I)) 之和是 (\mathcal{N}(0,(\sigma_1^2+\sigma_2^2)I))；这里两项相加后 (\alpha_t) 恰好相消，故存在单个 (\epsilon\sim\mathcal{N}(0,I)) 使命题对 (t) 成立。由归纳法，对所有 (t) 成立。(\square)

  \[ q(x_t\mid x_0)=\mathcal{N}\!\bigl(x_t;\ \sqrt{\bar\alpha_t}\,x_0,\ (1-\bar\alpha_t)I\bigr)\quad\Longleftrightarrow\quad x_t=\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\qquad \mathrm{SNR}(t)=\frac{\bar\alpha_t}{1-\bar\alpha_t} \]\(\sqrt{\bar\alpha_t}\) 是「还剩多少信号」、\(\sqrt{1-\bar\alpha_t}\) 是「加了多少噪声」，平方和恒为 1——**一个在单位圆上从纯信号旋转到纯噪声的过程**。**它让人能在 \(O(1)\) 时间直接采样任意时刻的 \(x_t\)：没有这个闭式，训练是 \(O(T)\) 的，完全不可行。**



  ③ 数值例
  

终点确实是标准高斯：论文报告 (L_T\approx10^{-5}) bits/dim。反过来看成本：没有闭式边际的话，每个样本平均要跑 (T/2=500) 步前向才能得到一个 (x_t)，开销放大约 500 倍。

  ④ 假设与失效边界
  

A · (L_T\approx0) 依赖 (T) 与 (\beta) 表的取值，而采样恰恰从 (\mathcal{N}(0,I)) 起步。线性表在低分辨率上也次优：Improved DDPM 指出「后 20% 的反向步骤可跳过而 FID 几乎不变」，改用 cosine 表 (\bar\alpha_t=f(t)/f(0))、(f(t)=\cos^2\bigl(\frac{t/T+s}{1+s}\cdot\frac{\pi}{2}\bigr))、(s=0.008)。

B · 高斯噪声是一个选择：模糊、遮挡等退化过程同样可定义扩散，但高斯是唯一给出闭式边际的那一个——换掉它，② 的整条论证作废。

  ⑤ 论文出处
  

Ho, Jain, Abbeel，arXiv:2006.11239 式(2)、§4；cosine 表见 arXiv:2102.09672 式(17)。归纳证明的逐步展开为本报告补全。

FX-64

★ 主干：从 ELBO 到 (L_{\rm simple})，以及「丢掉权重」意味着什么

T2 官方论文

  ① 直觉
  

最终目标只有三行代码：**采一张图、采一个 (t)、采一个噪声，让网络猜「加进去的噪声」。**但它是一条完整推导链的终点——推导的价值恰恰是告诉你这三行合理，以及它偷偷改掉了什么。

  ② 推导
  

反向过程 (p_\theta(x_{t-1}\mid x_t)=\mathcal{N}(\mu_\theta,\Sigma_\theta))，起点 (p(x_T)=\mathcal{N}(0,I))。对 (-\log p_\theta(x_0)) 用 Jensen 得变分上界，重排成 KL 之和： [ L_{\rm vlb}=\mathbb{E}q\Bigl[\underbrace{D{KL}\bigl(q(x_T\mid x_0)\Vert p(x_T)\bigr)}{L_T\ \text{无}\theta,\ \text{常数}}+\sum{t\gt1}\underbrace{D_{KL}\bigl(q(x_{t-1}\mid x_t,x_0)\Vert p_\theta(x_{t-1}\mid x_t)\bigr)}{L{t-1}\ \text{主体}}\underbrace{-\log p_\theta(x_0\mid x_1)}{L_0\ \text{离散化解码}}\Bigr] ]**★ 为什么能写成 KL：额外条件在 (x_0) 上。**朴素的 (q(x{t-1}\mid x_t)) 没有闭式（要对 (x_0) 边缘化），而 (q(x_{t-1}\mid x_t,x_0)) 是高斯，于是每项都变成两个高斯之间的 KL——有闭式、可解析求导、无需蒙特卡洛。这是扩散训练比 GAN 稳定的核心原因。 展开：后验闭式 → (\epsilon) 参数化 → 加权 MSE（链条的中间三步）

第一步 · 后验的高斯闭式。由贝叶斯与马尔可夫性 (q(x_{t-1}\mid x_t,x_0)=q(x_t\mid x_{t-1})q(x_{t-1}\mid x_0)/q(x_t\mid x_0))，三个分布都已知；把指数部分按 (x_{t-1}) 的幂次配方，(x_{t-1}^2) 的系数为 (\frac{\alpha_t}{\beta_t}+\frac{1}{1-\bar\alpha_{t-1}}=\frac{1-\bar\alpha_t}{\beta_t(1-\bar\alpha_{t-1})}=1/\tilde\beta_t)： [ q(x_{t-1}\mid x_t,x_0)=\mathcal{N}\bigl(\tilde\mu_t,\tilde\beta_t I\bigr),\quad \tilde\mu_t=\frac{\sqrt{\bar\alpha_{t-1}},\beta_t}{1-\bar\alpha_t}x_0+\frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}x_t,\quad \tilde\beta_t=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t ](\tilde\mu_t) 是当前噪声图与真实原图的加权组合：(t) 大（脏）时信 (x_t)、(t) 小时信 (x_0)——去噪就是「根据当前有多脏，决定信多少原图」。

**第二步 · 改为预测 (\epsilon)。**把 (x_0=(x_t-\sqrt{1-\bar\alpha_t}\epsilon)/\sqrt{\bar\alpha_t}) 代入化简得 (\tilde\mu_t=\frac{1}{\sqrt{\alpha_t}}\bigl(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\epsilon\bigr))——给定输入 (x_t)，(\tilde\mu_t) 只由 (\epsilon) 决定，于是不如直接预测 (\epsilon)： [ \mu_\theta(x_t,t)=\frac{1}{\sqrt{\alpha_t}}\left(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}},\epsilon_\theta(x_t,t)\right)\ \Longrightarrow\ L_{t-1}-C=\mathbb{E}\left[\underbrace{\frac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar\alpha_t)}}{w_t}\bigl\lVert\epsilon-\epsilon\theta(x_t,t)\bigr\rVert^2\right] ]固定 (\Sigma_\theta=\sigma_t^2I) 后两高斯的 KL 简化为均值的加权 MSE。**第三步：**取 (\sigma_t^2=\beta_t) 得 (w_t=\beta_t/\bigl(2\alpha_t(1-\bar\alpha_t)\bigr))，小 (t) 时很大、大 (t) 时很小——真实的 ELBO 权重把力气压在低噪声那一端。

  \[ L_{\rm simple}(\theta)=\mathbb{E}_{t,x_0,\epsilon}\Bigl[\bigl\lVert\epsilon-\epsilon_\theta\bigl(\sqrt{\bar\alpha_t}\,x_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\ t\bigr)\bigr\rVert^2\Bigr],\qquad t\sim\mathrm{Uniform}\{1,\dots,T\} \]**把 \(w_t\) 换成 1**并非无害简化：它**相对下调了小 \(t\)（低噪声）项的权重**，等价于一次隐式 loss reweighting。DDPM 原文说简化目标「down-weight loss terms corresponding to small \(t\)」，让网络「focus on more difficult denoising tasks at larger \(t\) terms」。**★ 这就是「样本质量 vs likelihood」权衡的确切数学位置**：小 \(t\) 项主导 likelihood、大 \(t\) 项主导感知质量，**\(L_{\rm simple}\) 用前者换后者，是目标函数的主动选择而非架构缺陷**。



  ③ 数值例
  

用线性表、(\sigma_t^2=\beta_t) 估两端：(t=1) 处 (\beta_1=1-\bar\alpha_1=10^{-4}) 给出 (w_1\approx0.5)；(t=T) 处 (\beta_T=0.02)、(1-\bar\alpha_T\approx1) 给出 (w_T\approx0.0102)。两端相差约 49 倍——抹平 (w_t) 等于把这 49 倍的相对重视从低噪声端搬到高噪声端。

  ④ 假设与失效边界
  

A · (L_{\rm vlb}) 是下界，不是精确 likelihood，任何「扩散模型的 NLL」都是 bits/dim 的上界、与自回归模型不可直接比较。而且「更正确的目标反而更难优化」：Improved DDPM 发现直接优化 (L_{\rm vlb}) 梯度噪声极大，须改用 (L_{\rm hybrid}=L_{\rm simple}+0.001,L_{\rm vlb}) 并配重要性采样。

B · 参数化的选择等价于隐式加权。预测 (x_0) 也是选项（DDPM 试过、样本质量更差），unCLIP 的 diffusion prior 则恰恰不用 (\epsilon)-prediction——最优参数化依赖 (\beta) 表与数据，没有普适答案。

  ⑤ 论文出处
  

arXiv:2006.11239 式(5)(6)(7)(11)(12)(14) 与 Algorithm 1，「down-weight small (t)」为 §3.4 原文；arXiv:2102.09672 式(16)。

**本报告原创 SVG：**把 FX-63 / FX-64 / FX-65 放在同一条时间轴上，回答**「为什么训练一个去噪器就是学一个概率密度的梯度场」**——上层无参数，中层是唯一被学习的对象，下层是同一对象的另一种读法。来源：本报告原创示意图，依据 arXiv:2006.11239 与 arXiv:2011.13456 绘制。




FX-65

★ 与 score 的等价：学去噪就是学数据分布的梯度场

T2 官方论文

  ① 直觉
  

DDPM 的变分视角与 score matching 的梯度视角是同一个东西——(\epsilon) 指向「数据被推离的方向」，score (\nabla_x\log p(x)) 指向「回到高密度区的方向」，只差一个负号与一个缩放。这个等价不能只声明，下面推出来。

  ② 推导
  

由 FX-63，(q(x_t\mid x_0)=\mathcal{N}(\sqrt{\bar\alpha_t}x_0,(1-\bar\alpha_t)I))。写出对数密度、对 (x_t) 求梯度，再代入重参数化 (x_t-\sqrt{\bar\alpha_t}x_0=\sqrt{1-\bar\alpha_t},\epsilon)： [ \log q(x_t\mid x_0)=-\frac{\lVert x_t-\sqrt{\bar\alpha_t}x_0\rVert^2}{2(1-\bar\alpha_t)}+\text{const}\ \Longrightarrow\ \nabla_{x_t}\log q(x_t\mid x_0)=-\frac{x_t-\sqrt{\bar\alpha_t}x_0}{1-\bar\alpha_t}=-\frac{\sqrt{1-\bar\alpha_t},\epsilon}{1-\bar\alpha_t}=-\frac{\epsilon}{\sqrt{1-\bar\alpha_t}} ]用了 (\nabla_x\lVert x-a\rVert^2=2(x-a))；注意梯度是关于数据 (x_t) 而非参数。(\square) [ s_\theta(x_t,t)=-\frac{\epsilon_\theta(x_t,t)}{\sqrt{1-\bar\alpha_t}}\ \approx\ \nabla_{x_t}\log q(x_t),\qquad \mathbb{E}\bigl\lVert s_\theta-\nabla\log q(x_t)\bigr\rVert^2=\mathbb{E}\bigl\lVert s_\theta-\nabla\log q(x_t\mid x_0)\bigr\rVert^2+\text{const} ]这里有一个微妙但关键的缺口：上面推的是条件 score（可算），要的却是边际 score（不可算）。补缺口的是 Vincent 的 denoising score matching 定理（右式）：两个目标只差一个与 (\theta) 无关的常数，因而在最优解上等价。

所以 (L_{\rm simple}) 就是多噪声级别上的 denoising score matching——(\lVert\epsilon-\epsilon_\theta\rVert^2) 乘上 (1/(1-\bar\alpha_t)) 即得 (\lVert s_\theta-\nabla\log q(x_t\mid x_0)\rVert^2)。Song 的 SDE 视角把它推到极限：步长趋零后由 Anderson 的时间反演定理，反向 SDE 为 (dx=\bigl[-\frac12\beta(t)x-\beta(t)\nabla_x\log p_t(x)\bigr]dt+\sqrt{\beta(t)},d\bar w)，即「前向漂移的反演 + 一个由 score 驱动的额外漂移」——既然 (\epsilon_\theta) 就是 score，训练一个去噪器就是学会反转时间。

  ③ 数值例
  

缩放系数 (1/\sqrt{1-\bar\alpha_t}) 两端差距巨大：大 (t) 时 (1-\bar\alpha_t\approx1)，(s_\theta\approx-\epsilon_\theta)；小 (t) 时（DDPM 的 (t=1) 处 (1-\bar\alpha_1=10^{-4})）系数为 100——(\epsilon_\theta) 的一点误差会被放大 100 倍写进 score。这就是采样最后几步最脆弱的量化原因。

  ④ 假设与失效边界
  

**A · 「条件 score = 边际 score」依赖 Vincent 定理，本报告未 fetch 其原文。**T4 二手整理 表述转引自 Song 的 SDE 论文与领域共识，正则性条件未逐字核实——这是整条等价链上唯一不是本报告亲手推出来的一环。

B · 反演定理要求 score 在所有 (t) 上都准确，而 (t\to0) 时 score 趋于奇异、网络学不准（③ 的 100 倍放大即其离散版本）。SDE 是理论统一而非新算法，把「连续形式更优美」当成「效果更好」是常见误推。

  ⑤ 论文出处
  

arXiv:2006.11239 §3.2；Song 等，arXiv:2011.13456；Anderson 1982；Vincent 2011（信源说明见 ④ A）。

FX-66

Classifier guidance 与 classifier-free guidance：一个旋钮买保真度

T2 官方论文

  ① 直觉
  

无条件模型采的是 (p(x))，要的却是 (p(x\mid c))。★ classifier guidance 是 OpenAI 的贡献（Dhariwal & Nichol, arXiv:2105.05233，即让扩散在 ImageNet 上击败 GAN 的那篇）：不重训生成模型，只用外挂分类器的梯度把 score 掰过去，并顺带得到一个保真度-多样性旋钮；CFG 则把这个分类器内化。

  ② 推导
  

由贝叶斯 (\log p(x_t\mid y)=\log p(x_t)+\log p(y\mid x_t)-\log p(y)) 对 (x_t) 求梯度（末项无关），再用 FX-65 的 (\epsilon=-\sqrt{1-\bar\alpha_t}\cdot\text{score}) 换写： [ \nabla_{x_t}\log p(x_t\mid y)=\nabla_{x_t}\log p(x_t)+\nabla_{x_t}\log p(y\mid x_t) \quad\Longrightarrow\quad \hat\epsilon=\epsilon_\theta(x_t,t)-s\sqrt{1-\bar\alpha_t},\nabla_{x_t}\log p_\phi(y\mid x_t) ]条件 score = 无条件 score + 分类器梯度。(s\gt1) 的含义可以精确说清：(s\nabla_x\log p(y\mid x)=\nabla_x\log\frac{1}{Z}p(y\mid x)^s)（(Z) 与 (x) 无关故梯度为零），即缩放梯度等于用一个锐化过的分类器分布 (\propto p(y\mid x)^s)。 展开：为什么 CFG 就是 classifier guidance（四行代数）

训练侧：训练条件模型 (\epsilon_\theta(x_t,c))，但以概率 (p_{\rm uncond}) 把条件换成 (\varnothing)，于是同一组参数同时是条件模型与无条件模型。推导侧：GLIDE 定义隐式分类器 (p^{i}(y\mid x_t)\propto p(x_t\mid y)/p(x_t))——注意这正是 FX-61 里 InfoNCE 的那个密度比，同一个量在两个毫不相干的场景里出现。对它取梯度并换成 (\epsilon) 得 (\nabla_{x_t}\log p^{i}(y\mid x_t)=-\frac{1}{\sqrt{1-\bar\alpha_t}}\bigl[\epsilon(x_t\mid y)-\epsilon(x_t)\bigr])，代进上式（梯度尺度记作 (w-1)）： [ \begin{aligned}\hat\epsilon&=\epsilon_\theta(x_t,c)-(w-1)\sqrt{1-\bar\alpha_t}\cdot\Bigl(-\tfrac{1}{\sqrt{1-\bar\alpha_t}}\Bigr)\bigl[\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\varnothing)\bigr]\ &=\epsilon_\theta(x_t,c)+(w-1)\bigl[\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\varnothing)\bigr]=\epsilon_\theta(x_t,\varnothing)+w\bigl[\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\varnothing)\bigr]\end{aligned} ]最后一行与 CFG 的采样公式完全一致。(\square)　所以 CFG 不是新原理，它就是 classifier guidance，只是把分类器换成了「条件与无条件模型之差」。

  \[ \tilde\epsilon_\theta(x_t,c)=\epsilon_\theta(x_t,\varnothing)+w\bigl(\epsilon_\theta(x_t,c)-\epsilon_\theta(x_t,\varnothing)\bigr)\qquad\Longleftrightarrow\qquad \tilde p(x\mid c)\propto\frac{p(x\mid c)^{w}}{p(x)^{w-1}} \]\(w=1\) 退化为无 guidance 的 \(p(x\mid c)\)，\(w\gt1\) 放大条件影响。**右式是一个锐化过的分布**，把概率质量往条件分布的众数挤——这就是「多样性下降」的数学来源。



  ③ 数值例
  

ImageNet 256×256 上，(s=10.0) 时 FID 9.11、IS 283.92、precision 0.88 但 recall 只有 0.32（无 guidance 时为 0.63）——保真度换来的是一半多样性。★ 一个值得记住的转折：GLIDE 的人类评测者在真实感与图文一致性上双双偏好 CFG（CLIP guidance 的 photorealism Elo 为 −73.2），但在 CLIP score vs FID 曲线上 CLIP guidance 明显更好，论文的假说是「CLIP guidance 是在为评测用的 CLIP 找对抗样本」。把一个度量当成优化目标，它就不再是好的度量。

  ④ 假设与失效边界
  

A · classifier guidance 需要一个在噪声图上训练过的分类器，且对自由文本条件几乎不可用——当 (y) 是任意句子时训练 (p(y\mid x_t)) 比生成还难，这正是 CFG 的直接动机。

B · CFG 的代价是每步跑两次网络，推理成本翻倍；(w) 太大会过饱和、结构崩坏（典型 (w\in[3,10])）。论文另验证了「把梯度尺度提高一个数量级也没有产生对抗样本」——说明这个担心是真实的，只是恰好没发生。

  ⑤ 论文出处
  

arXiv:2105.05233 式(14)、§4.3 与 Table 4；arXiv:2112.10741 §2.3；Ho & Salimans，arXiv:2207.12598。

三条延伸线（只写结论与机制）

1 · unCLIP 的两段式之所以合法，是因为 (z_i=\mathrm{CLIP}_{\rm img}(x)) 是 (x) 的确定性函数，故 (P(x\mid y)=P(x\mid z_i,y)P(z_i\mid y))。消融量化了 prior 的价值：条件在 CLIP 文本嵌入上 FID 9.16，完整 unCLIP 栈 7.99，把文本嵌入 zero-shot 当图像嵌入则崩到 16.55——第三个数字量化了两模态之间的 modality gap。

2 · DiT 的一条结论支撑了后面的一切：patch size 减半让 token 数与 Gflops 各变 4 倍而参数量几乎不变，于是 Gflops（而非参数量）才是预测 FID 的正确变量（DiT-XL/2 以 118.6 Gflops 达 FID 2.27）——即 scaling law 在图像生成上的版本。Sora 官方报告写明「Model and implementation details are not included in this report」，任何关于其层数、维度、patch size 的说法都是二手推断；见 ⑤ 研究与模型谱系。

3 · 加速采样的三条路线各改动了不同的东西：DDIM（arXiv:2010.02502）只换采样器——非马尔可夫前向族与 DDPM 共享同一边际，故可直接复用训好的 (\epsilon_\theta) 而不重训，(\sigma_t=0) 时完全确定性、20–50 步即可，unCLIP 的插值与编辑全部依赖它的可逆性；渐进式蒸馏（arXiv:2202.00512）换模型，让学生一步匹配教师两步、步数每轮减半；一致性模型（arXiv:2303.01469）换目标函数，直接学「轨迹上任意点 → 轨迹起点」的映射以支持一步生成。共同代价是步数越少、多样性越差、细节越糊——采样步数本质是一个可以购买质量的连续旋钮。

F20 的失效边界（节级）

**1 · ★ CFG 系统性降低多样性，「审美均值」是数学后果不是 bug。**隐含目标 (\tilde p\propto p(x\mid c)^{w}/p(x)^{w-1}) 在 (w\gt1) 时把质量往众数挤，Table 4 量化了它（recall 0.63 → 0.32）。T5 作者推断 叠加数据的审美偏斜与人类偏好后训练即得「同一 prompt 反复生成相似风格」——与奖励模型过优化同构。另一侧是 likelihood：(L_{\rm simple}) 放弃了下界的紧性，纯 likelihood 上自回归模型仍然更强，这与「压缩即智能」有真实张力而目前无定论。

2 · 视频物理一致性与两个工程边界。Sora 官方报告自陈不能准确模拟基本物理交互、长视频中物体会凭空出现或消失。T5 作者推断 模型没有物理引擎、只有统计关联，被推到分布稀疏区只能外推，而统计外推不保守物理量；本报告未收集到 2025Q4 之后可引用的系统性第三方评测，证据强度仅中等。另：某些 (t) 训练不足采样就会出问题，文字与人脸细节的失真常来自 VAE 而非扩散模型。

F21 · Whisper · Weakly-Supervised seq2seq

F21 · Whisper：把整条语音流水线压成一个 token 序列

Whisper 的目标函数就是 F17 的自回归 NLL 多了一个音频条件；它真正的设计在接口——论文用的词就是 interface。

FX-67

多任务序列格式：把「任务」从架构问题变成 token 问题

T2 官方论文

  ① 直觉
  

传统语音系统是若干独立模块串成的流水线。Whisper 问的不是「怎么做得更准」，而是**「接口该长什么样」**：想做翻译不必训新模型，只要把解码序列第 3 个 token 从 <|transcribe|> 换成 <|translate|>。

  ② 推导
  \[ \mathcal{L}=-\sum_{t}\log p_\theta\!\bigl(y_t\mid y_{\lt t},\ \mathbf{x}\bigr),\qquad y_{1:L}=\underbrace{\bigl[\,\text{SOT},\ \langle\text{lang}\rangle,\ \langle\text{task}\rangle,\ (\text{notimestamps})\,\bigr]}_{\text{任务规格前缀}}\ \Vert\ \bigl[\,\dots\text{正文}\dots\,\bigr]\ \Vert\ \bigl[\,\text{EOT}\,\bigr] \]\(\mathbf{x}\) 为 30 秒 log-Mel 频谱（经 encoder 变成 1500 个向量供 cross-attention 使用）。**这就是 F17 的自回归 NLL 多了一个条件变量**，故 F17 关于困惑度、暴露偏差、采样旋钮的结论全部适用。可选的 `<|prev|>` + 前一段转录放在 SOT 之前、**其 loss 被 mask 掉**，其余 token（含全部特殊 token）都计入 loss。**★ 而「特殊 token 也参与 loss」正是关键**：模型必须在*没有被告知*的情况下预测它们——SOT 之后要自己猜语种，**语种识别于是成了免费的副产品**，`<|nospeech|>` 同理给出 VAD。
  
    

      Token作用替掉了哪个传统模块| Token | 作用 | 替掉了哪个传统模块 |

      
        `<|prev|>` + 前文跨窗口文本上下文外挂 n-gram 语言模型融合| <|prev|> + 前文 | 跨窗口文本上下文 | 外挂 n-gram 语言模型融合 |

        `<|nospeech|>`该段无语音，直接结束**VAD**| <|nospeech|> | 该段无语音，直接结束 | VAD |

        `<|zh|>` / `<|en|>`（99 种）说的是哪种语言**语种识别（LID）**| <|zh|> / <|en|>（99 种） | 说的是哪种语言 | 语种识别（LID） |

        `<|transcribe|>` / `<|translate|>`同语言文字 / 英文**ASR / 语音翻译**| <|transcribe|> / <|translate|> | 同语言文字 / 英文 | ASR / 语音翻译 |

        时间戳（每 20 ms 一档）起始戳在文本前、结束戳在后，交错**强制对齐与分段**| 时间戳（每 20 ms 一档） | 起始戳在文本前、结束戳在后，交错 | 强制对齐与分段 |

      
    
  
  

术语核实：论文正文写 <|endoftranscript|>，开源实现沿用 GPT-2 词表写作 <|endoftext|>，指同一个 token。Whisper 不用 CTC——其条件独立性假设使它无法输出任务规格 token。

  ③ 数值例
  

一个自洽性检查：30 秒、10 ms 帧移得 3000 帧，经 stride-2 卷积剩 1500 个 encoder 位置，每位置对应 (30/1500=20) ms——正是论文所说时间戳量化的「native time resolution」，两个数字对上了。

  ④ 假设与失效边界
  

A · 说话人分离没被统一进来，论文明确不支持，还专门微调掉了「猜说话人名字」的行为——这是「统一接口」叙事的明确边界。

B · 任务集合是封闭的，加新任务要加新 token 并重训；特殊 token 与正文共享同一个 softmax，靠约束解码压制误发。

  ⑤ 论文出处
  

Radford, Kim, Xu, Brockman, McLeavey, Sutskever，arXiv:2212.04356 §2.2、§2.3（本节逐 token 核对）、§2.4。

FX-68

★ 为什么「不微调、只做规模」能赢：有效鲁棒性

T2 官方论文

  ① 直觉
  

论文的中心结论不是「Whisper 在 LibriSpeech 上更好」——它自陈 zero-shot 的 clean-test WER 只有「相对平庸」的 2.5。真正的主张是：在别的数据集上，它比同等 in-distribution 水平的模型好得多。

  ② 推导
  \[ \mathrm{WER}=\frac{S+D+I}{N_{\rm ref}},\qquad \mathrm{RER}=\frac{\mathrm{WER}_{\rm base}-\mathrm{WER}_{\rm new}}{\mathrm{WER}_{\rm base}} \]\(S,D,I\) 为把假设转写编辑成参考转写所需的替换、删除、插入次数。**WER 可以超过 100%**（插入无上限），这也是幻觉在指标上格外致命的原因。
  

论证分三步：****有效鲁棒性衡量「给定 in-distribution 性能下 OOD 性能超出预期多少」；论文把 in-distribution 性能控制住——挑一个在 LibriSpeech 上与 Whisper 相差 0.1% 以内的有监督模型作对照，差异于是全部来自泛化，zero-shot Whisper 在其它数据集上平均少犯 55.2% 的错；机制则是单数据集训练会过拟合到其录音条件与转写风格，而 680k 小时数据覆盖极广，模型没有机会依赖任何单一分布的捷径。

⚠️ 口径提醒：Table 2 的 Average 行 WER 为 29.3 / 12.8，直接相除得 RER 56.3%，而 RER 列的 Average 是 55.2%（各数据集 RER 的算术平均），引用必须说明是哪一种。二手常见的 55.4% 疑为 arXiv v1 的数字，本报告未能核实。

  ③ 数值例
  
    

      训练数据（小时）英语 ASR（12 集平均 WER↓）多语言 ASR（Fleurs WER↓）X→En 翻译（CoVoST2 BLEU↑）| 训练数据（小时） | 英语 ASR（12 集平均 WER↓） | 多语言 ASR（Fleurs WER↓） | X→En 翻译（CoVoST2 BLEU↑） |

      
        3,40530.592.40.2| 3,405 | 30.5 | 92.4 | 0.2 |

        13,62114.456.67.9| 13,621 | 14.4 | 56.6 | 7.9 |

        54,48610.936.419.2| 54,486 | 10.9 | 36.4 | 19.2 |

        **681,070****9.9****29.2****24.8**| 681,070 | 9.9 | 29.2 | 24.8 |

      
    
  
  

**三条曲线三种行为：**英语 ASR 最早饱和（从 54k 到全量是 12.5 倍数据只换 1 个 WER 点）；多语言 ASR 到 54k 小时遵循幂律、之后偏离；X→En 翻译在 7k 小时以下「practically zero」。第三条的阈值形态与「涌现」之争高度平行，也同样能被「BLEU 在低分区分辨率极差」击中——本报告不裁决，只标出这个平行关系。

  ④ 假设与失效边界
  

A · 「zero-shot」需要小心：680k 小时里可能含与评测集相似分布的数据，论文只对 TED-LIUM 3 做了转录级去重，不足以排除所有污染。

B · 鲁棒性的代价是 in-distribution 性能，且整条结论依赖 WER——它对标点、大小写、数字写法极敏感。只关心一个已知分布时微调仍然更好；而「55.2%」换一个 normalizer 就会变。

  ⑤ 论文出处
  

arXiv:2212.04356 §3.2 与 Table 2、Figure 2、§4.2 Table 6、§4.4。

「弱监督」不等于「不清洗」。论文用 §2.1 一整节讲清洗，而这节几乎从不被引用。最重要的是过滤机器生成的转录（避免学到「transcript-ese」），信号为全大写或全小写、缺少复杂标点、从不出现逗号——★ ASR 无法从音频推断的东西，正好就是它在输出里会丢失的东西。其余是语种一致性检查（例外：「音频非英语 + 转录英语」转成翻译样本，125,000 小时翻译数据就是这么来的）、模糊去重与二轮人工审查。动机不是内容治理，是防止模型自噬；但现代 ASR 早就会输出标点和大小写，这套启发式今天已失效，清洗的实际贡献也因缺少消融而无法量化。

F21 的三条失效边界（节级）

1 · ★ 幻觉是目标函数的结构性后果。静音段上 cross-attention 拿不到有区分度的信息，decoder 退化成无条件语言模型、按字幕先验自由生成；目标函数里没有一项惩罚「无音频支撑时生成文本」。Koenecke 等（FAccT 2024，arXiv:2402.08021）实测约 1% 转写含整句幻觉、其中 38% 含明确危害，且失语症患者显著更高——技术缺陷由此变成公平性问题。

2 · 长音频靠 30 秒窗口滑动，是自举的脆弱链条：位移量由模型自己预测的时间戳决定，戳错则窗口切错、下一段更差，误差沿音频累积漂移；整套启发式只把长音频 WER 从 11.0 降到 10.0，说明定长窗口本就不适合长音频，也使它没有流式能力。

3 · 低资源语种塌陷：Fleurs 上翻译数据量与 BLEU 的 (R^2) 只有 0.24（识别是 0.83），反例是威尔士语有 9,000 小时「翻译数据」却只有 13 BLEU——数据量的统计本身依赖自动语种检测，这是弱监督管线的根本脆弱点。

概念纪律。Whisper 是 OpenAI 唯一公开发布权重的旗舰模型，但它属于开放权重（open weights）而不是「开源」——训练数据、数据管线与复现配方均未公开。source / code / weights / data / recipe 五层的区分见 ⑩ 开放边界。

F17–F21 的统一读法

四条线索把基础层五条串在一起：其一，目标函数只有两种——对数似然（F17 语言模型、F21 Whisper、F19 的对比学习本质是 (N) 类交叉熵、F20 的 ELBO 是它的下界）与去噪回归（(L_{\rm simple})），而后者经 FX-65 与 score matching 等价、score matching 又是似然的一种，所以五章最终都是最大似然，区别只在「似然定义在什么变量上」；其二，任务规格被移进了输入——GPT 写在 prompt 里、CLIP 写在类别名里（FX-62）、Whisper 写在特殊 token 里（FX-67）、条件扩散写在 (c) 与 (w) 里（FX-66）；其三，分布锐化这个动作反复出现——温度采样的 (p^{1/T})、CLIP 的 (\tau)、classifier guidance 的 (p(y\mid x)^s)、CFG 的 (p(x\mid c)^{w}/p(x)^{w-1}) 形式各异而数学同构，看到「质量-多样性」权衡的超参数，它八成就是某种指数；其四，Goodhart 定律至少现身四次——奖励模型过优化、CLIP guidance 破坏 CLIP score、对比学习的词袋捷径、CFG 的审美均值，横跨强化学习、多模态与生成三个领域，说明这是用代理目标做优化本身的结构性风险。T5 作者推断 归纳与串联为本报告的读法。

F22 · benchmark 的统计学 —— 「评测哲学」需要的数学地基

档案里充斥着「某模型在某基准上拿了多少分」这样的句子。但分数是一个随机变量，而它的分布几乎从未被写出来过。这一章只做一件事：把「分数」还原成带方差、带偏差、带预算参数的统计量。

先说分工。评测哲学、基准史与竞品对照的唯一归属是 ⑪ 前沿·评测·竞品对照；本节不写分数排行、不复述争议史，只负责统计量本身。凡出现分数，一律只作算例并带足限定。

本节的自律条款 · 禁止裸 benchmark

一个分数要能横向比较，必须同时给出五件套：模型版本 / 日期 / harness 与工具权限 / 采样预算（(n)、(k)、投票规模）/ 成本。不全的数字本节一律标注「不可横比」，只用于说明公式。本节主要引用的是题目数与指标定义，它们来自原始论文、不随模型变化。

F22.1　置信区间：发布会上 1–2 分的差距，在统计上并不存在

结论先给：**HumanEval（164 题）上两个模型要差到 6.5 个百分点以上才谈得上「一个比另一个强」；AIME 单年（30 题）单次跑分几乎不可比。**下面把这两句推出来。

FX-69

二项比例的置信区间（Wald 与 Wilson）

T2 官方论文

① 直觉
  

一个基准的 (N) 道题只是从「所有可能的同类题目」里抽的样本，换一批题分数就会变。**报分数而不报不确定度，等于报了一个不可证伪的数。**不确定度有两层：层 1 题目抽样、层 2 生成抽样。先算层 1——它已足以推翻大多数发布会上的比较。

② 推导
  

记每题判定为伯努利变量 (Y_i\in{0,1})、分数 (\hat P=\frac1N\sum_i Y_i)。各题独立同分布时 (N\hat P\sim\mathrm{Binomial}(N,P))： [ \mathrm{Var}\bigl[\hat P\bigr]=\frac{P(1-P)}{N}\qquad\Longrightarrow\qquad \boxed{\ \hat P\ \pm\ z\sqrt{\frac{\hat P(1-\hat P)}{N}}\ },\quad z=1.96 ](N)＝题目数，(P)＝真实通过率，(z)＝标准正态的 97.5% 分位数。半宽在 (P=0.5) 处最大，且只按 (\sqrt{1-P}) 缩小——即使 (P=0.9)，半宽也只比 (P=0.5) 时小约 40%。

(N) 小或 (\hat P) 贴近 0 / 1 时，Wald 区间会越出 ([0,1]) 且覆盖率不足，必须换 Wilson score 区间——它解的是「哪些 (P) 不会被检验拒绝」，而不是「围绕 (\hat P) 画一个对称区间」： [ \frac{\hat P+\dfrac{z^{2}}{2N}\ \pm\ z\sqrt{\dfrac{\hat P(1-\hat P)}{N}+\dfrac{z^{2}}{4N^{2}}}}{1+\dfrac{z^{2}}{N}} ]Wilson 区间。分子里的 (z^2/2N) 是把估计向 0.5 收缩的修正项，分母 (1+z^2/N) 是方差膨胀的修正。(N\to\infty) 时它退化为 Wald 区间。

③ 数值例
  

**HumanEval（(N=164)）**在 (P=0.9) 处：(1.96\sqrt{0.9\times0.1/164}=\mathbf{0.0459})，即 半宽 ±4.59 个百分点——88.0% 与 91.5% 的区间几乎完全重叠。

**AIME 单年（(N=30)）**在 (P=0.8) 处：(1.96\sqrt{0.8\times0.2/30}=\mathbf{0.1431})，即 半宽 ±14.31 个百分点，相当于 ±4.3 道题。

Wald 与 Wilson 的差别。30 题全对时 Wald 给 ([1,1])（不确定度为零，荒谬），Wilson 给 ([0.885,\ 1.0])。⟹ 30 题满分只保证真实能力高于 88.5%，不保证高于 99%。

④ 假设与失效边界
  

**1 · 题目独立性通常不成立（最要命的一条）。**SWE-bench 的 issue 来自少数几个 repo，MMLU 按 57 个学科成簇。簇内相关会把有效样本量压到 (N_{\text{eff}}=N/[1+(m-1)\rho])；取 (m=40,\rho=0.1)，区间宽度要乘约 2.2 倍。

2 · 这些区间只覆盖抽样噪声，污染、标注错误、scaffold 差异、评测代码 bug 都不在里面。把宽度乘 2 是保守但合理的做法。

**3 · 报 pass@k 时还有层 2。**此时 (Y_i) 是 ([0,1]) 上的估计量而非 0/1，需用全方差分解补回生成抽样的方差。以 (n=10,k=5,p=0.3) 为例单题标准差约 0.209，在 (N=164) 上贡献约 ±3.2 个百分点，与层 1 同量级。4 · 多次运行的 ± 标准差不是置信区间：它只含层 2。

⑤ 论文出处
  

Wilson score 区间出自 E. B. Wilson (1927), JASA 22(158), 209–212。三层 bootstrap 的工程做法见 arXiv:2503.14499 §3.2（METR，对 task family → task → run 做 10,000 次分层重采样）。题目数出处：HumanEval 164 = arXiv:2107.03374 §2；GPQA Diamond 198 = arXiv:2311.12022；MMLU 14,042 = arXiv:2009.03300；MMLU-Pro 12,032 = arXiv:2406.01574；SimpleQA 4,326 = arXiv:2411.04368 §1；HealthBench 5,000 = arXiv:2505.08775；PaperBench 20 = arXiv:2504.01848。最后核验：2026-07-25。

FX-70

两模型比较：独立之差的 (\sqrt2) 与配对 McNemar 检验

T2 官方论文

① 直觉
  

两个模型的区间重叠并不等于无差异——正确做法是直接对差值构造区间。而且两模型跑的通常是同一批题，当独立样本处理等于扔掉配对信息。配对能把方差降下来，这就是「必须同 harness、同题集」的数学理由，不只是工程洁癖。

② 推导
  

**情形一：当作两个独立样本。**设两模型真实通过率都约为 (P)，差值方差是两项之和 (2P(1-P)/N)，故： [ \boxed{\ \text{半宽}{\text{差}}=z\sqrt{\frac{2P(1-P)}{N}}=\sqrt2\cdot z\sqrt{\frac{P(1-P)}{N}}=\sqrt2\times\text{半宽}{\text{单}}\ } ]**这就是「(\sqrt2) 倍」的来历：比较两个模型的门槛，永远比单个模型的置信区间宽 41%。**代入 (N=164,\ P=0.9)：(\sqrt2\times4.59=\mathbf{6.49})，即 ±6.5 个百分点。

情形二：配对（同一批题）。只有判定不一致的题携带信息。记 (b)＝A 对 B 错的题数、(c)＝A 错 B 对的题数；零假设下每个不一致对以 1/2 概率倒向任一边，故 (\mathrm{Var}[b-c]=b+c)： [ \mathrm{SE}{\text{配对}}=\frac{\sqrt{b+c}}{N}\qquad\text{对比}\qquad \mathrm{SE}{\text{独立}}=\sqrt{\frac{2P(1-P)}{N}} ]配对标准误只取决于分歧数 (b+c)，与总体准确率无关。两模型越像（分歧越少），配对检验越灵敏。 [ \boxed{\ \chi^{2}_{\text{McNemar}}=\frac{\bigl(|b-c|-1\bigr)^{2}}{b+c}\ }\qquad \text{自由度 }1 ]带连续性修正的 McNemar 检验统计量。(b+c) 很小时应改用精确二项检验 (b\sim\mathrm{Binomial}(b+c,\ 1/2))。

③ 数值例
  

HumanEval（(N=164)）上模型 A 对 148 题（90.2%）、B 对 155 题（94.5%），差 4.3 个百分点（净差 7 题）。两个分数仅为构造算例，不对应任何真实模型，不可横比。

非配对：(P\approx0.92) 处门槛 (1.96\sqrt{2\times0.92\times0.08/164}=5.87)，4.3 低于门槛 ⟹ 不显著。

配对：结论完全取决于错题的重合结构（净差恒为 (c-b=7)）。B 的错题是 A 的子集（(b=0,c=7)）：(\chi^2=36/7=5.14)，(p\approx0.023) ⟹ 显著，配对半宽仅 ±3.16。两者错题完全不重合（(b=9,c=16)）：(\chi^2=36/25=1.44)，(p\approx0.23) ⟹ 不显著，配对半宽 ±5.98，已退化到非配对水平。

同一个 4.3 个百分点，可以显著也可以不显著——而榜单只发布聚合分数，恰好把这个信息删掉了。

④ 假设与失效边界
  

1 · 配对要求真的配上了：同一题集、harness、工具权限、采样预算，并保留逐题结果；任何一项不同就是伪配对。2 · McNemar 只检验有无差异，报效应量仍需对 ((b-c)/N) 构造区间。3 · (b+c\lt25) 时正态近似失效，改用精确二项检验。

4 · 非配对门槛是保守上界：它假设两模型真实通过率相同且题目独立，两个偏差方向相反，不能拿来相互抵消。5 · 多基准同时比较时门槛还要抬：20 个基准下 Bonferroni 会把 6.5 个百分点推到约 10 个（见 F22.6）。

⑤ 论文出处
  

McNemar, Q. (1947), Psychometrika 12(2), 153–157（原文不带连续性修正，(|b-c|-1) 由 Edwards 1948 提出）。**把 (\sqrt2) 门槛与配对检验并置、并用错题重合结构给出同一差距的两种判定，属本报告的组织方式（T5）。**最后核验：2026-07-25。

★ 主表：各基准在层 1（题目抽样）下的 95% 置信区间半宽，单位为百分点，(\text{半宽}=1.96\sqrt{P(1-P)/N})

  Benchmark\(N\)\(P=0.50\)\(P=0.80\)\(P=0.90\)\(P=0.95\)★ 两模型可分辨的最小差距（\(P=0.9\)）| Benchmark | \(N\) | \(P=0.50\) | \(P=0.80\) | \(P=0.90\) | \(P=0.95\) | ★ 两模型可分辨的最小差距（\(P=0.9\)） |

  
    **PaperBench**（20 篇论文）20±21.91±17.53±13.15±9.55**~18.6 pp**| PaperBench（20 篇论文） | 20 | ±21.91 | ±17.53 | ±13.15 | ±9.55 | ~18.6 pp |

    **AIME 单年**30±17.89**±14.31**±10.74±7.80**~15.2 pp**| AIME 单年 | 30 | ±17.89 | ±14.31 | ±10.74 | ±7.80 | ~15.2 pp |

    AIME 两年合并60±12.65±10.12±7.59±5.51~10.7 pp| AIME 两年合并 | 60 | ±12.65 | ±10.12 | ±7.59 | ±5.51 | ~10.7 pp |

    ARC-AGI-1 semi-private100±9.80±7.84±5.88±4.27~8.3 pp| ARC-AGI-1 semi-private | 100 | ±9.80 | ±7.84 | ±5.88 | ±4.27 | ~8.3 pp |

    **HumanEval**164±7.65±6.12**±4.59**±3.34**~6.5 pp**| HumanEval | 164 | ±7.65 | ±6.12 | ±4.59 | ±3.34 | ~6.5 pp |

    GPQA Diamond198±6.96±5.57±4.18±3.04~5.9 pp| GPQA Diamond | 198 | ±6.96 | ±5.57 | ±4.18 | ±3.04 | ~5.9 pp |

    MATH-500500±4.38±3.51±2.63±1.91~3.7 pp| MATH-500 | 500 | ±4.38 | ±3.51 | ±2.63 | ±1.91 | ~3.7 pp |

    SWE-bench Verified500±4.38±3.51±2.63±1.91~3.7 pp| SWE-bench Verified | 500 | ±4.38 | ±3.51 | ±2.63 | ±1.91 | ~3.7 pp |

    SimpleQA4,326±1.49±1.19±0.89±0.65~1.3 pp| SimpleQA | 4,326 | ±1.49 | ±1.19 | ±0.89 | ±0.65 | ~1.3 pp |

    HealthBench5,000±1.39±1.11±0.83±0.60~1.2 pp| HealthBench | 5,000 | ±1.39 | ±1.11 | ±0.83 | ±0.60 | ~1.2 pp |

    MMLU-Pro12,032±0.89±0.71±0.54±0.39~0.8 pp| MMLU-Pro | 12,032 | ±0.89 | ±0.71 | ±0.54 | ±0.39 | ~0.8 pp |

    MMLU14,042±0.83±0.66±0.50±0.36~0.7 pp| MMLU | 14,042 | ±0.83 | ±0.66 | ±0.50 | ±0.36 | ~0.7 pp |

  

最后一列＝ (\sqrt2\times)（(P=0.9) 列），即 FX-70 的非配对比较门槛，是保守上界。表中只列题目数与由它决定的量，不含任何模型分数。

三条可以直接引用的结论

1（HumanEval）。(P=0.9) 处单模型半宽 ±4.59、两模型门槛 ±6.5 个百分点。⟹ 发布会上 1–2 个百分点的「领先」，在统计上并不存在——90.2% 与 91.5% 是同一个数。

2（AIME）。(N=30)，(P=0.8) 处半宽 ±14.31 个百分点。⟹ 单次 AIME 跑分基本不可比：报 80% 与 73%（差 2 题）无法区分。这也是推理模型官方报数普遍采用多次采样共识口径（见 F10.1）的统计学理由。

3（分辨 1 个百分点要多少题）。把 (P=0.9) 处半宽压到 0.5 个百分点需 (N\approx\mathbf{13{,}830}) 题，(P=0.5) 处需 38,416 题。⟹ 除了 MMLU 量级的巨型基准，「提升了 1 个百分点」在任何地方都不该被说出口。

**本报告原创 SVG：**绿线是单模型 95% 半宽 \(1.96\sqrt{P(1-P)/N}\)（\(P=0.9\)），紫色虚线是它的 \(\sqrt2\) 倍即两模型比较门槛，红线是 ±6.5 个百分点。**紫线与红线的交点精确落在 \(N=164\)**——不是巧合，正是 HumanEval 的题量。它回答的是：**「这个基准的题目数，配得上我要说的那句话吗？」**本报告原创绘制；曲线由题目数解析计算，不含任何模型分数。

展开：Wilson 区间从哪来，以及簇内相关如何吃掉有效样本量

1 · Wilson 区间的推导。Wald 把标准误算在观测值 (\hat P) 上，Wilson 把它算在假设值 (P) 上——这才是检验的正确写法。从「不被拒绝的 (P) 的集合」出发： [ \left|\frac{\hat P-P}{\sqrt{P(1-P)/N}}\right|\le z ;\Longleftrightarrow; (\hat P-P)^2\le \frac{z^2P(1-P)}{N} ]标准的 score 检验。关键在于把它当作关于 (P) 的不等式来解，而不是当作关于 (\hat P) 的区间来读。

展开成 (P) 的一元二次不等式 (\bigl(1+\frac{z^2}{N}\bigr)P^2-\bigl(2\hat P+\frac{z^2}{N}\bigr)P+\hat P^2\le0)，求根即得 Wilson 式。因为解的是二次不等式，区间自动落在 ([0,1]) 内，且在 (\hat P=0) 或 (1) 时仍有正宽度——这正是 Wald 做不到的。

**2 · 簇内相关。**设簇内相关系数 (\rho)、平均簇大小 (m)： [ \mathrm{Var}[\hat P]=\frac{P(1-P)}{N}\bigl[1+(m-1)\rho\bigr] ;\Longrightarrow; N_{\text{eff}}=\frac{N}{1+(m-1)\rho} ](1+(m-1)\rho) 是设计效应，只依赖簇大小与簇内相关、与总题数无关——基准做大但簇同比变大，分辨率不会改善。

取 (m=40,\rho=0.1)，MMLU 的有效题量从 14,042 掉到约 2,870，(P=0.9) 处半宽从 ±0.50 变成 ±1.10 个百分点。⟹ 主表是乐观值。

F22.2　pass@k 的两个估计量：只写增量

本页 F10.3.1 已完整推导过无偏估计量 (\widehat{\text{pass@}k}=1-\binom{n-c}{k}\big/\binom{n}{k})，这里一律不重复。只补一件天天被搞错的事：它与朴素式 (1-(1-\hat p)^k) 估的根本不是同一个量。

FX-71

朴素 pass@k 的偏差方向、量级与收敛条件

T2 官方论文

① 直觉
  

无偏式问「手上已有 (n) 个样本，只许交 (k) 个」——样本内、不放回、超几何，硬性要求 (n\ge k)。朴素式问「重新独立跑 (k) 次」——样本外、放回、二项，对任意 (k) 都有定义，代价是把 (\hat p) 的误差按 (k) 次幂放大。两者回答的不是同一个问句，这才是根本。

② 推导
  

偏差方向。(f(p)=1-(1-p)^k) 的二阶导 (f”=-k(k-1)(1-p)^{k-2}\le0)，即 (f) 在 ([0,1]) 上凹。对凹函数用 Jensen： [ \mathbb{E}\bigl[f(\hat p)\bigr]\ \le\ f\bigl(\mathbb{E}[\hat p]\bigr)=f(p)=\text{pass@}k ]⟹ 朴素式系统性【低估】，不是高估。流传的「噪声被 (k) 次幂放大所以高估」，是把度量的乐观（pass@k 本身高估单次可用性）错记到了估计量的偏差上。两件事都真，但不是同一件。

用 delta 方法二阶展开取期望，得偏差的闭式一阶近似： [ \boxed{\ \mathrm{Bias}_{\text{naive}}\ \approx\ -,\frac{k(k-1),p,(1-p)^{k-1}}{2n}\ } ]三个读数：(a) 按 (1/n) 衰减，不是 (1/\sqrt n)；(b) 正比于 (k(k-1))，(k=32) 比 (k=2) 差约 500 倍；(c) 在 (p^\star=1/k) 附近取极值——最危险的区间恰是「模型刚刚能做对一点点」那一段，也正是 RLVR 最关心的区间（见 F10.3.4）。

把无偏式写成 (\prod_{j=0}^{k-1}\frac{n-c-j}{n-j}) 并对 (1/n) 展开，两式之差恰为上式的相反数，由此得判据： [ n\ \ge\ 10k^{2}\ \Longrightarrow\ \text{两式相对差}\ \lt 1%;\qquad n\approx k\ \Longrightarrow\ \text{必须用无偏式} ](n\gg k) 时有限总体校正因子消失，两式收敛——这就是「不放回」退化成「放回」的过程。

③ 数值例
  

下表为二项分布全枚举的精确值（非蒙特卡洛）。

      \(n\)\(k\)\(p\)真值 pass@k\(\mathbb{E}[\text{朴素式}]\)偏差（精确）偏差（一阶近似）| \(n\) | \(k\) | \(p\) | 真值 pass@k | \(\mathbb{E}[\text{朴素式}]\) | 偏差（精确） | 偏差（一阶近似） |

      
        1050.300.831930.75974**−0.07219**−0.07203| 10 | 5 | 0.30 | 0.83193 | 0.75974 | −0.07219 | −0.07203 |

        1020.300.510000.48900−0.02100−0.02100| 10 | 2 | 0.30 | 0.51000 | 0.48900 | −0.02100 | −0.02100 |

        10100.300.971750.89562**−0.07613**—（\(k=n\)，近似失效）| 10 | 10 | 0.30 | 0.97175 | 0.89562 | −0.07613 | —（\(k=n\)，近似失效） |

        2040.500.937500.91830−0.01920−0.01875| 20 | 4 | 0.50 | 0.93750 | 0.91830 | −0.01920 | −0.01875 |

        5080.400.983200.97639−0.00681−0.00627| 50 | 8 | 0.40 | 0.98320 | 0.97639 | −0.00681 | −0.00627 |

        100100.050.401260.38733−0.01393−0.01418| 100 | 10 | 0.05 | 0.40126 | 0.38733 | −0.01393 | −0.01418 |

      
    
  


④ 假设与失效边界
  

1 · (k\to n) 时一阶近似失效。2 · i.i.d. 在真实解码下不成立：(n) 次采样共享 KV prefix、截断采样引入模式相关，实际方差更大，由此算出的区间只是下界。3 · 判定无误在代码基准上不成立：大 (k) 下「歪打正着」抬高 pass@k（见 FX-34 ④）。

4 · (k\gt n) 的报数一律是外推。5 · 无偏 ≠ 精确：(n=200,k=100) 时仍无偏但方差很大——最常见的误读。6 · 数据集级 pass@k 必须逐题算完再平均，先平均 (c_i) 再代入是错的（又一次 Jensen）。

⑤ 论文出处
  

估计量与官方数值稳定实现：arXiv:2107.03374 §2.1 与附录（1.0 - np.prod(1.0 - k / np.arange(n-c+1, n+1))，把「大数之比」化成「接近 1 的数之连乘」以避免溢出）；数据集级定义：arXiv:2504.13837 Eq.(2)。**偏差的一阶闭式、(p^\star=1/k) 极值位置与 (n\ge10k^2) 判据由本报告推导（T5）。**最后核验：2026-07-25。

F22.3　rubric 与 model-based grader：把评分器写成一台有偏的测量仪

当「正确」无法用单元测试判定时（写作、诊疗建议、论文复现），评测退化成用一个模型去测另一个模型。该问的不是「考了多少分」，而是「这台测量仪的偏差与噪声各是多少」。

FX-72

grader 的测量误差模型与真实分数的反解

T3 可靠媒体一手采访

① 直觉
  

把 grader 看成一台仪器：测出的分等于真值加系统偏差 (b) 与随机噪声 (\varepsilon)。多跑几次再平均只能压掉 (\varepsilon)，压不掉 (b)。推论：高度一致但系统性偏的 grader，比噪声大但无偏的更危险——一致性会被误读成可信度（信度 ≠ 效度）。

② 推导
  \[ \hat s=s^\star+\underbrace{b(q,y,R;\theta_G,\theta_y)}_{\text{不随重复消失}}+\underbrace{\varepsilon}_{\mathbb{E}[\varepsilon]=0,\ \mathrm{Var}=\sigma^2},\qquad \mathrm{Var}\bigl[\bar{\hat s}_m\bigr]=\frac{\sigma^2}{m}+0 \]\(q\)＝题目，\(y\)＝被评回答，\(R\)＝rubric，\(\theta_G/\theta_y\)＝grader 与被评模型的参数。**平均 \(m\) 次，方差降到 \(\sigma^2/m\)，偏差项一点不动。**
  

**把 grader 形式化成带噪声的分类器。**设灵敏度 (\alpha=\Pr[\text{判对}\mid\text{真对}])、特异度 (\beta=\Pr[\text{判错}\mid\text{真错}])，则真实分数与观测分数呈线性关系： [ P_{\text{obs}}=\alpha P+(1-\beta)(1-P)=(\alpha+\beta-1),P+(1-\beta) ]斜率 (\alpha+\beta-1) 是 Youden 指数。等于 0 时 (P_{\text{obs}}) 与 (P) 无关——分数携带零信息。

反解真实分数——最有用的一步： [ \boxed{\ \hat P_{\text{true}}=\frac{P_{\text{obs}}-(1-\beta)}{\alpha+\beta-1}\ },\qquad \mathrm{SE}\bigl[\hat P_{\text{true}}\bigr]=\frac{\mathrm{SE}\bigl[P_{\text{obs}}\bigr]}{\alpha+\beta-1} ]对称情形 (\alpha=\beta=a) 化简为 ((P_{\text{obs}}+a-1)/(2a-1))。代价：置信区间同时被放大 (1/(\alpha+\beta-1)) 倍——grader 越差，反解越不稳。

③ 数值例
  

(a) 反解。(a=0.90)、(P_{\text{obs}}=0.60) ⟹ (\hat P_{\text{true}}=0.50/0.80=\mathbf{0.625})，区间放大 1.25 倍；(a=0.80) 放大 1.67 倍。

(b) 测量上限。同一个 (a=0.90) 的 grader 若给出观测分 0.95，反解得 1.0625——越界。这不是算错，是存在性矛盾：(a=0.9) 的 grader 最高只能给 0.90。⟹ 观测分越过 grader 的准确率，只有两个解释：grader 其实更准，或这个分数已经不是在测能力。

(c) 裸一致率有多骗人。GDPval 报自动 grader 与人类专家一致率 66%、专家彼此 71%（arXiv:2510.04374，1,320 任务 / 44 职业 / 每题每模型 3 次采样 × 3 名 grader），听来「只差 5 个百分点」。本报告换算成 Cohen (\kappa)（巧合一致率取 0.5）：(\kappa_{\text{auto}}=0.32)、(\kappa_{\text{human}}=0.42)。⟹ 扣掉巧合后自动 grader 只恢复了人类共识的 76%——在 (\kappa) 尺度上是「差了近四分之一」。

④ 假设与失效边界
  

1 · 反解要求 (\alpha,\beta) 已知且恒定，而 grader 准确率在高分段系统性下降——反解在最需要它的地方最不可靠。2 · 「真值」只能相对人类共识定义，人类专家彼此也只有 71% 一致率。

**3 · 能力倒挂时整套框架失效。**被评模型强于 grader 时观测能力封顶在 (\hat\theta_{\max}\approx\theta_G+\rho_G)，更强的模型不会得更高分甚至更低。预警信号只有三个：高分段分数塌缩、与人类一致率下降、人工复核推翻率上升。几乎没人监控。

**4 · 判据：有没有「可执行证书」。**单元测试、可执行代码、形式化证明有证书，倒挂不致命；审美判断没有证书，倒挂是硬天花板。PaperBench 的破解办法是把 rubric 切到「专家 15 分钟内可判定」的叶节点（8,316 个），用粒度把无证书任务局部转成有证书任务——即便 judge 弱于被评 agent，JudgeEval 上仍取得 F1 = 0.83。5 · 各类偏差可叠加，方式未知。

⑤ 论文出处
  

反解式即 Rogan–Gladen 估计量，Rogan & Gladen (1978), Am. J. Epidemiol. 107(1), 71–76。一致率：arXiv:2510.04374（GDPval，OpenAI 明言 “it’s not yet as reliable as expert graders, so we don’t use it to replace them”）；arXiv:2505.08775 §8（HealthBench，5,000 对话 / 48,562 条 criteria / 262 名医生）；arXiv:2504.01848（PaperBench）。**(\kappa) 换算与「测量上限」越界论证由本报告给出（T5）。**最后核验：2026-07-25。

★ 自我偏好偏差：为什么「用 GPT 当裁判评 GPT」在方法上不成立

**可测量的定义。**不能直接用「grader 给自己打的分」——那会把「整体宽松」误判成自我偏好，必须减掉它给别人的平均加分： [ \Delta_{\text{self}}(m)=\Bigl[\mathrm{WR}{G=m}(m)-\mathrm{WR}{H}(m)\Bigr]-\frac{1}{|M|-1}\sum_{m’\ne m}\Bigl[\mathrm{WR}{G=m}(m’)-\mathrm{WR}{H}(m’)\Bigr] ](\mathrm{WR}_G)＝以 (G) 为裁判时的胜率，(\mathrm{WR}_H)＝以人类为裁判时的胜率。第二项是必需的对照。

现象证据（须标注限度）。MT-Bench（arXiv:2306.05685 §3.3）实测 GPT-4 给自己 +10 个百分点胜率、Claude-v1 +25 个百分点；但原作者明说数据不足以判定存在自我增强偏差，且 GPT-3.5 不偏好自己。二手引用普遍删掉这句限定，本报告保留。

机制证据（强得多）。Panickssery, Bowman & Feng（arXiv:2404.13076）：三个模型不经微调即能区分「自己的输出」，GPT-4 准确率 73.5%；用 500 条样本微调后 GPT-3.5 与 Llama 2 的自我识别率均超 90%；★ 人为拉高或压低自我识别能力，自我偏好强度随之线性移动，且经受住了混杂检验。这是关键：若自我偏好只是「碰巧喜欢这种风格」，改变自我识别就不该改变自我偏好——二者共同移动说明自我识别是可操纵的上游变量。（「线性相关」为定性核实。）

**对排行榜的后果。**设真实能力 (\theta_1\gt\theta_2\gt\cdots)、裁判为 (m_j)，则 (\hat\theta_i=\theta_i+\Delta_{\text{self}}\mathbb{1}[i=j]+\varepsilon_i)，反转条件为 (\Delta_{\text{self}}\gt\theta_i-\theta_j)。取 (\Delta_{\text{self}}\approx0.10)：真实差距小于 10 个胜率点的一对模型，都可能仅因换裁判而互换名次。

⟹ 结论。(\theta_G) 与 (\theta_y) 同源时 (b\gt0) 且不随重复评测消失。**「用 GPT 当裁判评 GPT」的问题不是「不够准」，而是它把一个无法靠重复采样消除的偏差项，直接加在被评对象身上。**缓解三条：用 (M) 个裁判做交叉评审矩阵、拟合 (\hat s_{ij}=\mu+\alpha_i+\beta_j+\gamma\mathbb{1}[i=j]+\varepsilon) 把 (\gamma) 减掉；换不同源裁判；锚定人类专家的成对偏好。

MT-Bench 的胜率差与 Panickssery 的发现为 T2；「存在自我偏好」的判定原文未下；排名反转条件与「方法上不成立」为本报告推断（T5）。

展开：位置偏差为什么能靠双向平均消掉一阶，以及 Cohen (\kappa) 的两个算例

**1 · 位置偏差。**把裁判的 logit 拆成「真实质量差 + 位置加成」：(\mathrm{logit}\Pr[\text{判前者胜}]=\delta_{AB}+\pi)，(\delta_{AB}=-\delta_{BA}) 反对称、(\pi) 与内容无关。取双向平均 (\bar s=\tfrac12(s_{AB}+1-s_{BA}))： [ \bar s=\tfrac12\bigl[\sigma(\delta_{AB}+\pi)+\sigma(\delta_{AB}-\pi)\bigr]=\sigma(\delta_{AB})+\tfrac12\sigma”(\delta_{AB}),\pi^{2}+O(\pi^{4}) ]一阶项相消，偏差从 (O(\pi)) 降到 (O(\pi^2))；且在 (\delta_{AB}=0)（质量相当）处 (\sigma”(0)=0)，偏差被完全消除——恰好是最需要精确的情形。

2 · Cohen (\kappa)。(\kappa=(p_o-p_e)/(1-p_e))，(p_e) 为巧合一致率。平衡（各 50% 正例率）(p_e=0.5)，(p_o=0.85\Rightarrow\kappa=0.70)；不平衡（都 90% 判「满足」）(p_e=0.82)，(p_o=0.90\Rightarrow\kappa=0.44)。⟹ 同样九成一致率，平衡数据上 (\kappa\approx0.7)，不平衡数据上只有 0.44——而 rubric 评测恰恰极度不平衡。高 (\kappa) 也不等于高效度：两个 grader 可以一致地错。

F22.4　成本归一化：不标采样预算的横向排名是无意义的

本页 F10.4.2 已从推理经济学一侧讨论过成本，这里只补评测方法论一侧的增量。

FX-73

(\mathrm{Acc}(c)) 曲线与排名反转

T2 官方论文

① 直觉
  

test-time scaling 意味着同一套权重可以在任意精度水平上运行，只要肯付算力。于是「这个模型有多强」缺了一个自变量：模型对应的不是一个数，而是一条曲线 (c\mapsto\mathrm{Acc}(c))；排行榜只是这族曲线在某个 (c) 上的切片。

② 推导
  

取对数线性近似 (\mathrm{Acc}_A=a_1+a_2\log c)、(\mathrm{Acc}_B=b_1+b_2\log c)，设 (a_1\gt b_1)（低预算下 A 强）而 (a_2\lt b_2)（B 的算力弹性大）。令两者相等： [ a_1-b_1=(b_2-a_2)\log c^\star ;\Longrightarrow; \boxed{\ c^\star=\exp!\left(\frac{a_1-b_1}{b_2-a_2}\right)\ } ]差函数 (D(c)=(a_1-b_1)+(a_2-b_2)\log c) 对 (\log c) 严格递减且 (D(c^\star)=0)，故 (c\lt c^\star) 时 A 赢、(c\gt c^\star) 时 B 赢。⟹ 任何单点排名都隐含选定了一个 (c)；这个 (c) 不被声明，排名就不可复现、不可证伪。

③ 数值例
  

(a) 构造例。(a_1=0.60,a_2=0.05)、(b_1=0.40,b_2=0.12) ⟹ (c^\star=e^{0.20/0.07}=\mathbf{17.4}\times)：1× 预算下 A 领先 20.0 个百分点，100× 下 B 领先 12.2 个百分点。两个榜单都对，它们在回答不同的问题。

**(b) 实证锚点（同一套权重的两个点）。**ARC Prize 公布的 o3 在 ARC-AGI-1 semi-private（100 题）上：6 samples / ($26) 每题 → 75.7%；1024 samples / ($4{,}560) 每题 → 87.5%。五件套：模型＝o3（在 75% 公开训练集上训练的那版），日期＝2024-12-20，harness＝semi-private 集，预算与成本如上。算力比 172×、分数差 11.8 个百分点，即每 10× 算力换 5.28 个百分点。

(c) 接回 FX-70。(N=100) 时差值门槛是 (\sqrt2\times7.84=\pm11.1) 个百分点，11.8 刚刚越过——连 172 倍算力造成的差异，在 100 题的基准上也只是勉强可分辨。

(d) 成本是会被追溯修改的量。同一批结果，ARC Prize 两次修订成本口径（2025-03-24 改用 o1-pro 定价代理，2025-12-10 改用 o3-pro 的 ($80)/百万 token）。⟹ 闭源模型的「成本」不是测量值，是折算值。

④ 假设与失效边界
  

1 · 对数线性只在中间区间成立，外推会给出大于 1 的荒谬值。2 · 交点可能落在不可达区间：只有 (c^\star) 在实际预算内，反转才是真实风险。3 · 单调性需要 verifier：无 verifier 时多采样再投票可能变差（见 F10.3.3）。

**4 · 四种算力口径互不可换算。**FLOPs 是唯一物理口径但闭源不公布；reasoning token 的计费口径各厂不一、不同架构每 token 的 FLOPs 差数倍；wall-clock 与硬件强耦合；美元含商业决策。这里没有共识。

5 · ★★ 用美元归一化会把商业决策混进技术比较。API 价格大致是 (P=C_{\text{compute}}\times(1+\mu)\times(1-\sigma)+A)，毛利率 (\mu) 与补贴 (\sigma) 是纯商业变量。厂商降价五成，它在所有成本归一化榜单上的位置立刻改善，而模型一行代码都没改；开源报自托管成本、闭源报零售价，同图不可比。⟹ 美元横轴的 Pareto 图只能回答「我这个月的账单能买到多少精度」，不能回答「哪个实验室技术更好」。

6 · 推理堆栈的贡献无法分离：同一模型在不同 serving 栈下成本可差 2–5 倍。

⑤ 论文出处
  

o3 两档数据与两次成本修订：ARC Prize 官方博客 arcprize.org/blog/oai-o3-pub-breakthrough；compute-optimal 框架：arXiv:2408.03314。**排名反转的闭式交点、算力弹性换算与「11.8 个百分点刚好越过 (N=100) 门槛」的对账由本报告给出（T5）。**最后核验：2026-07-25。

  #正确的比较方式形式化优点缺点| # | 正确的比较方式 | 形式化 | 优点 | 缺点 |

  
    1**等算力**（iso-cost）固定 \(c=c_0\)，比 \(\mathrm{Acc}_m(c_0)\)直观、单数字\(c_0\) 仍任意，只是把隐含选择变成显式选择| 1 | 等算力（iso-cost） | 固定 \(c=c_0\)，比 \(\mathrm{Acc}_m(c_0)\) | 直观、单数字 | \(c_0\) 仍任意，只是把隐含选择变成显式选择 |

    2**等分数**（iso-accuracy）固定 \(\mathrm{Acc}=\alpha\)，报成本比 \(c_A(\alpha)/c_B(\alpha)\)单位是倍数，跨基准可比要求两模型都能达到 \(\alpha\)；饱和区不适用| 2 | 等分数（iso-accuracy） | 固定 \(\mathrm{Acc}=\alpha\)，报成本比 \(c_A(\alpha)/c_B(\alpha)\) | 单位是倍数，跨基准可比 | 要求两模型都能达到 \(\alpha\)；饱和区不适用 |

    3**报整条 Pareto 前沿**画 \((\log c,\ \mathrm{Acc}_m(c))\)信息无损、无隐含选择不能排名，产品经理不喜欢| 3 | 报整条 Pareto 前沿 | 画 \((\log c,\ \mathrm{Acc}_m(c))\) | 信息无损、无隐含选择 | 不能排名，产品经理不喜欢 |

    4**面积指标**\(\frac{1}{\log(c_{\max}/c_{\min})}\int\mathrm{Acc}_m\,d\log c\)单数字且用了整条曲线★ 对数线性下 \(\mathrm{AUC}=\mathrm{Acc}(\sqrt{c_{\min}c_{\max}})\)，**退化成几何平均预算处的单点比较**——只是把 \(c_0\) 的选择伪装成区间的选择| 4 | 面积指标 | \(\frac{1}{\log(c_{\max}/c_{\min})}\int\mathrm{Acc}_m\,d\log c\) | 单数字且用了整条曲线 | ★ 对数线性下 \(\mathrm{AUC}=\mathrm{Acc}(\sqrt{c_{\min}c_{\max}})\)，退化成几何平均预算处的单点比较——只是把 \(c_0\) 的选择伪装成区间的选择 |

  

F22.5　★ 三分类（拒答 / 正确 / 错误）与最优猜测阈值

FX-74

最优猜测阈值：(g\gt c/(c+i))

T2 官方论文

① 直觉
  

在只有「对 / 错」两类、拒答记 0 分的打分下，拒答是严格劣策略。**这不是「模型不诚实」，这是我们设计的目标函数的唯一最优解。**把幻觉重新定义为「评分规则在奖励猜测」而非模型的神秘缺陷——这正是《Why Language Models Hallucinate》的数学内核。

② 推导
  

第 0 步：二分类下猜严格占优。设模型知道答案的概率为 (\pi)，不知道时瞎猜的正确率为 (g\ge0)： [ \underbrace{\pi+(1-\pi)g}{\text{不知道就猜}}-\underbrace{\pi}{\text{不知道就拒答}}=(1-\pi)g\ \ge\ 0 ]只要 (g\gt0) 且 (\pi\lt1)，猜就严格优于拒答。论文把它写成 Observation 1：对任意二分类 grader 的任意分布，最优响应集合与弃答集合交集为空。「证明是平凡的」正是它的力量——它不依赖任何关于模型、架构、训练方法的假设。

**第 1 步：改用 (R=c/(c+i))（答了的里对多少）。**设当前 (c) 道正确、(i) 道错误（计数，不是分值），新题的把握为 (g)。拒答则 (c,i) 不变；作答则以概率 (g) 变成 ((c+1,i))、以 (1-g) 变成 ((c,i+1))。关键：无论对错分母都确定地变成 (c+i+1)，所以期望可以精确穿过，没有 Jensen 问题： [ \mathbb{E}!\left[\frac{c’}{c’+i’}\right]=\frac{\mathbb{E}[c’]}{c+i+1}=\frac{c+g}{c+i+1} ]分母的确定性是这一步的全部技巧所在。

作答有利当且仅当 (\dfrac{c+g}{c+i+1}\gt\dfrac{c}{c+i})。分母皆正，交叉相乘：((c+g)(c+i)\gt c(c+i+1))，展开消去 (c(c+i))： [ g(c+i)\gt c;\Longrightarrow;\boxed{\ g\ \gt\ \frac{c}{c+i}\ =\ R\ } ]只有当你对这道题的把握高于你当前的准确率时，才值得作答。

第 2 步（须与第 1 步分清）：显式计分规则。「答对得 (c) 分、答错扣 (i) 分、弃答 0」是另一件事：(gc-(1-g)i\gt0) 给出 (g\gt i/(c+i))。⚠ 两式互为镜像、符号相同而含义完全不同：第 1 步的 (c,i) 是题数、阈值是当前准确率；第 2 步的是分值、阈值是罚分占比。

③ 数值例
  

(a) 当前 40 对 60 错，(R=0.40)：把握 0.45 的题该答，0.35 的该弃。答对后 (R) 升、门槛自动抬高；答错后 (R) 降、门槛自动放低——这是一个负反馈。

(b) 计分规则版：答对 +1、答错 −9（(c=1,i=9)），门槛 (9/10=0.90)，正是 OpenAI 提出的 (t=0.9) 档。

(c) 阈值是内生的：没有引入任何惩罚参数或信心阈值，(R) 是模型自身当前表现的函数，指标的形式自动生成了它——也就是「边际大于平均则平均上升」。

④ 假设与失效边界
  

**1 · 单题决策（myopic）。**严格的多题最优是动态规划；但阈值自我调节形成负反馈，myopic 与最优的差距是 (O(1/N))，在 (N=4{,}326) 上可忽略。

**2 · ★ 纯 (c/(c+i)) 指标本身是病态的。**长期均衡满足 (R^\star=\mathbb{E}[g\mid g\gt R^\star])，而条件期望恒大于阈值，此方程只在 (\Pr[g\gt R^\star]\to0) 时有解——严格最优解趋于完全沉默。这正是 SimpleQA 要与总体正确率取调和平均的原因。

**3 · (g) 必须可获知，而这条现在不成立。**GPT-4 技术报告 §6 Figure 8：预训练 (\mathrm{ECE}=0.007)、后训练 (\mathrm{ECE}=0.074)，RLHF 把校准误差放大 10.6 倍，图注原话 “The post-training hurts calibration significantly.” ⟹ 瓶颈不在数学，在模型已不知道自己知道什么。

4 · 阈值可被 gaming：先故意答错几道简单题压低 (R)，再多答多得；指标被用作训练信号时这是真实失效模式。5 · 「带不确定性标记的猜测」被当作自信的错误：SimpleQA 判定规则写明 “even if the contradiction is hedged”，堵死了漏洞但与 behavioral calibration 有张力。6 · 该提案至 2026-07-25 未被主流榜单采纳。

⑤ 论文出处
  

三分类定义与 F-score：Wei et al., Measuring short-form factuality in large language models, arXiv:2411.04368（SimpleQA，4,326 题）。Observation 1 与 (t/(1-t)) 惩罚、behavioral calibration：Kalai, Nachum, Vempala, Zhang, Why Language Models Hallucinate, arXiv:2509.04664 §4.1–4.2（该文 Table 2 对 10 个主流基准普查，9 个是二分类打分、无一给弃答任何分）。校准数字：arXiv:2303.08774 §6 与 Figure 8。最后核验：2026-07-25。

★★ F-score 版的更紧阈值 \(g\gt F/2\) —— T5 作者推断 本报告独立推导，不是论文原文

SimpleQA 实际用的单数字指标是 F-score，即「总体正确率 (A_o)」与「答了的里对多少 (A_a)」的调和平均。它的阈值是多少？论文没算，本报告算出来了，而且比论文自陈的界紧得多。

**第 1 步：化简 F。**设总题数 (N)、正确 (C) 道、错误 (I) 道，则 (A_o=C/N)、(A_a=C/(C+I))： [ F=\frac{2}{\frac{1}{A_o}+\frac{1}{A_a}}=\frac{2}{\frac{N}{C}+\frac{C+I}{C}};\Longrightarrow;\boxed{\ F=\frac{2C}{N+C+I}\ } ]一个出人意料的简洁形式。校验：(C=0.30N,\ I=0.20N) ⟹ (F=0.6N/1.5N=0.40)；直接算 (A_o=0.30,\ A_a=0.60)，调和平均 (=2(0.3)(0.6)/0.9=0.40) ✅

**第 2 步：作答一道题。**该题从「未作答」移到「已作答」，(N) 不变、(C\to C+g)、(C+I\to C+I+1)： [ F’=\frac{2(C+g)}{N+C+I+1} ]与 FX-74 第 1 步同理，分母是确定的，期望可以精确穿过。

第 3 步：比较。(F’\gt F) 当且仅当 ((C+g)(N+C+I)\gt C(N+C+I+1))，消去 (C(N+C+I))： [ g,(N+C+I)\gt C;\Longrightarrow;g\gt\frac{C}{N+C+I};\Longrightarrow;\boxed{\ g\ \gt\ \frac{F}{2}\ } ]在 F-score 下，只要把握超过当前 F 分的一半，就该猜。

    \(C/N\)\(I/N\)\(F\)理论阈值 \(F/2\)数值扫描确认| \(C/N\) | \(I/N\) | \(F\) | 理论阈值 \(F/2\) | 数值扫描确认 |

    
      0.300.200.4000**0.200**\(g=0.20\) 恰好持平，\(g=0.30\) 有利 ✅| 0.30 | 0.20 | 0.4000 | 0.200 | \(g=0.20\) 恰好持平，\(g=0.30\) 有利 ✅ |

      0.400.100.53330.267\(g=0.30\) 有利 ✅| 0.40 | 0.10 | 0.5333 | 0.267 | \(g=0.30\) 有利 ✅ |

      0.100.050.17390.087\(g=0.10\) 有利 ✅| 0.10 | 0.05 | 0.1739 | 0.087 | \(g=0.10\) 有利 ✅ |

      0.600.300.63160.316\(g=0.40\) 有利 ✅| 0.60 | 0.30 | 0.6316 | 0.316 | \(g=0.40\) 有利 ✅ |

      0.200.600.22220.111\(g=0.20\) 有利 ✅| 0.20 | 0.60 | 0.2222 | 0.111 | \(g=0.20\) 有利 ✅ |

    
  

**与原文对账。**SimpleQA 论文写的是：“if model performance is below 50%, it always makes sense for the model to try to guess if it is at least 50% sure.” 检验：若 (F\lt0.5) 则 (F/2\lt0.25\lt0.5)，故 (g=0.5) 一定有利 ✅——原文只是我们结论的宽松推论。而 (F=0.40) 时把握只要 0.21 就值得猜，远低于 50%。⟹ F-score 的「漏洞」比论文自己说的还大。

信源分层：F-score 定义式与「50% 界」原话为 T2（arXiv:2411.04368 §5 与 Appendix B）；(F=2C/(N+C+I)) 的化简、(g\gt F/2) 的推导、与 50% 界的紧致性对账，均为本报告独立推导（T5），不是论文原文；未检索到发表先例，但检索空间仅限 arXiv 与公开评测文献，不主张首创（同类声明为何要收紧，见 F23.1b 的撤回记录）。论文致谢写着 “Thanks Adam Kalai for pointing out the limitation of F-score”——这条线索直指一年后 arXiv:2509.04664 的 (t/(1-t)) 方案。

**本报告原创 SVG：**四条斜线是「答错扣 \(\lambda\) 分」时作答的期望得分 \(g(1+\lambda)-\lambda\)，与「弃答＝0」水平线的交点就是最优猜测阈值 \(g^\star=\lambda/(1+\lambda)\)。最关键的是绿色虚线（\(\lambda=0\)，即今天绝大多数基准的打分方式）：**它整条都在水平线之上，无论把握多低，猜都不亏。**青色与金色竖线是另两个指标内生的阈值 \(F/2\) 与 \(R\)。本报告原创绘制；\(F/2=0.20\) 取自 \(F=0.40\) 的算例。

展开：(t/(1-t)) 惩罚的反解，behavioral calibration，以及论文自己的一处笔误

**1 · 反解惩罚力度。**论文提议在指令里显式写明信心目标：「只有把握超过 (t) 时才作答，答错扣 (t/(1-t)) 分，答对得 1 分，『我不知道』得 0 分」，并说这是 “a simple calculation” 却没写出来。补上：设罚分 (\lambda)，作答期望 (g-\lambda(1-g)\gt0) 给出 (g\gt\lambda/(1+\lambda))；要让阈值恰为 (t)： [ \frac{\lambda}{1+\lambda}=t;\Longrightarrow;\lambda(1-t)=t;\Longrightarrow;\boxed{\ \lambda=\frac{t}{1-t}\ } ]**惩罚就是阈值的几率（odds）。**检验：(t=0.5\Rightarrow\lambda=1) ✅；(t=0.9\Rightarrow\lambda=9) ✅。

**⚠ 一处笔误。**论文写 (t=0.75) 对应 penalty 2，但按它自己的公式应为 3（(t=2/3) 才对应 2）。本报告按公式取 3，并如实标注此处与原文不符。

2 · behavioral calibration 为什么更好。(a) 它把「报概率」换成「在给定阈值下选择行为」，后者可审计——改变 (t) 看行为怎么变；(b) 它绕开「正确答案有指数多种说法」，不必聚类语义等价表述；(c) ★ 不声明 (t) 时「多答多错」与「少答少错」是 Pareto 不可比的两点，榜单只能任选其一；声明 (t) 后全序恢复。

3 · 三条限度。(t) 的选择仍然任意（论文的解法是「任意但显式」）；依赖模型读懂并遵守指令里的阈值；检索 / RAG 不解决问题——只要打分是二分类的，检索失败时系统仍然奖励猜测。

**4 · 因果链。**评测是二分类的 ⟹ 最优策略是永远猜 ⟹ RLHF/RLVR 把它训进模型 ⟹ (\mathrm{ECE}) 从 0.007 涨到 0.074 ⟹ 模型不再知道自己不知道。GPT-4 技术报告（2023-03）报告症状，《Why Language Models Hallucinate》（2025-09）给出病因，相隔两年半，作者都在 OpenAI。各环为 T2，串联为 T5。

F22.6　其他统计陷阱，与本节的总局限

  陷阱判据 / 公式已核实的数字它把分数推向哪边| 陷阱 | 判据 / 公式 | 已核实的数字 | 它把分数推向哪边 |

  
    **污染**\(P_{\text{obs}}-P_{\text{clean}}=\gamma\,(P_{\text{cont}}-P_{\text{clean}})\)：虚高＝污染率 × 污染增益GPT-4 报告的检测法是「每题随机取 3 个 50 字符子串做匹配」，**只测逐字复制**；报告自陈是**在检查中才发现 BIG-bench 已混入训练集**偏高。**第三方在原理上无法对闭源模型做污染检查**，所有闭源污染声明都是自证的| 污染 | \(P_{\text{obs}}-P_{\text{clean}}=\gamma\,(P_{\text{cont}}-P_{\text{clean}})\)：虚高＝污染率 × 污染增益 | GPT-4 报告的检测法是「每题随机取 3 个 50 字符子串做匹配」，只测逐字复制；报告自陈是在检查中才发现 BIG-bench 已混入训练集 | 偏高。第三方在原理上无法对闭源模型做污染检查，所有闭源污染声明都是自证的 |

    **多重比较**\(\mathrm{FWER}=1-(1-\alpha)^{m}\)\(m=20\) 时 **64.2%**；典型发布会展示 15–25 个基准两个真实等强的模型，约三分之二概率能找出一个「显著更好」的基准| 多重比较 | \(\mathrm{FWER}=1-(1-\alpha)^{m}\) | \(m=20\) 时 64.2%；典型发布会展示 15–25 个基准 | 两个真实等强的模型，约三分之二概率能找出一个「显著更好」的基准 |

    **标注噪声天花板**\(P_{\max}=1-\eta\)；信号按 \((1-\eta)\) 衰减而噪声不变MMLU 估计错误率 \(\eta=\mathbf{6.49\%}\)（MMLU-Redux 重标 5,700 题；Virology 子集 **57%**）⟹ \(P_{\max}\approx\mathbf{93.5\%}\)；SimpleQA 自估约 3%高分区**动态范围耗尽**；反过来，**分数越过噪声天花板是污染的强信号**| 标注噪声天花板 | \(P_{\max}=1-\eta\)；信号按 \((1-\eta)\) 衰减而噪声不变 | MMLU 估计错误率 \(\eta=\mathbf{6.49\%}\)（MMLU-Redux 重标 5,700 题；Virology 子集 57%）⟹ \(P_{\max}\approx\mathbf{93.5\%}\)；SimpleQA 自估约 3% | 高分区动态范围耗尽；反过来，分数越过噪声天花板是污染的强信号 |

    **选择性报告**无法计算——**分母不可知**厂商展示的是 \(m'\lt m\) 个对自己有利的基准无从事后修正；唯一对策是**预注册评测清单**，业界从未实行| 选择性报告 | 无法计算——分母不可知 | 厂商展示的是 \(m'\lt m\) 个对自己有利的基准 | 无从事后修正；唯一对策是预注册评测清单，业界从未实行 |

    **Elo 的适用条件**Bradley–Terry 假设标量强度与**强随机传递性**；\(\mathrm{SE}_{\text{Elo}}\approx347/\sqrt{n_m}\)\(n_m=1{,}000\) 场时半宽约 **±21.5 分**，压到 ±5 分需约 18,500 场；风格控制实测**长度是第一大混杂、markdown 是第二阶**能力多维时出现 \(A\succ B\succ C\succ A\) 循环；提问分布漂移会让 Elo 上升而能力未变| Elo 的适用条件 | Bradley–Terry 假设标量强度与强随机传递性；\(\mathrm{SE}_{\text{Elo}}\approx347/\sqrt{n_m}\) | \(n_m=1{,}000\) 场时半宽约 ±21.5 分，压到 ±5 分需约 18,500 场；风格控制实测长度是第一大混杂、markdown 是第二阶 | 能力多维时出现 \(A\succ B\succ C\succ A\) 循环；提问分布漂移会让 Elo 上升而能力未变 |

  

展开：Bonferroni 的证明与它的代价

至少一个假阳性的概率随基准数上升：(m=5) 时 22.6%，(m=10) 时 40.1%，(m=20) 时 64.2%，(m=50) 时 92.3%。Bonferroni 把每项水平降到 (\alpha’=\alpha/m)，证明只用 Boole 不等式： [ \mathrm{FWER}=\Pr\Bigl[\bigcup_{j=1}^{m}E_j\Bigr]\ \le\ \sum_{j=1}^{m}\Pr[E_j]=m\cdot\frac{\alpha}{m}=\alpha ]不需要独立性假设——这是它最大的优点，也意味着「基准之间高度相关」不能拿来当不修正的理由。

代价是功效：要在 (\alpha’=0.0025) 下达到原有功效，效应量需放大 (3.02/1.96=1.54) 倍。**⟹ 接上 FX-70：HumanEval 原本 ±6.5 个百分点的门槛，20 项修正后变成约 ±10 个百分点。**更温和的替代是 Holm–Bonferroni 或控 FDR 的 Benjamini–Hochberg。

F22 总局限

1 · 本节算出的所有区间都是下界——簇内相关、scaffold 差异、评测代码 bug、grader 噪声都没算进去。保守做法：把宽度乘 2。

2 · 只处理随机误差，不处理系统误差。污染、标注错误、grader 偏差不随 (N) 增大而消失。⟹ 把基准做大只能解决 F22.1 的问题。

**3 · 「统计显著」不等于「实践重要」。**MMLU 上 0.7 个百分点在 (N=14{,}042) 下可以显著，但对体验的影响可能为零；AIME 上 15 个百分点不显著，若是真的却影响巨大。功效分析应与显著性一起报，实践中从不报。

**4 · 本节假设「分数」就是我们想要的东西。**对 agent 而言真正重要的量（任务长度、每步可靠性、能否重试）不在分数里，这个前提由 F23 攻击。

5 · 未覆盖（诚实标注）：项目反应理论、differential item functioning，以及基准之间的因子结构——若所有基准都在测同一个潜变量，(m) 个基准的有效信息量远小于 (m)。

我的看法 · 作者（AI）个人观点 · T5

本节每一条公式都是本科统计学，没有一条需要新数学。这才是最值得警惕的地方：一个用 (\sqrt{P(1-P)/N}) 就能算清的问题，在一个把可预测 scaling 当成招牌的行业里持续了十年而无人执行。我的可证伪判断是：置信区间之所以不报，不是算不出来，而是算出来之后绝大多数「领先」都会消失——报不确定度与「今天发布、今天领先」的叙事在激励上不相容。

两条间接支持：ARC Prize 是目前唯一把「成本必报」写进规则的主流榜单，而它不是模型厂商办的；OpenAI 自己在 2025-09 用论文承认二分类打分奖励猜测，但到 2026-07-25 未见任何主流榜单据此改过评分规则。

最强反例：METR 用三层 bootstrap 报区间，HealthBench 与 PaperBench 都为自己的 judge 建了元评测——这三家都在做评测的一侧，且都在 OpenAI 生态里；若「激励不相容」成立，它们不该存在。更弱的反驳是路径依赖与工程惰性。置信度：中低。

改判条件：若此后有前沿实验室在自家发布材料（而非第三方评测报告）中对主要基准逐项给出置信区间或配对检验，并因此主动撤回一个此前宣称的「领先」，我就承认判断错了，改判为「工程惰性 + 缺乏统一口径」。反之若有实验室公开以「区间会让读者困惑」为由拒绝报不确定度，我把置信度上调到中高。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

F23 · Agent Long-Horizon Reliability

F23 · agent 长程可靠性：为什么 benchmark 分数与真实长任务体验差这么多

前面各节回答的都是「模型有多强」。这一节回答一个正交的问题：**把一个能力固定的模型放进长链里会发生什么。**答案不依赖任何闭源细节，只依赖一个乘法——要连对 (T) 次才算成功，成功率就是每步成功率的 (T) 次幂。它把「单步 90%」变成「百步 0.0027%」，而这四个数量级的落差全部由一个几乎没有排行榜会报告的量 (T) 决定。

本节只做三件事：推导链式模型与它的反解；逐条放松让模型过于悲观的假设；再用这套数学解释落差。评测哲学、benchmark 争议史、agent 产品史一律不写——那是 ⑪ 前沿·评测·竞品对照 的地盘。

F23.1 · 朴素链式模型：最悲观的基线

先把最坏情况算干净。它的价值不在于「对」，而在于它是一把尺子：真实 agent 只要显著好于 (p^T)，一定是某个机制在起作用，指认它正是 F23.2 要做的事。

FX-75

链式可靠性：(p^T) 指数衰减与 50% 成功率的反解

T5 作者推断

① 直觉
  

把任务拆成 (T) 个必须全部做对的原子动作，每步独立地以概率 (p) 成功，任何一步失败全盘皆输，成功率就是 (T) 个 (p) 连乘。反过来读更有用：给定任务长度，它会倒逼出每步可靠性的下限，而这个下限随 (T) 收紧得快到反直觉。

② 推导
  

由独立性直接连乘，再取对数把指数变成加法： [ P_{\text{success}}=\prod_{t=1}^{T}p=p^{T},\qquad \ln P_{\text{success}}=T\ln p ](T)＝必须全部成功的原子步数；(p)＝单步成功率；(P_{\text{success}})＝全程成功率。

令每步错误率 (\epsilon=1-p)，用 (\ln(1-\epsilon)=-\epsilon-\epsilon^{2}/2-\cdots)，在 (\epsilon\ll1) 时保留一阶： [ P_{\text{success}}\approx e^{-T\epsilon}=e^{-T(1-p)} ](T(1-p))＝总错误预算。成功率是它的指数衰减；(T(1-p)=1) 是一条等值线，此处 (P\approx e^{-1}=36.8%)。

反解是本节真正要用的东西。要求 (p^{T}\ge\tfrac12)，两边取对数得 (T\ln p\ge-\ln 2)，即 (\ln p\ge-\ln 2/T)： [ p;\ge;2^{-1/T};=;\exp!\Bigl(-\frac{\ln 2}{T}\Bigr) ]在 (T) 步任务上达到 50% 成功率所需的最低单步成功率。

把指数展开 (e^{-u}=1-u+u^{2}/2-\cdots)，取 (u=\ln 2/T)，在 (T) 大时 (u^{2}) 项可略： [ p;\gtrsim;1-\frac{\ln 2}{T}+\frac{(\ln 2)^{2}}{2T^{2}}-\cdots;\approx;1-\frac{0.693}{T} \qquad\Longleftrightarrow\qquad \epsilon;\lesssim;\frac{\ln 2}{T} ]左式为 (2^{-1/T}) 的一阶展开，(T\ge30) 时已精确到 4 位有效数字（见下表第 2、3 列）。右式是它的错误率写法。

③ 数值例
  

(p=0.99)、(T=100)：(0.99^{100}=36.60%)。每步只错 1%，百步下来只有三分之一强的概率全程无误——而 100 步对真实工程任务是偏短的。同族的 (0.999^{1000}=36.77%)、(0.9999^{10000}\approx36.79%) 都落在 (e^{-1}) 附近，因为 (T(1-p)) 都等于 1。再往下：(0.9^{100}=2.66\times10^{-5})，(0.95^{100}=0.59%)。

④ 假设与失效边界
  

四条假设全都不成立，方向还不一致，所以 (p^{T}) 既非上界也非下界：(G1) 无冗余路径——真实任务常有多条路，(p^T) 低估；(G2) 每步同质——由 (\ln) 的凹性得 (\prod_t p_t\le\bar p^{,T})，同一均值下异质更容易失败；(G3) 各步独立——早错诱发后错，(p^T) 高估；(G4) 失败不可恢复——可重试可回滚，(p^T) 严重低估。最致命的是 (G4)。此外「一步」的粒度是自由参数，见本节末的总局限。

⑤ 论文出处
  

**本式有明确的发表先例，本报告不主张原创。**Sinha、Arun、Goel、Staab、Geiping，The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs，arXiv:2509.09677（2025-09-11）T2 官方论文/公告的 Proposition 1 给出 (H_s(p)=\lceil\ln s/\ln p\rceil)；取 (s=0.5) 就是本条的反解，其 Appendix J 更进一步化到 (H_{0.5}\approx\ln 2/\varepsilon)，与本条的 (\epsilon\lesssim\ln 2/T) 是同一个式子。该文并把「独立、同质、不自我纠正」这组假设明确归属给 Yann LeCun（2023，NYU Philosophy of Deep Learning 辩论幻灯片《Autoregressive LLMs are Doomed》）。本报告此处为独立推导，但不是首创；原先的原创声明已撤回，见下方警示条与「两种读法」。串并联可靠性网络本身是成熟理论，本节只用了最退化的串联情形。「每加一个九只买到十倍任务长度」与 Andrej Karpathy 的「march of nines」同义，但本档案引用的是二手转述（Dwarkesh Patel 播客，2025-10），逐字原文未核实T4 二手整理/编译。

核心结论（读法一）：允许的每步错误率与任务长度成反比，(\epsilon_{\text{allowed}}\propto 1/T)——任务长度每翻十倍，每步错误率必须降十倍。换成工程语言：每多做一个数量级的活，就要多攒一个「九」。★ 这里必须说清它是什么、不是什么：(\epsilon\cdot T\approx\ln2) 是一条关系式（更准确地说，是由独立同质假设导出的恒等式），它不是一条成本律——它只说「要撑到 (T) 步需要多准」，完全没有说「做到那么准要花多少钱」。「攒一个九的工程量恒定」是一条独立的经验假设，本报告没有为它给出任何成本数据；而「值不值得攒」还要再有一个价值函数。两者都缺，见下方「同一个公式，两种读法」与其中的 (U(H)) 一段。另外，把自变量从「任务长度」换成「单步准确率」，同一个式子会给出语气完全相反的结论，而且那个读法有更早的发表先例。

在 \(T\) 步任务上达到 50% 成功率所需的单步可靠性（精确值 \(2^{-1/T}\) 与一阶近似对照）
任务长度 \(T\)精确 \(p_{\text{req}}=2^{-1/T}\)近似 \(1-\ln 2/T\)允许的每步错误率 \(\epsilon\)需要几个九 \(-\log_{10}\epsilon\)| 任务长度 \(T\) | 精确 \(p_{\text{req}}=2^{-1/T}\) | 近似 \(1-\ln 2/T\) | 允许的每步错误率 \(\epsilon\) | 需要几个九 \(-\log_{10}\epsilon\) |


  100.93303300.93068536.697%1.17| 10 | 0.9330330 | 0.9306853 | 6.697% | 1.17 |

  1000.99309250.99306850.6907%2.16| 100 | 0.9930925 | 0.9930685 | 0.6907% | 2.16 |

  318（OSWorld 2.0 实测量级）0.99782270.99782030.2177%2.66| 318（OSWorld 2.0 实测量级） | 0.9978227 | 0.9978203 | 0.2177% | 2.66 |

  1,0000.99930710.99930690.06929%3.16| 1,000 | 0.9993071 | 0.9993069 | 0.06929% | 3.16 |

  10,0000.99993070.99993070.006931%4.16| 10,000 | 0.9999307 | 0.9999307 | 0.006931% | 4.16 |

最后一列每下一行加 1.00，正是 (\epsilon\propto1/T)。从「能做 10 步的活」到「能做 1000 步的活」只是 100 倍任务长度，却要求每步错误率从 6.7% 压到 0.069%，降低 97 倍。

⚑ 原创性声明经红队核查后撤回

**撤回的内容。**本节此前在 FX-75 的 ⑤ 处声称「把 (p^T) 作为 agent 可靠性模型写下、给出 (\epsilon\lesssim\ln 2/T) 这个反解与上表，是本档案的原创形式化」。该声明不成立，现已撤回。

先例。The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs（arXiv:2509.09677，2025-09-11）的 Proposition 1 即 (H_s(p)=\lceil\ln s/\ln p\rceil)，(s=0.5) 时与本节的式子一字不差；其 Appendix J 给出 (H_{0.5}\approx\ln 2/\varepsilon) 与灵敏度 (\mathrm{d}H_{0.5}/\mathrm{d}p\approx\ln 2/(1-p)^2)。该文比本报告早约十个月，并且已经做了本报告声称原创的那个 METR 换算（用它的结果说明 METR 观测到的视界指数增长可以发生在单步准确率收益递减的区间内）。它还把这组假设归属给 LeCun（2023），说明连「假设集」都不是新的。

现在的表述。本报告在此处的推导是独立完成的——写作时未检索到该文——但独立不等于首创，正确的做法是引用先例并说明关系。相关的 (h=\tau\ln2/\ln(1/p)) 换算（见 F23.3）同样撤回了原创声明。

为什么把这件事留在页面上。红队在 18 条事实性反驳里有 5 条打的不是结论、而是原创性或 tier 归属声明——结论都对，错在「这是我们首创」。这类声明成本高、收益低：它不增加论证强度，却给出一个极易被单篇论文推翻的攻击面。本页已按此标准全面自查，把其余同类表述一律降级为「独立推导 / 未检索到先例（附检索范围）」。留下这条撤回记录，比悄悄改掉更符合本站纪律。

F23.1b · 同一个公式，两种读法 —— 而且两种都对

上面那条双曲线 (\varepsilon\cdot H=\ln 2) 是本章最好的一处辩证材料：它同时支撑一个悲观结论和一个乐观结论，而两者在数学上都没有错。分歧不在概率模型，在于你把哪个变量当作「努力轴」——更准确地说，在于你隐含假设了怎样的成本函数和怎样的价值函数，而这两个函数本节都没有测量过（见下方 (U(H)) 一段）。

读法一 · 误差预算（本节采用）

自变量取任务长度 (T)，问「要撑这么长，每步得多可靠」： [ \varepsilon_{\text{allowed}}=\frac{\ln 2}{T} ]任务长度每翻十倍，允许的错误率降十倍。

成本记在**「九」的轴上：90%→99%→99.9% 每级都是「再攒一个九」，工程量级相当，而每级买到十倍长度**。⟹ 原来这里写的是「像跑步机：投入线性增长，回报只是线性的对数长度」——这句话已撤回，因为它在算术上不成立：若每个九的成本恒定，而回报是 10× 的任务长度，那是线性投入换指数回报，恰恰偏乐观。「跑步机」只有在价值按 (\log H) 计时才成立，见下方 (U(H)) 一段。

读法二 · 视界增长（arXiv:2509.09677）

自变量取单步准确率 (p)，问「这么准能撑多长」： [ H_{0.5}=\frac{\ln 2}{1-p},\qquad \frac{\mathrm{d}H_{0.5}}{\mathrm{d}p}\approx\frac{\ln 2}{(1-p)^{2}} ]边际回报按 ((1-p)^{-2}) 二次发散。

成本记在准确率的轴上：越接近 1，同样的「一个百分点」买到的步数越多。⟹ 像爆炸：短任务基准看着饱和，可执行长度却在指数增长——这正是该文标题「收益递减的错觉」的含义。

为什么两者能同时为真。精确关系是 (H=\ln 2/\ln(1/p))，在 (\varepsilon\ll1) 时化为双曲线 (\varepsilon H\approx\ln 2)（(p=0.99) 时乘积为 0.690、(p=0.999) 时 0.693，已收敛到 (\ln 2)；(p=0.9) 时是 0.658，尚差 5%）。这条双曲线是单位弹性的：(\mathrm{d}\ln H/\mathrm{d}\ln\varepsilon=-1)，恰好落在「谁也不占优」的临界点上。单位弹性只说明「在对数—对数尺度上两侧对称」，它本身不含任何关于乐观或悲观的信息：两种读法的差别首先是观测尺度的差别——如果你的观测量是「九」的个数（对数于 (\varepsilon)），双曲线看起来平；如果你的观测量是线性于 (p) 的基准分数，同样一段路看起来陡。同一条曲线，两把尺子。

⚑ 口径修订 · 两处结论已撤回并补上缺失的那一环：效用函数 \(U(H)\)（2026-07-25，终审 P0-2 第 2 条）

撤回句一（原样保留）：「乐观还是悲观完全由成本函数决定，而不由概率模型决定」。它少了至少一个同等重要的函数。决策量不是 (C)，而是净收益： [ \boxed{;J(p);=;\underbrace{U\bigl(H(p)\bigr)}{\text{任务长度的价值}};-;\underbrace{C(p)}{\text{达到 }p\text{ 的成本}};},\qquad H(p)=\frac{\ln 2}{\ln(1/p)};\approx;\frac{\ln 2}{\varepsilon} ](U(\cdot))＝能连续完成 (H) 步任务所带来的价值（营收、可自动化工时、可承接的任务档位）；(C(\cdot))＝把单步可靠性推到 (p) 的工程成本。「乐观 / 悲观」是 (J) 的性质，不是 (H(p)) 的性质。

撤回句二（原样保留）：「每多一个九工程量相当，每级只买十倍长度，所以像跑步机」。把它写成算术就能看出问题。令 (n=-\log_{10}\varepsilon)（「几个九」），则 (\varepsilon=10^{-n})、(H\approx\ln2\cdot 10^{,n})；再取本节自己假设的恒定单价 (C=c,n)： [ U(H)=aH;\Rightarrow;J=a\ln2\cdot 10^{,n}-c,n;;(\textbf{随 }n\textbf{ 指数增长}) \qquad\text{而}\qquad U(H)=a\log_{10}H;\Rightarrow;J=(a-c),n+\text{const};;(\textbf{线性}) ]左：价值线性于任务长度。恒定成本换 10× 长度是指数回报——这偏乐观，与原文的「跑步机」结论相反。右：价值只按数量级计。此时净收益线性于 (n)，符号由 (a) 与 (c) 的大小决定，可正可负；(a<c) 才是真正的跑步机。更一般地，(U(H)=aH^{\alpha};(\alpha>0)) 一律给出指数增长。

⟹ 「跑步机」不是这条双曲线的推论，而是「价值至多按 (\log H) 增长」这个额外假设的推论。本报告既没有测过 (C(p))，也没有测过 (U(H))，因此本报告不判定乐观还是悲观；本节只提供 (H(p)) 这个关系式，以及一个把争论转写成可检验形式的框架。两个函数各自的可测代理写在这里，供后续补齐：(C) 可用「把某任务族的 (\varepsilon) 降一半所需的标注 + 训练 + 评测支出」代理；(U) 可用 METR / GDPval 一类按任务时长分档的经济价值曲线代理——而 GDPval 这类度量恰好是在测「(U) 对任务长度的形状」，这正是本节缺的那条数据。

**为什么这一处特别容易写过头。**单位弹性 (\mathrm d\ln H/\mathrm d\ln\varepsilon=-1) 是一个漂亮而正确的结果，于是很容易把它直接读成一个经济结论。但弹性讲的是两个物理量之间的换算，成本律讲的是钱，效用讲的是值不值——中间隔着两个本报告没有的函数。终审的原话值得抄在这里：「形式化越漂亮，越需要检查它有没有偷偷替换问题。」

本框为公开留痕，按本站纪律不做静默修改。(J=U-C) 这个分解是标准的边际决策框架，本报告不主张原创；本框的贡献只是指出原表述缺了 (U) 这一项 T5 作者推断。

同一段路，两把尺子量出的价码（\(H_{0.5}=-\ln 2/\ln p\)；**第四列改用「错误率相对下降 10%」这个可实现的局部变化，替换原先越界的「+1 个百分点」**）
单步准确率 \(p\)可撑步数 \(H_{0.5}\)「九」的轴：升一级的代价准确率的轴：错误率相对降 10%（\(\varepsilon\to0.9\varepsilon\)）买到| 单步准确率 \(p\) | 可撑步数 \(H_{0.5}\) | 「九」的轴：升一级的代价 | 准确率的轴：错误率相对降 10%（\(\varepsilon\to0.9\varepsilon\)）买到 |


  0.96.58—\(p\to0.91\)，\(H\to7.35\)：**+0.77 步（+11.7%）**| 0.9 | 6.58 | — | \(p\to0.91\)，\(H\to7.35\)：+0.77 步（+11.7%） |

  0.9968.97再攒一个九（+9.0 个百分点）\(p\to0.991\)，\(H\to76.67\)：**+7.70 步（+11.2%）**| 0.99 | 68.97 | 再攒一个九（+9.0 个百分点） | \(p\to0.991\)，\(H\to76.67\)：+7.70 步（+11.2%） |

  0.999692.8再攒一个九（+0.9 个百分点）\(p\to0.9991\)，\(H\to769.8\)：**+77.0 步（+11.1%）**| 0.999 | 692.8 | 再攒一个九（+0.9 个百分点） | \(p\to0.9991\)，\(H\to769.8\)：+77.0 步（+11.1%） |

  0.99996,931再攒一个九（+0.09 个百分点）\(p\to0.99991\)，\(H\to7,701\)：**+770 步（+11.1%）**| 0.9999 | 6,931 | 再攒一个九（+0.09 个百分点） | \(p\to0.99991\)，\(H\to7,701\)：+770 步（+11.1%） |





⚑ 更正登记 · 上表第四列原先取值越界（2026-07-25，终审 P0-2 第 2 条）

原表第四列（原样保留）：「准确率的轴：+1 个百分点买到 → 0.9：+0.69 步；0.99：+69 步；0.999：+6,931 步；0.9999：+693,147 步」。它把导数 (\mathrm dH/\mathrm dp\approx\ln2/(1-p)^2) 直接乘 0.01 当成「加一个百分点」的结果，而在 (p=0.999) 与 (p=0.9999) 处，(p+0.01>1)——这个变化根本不可实现，那两格不是「回报暴涨」，而是把线性化用到了定义域之外。（导数值本身没错，错在把它当成有限差分的步长。）

**改法：换成在整个区间上都可实现的局部变化。**本表现在用「错误率相对下降 10%」，即 (\varepsilon\to0.9\varepsilon)；它在任何 (p<1) 处都合法，且不依赖线性化。结果是一个恒定的相对增益 (H\to H/0.9)，即约 +11.1%（(p=0.9) 那行是 +11.7%，因为 (\varepsilon=0.1) 还不算 (\ll1)）。等价的另一种写法是「增加 0.1 个九」，即 (\varepsilon\to10^{-0.1}\varepsilon\approx0.794\varepsilon)，给出恒定的 +25.9%（(p=0.9) 那行为 +27.3%）。

这次更正改变了这张表的结论，必须明说。原表第四列「每行乘以约 100」制造了一种「回报二次暴涨」的印象；换成可实现的局部变化后，第四列变成一个恒定的相对增益——这正是单位弹性 (\mathrm d\ln H/\mathrm d\ln\varepsilon=-1) 应有的样子：错误率相对降多少，视界就相对涨多少。⟹ 读法二的「爆炸」感，来源不是数学上的二次发散，而是「用绝对百分点去量一个已经贴近 1 的量」这个刻度选择；(\mathrm dH/\mathrm dp) 的二次发散本身是对的，但它描述的是坐标变换的雅可比，不是回报率。

数值按 (H=-\ln2/\ln p) 精确计算（非一阶近似），四位有效数字；本报告可复算。

第三列每一行都是「再攒一个九」——代价恒定，这是读法一的视角；第四列每一行都是同一个相对增益（约 +11%），这是把读法二写成可实现变化之后的样子。两列描述的是同一组数字。注意第三列括号里的百分点数每行降十倍：「一个九」在准确率的绝对刻度上越来越便宜，这就是读法二显得乐观的全部来源——它是刻度效应，不是额外的回报。而「恒定成本换 10× 长度到底算好算坏」，取决于 (U(H))，见上方 (U(H)) 修订框。

● 什么时候该用哪一种

**做工程决策、判断能不能上线 ⟹ 用读法一。**此时约束是「我们实际能造出几个九」，而九不会因为你换个坐标轴就变便宜。用读法二去规划排期，会系统性低估把 (p) 再推高一档所需的工作量。

读趋势线、判断继续投入值不值 ⟹ 用读法二。基准分数是记在准确率轴上的，而在高 (p) 区间，分数上「看着不起眼」的一两个百分点确实对应视界的成倍增长。这解释了一个真实存在的现象：短任务基准趋于饱和的同时，agent 能完成的任务长度仍在快速变长——arXiv:2509.09677 引 METR（Kwa et al., arXiv:2503.14499）观测到的视界约 7 个月翻倍，本页 F23.3 采用的是 METR 2026-01-29 更新后的 88.6 天翻倍周期，两个数字来自不同快照，但方向一致。

最常见的误用是混轴。把基准上的 +1 个百分点直接读成「任务长度涨十倍」而不先确认自己处在高 (p) 区间，是把读法二用错了地方（而且在 (p\ge0.99) 时「+1 个百分点」往往根本不是可实现的变化，见 更正登记）；把「可靠性有关系式、没有成本律」读成「agent 不会进步」，则是把读法一用过了头。第三种误用是本报告自己犯过的：把关系式直接读成经济结论，而没有先写下 (U(H)) 与 (C(p))，见 (U(H)) 修订框。

还有一条两种读法共享的前提：它们都建立在 FX-75 ④ 那四条全部不成立的假设上（无冗余、同质、独立、不可恢复）。arXiv:2509.09677 自己在提出 Proposition 1 之后立刻用实验推翻了「同质」——它发现模型会在上下文里看到自己先前的错误后变得更容易出错（自我条件化，self-conditioning），即 (p) 随步数下降而非恒定。⟹ 乐观读法的适用范围因此比它看上去更窄：只有当自我条件化被抑制（该文发现「思考」能缓解）时，二次发散才真的兑现。

**原创图 1：\(p^T\) 悬崖。**它回答一个问题——**同样是「很高的单步可靠性」，能撑多长的任务？**四个圆点是各曲线与 50% 金线的交点，即该可靠性下的任务长度上限：0.90 撑不到 7 步，0.99 撑不到 70 步，撑 693 步要三个九。白圈是全节最该记住的点：**\(p=0.99\)、\(T=100\) 只有 36.6%**。**四条假设全都不成立，这是最悲观基线而非预测。**本报告原创 SVG，按公式逐点采样绘制。

展开：对数视角——把指数衰减改写成一个「可加的可靠性预算」

指数不好管理，取对数就变成加法。定义单步预算消耗 (b:=-\log_{10}p)： [ B=\sum_{t=1}^{T}b_t=T,b\ (\text{同质}),\quad P=10^{-B},\quad T_{\max}(P)=\frac{-\log_{10}P}{b}\approx\frac{\ln(1/P)}{\epsilon} ](b)＝单步消耗的「九」的份额，(b\approx\epsilon/2.3026)；(B)＝总预算。(T_{\max}(0.5)=\ln2/\epsilon)，与 FX-75 的反解一致，互为验算。

(B) 可加，于是三件事可做：可分配——把 (B=B_{\text{plan}}+B_{\text{tool}}+B_{\text{verify}}) 拆开就能定位瓶颈；可处理异质——读文件几乎不会错、写复杂正则常错，求和仍成立，由此得到一条 Amdahl 式推论：优化应集中在 (b_t) 最大的那几步；可写进合同——「(T\le50) 上承诺 80%」即 (B\le0.097)、(p\ge0.99554)。

  「用九计数」：每加一个九，能跑的步数乘十
  \(p\)口语\(b=-\log_{10}p\)在 \(B=0.301\)（即 \(P=50\%\)）预算下可跑几步| \(p\) | 口语 | \(b=-\log_{10}p\) | 在 \(B=0.301\)（即 \(P=50\%\)）预算下可跑几步 |

  
    0.9一个九0.045766.6| 0.9 | 一个九 | 0.04576 | 6.6 |

    0.99两个九0.00436569| 0.99 | 两个九 | 0.004365 | 69 |

    0.999三个九0.0004345693| 0.999 | 三个九 | 0.0004345 | 693 |

    0.9999四个九0.000043436,932| 0.9999 | 四个九 | 0.00004343 | 6,932 |

    0.99999五个九0.00000434369,315| 0.99999 | 五个九 | 0.000004343 | 69,315 |

  

右列是「march of nines」的定量版本。(-\log p) 正是意外度，所以可靠性预算＝「这条轨迹允许积累多少 bit 的意外」。本表为原创整理T5 作者推断。

F23.2 · 打破独立性假设的四种机制

那条曲线之所以吓人，全靠 (G3)(G4) 撑着。真实系统里有四样东西系统性地违反它们：重试、检查点、环境可验证性、验证器。

机制一 · 重试：杠杆最大，但它把问题换了一个

放松 (G4)。每步允许 (r) 次尝试，全失败的概率是 ((1-p)^{r})，于是每步有效成功率变成 (1-(1-p)^{r})——与 pass@k 同一个式子，因为二者依赖同一件事：能判断对错。

FX-76

带重试与检测率的有效可靠性模型

T5 作者推断

① 直觉
  

重试把可靠性预算从 (T(1-p)) 压到 (T(1-p)^{r})，从线性压到 (r) 次幂，这是四种机制里最大的杠杆。但它没有消除问题，只是换了一个：「如何提高单步成功率」（很难）被换成「如何检测单步失败」（可能容易得多）。所以必须把检测率 (d) 显式写进模型——没有检测，重试连触发条件都没有。

② 推导
  

先看理想情形（失败必被发现）。每步有效成功率与整条链： [ p_r=1-(1-p)^{r},\qquad P_{\text{success}}(r)=\bigl[1-(1-p)^{r}\bigr]^{T}\ \Longrightarrow\ \ln P\approx-T(1-p)^{r} ](r)＝每步总尝试次数（1 次初试 + (r-1) 次重试）。各次尝试假定独立。

引入检测率 (d:=\Pr[\text{环境发现失败}\mid\text{该步实际失败}])。每次尝试有三种归宿：成功（(p)）、失败且被发现（((1-p)d)，触发重试）、失败但未被发现（((1-p)(1-d))，静默通过，错误进入后续步骤）。只有第二种会继续循环，几何级数求和： [ p_{\text{eff}}(r,d)=\sum_{j=0}^{r-1}\bigl[d(1-p)\bigr]^{j}p ;=; p\cdot\frac{1-\bigl[d(1-p)\bigr]^{r}}{1-d(1-p)} ](d\in[0,1]) 是检测器的召回率（假阳性率另由 FX-77 处理）。这是本档案给出的原创合成式。

三个极限都对得上：(d=1) 时约掉分母回到 (1-(1-p)^{r})；(d=0) 时 (p_{\text{eff}}=p)，重试完全无效；(r\to\infty) 时级数收敛： [ p_{\text{eff}}(\infty,d)=\frac{p}{1-d(1-p)},\qquad \frac{\partial p_{\text{eff}}}{\partial d}=\frac{p(1-p)}{\bigl[1-d(1-p)\bigr]^{2}} ]左式即「无限重试直到检测通过」的上限；右式在 (p=0.9,d=0.5) 处等于 0.0997。

③ 数值例
  

**(p=0.9,r=3,d=1)：每步有效成功率 (1-0.1^{3}=0.999)，于是 (T=100) 的成功率从 (0.9^{100}=2.66\times10^{-5})（0.0027%）跳到 (0.999^{100}=90.48%)——提升 34,000 倍。**但把检测率打个折就原形毕露：(d=0.9) 时 (p_{\text{eff}}=0.98829)，(T=100) 只剩 30.8%；(d=0.5) 时 (p_{\text{eff}}=0.94725)，只剩 0.44%——和完全不重试的 (p=0.95)（0.59%）差不多。敏感度：(d) 每提高 1 个百分点，(p_{\text{eff}}) 提高约 0.1 个百分点，在 (T=100) 的链上意味着 (P) 相对提高约 10%。

④ 假设与失效边界
  

重试独立性是最脆的一条。同一模型对同一 prompt 重试往往犯同样的错（模式坍缩），真实 (p_r) 远低于 (1-(1-p)^{r})。修正是引入重试间相关系数 (\rho_r)，用 (r_{\text{eff}}=1+(r-1)(1-\rho_r)) 代替 (r)——(\rho_r=0.5,r=3) 时只剩 2；改温度、改 prompt、换 scaffold 都是在压 (\rho_r)，这正是 harness 工程的核心。其次：成本随重试线性增长；幂等性是前提，发邮件、下单、写生产库不安全。最狠的是：若检测器有假阳性，重试会筛掉正确解，「多试几次」反而更糟，见 FX-77。

⑤ 论文出处
  

(p_r=1-(1-p)^{r}) 与 pass@k 同构，后者见 arXiv:2107.03374 §2.1（Chen et al., Evaluating Large Language Models Trained on Code）T2 官方论文/公告。带检测率的合成式 (p_{\text{eff}}(r,d)) 与它的三个极限检验为本报告独立推导T5 作者推断；把「检测率」作为一等参数的先例未检索到——这是负向结论，检索空间限于 arXiv 与公开 agent 评测文献，不排除遗漏，因此本报告不主张首创（同类声明的风险见 F23.1b 的撤回记录）。

这一句比上面所有数字都重要：重试只有在你能发现错误时才有用。它把「提高模型可靠性」这个几乎无解的问题，换成「提高错误检测率」这个属于环境而非模型的问题。coding agent 之所以是第一批真正可用的 agent，不是因为代码更简单，而是因为代码环境自带失败检测器。反之，写作与分析这类 (d\approx0) 的任务，重试等于不存在。

重试杠杆对照（\(T=100\)，检测率 \(d=1\) 的理想情形）
\(p\)\(r\)每步有效成功率 \(p_r\)\(p_r^{100}\)无重试 \(p^{100}\)提升倍数| \(p\) | \(r\) | 每步有效成功率 \(p_r\) | \(p_r^{100}\) | 无重试 \(p^{100}\) | 提升倍数 |


  0.8030.9920044.79%\(2.04\times10^{-10}\)\(2.2\times10^{9}\)×| 0.80 | 3 | 0.99200 | 44.79% | \(2.04\times10^{-10}\) | \(2.2\times10^{9}\)× |

  **0.90****1**0.90000**0.0027%**\(2.66\times10^{-5}\)1×| 0.90 | 1 | 0.90000 | 0.0027% | \(2.66\times10^{-5}\) | 1× |

  **0.90****3****0.99900****90.48%**\(2.66\times10^{-5}\)**34,000×**| 0.90 | 3 | 0.99900 | 90.48% | \(2.66\times10^{-5}\) | 34,000× |

  0.9050.9999999.90%\(2.66\times10^{-5}\)37,600×| 0.90 | 5 | 0.99999 | 99.90% | \(2.66\times10^{-5}\) | 37,600× |

  0.9520.9975077.86%0.59%131×| 0.95 | 2 | 0.99750 | 77.86% | 0.59% | 131× |

  0.9920.9999099.00%36.60%2.7×| 0.99 | 2 | 0.99990 | 99.00% | 36.60% | 2.7× |

注意首末两行：模型越弱，重试的相对收益越大——由此得到一个反直觉推论，harness 工程对中等能力模型的边际价值高于对最强模型。表内数字均已复算。

**原创图 2：重试杠杆与它的代价。**蓝虚线族无重试，绿实线族是同一组 \(p\) 允许三次重试——**中间那道白色双箭头就是 \(p=0.9\)、\(T=100\) 从 0.0027% 抬到 90.5% 的跨越**。橙线与红线是账单：检测率降到 0.9，同一个点掉到 30.8%；降到 0.5 掉到 0.44%，**几乎压回「完全不重试的 \(p=0.95\)」那条蓝虚线上**。**杠杆的支点不在模型上，在环境上。**本报告原创 SVG，按 FX-76 的 \(p_{\text{eff}}(r,d)\) 逐点采样绘制。

机制二 · 检查点与回滚：与超算里的 Young/Daly 公式同构

失败若在段末才被发现，只需重做该段而非整个任务。这是 HPC 几十年的老技术，搬到 agent 上一字未改。

展开：最优检查点间隔的完整推导（(s^\star=\sqrt{C/\lambda})）

(T) 步分成 (m) 段、每段 (s=T/m) 步，段末做一次成本 (C) 的验证，失败则回滚重做该段。单段成功率 (p^{s})，重做次数服从几何分布，期望 (p^{-s})： [ \mathbb{E}[\text{total}]=m,(s+C),p^{-s}=\Bigl(T+\frac{CT}{s}\Bigr)e^{\lambda s},\qquad \lambda:=\ln\frac1p ](m)＝段数；(s)＝段长；(C)＝一次段末验证的等价步数成本。

对 (s) 求导令其为零，约去 (Te^{\lambda s})，得 (\lambda s^{2}+\lambda Cs-C=0)，取正根： [ s^{\star}=\frac{-\lambda C+\sqrt{\lambda^{2}C^{2}+4\lambda C}}{2\lambda};\xrightarrow[\ p\to1\ ]{};\sqrt{\frac{C}{\lambda}}\approx\sqrt{\frac{C}{1-p}}=\sqrt{C\cdot\mathrm{MTBF}} ](\mathrm{MTBF}=1/(1-p))＝平均无故障步数。

HPC 的经典结果是 (\tau_{\text{opt}}\approx\sqrt{2C_{\text{ckpt}}\cdot\mathrm{MTBF}})（Young 1974, Daly 2006）T4 二手整理/编译，**结构完全相同，只差一个来自失败位置假设的 (\sqrt2)——两者在数学上是同一个问题。**读数：(p=0.95,T=100,C=5) 时无检查点期望 17,735 步，最优分 13 段期望 245 步，加速 72 倍。

失效边界：段末验证仍要靠 (d)，坏检查点比没有检查点更糟；若错误是确定性的，重做次数期望发散，检查点完全失效。主流 harness 用的是 (s=1)，由 (s^\star=\sqrt{C/\lambda}) 这要求 (C\approx1-p)——现有设计在数学上是对的，但只对验证便宜的领域是对的。

机制三 · 环境可验证性：(d) 是环境属性，不是模型属性

把 (d) 当成环境参数，就得到本节最有实用价值的一张表。它解释了一件常被误读的事：agent 在不同领域的成熟度差异，主要不是「模型在代码上更强」，而是「代码环境的 (d) 更高」。工具反馈还把盲目重试变成有信息的重试——若失败原因有 (K) 种、错误信息把候选缩到 (K’) 种，(p’/p\approx K/K’) 即信息增益倍数。

检测率 \(d\) 的谱系（量级估计，非实测；\(d\) 定义为「实际失败时被环境发现的概率」）
环境\(d\) 大致量级检测机制| 环境 | \(d\) 大致量级 | 检测机制 |


  编译型语言 + 类型检查~0.95编译器直接报错| 编译型语言 + 类型检查 | ~0.95 | 编译器直接报错 |

  有完整单元测试的代码库0.7–0.95测试失败| 有完整单元测试的代码库 | 0.7–0.95 | 测试失败 |

  Shell 命令（有退出码）0.6–0.9非零退出码；但「成功执行了错误的命令」检测不到| Shell 命令（有退出码） | 0.6–0.9 | 非零退出码；但「成功执行了错误的命令」检测不到 |

  有 linter、无测试的代码库0.3–0.6只能发现表层错误| 有 linter、无测试的代码库 | 0.3–0.6 | 只能发现表层错误 |

  GUI 操作0.1–0.4只能靠截图对比| GUI 操作 | 0.1–0.4 | 只能靠截图对比 |

  写作 / 分析 / 建议~0无自动检测| 写作 / 分析 / 建议 | ~0 | 无自动检测 |

本表是依据各环境反馈机制所做的量级估计T5 作者推断，非论文实测值——(d) 的定义需要「实际失败」的真值，故不可直接测量。控制论的说法更直观：(d) 是反馈回路增益，(d=0) 回路断开、误差自由累积成 (p^{T})，(d=1) 回路闭合、误差被逐步纠正。反例：若 (d) 来自单元测试，agent 可能学会改测试而非改代码，此时 (d) 名义为 1、实际为 0。

机制四 · 验证器：为什么假阳性与假阴性的代价极不对称

没有环境反馈的地方只能用模型（critic）判断这一步对不对。验证器的数学本身不新，本节唯一的增量是：链一拉长，两类错误的代价就分道扬镳——这在单步的 Best-of-N 语境里看不出来。

FX-77

验证器的假阳性与假阴性：长链上的代价不对称

T5 作者推断

① 直觉
  

一句话：假阳性不可逆，假阴性可逆。被误拒的正确解只是没被采用，再生成一个就是；被误收的错误一旦进入状态，后续每一步都会在它之上继续构建——这就是错误传播，代价随剩余步数增长。类比流水线质检：假阴性＝把合格零件当废品扔了，假阳性＝把不合格零件放进产线。

② 推导
  

设每步真实成功率 (p)，验证器两类错误率为 (\alpha:=\Pr[\text{判对}\mid\text{实际错}])（假阳性）与 (\beta:=\Pr[\text{判错}\mid\text{实际对}])（假阴性），判错就重试、判对就前进。被接受的概率、与被接受的那一步真的对的概率（精确率，一个贝叶斯公式）分别是： [ P_{\text{accept}}=p(1-\beta)+(1-p)\alpha,\qquad p_{\text{eff}}=\frac{p(1-\beta)}{p(1-\beta)+(1-p)\alpha} ]整条链的成功率是 (p_{\text{eff}}^{,T})；期望尝试次数是 (1/P_{\text{accept}})。

把两个偏导数并排写出来，不对称性就是一眼可见的： [ \frac{\partial p_{\text{eff}}}{\partial\alpha}=\frac{-p(1-\beta)(1-p)}{\bigl[p(1-\beta)+(1-p)\alpha\bigr]^{2}},\qquad \frac{\partial p_{\text{eff}}}{\partial\beta}=\frac{-p(1-p)\alpha}{\bigl[p(1-\beta)+(1-p)\alpha\bigr]^{2}} ]关键在右式分子里那个 (\alpha) 因子。

因此 (\alpha=0\Rightarrow\partial p_{\text{eff}}/\partial\beta=0)：假阳性为零时，假阴性完全不影响链的正确率，它只压低 (P_{\text{accept}})，即只烧算力；而 (\alpha) 直接进 (p_{\text{eff}})，再被 (T) 次幂放大。把 (p_{\text{eff}}\approx1-(1-p)\alpha/p) 代入 (P\approx e^{-T(1-p)\alpha/p}\ge P_0) 解出工作点约束： [ \alpha;\le;\frac{p,\ln(1/P_{0})}{T,(1-p)} ](P_0)＝可接受的全程成功率下限。(\beta) 不出现在这个约束里。

③ 数值例
  

(p=0.9,T=50)。**(\beta=0.30)（三成正确答案被误拒）：链成功率仍是 100%，只是每步多花 43% 算力（1.59 次 vs 1.11 次）。(\alpha=0.30)（三成错误答案被误收）：链成功率崩到 19.4%，算力反而更省（1.08 次/步）。**同样是 30% 的错误率，一个无害，一个致命——而致命的那个看起来更便宜，所以单纯优化算力成本会系统性地把系统推向高 (\alpha) 配置。工作点约束的读数：(p=0.9,T=100,P_0=0.5) 要求 (\alpha\le6.2%)，(T=318) 要求 (\alpha\le2.0%)。

④ 假设与失效边界
  

「(\beta) 免费」只在无限重试下成立。有限 (r) 次预算时全被拒的概率是 ((1-P_{\text{accept}})^{r})：(\beta=0.3,p=0.9,\alpha=0) 时 (P_{\text{accept}}=0.63)，(r=3) 就有 5.1% 的概率耗尽预算——(\beta) 由此重新变得有害，实践中表现为 agent 反复重写同一个函数。其次，(\alpha) 与 (\beta) 不可独立调节（ROC 权衡）。第三，验证器与生成器同源时错误相关，(\alpha) 恰在最需要检出的错误上偏高。第四，在错误的文件里写对的代码应被拒，但步级验证器看不到全局。

⑤ 论文出处
  

ORM/PRM 的目标函数与 Best-of-N 的极值统计见 arXiv:2305.20050（Let’s Verify Step by Step）T2 官方论文/公告，本站 F9、F10.3 已给出。把 (\alpha,\beta) 放进长链、给出两个偏导数、导出工作点约束，为本报告独立推导T5 作者推断；未检索到发表先例，但检索空间有限，不主张首创。规范性后果：agent 的验证器应调到「极高精确率、可接受召回率」的工作点，而非 F1 最优点——这与常规 PRM 的平衡交叉熵目标不一致，因为 PRM 是为 Best-of-N 选样本训练的，不是为长链把关训练的。

展开：相关性与恢复能力——两状态马尔可夫模型，以及一个相变

最小的非独立模型是两状态链：O（在轨）与 F（脱轨），(p)＝保持在轨的概率，(q)＝从脱轨恢复的概率。转移矩阵与谱分解解为： [ \mathbf{P}=\begin{pmatrix}p & 1-p\ q & 1-q\end{pmatrix},\qquad \Pr[\text{在轨 at }T]=\frac{q}{q+1-p}+\frac{1-p}{q+1-p},(p-q)^{T} ]特征值 (\mu_1=1) 与 (\mu_2=p-q)；初始分布取 ((1,0))。

(q=0) 时退化为 (p^{T})，完美还原朴素模型；(q\gt0) 时第二项随 (T) 消失，成功率收敛到正的平稳值 (q/(q+1-p))。这是一个相变：(q=0) 的世界里长任务在数学上不可能，(q\gt0) 的世界里只是「有个上限」。(p=0.99,T=100) 时 (q) 从 0 变到 0.2，成功率从 36.6% 跳到 95.2%——「能不能从错误中恢复」比「单步有多准」重要得多。要让衰减劣于 (p^{T})，须允许「脱轨后仍在跑但成功率更低」，衰减率即次随机矩阵的谱半径 (\mu_{\max}\lt p)。

局限：两状态极度简化；马尔可夫性不成立（脱轨越久越难回来）；(q) 与 (p) 不独立，除非做干预实验否则无法分离——给 agent 一个人为破坏的中间状态、测它的恢复率，是可做但未见有人做的实验。(q) 与 (d) 是同一件事的两面。

本模型与推导为本报告独立完成T5 作者推断，未检索到发表先例，但不主张首创。METR 把「ability to adapt to mistakes」列为时间视界增长的四大驱动之一（arXiv:2503.14499 摘要）T2 官方论文/公告，本档案认为那正是 (q)——这一步对应是作者推断，不是论文的说法。

F23.3 · 用它解释「benchmark 分数 vs 真实长任务体验」的落差

这是本节存在的理由。落差的成因不需要假设任何人在夸大：benchmark 多是短程、单步或少步的任务，真实工作是长程多步的。把对数灵敏度写出来即可——(\partial\ln P/\partial p=T/p)，(T) 就是放大倍数本身。

结论：benchmark 分数告诉你 (p)；产品可用性由 (p^{T}) 除以「重试、可验证性、恢复能力带来的修正」决定。而 (T)、(d)、(r)、(\alpha) 这四个量，没有一个出现在任何主流排行榜上。

所以这不是「benchmark 骗人」，是**「benchmark 回答的问题和你要问的问题不是同一个」**。放大还是双向的：单步 95% 提到 97% 只有两个百分点，在 (T=200) 上却是 0.0035% → 0.226%，六十五倍；反过来，在 (T=30) 的 benchmark 上从 90 分涨到 92 分（隐含 (p) 由 0.99649 升到 0.99722），放到 (T=3000) 上是 0.0027% → 0.0239%——相对提升九倍，体感仍是「两个都不能用」。同一个 (T) 次幂，既能把微小改进放大成质变，也能把榜单上的两分整个吞掉。详见 ⑪ 前沿·评测·竞品对照。

FX-78

时间视界与每步错误率：把 (p^{T}) 接到可观测的度量上

T5 作者推断

**⚑ 闭源机制警示**　本站对 o 系列与 GPT-5.x 训练过程的一切描述，都是基于公开信息构建的**解释框架，不是 OpenAI 的内部实现**。OpenAI 对这些模型的训练配方从未公开。

① 直觉
  

(p) 与 (T) 都不可直接观测，但「这个模型能搞定多长的活」可以测。把链式模型改写成时间的函数，就能在可观测的时间视界与不可观测的每步错误率之间架一座桥，而这座桥的斜率恰好是 (-1)：视界翻倍等价于每步错误率减半。

② 推导
  

设人类耗时 (t) 与 agent 的原子步数成正比，(T=t/\tau)（(\tau)＝一步的时间当量），代入 (P=p^{T})： [ P(t)=p^{t/\tau}=e^{-\lambda t},\qquad \lambda:=\frac{\ln(1/p)}{\tau} ](\lambda)＝单位人类工时的「失败率」。链式模型在时间坐标下是纯指数衰减。

令 (P(h)=1/2) 解出 50% 时间视界 (h)，再用 (\ln(1/p)\approx\epsilon)：

  \[ h=\frac{\ln 2}{\lambda}=\frac{\tau\ln 2}{\ln(1/p)}\;\approx\;\frac{0.693\,\tau}{\epsilon}\qquad\Longrightarrow\qquad h\;\propto\;\frac1\epsilon \]\(h\)＝50% 时间视界；\(\epsilon=1-p\)。这与 FX-75 的 \(T_{\max}=\ln2/\epsilon\) 是同一个式子换了单位。
  

于是任何「倍增周期」都能翻译成「每年攒几个九」： [ \text{每年增加的九} ;=; \log_{10}\Bigl(2^{,365.25/T_{\text{double}}}\Bigr) ](T_{\text{double}})＝视界倍增周期（天）。这是对「march of nines」行军速度的定量回应。

③ 数值例
  

见下表。**按倍增周期 88.6 天算，视界每年 (\times17.4)、每步错误率每年 (\div17.4)，即每年攒 1.24 个九，约每 10 个月一个九。**按全时段的 196.5 天算则是每年 0.56 个九、约 21 个月一个九。两者差近一倍，所以引用时不声明时间窗口没有意义。

④ 假设与失效边界
  

桥的两头都不牢。其一，(t\propto T) 可疑——长任务对人类可能有超线性开销。其二，两个模型不是同一个函数：(p^{T}) 在 (\log t) 坐标下是 Gompertz 型，METR 的拟合是标准 logistic (P(t)=1/(1+(t/h)^{\beta}))，两者只在 50% 点重合。用 80%/50% 视界比可判别：i.i.d. 链给出 (h/t_{80}=\ln2/\ln(1.25)=3.11)（(\beta\approx1.22)），METR 实测是 4–6 倍（(\beta\approx0.86!-!1.0)）——实测曲线更平，这是真实 agent 强于朴素链模型的证据，候选机制为难度异质、步数次线性、(q\gt0)。其三，(\tau) 是自由参数，只有倍增速率不依赖它。

⑤ 论文出处
  

时间视界的定义、logistic 拟合与「80% 视界短 4–6 倍」的实测，见 Kwa、West、Becker 等（METR），Measuring AI Ability to Complete Long Tasks，arXiv:2503.14499 §3.1–3.2.1T2 官方论文/公告；TH1.1 数字见 metr.org 的 2026-01-29 更新T2 官方论文/公告。(h=\tau\ln2/\ln(1/p)) 这座桥与 (h\propto1/\varepsilon) 的换算不是本报告首创，原创声明已撤回：arXiv:2509.09677 §2.1 已用同一结果对照过 METR 的视界曲线（说明视界的指数增长可以发生在单步准确率收益递减的区间内），比本报告早约十个月，详见 F23.1b 的撤回记录。METR 原文本身确实未做此对照，但「METR 没做」不等于「无人做过」。本报告在此处的贡献仅限于：换用 2026-01-29 更新后的 88.6 天口径重算，并给出「每年几个九」的推论与 (\beta) 判别式T5 作者推断——这些是独立计算，未检索到发表先例，但检索空间仅限 arXiv 与公开评测文献，不排除遗漏。