3. Chinchilla 反转

3. 现在（中）：Chinchilla 的反转 —— 数据被严重低估

3.1 背景：Kaplan 那条”最优”曲线真的是最优吗？

Gopher（280B 参数、300B token，约 1.07 token/参数）和 GPT-3 一样，沿用了 Kaplan”算力主要花在加大模型上”的思路（重模型、轻数据）。2022 年初，DeepMind 重新做了一次 Scaling Law 拟合，这次：

• 扫描规模从 70M 到 16B 参数（多数大于 500M，而 Kaplan 的实验多数明显更小，不少小于 100M）；

• 每个模型训不同长度的 token；

• cosine 学习率周期与训练长度匹配：Kaplan 的算力前沿取自按约 130B token 设定的 cosine 长跑的中间 loss，Hoffmann 认为这会高估短训练的 loss，使结论偏向”模型大、数据少”（2.1 节③）；

• 总实验量超过 400 次训练。

3.2 三种估计方法

Chinchilla 论文最厉害的地方不在结论，而在他们用三种不同估计路径得到了相互校验的结论。这不是完全独立证据链（模型族、数据和训练 recipe 仍共享），但作为实证设计已经相当扎实。

在看三种方法之前，先交代两篇在方法学上的差别：loss 定义、LR 调度、(N) 与 (C) 的计数口径、优化器、tokenizer、训练集等十余处都不同，几乎每一条都是对 Kaplan（OpenAI）的针对性修正（逐项见 3.6 节对照表）。这些差异的意义是：Kaplan 的 (N, C, L) 和 Chinchilla 的 (N, C, L) 严格说是不同定义的量。如果你想把两篇论文的常数直接代进同一个公式，得先做单位换算。指数没有量纲，不受这种乘法性的单位换算影响；但”是否计入 embedding""FLOP 怎么数”是给 (N)、(C) 加上一项，这种加法性的口径差会改变 log-log 图上的局部斜率，小模型区尤其明显（Kaplan 的 (2, 128) 小模型，非 embedding 参数约 0.39M，词嵌入加位置嵌入约 6.6M，总数是前者的约 18 倍）。所以 0.73 / 0.27 对 ≈ 0.5 / 0.5 这 0.23 的差距并不全是结论之争：Pearce & Song 2024 ^[1] 发现，按 Kaplan 的口径（只计非 embedding 参数）在小规模上重做 Chinchilla 的分析，就会得到接近 Kaplan 的有偏系数；Porian et al. 2024 ^[2] 进一步把分歧拆成最后一层的算力计数、warmup 时长和随规模的优化器调参三项（7.1.2 节）。

下面逐一看三种方法怎样相互印证出 (a \approx b \approx 0.5)（方法三后来还有复现争议，见 7.1.2）。

方法 1：训练曲线包络（Training curve envelope）

对每个模型大小 (N) ，训不同长度的 (D) ，得到一大堆 loss vs FLOPs 的训练曲线。把所有曲线的最低 loss 包络线拎出来，就是”给定算力预算下能达到的最小 loss”。再用对应的 ((N, D)) 拟合 (N_{opt} \propto C^a) 、 (D_{opt} \propto C^b) 。

结果： (a \approx 0.50,\ b \approx 0.50) 。

*图：Chinchilla 论文 ^[3] Figure 2 —— 方法 1 的可视化。左图每条彩色曲线是一个模型（参数量从 75M 到 10B）的 training loss vs. FLOPs，从这些曲线中**抽取”最低 loss 包络线”*作为给定算力下的最优 loss。中图和右图把这个包络线对应到最优的 (N_{opt}) 和 (D_{opt}) —— 都落在一条漂亮的幂律直线上，指数接近 0.5。绿色线是对 Gopher 算力外推的预测点：相同算力下 Gopher 该是一个 ~67B 的模型训 1.5T token，而不是 280B 训 300B。Source: Hoffmann et al., arXiv:2203.15556

方法 2：IsoFLOP 切片

换一个角度：固定若干算力档位（ (C = 6 \times 10^{18},\ 10^{19},\ \ldots,\ 3 \times 10^{21}) FLOPs），在每个档位上跑不同的 ((N, D)) 组合（总训练 FLOPs 相同，近似满足 (6 N D = C) ）。

每条 IsoFLOP 曲线是一个类似 parabola 的形状：模型太小不好（ (N) 受限），模型太大也不好（训不饱， (D) 受限），中间有一个谷底 —— 就是这个算力档位下的 compute-optimal 点。把每个档位的谷底连起来，再拟合幂律。

结果： (a \approx 0.49,\ b \approx 0.51) 。

图：Chinchilla 论文 ^[3] Figure 3 —— IsoFLOP curves。左图是不同算力档位下 training loss 相对于参数量的曲线，每条曲线都有一个清晰的最低点（parabola 谷底）。中图和右图是把谷底的 ((N_{opt}, D_{opt})) 提取出来后对 FLOPs 拟合幂律，指数都接近 0.5。绿色标记是按此外推到 Gopher 算力（ (5.76 \times 10^{23}) FLOPs）得到的最优模型大小 —— 约 63B，明显比 Gopher 自身（280B）小，把 (D) 提高约 4.7 倍（到 1.4T）才是更优配置。Source: Hoffmann et al., arXiv:2203.15556

方法 3：参数化拟合（重头戏）

直接拟合一个双瓶颈 + 不可约项的完整公式： [ L(N, D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} \tag{14} ]

每一项的物理意义：

• (E) ：经验渐近项（irreducible / asymptotic term）。在理想化解释中，它对应当前数据分布、tokenizer、context 和目标函数下即使无限大模型 + 无限多数据也难以突破的有效下界；

• (A / N^{\alpha}) ：模型容量瓶颈。参数不够，表征能力不足，无法拟合所有规律；

• (B / D^{\beta}) ：数据瓶颈。数据不够，模型”见过的世界”不全。

Chinchilla 论文在其预训练设置下报告的拟合常数： [ E \approx 1.69, \quad A \approx 406.4, \quad B \approx 410.7, \quad \alpha \approx 0.34, \quad \beta \approx 0.28 \tag{15} ]

要注意，(15) 是论文正文里的舍入值，而且拟合得并不好。Besiroglu et al. 2024 ^[4] 从原文 Figure 4 重建数据点后重拟合，发现原拟合明显不贴数据；Hoffmann 一方随后确认，原因是把 Huber loss 在样本上求了平均而非求和，致使优化提前终止；(\beta) 从 TeX 源码里的 0.2849 舍成 0.28 也带来了偏差（7.1.2 节）。重拟合的结果是 (E \approx 1.82,\ A \approx 482,\ B \approx 2085,\ \alpha \approx 0.348,\ \beta \approx 0.366)。两组参数推出的配比差别很大：按原拟合参数，最优配比约为 70 token/参数（Besiroglu 的估算；(a < 0.5) 时这个比值还随算力上升），与 Chinchilla 实际所用的 20 不符；按重拟合参数则是 (a \approx 0.51)、约 20 token/参数，与方法一、二及 Chinchilla 的实际配置一致。本书的示意计算（1.2 节、第 6 章等）仍沿用 (15) 的原报参数 —— 它是原文报告值，也是 Sardana 等后续工作的基线（3.4 节）—— 需要时再注明重拟合参数下的结果。

两个细节值得注意：

• 不要把 (A \approx B) 直接理解成 “(N) 和 (D) 对称”：(A,B) 带单位，数值大小会随 (N,D) 的计量方式、tokenizer、数据集和拟合范围改变。比 (A)、(B) 的绝对值没有意义；最优指数 (a,b) 和由此推出的 tokens/param 更可比，但也要在同一套 (N)、(C) 口径下比（见上文）；

• (\alpha) 与 (\beta) 谁大，取决于用哪组参数：按 (15)，(\alpha) 略大，增加 (N) 比增加 (D) 对消除自己那项瓶颈略快，但差距不大；按重拟合参数两者几乎相等（0.348 对 0.366，(\beta) 还略大）。

最优配比推导

在 (C = 6 N D) 约束下最小化 (L) ，用 Lagrange 乘子法（过程与 2.3 节同构）： [ N_{opt} = G \cdot \left(\frac{C}{6}\right)^{a}, \quad D_{opt} = G^{-1} \cdot \left(\frac{C}{6}\right)^{b} \tag{16} ]

其中： [ a = \frac{\beta}{\alpha + \beta} \approx \frac{0.28}{0.62} \approx 0.45, \quad b = \frac{\alpha}{\alpha + \beta} \approx \frac{0.34}{0.62} \approx 0.55 \tag{17} ]

（Chinchilla 论文 ^[3] Table 2 报告的 (a = 0.46, b = 0.54) 与这里 0.45 / 0.55 的小差来自 (15) 的舍入：TeX 源码中未舍入的 (\alpha = 0.3392)、(\beta = 0.2849) 给出 (a \approx 0.456)。两者都满足 (a + b = 1)。按 Besiroglu 的重拟合参数则是 (a \approx 0.51)、(b \approx 0.49)。）

(G) 是和 (A, B, \alpha, \beta) 有关的常数： [ G = \left(\frac{\alpha A}{\beta B}\right)^{\frac{1}{\alpha + \beta}} \tag{18} ]

三种方法给出的指数都几乎在 0.5 附近。这不是数学证明，但作为实证结果已经相当稳健。

3.3 Compute-Optimal 的经验法则

整理成工程实践者能用的话： [ \mathbf{D_{opt} \approx 20 \times N_{opt}} \tag{19} ]

**每个参数配约 20 个 token。**这是 2022–2023 年工程界的指南针，此后逐渐被把推理成本算进去的”过训”取代（3.4 节）。20 来自方法一、二（原文 Table 3、Table A3）和 Chinchilla 自身的训练配置，只在 Chinchilla 的口径下成立（计入 embedding 的总参数、MassiveText、不到一个 epoch）；按原拟合参数反而约 70（Besiroglu 的估算，见 3.2 节）。它也不是常数：最优配比会随算力预算和推理计划而变（见 4.3 节）。

对比几个著名模型的 tokens / param：

• GPT-3 (175B)：300B token，比值 ≈ 1.7 —— 远低于最优（Chinchilla 的典型反例）；

• Chinchilla (70B)：1.4T token，比值 = 20 —— 按最优配方训；

• LLaMA-1 ^[5] (65B)：1.4T token，比值 ≈ 22 —— 基本踩在最优上；

• Llama 3 (8B)：15T token ^[6]，比值 ≈ 1875 —— 远超最优。

为什么 Llama 3 要严重超训？Meta 的说法是：8B 模型的 Chinchilla 最优约 200B token，但训到 15T 仍按对数线性改善；更大的模型用更少的训练算力也能达到同样水平，但”小模型推理效率高得多，所以通常更受青睐”^[6]。也就是说，主要原因是 Chinchilla 最优只看训练，不看推理（下一节展开）；另有研究认为，预算越大，计算最优的 token/参数本身也越高（4.3 节）。

3.4 推理感知的最优配比：把推理成本算进去

Chinchilla 的原始最优，有一个隐藏假设：训练 FLOPs 是唯一的成本。

这在 2022 年还说得过去 —— 那时大模型虽已有 API 形式的商用服务，推理规模还不大。2023 年之后整个行业进入规模化部署期：

• 训练一次；

• 推理几万亿次。

如果一个更小、训得更久的模型能达到同样的能力，每个推理 token 的算力就按参数量等比下降；推理量足够大时，全生命周期总算力可以明显更低。但缩得越狠，补回能力要的数据越多，缩得太多就补不回来。只看训练的 Chinchilla 最优，在这里就显得”短视”了。

这正是 Sardana et al. ^[7]《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》 的出发点：2023 年底的初版由 Sardana 与 Frankle 发表，扩充版刊于 ICML 2024。下文称之为推理感知（inference-aware）的最优配比；原文把这样求出的模型叫 inference-adjusted model。

新的目标函数

把总成本写成 训练成本 + 推理成本： [ C_{total}(N, D, D_{inf}) = \underbrace{6 N D}{\text{训练}} + \underbrace{2 N D{inf}}_{\text{推理}} \tag{20} ]

其中：

• (D)：训练 token 数；

• (D_{inf})：模型一生要处理的推理 token 数（这是一个产品 / 商业输入）；

• 训练每 token 约 (6N) FLOPs（forward+backward），推理每 token 约 (2N) FLOPs（只 forward）。

新的优化问题： [ \min_{N, D}\ C_{total}(N, D, D_{inf}) \quad \text{s.t.}\ L(N, D) = L^* \tag{21} ]

也就是：在达到目标 loss (L^*) 的前提下，让训练 + 推理的总算力最小。

关键直觉

用 Lagrange 乘子法配合 Chinchilla 的 (L(N,D) = E + A/N^\alpha + B/D^\beta) ，可以推出两条定性关系（推理量 (D_{inf}) 越大，最优 (N) 越小、最优 (D) 越大）： [ \begin{aligned} \frac{N_{opt}^{\text{推理感知}}}{N_{opt}^{\text{Chinchilla}}} &\ \searrow\ \text{as}\ D_{inf}\ \uparrow \[4pt] \frac{D_{opt}^{\text{推理感知}}}{D_{opt}^{\text{Chinchilla}}} &\ \nearrow\ \text{as}\ D_{inf}\ \uparrow \end{aligned} \tag{22} ]

要强调的是：Sardana et al. 没有给出固定倍率，而是按目标 loss (L^*) 与预期推理量 (D_{inf}) 对式 (21) 做数值求解，具体缩多少取决于推理量（不存在”一律缩小 5 ~ 10 倍”这类固定比例）。论文给出的两个实例是：

• 目标能力对标 7B Chinchilla 最优模型时，可把参数缩到约 6B，但需多训约 1.18× 的数据 —— 这是在预期推理量 (D_{inf} = 10^{11}) token 的假设下算出来的；

• 目标对标 30B 时，可缩到约 13.6B，但需多训约 2.84× 的数据 —— 这一档假设 (D_{inf} = 10^{13}) token（推理量高两个数量级，所以缩得多得多），并可省下约 28% 的全生命周期总 FLOPs。

这两组倍数都以 Chinchilla 方法三的原报拟合为基线（(A)、(B)、(E) 同 (15)，(\alpha)、(\beta) 微调为 0.336、0.283），而不是”20 token/参数”：按这组参数，7B、30B 的”Chinchilla 最优”本身已约为 40、52 token/参数；换成 3.2 节的重拟合参数，具体倍数会变。还要注明一个外推边界：在极端高 tokens / param 区，Chinchilla 的原始拟合本身也会高估继续喂数据的收益（已落在其拟合区间之外），所以越往极端过训区，这类”能缩到多小”的估计越不可靠、需谨慎外推。定性结论不变：**预期推理量越大，越应该训更小的模型、喂更多数据。**若部署时还要对每题重复采样（推理时计算，4.7 节），把这部分成本也计入，最优预训练点会大幅移入过训区，远超标准 scaling 实验覆盖的范围（T² ^[8]，4.3 节）。

业界对号入座

对比一下 2022–2024 年的开源模型，基本就是一张”推理感知配比采用率”的光谱图（Chinchilla 70B 的 20、LLaMA-1 65B 的 22 见 3.3 节）：

• Llama 2 7B（2023-07）：2T token ^[9]，比值 ≈ 285 —— 开始显著偏离；

• Llama 3 8B（2024-04）：15T，比值 ≈ 1875 —— 极度 over-trained；

• Qwen2.5-7B（约 18T token ^[10]，≈ 2400）、Gemma 2 9B（约 8T token ^[11]，≈ 870）同样远在 Chinchilla 线右侧；

• 微软 Phi 系列：以”优质合成数据 + 小模型 + 超长训练”为路线，把小模型在同等规模下的性能推到很高。

换句话说，2024 年之后很多高性价比小模型都可以理解为沿着推理感知配比的方向走：更小模型、更长训练、更重视推理成本；另一部分原因可能是预算越大，计算最优的 token/参数本身也越高（4.3 节）。“在 Chinchilla 线上训练”反而成了少数派。

过训的两个副作用

把推理成本算进目标函数之后，模型普遍被”过训”，随之带来两个有直接证据的副效应：

• 量化友好度下降（见 4.4 节总表”训练精度 / 训练后量化”行）：Kumar et al. 2024 ^[12] 发现，训练数据越多，训练后量化带来的 loss 退化越大；按其拟合外推，数据多到一定程度后，继续加预训练数据反而有害；

• 可塑性下降：过训的模型更难通过微调大幅改写。Springer et al. 2025 ^[13] 发现，OLMo-1B 预训练到 3T token 后再做指令微调，多项标准基准比 2.3T 的版本低 2% 以上，作者称之为 catastrophic overtraining，并用受控实验和理论分析复现了这一现象。

一句话总结

Chinchilla 问：给定训练算力，怎么分配 (N) 和 (D) ？

推理感知配比问：给定目标能力 + 预期推理量，怎么分配 (N) 和 (D) ？

前者更接近训练端最优，后者更接近部署端最优。Scaling Law 本身没变，变的是我们终于开始替用户算账了。

3.5 三大 insight

Insight 1：Kaplan 错的不是定律，而是测量方式。

Scaling Law 是拿显卡跑出来的经验律。同一个现象，不同实验设计能得到相反结论。这个教训对任何依赖”从大规模实验中提炼规律”的研究都适用 —— 实证科学的脆弱性比我们想的大（分歧的归因见 7.1.2 节）。

Insight 2：“数据与参数同等重要”重塑了全行业。

2023 年起，LLaMA、Baichuan、Qwen、DeepSeek 等主流开源模型都把 (D) 推到了 20 token/参数以上，GPT-3 式”高参数、低数据”的配方随之过时。转向并非一夜之间：Chinchilla 之后一年内发布的 OPT-175B（语料约 180B token）^[14]、BLOOM-176B（训练 366B token）^[15] 仍只有 1–2 token/参数；而”20”这个数本身，随后也被过训远远超过（3.4 节）。

Insight 3：决定 pretraining loss 地板（从能力一侧看就是天花板）的是 (E) ，不是 (\alpha) / (\beta) 。

幂律部分是”速度”，(E) 是这条经验曲线的”终点”：在固定数据分布、tokenizer、context window 和目标函数下，堆更多钱能把幂律跑快一点，但 (E) 是这条曲线的渐近下界。(E) 首先是一个经验拟合参数；在理想化极限下，可以把它理解成这些设定共同决定的条件熵下界： [ E = H\big(,p_{\text{data}}(y_t \mid x_{\text{ctx}}),\big) \tag{23} ]

按这个解释，(E) 主要由两件事决定：“预测的是什么”（目标分布 (p_{\text{data}})，来自评测分布与任务定义）和”基于什么来预测”（conditioning (x_{\text{ctx}})：context window、多模态输入、检索等）。所以同一分布上堆 (N)、(D) 降不了它；降它要改条件（给模型更多相关的输入，(H(Y \mid X, Z) \le H(Y \mid X))）或改题 —— 长 context、原生多模态在 Chinchilla 之后成为核心战场，正因为它们改的是条件。换模型族、数据清洗、合成数据这些训练侧手段各落在哪一层，见 6.5 节；混合多个领域也不会因”熵的凹性”系统性地抬高 (E)，一阶上是各域 (E) 的加权平均，多样性的价值主要在 (A/N^\alpha) 与下游泛化（推导见第 6 章注 19）。

3.6 Kaplan vs Chinchilla vs 推理感知配比 对照

下面这张表把两篇（及推理感知配比）的方法学差异逐项对照，3.2 节开头的口径讨论即以此为据：

维度 Kaplan 2020 Chinchilla 2022 推理感知配比（Sardana et al. 2023–24） | 维度 | Kaplan 2020 | Chinchilla 2022 | 推理感知配比（Sardana et al. 2023–24） |

优化目标 min training-time loss min training-time loss min 全生命周期 FLOPs（train + inference） | 优化目标 | min training-time loss | min training-time loss | min 全生命周期 FLOPs（train + inference） |

Loss 定义 WebText2 held-out，early-stopped（主要指 (L(D)) 那组实验；(L(N)) 是训到接近收敛） MassiveText training loss，不做 early stopping（方法二、三取 end-of-run，方法一取训练曲线包络） 沿用 Chinchilla | Loss 定义 | WebText2 held-out，early-stopped（主要指 (L(D)) 那组实验；(L(N)) 是训到接近收敛） | MassiveText training loss，不做 early stopping（方法二、三取 end-of-run，方法一取训练曲线包络） | 沿用 Chinchilla |

拟合公式 (L = [(N_c/N)^{\alpha_N/\alpha_D} + D_c/D]^{\alpha_D})，无 (E) (L = E + A/N^\alpha + B/D^\beta) 在 Chinchilla 公式上做约束优化 | 拟合公式 | (L = [(N_c/N)^{\alpha_N/\alpha_D} + D_c/D]^{\alpha_D})，无 (E) | (L = E + A/N^\alpha + B/D^\beta) | 在 Chinchilla 公式上做约束优化 |

最优分配 (N \propto C^{0.73}) (N \propto C^{\approx 0.5})（方法一 / 二 0.50 / 0.49；方法三原报 0.46，重拟合约 0.51） 随 (D_{inf} \uparrow)，(N) 占比 (\downarrow) | 最优分配 | (N \propto C^{0.73}) | (N \propto C^{\approx 0.5})（方法一 / 二 0.50 / 0.49；方法三原报 0.46，重拟合约 0.51） | 随 (D_{inf} \uparrow)，(N) 占比 (\downarrow) |

代表模型 tokens / param ≈ 1.7（GPT-3 175B / 300B） ≈ 20（Chinchilla 70B / 1.4T） 100 ~ 2000+（看推理量） | 代表模型 tokens / param | ≈ 1.7（GPT-3 175B / 300B） | ≈ 20（Chinchilla 70B / 1.4T） | 100 ~ 2000+（看推理量） |

LR schedule 全模型同一调度形状与长度（3000 步 warmup + cosine 到 0，共 (2.5\times10^5) 步），峰值 LR 按模型规模设定 cosine 周期匹配训练长度，衰减 10×；周期比训练步数长出 25% 以上时 final loss 明显变差（原文 Figure A1） 验证实验用 cosine，衰减到峰值的 10% | LR schedule | 全模型同一调度形状与长度（3000 步 warmup + cosine 到 0，共 (2.5\times10^5) 步），峰值 LR 按模型规模设定 | cosine 周期匹配训练长度，衰减 10×；周期比训练步数长出 25% 以上时 final loss 明显变差（原文 Figure A1） | 验证实验用 cosine，衰减到峰值的 10% |

Batch size 固定 0.5M tokens（隔离实验中固定；compute-optimal 配方下 (B\propto C^{0.24})） 按经验规则设定；最终模型训练中途从 1.5M 加倍到 3M token 验证实验按规模设定（小模型用更小的 batch） | Batch size | 固定 0.5M tokens（隔离实验中固定；compute-optimal 配方下 (B\propto C^{0.24})） | 按经验规则设定；最终模型训练中途从 1.5M 加倍到 3M token | 验证实验按规模设定（小模型用更小的 batch） |

Optimizer Adam（>1B 换 Adafactor） AdamW（原文 Figure A7：明显优于 Adam）+ 优化器内保存 float32 权重副本（与换 AdamW 合起来明显改善 loss，Figure A6） 验证实验用 Lion（MPT 架构） | Optimizer | Adam（>1B 换 Adafactor） | AdamW（原文 Figure A7：明显优于 Adam）+ 优化器内保存 float32 权重副本（与换 AdamW 合起来明显改善 loss，Figure A6） | 验证实验用 Lion（MPT 架构） |

(N) 是否含 embedding ❌ 不含 ✅ 含 含 | (N) 是否含 embedding | ❌ 不含 | ✅ 含 | 含 |

(C) 计算 (\approx 6 N B S)（不计 embedding、最后一层与 attention 上下文项） 精确 FLOP 计数（含 attention logits/softmax），在 73M–6.8B 范围内与 (6ND) 相差 1%–10%（原文附录 F）；方法三求解用 (6ND) (6ND + 2ND_{inf}) 近似（(20) 式） | (C) 计算 | (\approx 6 N B S)（不计 embedding、最后一层与 attention 上下文项） | 精确 FLOP 计数（含 attention logits/softmax），在 73M–6.8B 范围内与 (6ND) 相差 1%–10%（原文附录 F）；方法三求解用 (6ND) | (6ND + 2ND_{inf}) 近似（(20) 式） |

Tokenizer GPT-2 BPE（50257） 改版 SentencePiece（无 NFKC），词表与 Gopher 的 94.15% 重合 — | Tokenizer | GPT-2 BPE（50257） | 改版 SentencePiece（无 NFKC），词表与 Gopher 的 94.15% 重合 | — |

训练集 WebText2（~22B tokens） MassiveText（语料约 10.5 TB / ~2.35T token，6 源；采样 1.4T token 训练） — | 训练集 | WebText2（~22B tokens） | MassiveText（语料约 10.5 TB / ~2.35T token，6 源；采样 1.4T token 训练） | — |

Context 长度 1024 2048 — | Context 长度 | 1024 | 2048 | — |

扫描规模 768 ~ 1.5B 参数 70M ~ 16B 参数（多数大于 500M；外推到 Gopher 的算力预算） — | 扫描规模 | 768 ~ 1.5B 参数 | 70M ~ 16B 参数（多数大于 500M；外推到 Gopher 的算力预算） | — |

Epoch 制度 多 epoch（(L(N)) 一组约 6 遍；(L(D)) 的小子集更多） < 1 epoch（核心假设；MassiveWeb、Wikipedia 子集会被多次采样；多 epoch 留作后续工作） — | Epoch 制度 | 多 epoch（(L(N)) 一组约 6 遍；(L(D)) 的小子集更多） | < 1 epoch（核心假设；MassiveWeb、Wikipedia 子集会被多次采样；多 epoch 留作后续工作） | — |

拟合方法 原文未说明 Huber loss (\delta = 10^{-3})，多 grid 初始化 — | 拟合方法 | 原文未说明 | Huber loss (\delta = 10^{-3})，多 grid 初始化 | — |

实验次数 原文未给出总数 400+ 次 成本推导沿用 Chinchilla 的拟合；另训 47 个模型（150M–6B、最高 10,000 token/参数）检验过训区的外推 | 实验次数 | 原文未给出总数 | 400+ 次 | 成本推导沿用 Chinchilla 的拟合；另训 47 个模型（150M–6B、最高 10,000 token/参数）检验过训区的外推 |

代表模型 GPT-3 175B Chinchilla 70B / LLaMA-1 Llama 3 8B / Phi / Gemma / Qwen | 代表模型 | GPT-3 175B | Chinchilla 70B / LLaMA-1 | Llama 3 8B / Phi / Gemma / Qwen |

典型范式 重模型轻数据 (N \approx D/20) 重数据、轻模型、长训练 | 典型范式 | 重模型轻数据 | (N \approx D/20) | 重数据、轻模型、长训练 |

3.7 Takeaway

Chinchilla 用三种相互校验的方法把 Kaplan 的分配翻了过来：在它的口径下（计入 embedding 的总参数、MassiveText、不到一个 epoch），参数与数据应等比放大，约 20 token/参数。

这个 20 不是常数：它随算力预算与数据而变（4.3 节），把推理成本算进去后，最优点还会移向更小、训得更久的模型（3.4 节）；地板 (E) 则不随同分布上的 (N)、(D) 下降（3.5 节）。

暗线回扣：暗线②（数据约束）在这里转了向 —— 数据从被低估的一维变成与参数同等重要，此后行业普遍过训，一路走到第 10 章的数据墙；暗线①（可预测性）也被收紧了一次 —— 同一组现象换一套测量口径，就能得出相反的最优分配（7.1.2 节）。