7. 拟合与使用

7. 如何拟合与使用 Scaling Law：一门需要自律的测量学

第 6 章回答的是”哪个旋钮动哪个数”，是解剖学：(\alpha / A / E) 各自由什么主导；本章回答的是”这条曲线怎么量、量出来怎么用”，是测量学：在自己的数据、自己的集群上，怎样才能把它们量得可信、用得不自欺。

本章依次讲：拟合为什么出奇地脆弱、拿到一条曲线怎么分辨动的是哪个数（7.1）、把它用进研发的注意事项（7.2）、自己团队复现一条 scaling law 的操作清单（7.3）、不同角色据此该做什么（7.4），最后是全章 Takeaway（7.5）。7.1 与 7.2 偏”不要做什么”，7.3 与 7.4 偏”该怎么做”，建议配套读。

7.1 在现实中拟合 Scaling Law 的微妙之处

上一章七节讲的是”哪个旋钮动哪个数”。但有一件更基础的事必须单独拎出来讲：scaling law 的公式虽然干净，真正去”拟合”它却出奇地脆弱 —— 一堆看起来无关紧要的程序细节（参数怎么数、精度怎么舍、loss 怎么求和、用哪段数据拟合）都可能让最终的外推预测差出一个数量级以上。

根子在于这件事的结构：scaling law 只能在你训得起的那批小模型上拟合，然后把结论外推到大几个数量级的模型上。在这种”小拟合、大外推”的放大镜下，看起来像舍入误差的选择，会被放大成天壤之别的预测。

图：同一批小模型数据点（左灰区），在拟合区内几乎重合的几条候选拟合线，外推到右侧大模型区会扇形发散：拟合区里很小的斜率差，外推几个数量级后会被放大成”该训多大模型”的分歧。Kaplan（ (N^\propto C^{0.73}) ，偏向”大模型少数据”）与 Chinchilla（ (N^\propto C^{0.50}) ，偏向”等比放大”）的差距远大于这类拟合噪声，主要来自系统性的计数口径与方法差异（7.1.2）；这张图只说明，这类差异为什么会在外推时被放大（示意图，非实测数据）。

7.1.1 拟合成立的隐含前提：唯一在变的必须是 scale

scaling-law 拟合有两条几乎从不被写进公式、却决定成败的前提：

• 唯一变化的是 scale。架构、优化器、LR schedule、batch ramp、data mix、tokenizer……都必须逐档保持一致。任何一个跟着规模偷偷变了，你测到的就不再是”纯 scale”的曲线（等于各档之间混进了第 6 章意义上的一次干预，不论属于 (a) 还是 (b)，拟合都会把它算到 scale 头上）。

• 每一档都必须被认真调过。各档离最优超参有多远若随规模而变（最常见的是用同一套固定超参跑完所有档位，或某些档位欠训 / 没调好 LR），测到的就是”超参失配随规模的漂移”，而不是 scaling：斜率连同 (N_{opt} \propto C^{a}) 的配比指数都会被测歪（视频扩散 Transformer 上的独立证据见 4.1.1 节 ^[1]）。Kaplan 与 Chinchilla 的分歧里就有这一项：Porian 等把指数拉回 Chinchilla 的三步修正里，warmup 时长与随规模的优化器调参两步都属于它（7.1.2）。这条前提在工程上有两个标准解：要么每档独立扫超参、或套一条本地拟合的 hp-scaling 律（Step Law，4.1.1 节）；要么改用 µP ^[2] 这类参数化，让最优学习率跨规模近似不变，从而在小档调一次就能迁移过去（两条路线的对比见 4.1.1，落到清单见 7.3）。µP 的理论保证主要在宽度方向：深度方向的学习率迁移已有 CompleteP ^[3] 给出可用的参数化；训练 token 数、MoE 结构变化时最优超参仍会移动（Step Law 的 (\eta(N, D)) 就随 (D) 变），仍需在目标栈上校正（4.1.1）。

7.1.2 两个复现案例：Chinchilla “方法三”，与 Kaplan–Chinchilla 分歧

3.2 节详拆过 Chinchilla 的三种拟合方法。方法一、二与 Chinchilla 的实际训练都落在约 20 tokens/参数，按方法三（参数式拟合）的原报参数推出的最优配比却约为 70（Besiroglu 等的估算，见 3.2 节）—— 这里另有隐情。Besiroglu et al. 2024 ^[4]《Chinchilla Scaling: A Replication Attempt》从 Hoffmann et al. 原文 Figure 4 里把 ((N, D, L)) 数据点扒出来重拟合，发现两个非常具体、也非常”程序性”的问题：

• loss 求和 vs 求平均搞错了。原文在 L-BFGS-B 优化里把 Huber loss 在样本上求平均而非求和，目标函数因此小了几百倍（约等于样本数），收敛判据被过早触发，优化在真正收敛之前就停了（Besiroglu 等称之为 loss scale 选得不当，Hoffmann 一方事后确认了这一点）；原始拟合和 bootstrap 都因此给出不一致的估计和窄得不可信的置信区间。

• **精度被舍掉了。**正文报出的 (\beta) 被舍入成 0.28（TeX 源码里是 0.2849），在 (D = 10^{11}) token 时会让数据项的可约 loss 偏高约 13%；舍入后的参数对数据的拟合明显变差，残差不再以 0 为中心。

修掉这两点后，方法三与方法一、二反而对得上了：重拟合参数给出的也是约 20 tokens/参数。这个案例的价值不在于”谁对谁错”，而在于它赤裸裸地展示了”求和还是求平均""舍几位小数”这种看似无关紧要的选择，能让一篇顶会论文的核心拟合偏出 3 倍以上的配比。

Kaplan 与 Chinchilla 的分歧是另一面镜子。Hoffmann 等当年点出两处差异：一是 Kaplan 的算力前沿取自同一批固定长度 cosine 长跑（(2.5\times10^5) 步、约 130B token）的中间 loss，学习率没有按较短的训练长度衰减到位，会高估短训练的 loss，他们认为这”促成了”模型该比数据长得快的结论（2.1 节③）；二是 Chinchilla 的模型更大（最大 16B、多数超过 5 亿参数，Kaplan 的多数 run 明显更小）。Pearce & Song 2024 ^[5] 则指出，是否把 embedding 参数计入 (N) 在小模型区影响巨大（那里 embedding 占比不可忽略）：按 Kaplan 的口径（只计非 embedding 参数）在小规模上重做 Chinchilla 的分析，就会得到接近 Kaplan 的有偏系数。换句话说，两篇里程碑论文的”打架”，相当一部分来自口径与方法差异（外推只是把斜率差放大成配比差），而不是物理规律本身变了。

把这场分歧真正做实的，是 Porian et al. 2024 ^[6]《Resolving Discrepancies in Compute-Optimal Scaling of Language Models》(NeurIPS 2024 spotlight)：他们在两套数据集（OpenWebText2、RefinedWeb）上先如实复现出 Kaplan 那条偏”重模型”的曲线（复现得 (a\approx 0.86) / 0.84，接近 Kaplan 原文图 14 左对训练算力 (C) 的原始拟合 0.88；2.3 节的 0.73 是把横轴换成 (C_{\min})（足够小的 batch 下达到同样结果所需的最小算力）之后的调整值，二者并不矛盾），再一步步把它搭桥搭到 Chinchilla（(a\approx 0.5)），是目前对这场分歧最干净的实证收口。它还给一个常见叙事纠了偏：Hoffmann 等人把 cosine / LR 调度错配猜想为分歧的主要原因之一，但 Porian 等人发现 —— 在已修正 FLOP 计数与 warmup 之后，单独把 cosine 学习率衰减加正确，指数也只从约 0.60 移到 0.57、大部分差距仍在，可见 LR 衰减并非主因。真正把指数一路拉回 Chinchilla 的，是三件事叠加（括号里是 OpenWebText2 上的指数变化）：① 把最后一层（LM head）的 FLOP 计入（Kaplan 没算这部分，对小模型可低估近一个量级；0.86 → 0.70）、② 修正 warmup 时长（Kaplan 的 warmup 固定为 3000 步、约 1.57B token，对小模型过长：小算力档的最优训练长度常落在 warmup 之内或附近，最优 token 数因此被抬高；改为随模型规模设定后 → 0.60）、③ 随规模变化的优化器调参（LR、batch size，尤其小 batch 下的 AdamW (\beta_2)；这一步用恒定学习率、完全不做衰减，也 → 约 0.52，RefinedWeb 上约 0.50，直接反驳了”衰减必不可少”的猜想）。这与上面 Besiroglu ^[4]、Pearce & Song ^[5] 同向；其中 ②③ 两步正是 7.1.1 说的超参前提。

也有相反的声音。Lilian Weng 2026 年 6 月的博客《Scaling Laws, Carefully》^[7] 按主流的参数口径解释（即 Pearce & Song 那一路）梳理了这场分歧；Complete Skeptic 博客 7 月的《Scaling Laws, Honestly》^[8] 随后回应（作者署名 Diogo，自述当年在 OpenAI 做 LLM 优化），称这类解释”不准确”，分歧来自一个”bug”：所有模型训同样约 130B token、cosine 衰减到零，却声称结果”基本不受学习率调度影响”。博客没有新实验，所指的正是上面那条 Hoffmann 猜想，而 Porian 的 cosine 对齐实验（上一段的 0.60 → 0.57）直接检验过这条机制；何况在与 Kaplan 相当的算力下，compute-optimal 点所需 token 都不超过约 10B，131B 长度的 cosine 此时只衰减了不到 1.5%。本文采纳 Porian 的结论（受控实验、两套数据，证据中；博客是未附实验的观点，证据弱）：除计数口径外，起作用的是定长 warmup 与逐档调参。两者只在一点上相同：都不认为单靠参数口径能解释全部分歧。

7.1.3 拟合陷阱速查表

把上面这些（以及几个常见坑）收成一张清单 —— 看到任何一篇宣称”我们拟合出了某 scaling law”的工作，可以逐条对照：

陷阱会发生什么怎么防| 陷阱 | 会发生什么 | 怎么防 |

拟合区间选择只拟合小 / 中 / 全部模型，得到不同的表观斜率报告区间敏感性；尽量覆盖更宽的 scale| 拟合区间选择 | 只拟合小 / 中 / 全部模型，得到不同的表观斜率 | 报告区间敏感性；尽量覆盖更宽的 scale |

**loss 口径（sum/avg、Huber δ）**优化器过早终止、估计偏移、CI 失真固定并公开 loss 聚合方式；检查优化是否真收敛| loss 口径（sum/avg、Huber δ） | 优化器过早终止、估计偏移、CI 失真 | 固定并公开 loss 聚合方式；检查优化是否真收敛 |

数值精度 / 舍入少报几位有效数字 → 反推系数大幅失真报足精度；用原始而非舍入后的参数复算| 数值精度 / 舍入 | 少报几位有效数字 → 反推系数大幅失真 | 报足精度；用原始而非舍入后的参数复算 |

seed / 噪声很小的 loss 扰动（量级因设置而异）就可能改变拟合结果多 seed 平均，报告方差| seed / 噪声 | 很小的 loss 扰动（量级因设置而异）就可能改变拟合结果 | 多 seed 平均，报告方差 |

**参数口径（含不含 embedding）**小模型区 (N) 定义不同 → 指数不同统一 (N) / (C\approx6ND) 口径再对比| 参数口径（含不含 embedding） | 小模型区 (N) 定义不同 → 指数不同 | 统一 (N) / (C\approx6ND) 口径再对比 |

最优点附近平坦 → 不可辨识compute-optimal 前沿附近 loss 对 (N{:}D) 很平，最优点难定位别迷信单点最优，报区间（做法见 7.3 第 6 步）| 最优点附近平坦 → 不可辨识 | compute-optimal 前沿附近 loss 对 (N{:}D) 很平，最优点难定位 | 别迷信单点最优，报区间（做法见 7.3 第 6 步） |

外推风险log-log 上的小斜率差 → 大尺度巨大分歧多方法交叉验证一致才敢外推（见 7.2）| 外推风险 | log-log 上的小斜率差 → 大尺度巨大分歧 | 多方法交叉验证一致才敢外推（见 7.2） |

指标非线性用 accuracy/EM 拟合”能力”会看到假跳变用连续指标 / 无限分辨率评测（第 8 章）| 指标非线性 | 用 accuracy/EM 拟合”能力”会看到假跳变 | 用连续指标 / 无限分辨率评测（第 8 章） |

这张表其实是 6.7 节 Takeaway 里”常数比指数易变""前因子与指数最难分开（见 6.1 节）“两条的操作层落地。

7.1.4 拿到一条曲线，怎么分辨动的是 A、α 还是 E

第 6 章讲的是”哪个旋钮动哪个数”，只给了分类；这里给出怎么测的完整流程；它默认你已经按 7.1.1 冻结了 scale 以外的一切，并且每一档都认真调过。

• 先确认平台是真的，再定 (E)。曲线走平有三个常见假因，都和地板无关：① LR 调度错配 —— cosine 把学习率按预设终点摁到零，末段自然趋平；更隐蔽的是拿一条长跑曲线的中间点当”小预算跑到收敛”来读，会系统性地把平台读高（Porian et al.^[6] 发现它不是 Kaplan 与 Chinchilla 分歧的主因，但”不是主因”不等于”造不出假平台”）；② 某些档位欠训、或没单独调过超参；③ 单轴切片上其实是另一根轴见了底（6.1 节的 (E + B,D_0^{-\beta})）。报 (\hat{E}) 之前，至少把最大那一档用长度匹配的调度或恒定 LR 重跑一遍。定 (E) 时可以在一个 (E) 网格上看 (\log(L-E)) 对 (\log x) 能否拉直，但”最直”不能当唯一准则：原始 loss 的噪声过一道 (\log) 之后是异方差的（越贴近地板，对数残差被放得越大），只挑最直会系统性地把 (\hat{E}) 选偏；同一条 run 的多个 checkpoint 也不是独立观测。拟合要带上噪声模型，并把复用 checkpoint、共享数据、重复 seed 造成的相关性计进去（曲线在区间里根本不弯时怎么报，见下一步末尾）。

• 比较两条曲线之前，先检验 (E) 能不能共享。各自自由拟合再比 (\alpha)，几乎必然比出假差异 —— 而且耦合方向要记对：(E) 与 (\alpha) 是同向的。固定两个观测点、假定单幂律时 (\alpha = \ln\frac{L_1-E}{L_2-E}\big/\ln\frac{x_2}{x_1})，它对 (E) 的导数恒正：(E) 猜得越高，可约段越薄，同样两点之间的相对降幅越大，配出的 (\alpha) 也越大（6.1 节那两组 Chinchilla 拟合，(E) 与 (\alpha) 就是一起往上走的 —— 不过那次差异源于拟合程序错误，见 7.1.2）。真正与 (E) 反向变化的是”当前还剩多少可约 loss”，不是指数。但”共享 (E)“本身也要理由：第 6 章最关心的 (b) 类干预（换语种、加 conditioning、蒸馏）几乎都会改 (E)。Bansal et al.^[9] 就是现成的反例 —— 过滤与未过滤收敛到同一个渐近 loss，人工加噪声却把渐近值抬高了，那正是一对”指数相同、(E) 不同”的曲线（“指数相同”是组内共享指数的拟合约束，而且只测了 6L6L 一个模型规模）；这时硬共享 (E)，只会把两条曲线的地板之差挤进 (\alpha)，造出一个多半并不存在的斜率差异。所以这个阶梯要补满四级：共享 (E) + 共享 (\alpha) / 共享 (E) + 各自 (\alpha) / 各自 (E) + 共享 (\alpha) / 全自由，先检验 (E) 能不能共享，再谈 (\alpha)，逐级用嵌套模型的似然比检验或 BIC 比较（似然比检验要求真值不落在参数边界上，BIC 也不是自动裁决器）。若 (E) 那两级在你的数据上本就分不开，说明区间不够宽，只能报”给定 (E) 网格上的 (\alpha) 区间”，而不是报一个数。

• 报 ((E, \alpha)) 的联合置信域，而不是两个独立的边缘区间 —— 二者被耦合在一条脊线上（方向见上一步），分开报会让人误以为各自都被钉住了，其实钉住的只是脊线本身；(\alpha) 建议用 profile likelihood。

• 声称”(\alpha) 变了”的门槛：至少跨 2 个数量级、每一档都独立调过超参、留最大一档做外推验证（7.3 第 7 步）。这是经验门槛、不是充要条件 —— 真正决定检出力的是噪声大小、预期效应量与拟合形式，跨度只是其中一项。达不到门槛时，正确的结论是”证据不足以区分”，而不是把它判成截距改善：决策上尽可以按”未证实的斜率改善”对待、别据此下大注，但报告里不能写成”这是压 (A)” —— 那是把未识别当成了已识别。反过来也要小心：小规模上斜率没动，不等于那个改动没价值，区制切换足以让小规模的排名翻转。

• 把”分不开”的两对分清楚，别张冠李戴：(E) 定不下来，是因为曲线在你的窗口里不够弯（可约 loss 远大于 (E) 正是这种情形）；而 (A) 与 (\alpha) 互相顶替，是因为窗口太窄 —— (\log A) 是一路外推回 (x = 1) 的截距，杠杆臂约有 8–12 个数量级（参数轴约 8–10、token 轴约 10–12，见 6.1 节），窗口一窄，“整条线下移”和”把线掰陡”在观测上就换得过来。所以”离地板远”反而让 (\alpha) 更好测，解药是把 (\log x) 的跨度拉宽，而不是等曲线贴近地板。

这套流程有一处必须承认的循环性：把这五步做完的成本，已经接近一次正式的多规模扫描 —— 而那恰恰是第 6 章的解剖学号称要帮你省下的钱。所以它更适合事后复盘（解释某次训练为什么便宜了、或者为什么撞了墙）；事前决策应当走 7.2 那条非对称路径，把 scaling law 当否决器用。

7.2 把 Scaling Law 用进研发：八条注意事项

拟合的微妙之处讲完，自然的下一问是：**怎么用 scaling law 指导研发？**前沿实验室很少公开自己的完整做法。下面八条是本文把上一节的”陷阱”翻译成”该怎么做”、再结合公开资料归纳的：有出处的条目已注明，其余属方法论层面的本文判断（高置信），不是对哪家实验室做法的转述。

• 用”小 run 阶梯”预测大 run，但 everything-but-scale 必须冻死。典型工作流是：在一串便宜的小模型上拟合，再外推估计目标大模型的 loss 与所需 token / compute。GPT-4 技术报告 ^[10] 公开称其最终 loss 可以从算力小约 (10^4) 倍的小模型外推预测到 —— 这正是 scaling law 的最大实战价值。前提是 7.1.1 那两条，否则你预测的不是同一条曲线。

• 多方法交叉验证，单方法外推一律打折。Chinchilla 之所以服众，是因为三种方法（固定模型扫 token、IsoFLOP、参数式拟合）结论一致（三者共用同一批 run，方法三是修正拟合程序后才对上的，见 7.1.2）。实践里：如果只有一种拟合支持你的结论，把它当假设而非定论；几种口径都指向同一个 (N{:}D) 才敢下大注。

• 认真报告不确定性，警惕”窄得离谱”的置信区间。Besiroglu 的教训（7.1.2）就是窄 CI 往往是优化没收敛 / loss 口径错的症状，而不是结论稳。正确做法是规规矩矩 bootstrap，并对最优点附近的平坦不可辨识性保持敬畏（怎么报见 7.3 第 6 步）。

• compute / 口径先对齐再比。 (C \approx 6ND) 、 (N) 是否含 embedding、loss 用 nats 还是 bits、不同 tokenizer 的每-token 信息量不同 —— 这些不对齐，跨论文 / 跨团队的数字对比就是”乌龙对比”（6.1 / 6.5 已反复强调）。

• 盯住 loss→能力 的缝。scaling law 预测的是 test loss，不是下游能力。前沿做法是同时把能力也做成可预测：用无限分辨率评测 ^[11] 把离散指标连续化、用observational scaling laws ^[12] 从一堆现成模型里回归出”能力主成分”。别拿 pretrain loss 单独立项，要配能力侧的可预测性证据（详见第 8 章）。

• 时刻分清你在哪个 regime / 哪条曲线。新增语种、领域、多模态、带裁判或纯自产的合成数据、推理 trace —— 这些都不是沿老曲线加 (D) ，而是换了一条曲线（6.2 节；用别的模型改写真实语料按现有证据更像资源换算，见 6.5 节），老 (\alpha) 不能直接套，换轴之前先重新拟合；unique 数据见底后转入重复训练则仍是同一条曲线，只要按 4.5 节把 (D)（必要时连同 (N)）折算成有效值。

• 把 scaling law 当”否决器”，不只当”立项书”。与其用 scaling law 去画”AGI 还有几年”的大饼，不如用它在小规模上证伪 —— 但否决的对象要选对：它能否决的是那些声称改善了斜率、且小规模实验有足够检出力的主张，小 scale 上斜率没改善、或放大后按拟合外推不 work，就别为”斜率改善”烧那笔大钱。压 (A) 的改动本来就不动斜率，“小 run 斜率没动”不构成否决它们的理由；还要留意区制切换可能把小规模的排名整个翻过来（7.1.4 节）。在动辄上亿美金的训练里，“用 scaling law 提前砍掉坏主意”比”用它许诺好结果”更值钱。

• 对”公开 scaling law 已经滞后”保持清醒。前沿 lab 2023 之后基本不再公开关键 recipe —— GPT-4 技术报告 ^[10] 就明言不提供模型规模、训练算力、数据集构建与训练方法等细节（亦见 10.4 节、附录 A.3）。公开文献里的指数、配比，更多是方法论模板而非可直接照搬的前沿数值；真要用，请在自己的数据 / 架构 / 框架上重测。

7.3 在自己团队复现一条 scaling law：操作清单

这一节补上操作那块：**要在自己的数据、自己的集群上真的量出一条曲线，具体该怎么做。**清单不追求学术完备，只求”照着做，能得到一条经得起追问的曲线”。

• **先定口径，再开机器。**四件事必须在第一次提交训练任务之前写进文档并全程冻结：(N) 含不含 embedding 与 LM head、(C) 用 (6ND) 近似还是精确 FLOP 计数、loss 报 train 还是 held-out、是否严格单 epoch（一旦有重复，先按 4.5 节折算成有效 (D)、必要时连同 (N) 再拟合，见 7.2）。7.1.2 的三篇复现工作说明：仅计数口径、拟合程序与训练协议上的差异，就足以把配比指数从约 0.88 拉到约 0.5，或让最优配比差出 3 倍以上；这类偏差常常比单项建模改进带来的指数变化还大（本文判断，中置信）。

• **规模档位：至少 4 档 (N)，横跨 ≥ 2 个数量级。**不足 4 档时无法区分”幂律”和”任何一条弯线”（3 档刚好解出 (E, A, \alpha) 三个参数，没有剩余自由度检验函数形式）；跨度不足 2 个数量级时，拟合出的斜率主要由端点噪声决定。若预算只够 3 档，请把结论降级为”趋势观察”，别叫它 scaling law。

• **每档扫多个 token 预算，凑出 IsoFLOP 或 learning-curve 剖面。**最省的做法是恒定学习率加末段冷却（WSD）：从同一条恒定学习率主干的若干 checkpoint 各做一段短冷却（约占总步数的 10–20%），一条主干加几段冷却就能拿到多个预算下”训完”的点，scaling 行为与逐预算重跑 cosine 相当，原文的小规模实验里约省一半算力与 GPU 时数（Hägele et al. 2024 ^[13]）；不要直接读 cosine 长跑的中间点（7.1.4）。沿用 Chinchilla 的三种方法（3.2 节）：固定模型扫 token 得训练曲线包络、固定 FLOP 扫 (N{:}D) 得 IsoFLOP 抛物线、参数式联合拟合，至少做到其中两种（理由见 7.2 第 2 条）。

• **用 µP，或者逐档老老实实重调 LR / batch。**二选一，理由与适用范围见 7.1.1：用 µP ^[2] 就在最小档调一次、迁移到大档（保证主要在宽度方向）；不用就每档独立扫超参，或套一条经本地验证的 hp-scaling 律（4.1.1 节）。别用同一套固定超参跑完所有档位，那是最常见也最致命的做法。

• **拟合：Huber loss + 多起点 grid。**对 (\log L) 做 Huber 回归以抑制个别训崩的 run，并从几十组不同初值（(E, A, B, \alpha, \beta) 各取若干量级）启动 L-BFGS-B，取全局最优而非第一个收敛点；务必检查优化是否真的收敛，别重蹈 7.1.2 那个”求和写成求平均、导致提前终止”的覆辙。

• **报区间，不报点。**对 run 做 bootstrap 重采样，给出 ((E, \alpha, \beta)) 的联合置信域与外推预测的不确定性区间（别只报各自的边缘区间，见 7.1.4 第 3 步）；区间窄得不可思议时，先怀疑自己而不是庆祝。又因为 compute-optimal 前沿附近相当平坦，最优配比请报”近优带”（例如”15–30 tokens/参数之间 loss 差异小于测量噪声”；这是示意数字，要按自己的噪声水平测），而不是一个虚假精确的最优点。

• **留最大一档做 held-out 外推验证。**只用前 (k-1) 档拟合，去预测最大那一档，再与实测对照。这是唯一能在花大钱之前检验”外推能力本身”的手段；如果留一验证的误差已经不可接受，就不要再往外推两个数量级。

做完这七步，你得到的未必是一条”可发表”的定律，但会是一条可以用来做预算决策的曲线 —— 后者才是绝大多数团队真正需要的东西。

7.4 按角色的行动建议

同一条 scaling law，研发负责人、产品负责人与决策者能从中提取的东西并不相同。下表每个角色只记两三条，理由都在前文，不再复述。

角色该做什么依据| 角色 | 该做什么 | 依据 |

研发负责人上大 run 之前按 7.3 的清单跑一组小阶梯；换语种、模态、合成数据或推理 trace 之前先重新拟合，重复数据按有效 (D) 折算7.2、7.3、4.5 节| 研发负责人 | 上大 run 之前按 7.3 的清单跑一组小阶梯；换语种、模态、合成数据或推理 trace 之前先重新拟合，重复数据按有效 (D) 折算 | 7.2、7.3、4.5 节 |

产品负责人按含推理成本的全生命周期成本、而不是训练最优来定模型大小；对外能力承诺按 8.1.2 的五层光谱分级（L1–L2 可以写进 roadmap，L3 给区间，L4 只给方向，L5 不承诺时间点）；榜单分数必须绑定日期、split 与 harness3.4、8.1.2、11.3 节| 产品负责人 | 按含推理成本的全生命周期成本、而不是训练最优来定模型大小；对外能力承诺按 8.1.2 的五层光谱分级（L1–L2 可以写进 roadmap，L3 给区间，L4 只给方向，L5 不承诺时间点）；榜单分数必须绑定日期、split 与 harness | 3.4、8.1.2、11.3 节 |

决策者把 scaling law 主要当否决器、而不是预言机（适用范围见 7.2）；“沿曲线移动”（算力、工程效率）与”换曲线”（新模态、RL 环境、verifier、具身数据）两类投资分账管理，不套同一把 ROI 尺子7.2、6.4–6.5 节、第 11 章| 决策者 | 把 scaling law 主要当否决器、而不是预言机（适用范围见 7.2）；“沿曲线移动”（算力、工程效率）与”换曲线”（新模态、RL 环境、verifier、具身数据）两类投资分账管理，不套同一把 ROI 尺子 | 7.2、6.4–6.5 节、第 11 章 |

需要一句必要的限定：以上是把本文结论翻译成行动（本文判断，中置信），不是行业共识的普查结果；越靠近 test-time / RL / 具身这些新轴，可迁移性越低（4.7 节、第 11 章），请按各自的证据强度打折使用。

7.5 Takeaway

• **拟合是测量，不是套公式。**参数怎么数、loss 怎么聚合、warmup 与超参是否逐档调好，这些程序细节就足以把配比指数从约 0.88 拉到约 0.5（7.1.2），所以先冻结口径、逐档调参，再谈指数（7.1.1、7.3）。

• 先分清动的是哪个数。(E) 与 (\alpha) 同向耦合，(A) 与 (\alpha) 在窄窗口里互相顶替；达不到”跨 2 个数量级、逐档调参、留一外推”的门槛，只能说”证据不足以区分”（7.1.4）。

• **主要当否决器用。**它最值钱的用途是用小 run 提前否决”声称改善斜率”、小规模上却看不出斜率改善的主意，而不是许诺好结果；换语种、模态、推理 trace，或加入带裁判、纯自产的合成数据，都等于换了曲线，要重新拟合（7.2）。

暗线回扣：本章给暗线①（可预测性）补上前提 —— 可预测性不是曲线自带的，要靠测量纪律挣来；对暗线②（数据约束），Kaplan”重模型、轻数据”的建议有相当一部分出自口径与训练协议，修正后数据才与参数同步放大；对暗线③（范式演化），每加一根新轴就是一条新曲线，第 6 章的解剖要靠本章的测量才能落地。

本章讲的都是”怎样把这条曲线量准、用对”。但即便拟合做得再干净、使用得再自律，仍有一整类问题是它结构性地答不了的 —— 那不是测量精度问题，而是这把尺子的定义域问题。下一章就谈这个。