4. 万物皆可 Scaling

4. 现在（下）：万物皆可 Scaling —— 全景与跨域 insight

Kaplan 和 Chinchilla 只是两条最有名的曲线，此后几乎每个领域都有人做 scaling 式建模。本章的 scaling law 取广义：任何”资源投入 → 可测效果”的稳定经验关系都算，指标不限于 loss，曲线也不限于幂律（1.1 节是狭义定义）。4.4 用三张表铺开各资源轴，其余各节展开改动结论最大的几处。

4.1 LLM 领域的”本地化”修正

• GPT-4 ^[1]：训练开始后不久、未用任何中途结果，就用至多小 (10^4) 倍算力的模型外推出了最终 loss（HumanEval 子集的外推见 8.1 节）。

• Llama 系列（Meta）：LLaMA ^[2] 论证”训练端最优不等于推理端最优”；Llama 3 把 8B 模型训到 15T token，用推理感知的过训重写了开源配方（3.4 节）。

• Baichuan-2 ^[3]：用 10M–3B 的小模型拟合带不可约项的 loss–算力律，提前预测了 7B、13B 的最终 loss。

• DeepSeek LLM ^[4]：用”非 embedding FLOPs/token” (M) 代替参数量 (N)、用 (C=MD) 代替 (6ND) 重新拟合，得到 (M_{opt}\propto C^{0.524})、(D_{opt}\propto C^{0.476})，并给出最优 batch size 与学习率随算力的幂律；数据质量越高，新增算力越该投给模型（6.4 节）。

• Step Law 与 Farseer（阶跃星辰等）：Step Law ^[5] 把学习率和 batch size 也放上 scaling 曲线（4.1.1）；续篇 Farseer ^[6] 让数据项的指数随 (N) 变化，配比随预算移动（4.3）。

4.1.1 把超参也搬上 scaling 曲线：Step Law

Kaplan / Chinchilla 回答的是”算力定了，(N) 和 (D) 怎么分”；开训时还得定学习率和 batch size。Step Law ^[5] 把这一步也做成了经验拟合：在论文覆盖的规模、Dense/MoE 设置和数据 recipe 内，最优学习率与 batch size 可由 (N,D) 近似预测。

图：Step Law ^[5] Figure 1。在 1B 参数 / 100B token 一档上从头训练 120 个模型，扫出学习率 × batch size 平面上的 loss 等高线（标注相对全局最优的 loss 增幅）。Step Law 的预测点（黄星）几乎与实测最优（红叉）重合，loss 只高 0.094%，其余几条经验律偏得更远。Source: Li et al. 2025 ^[5], arXiv:2503.04715

论文报告的核心形式是： [ \eta(N, D) = 1.79 \cdot N^{-0.713} \cdot D^{0.307}, \qquad B(D) = 0.58 \cdot D^{0.571} ]

图：Step Law ^[5] 的超参拟合图。上排固定 (N) 看最优学习率 / batch size 随 (D) 的变化，下排固定 (D) 看随 (N) 的变化；散点是 1,912 次训练测出的最优点，虚线是拟合律。下排最优 batch size 的曲线近乎水平。Source: Li et al. 2025 ^[5], arXiv:2503.04715

常数依赖论文的单位定义，不能把任意原始数值代进去；值得带走的是：学习率同时依赖 (N) 和 (D)，batch size 主要随 (D) 增长，超参扫描本身可以沉淀成可迁移的规律。

另一条路线是 µP（Tensor Programs V ^[7]）：从无限宽极限出发重设各层的初始化尺度与学习率缩放，让最优学习率在宽度变化时近似不变，于是在小 proxy 模型上调好就能零样本迁移到目标规模。Step Law 把”最优超参怎么随规模走”测出来，忠于真实训练栈（含 MoE、特定数据 recipe），但换栈要重测、还要上千次训练；µP 设法让这条曲线变平。工业界常两者并用。µP 的保证原本主要针对宽度，深度方向现在也有了经验上可用的规则：CompleteP 按深度缩放残差分支，在 2–128 层之间迁移学习率与初始化，相对此前做法省 12%–34% 的算力 ^[8]；数据量与 MoE 结构上的迁移仍须在目标栈上验证。拟合 scaling law 的隐含前提是”每一档都被认真调过”（7.1.1 节）。

图：视频扩散 Transformer 上的独立证据（Yin et al. ^[9] Figure 7）。用固定的次优超参时，IsoFLOP 剖面读出的最优规模曲线（左，红）与拟合式推出的（黄）斜率差 30.26%，按规模调好超参后缩到 3.57%（右）：超参不在最优上，(N_{opt} \propto C^{a}) 的指数本身都会被测歪。Source: Yin et al., arXiv:2411.17470 (CVPR 2025)

4.2 视觉与多模态生成

• DiT（Peebles & Xie, 2023 ^[10]）：把 Transformer 搬进扩散模型后，FID 随模型 Gflops 单调改善、二者强相关；没有做幂律拟合。

• SD3（Stability, 2024 ^[11]）：扩到 8B，验证 loss 随规模可预测地下降，并与自动指标、人评强相关；同样没有做幂律拟合。

• 视频生成：Yin et al. ^[9]（CVPR 2025）在视频扩散 Transformer 上做 Chinchilla 式 IsoFLOP 扫描，拟合出 (L(N, T)) 与最优规模、超参随算力的走法（其 Figure 7 见 4.1.1）。valeo.ai 在固定的 5,500 小时驾驶视频上从头训练 1M–9B 的扩散模型，训练前预测 9B 模型的验证 loss，外推到最大拟合规模的 8 倍，误差 3.6% ^[12]。Sora、Kling 这类厂商模型的训练细节不公开，落在哪条曲线上无从核对。

4.2.1 更硬核的 insight：语言相对 parameter-hungry，视觉 data-hungry

Tong et al. 2026 ^[13] 在同一个统一多模态模型上分别对视觉和语言做 Chinchilla 式 IsoFLOP 扫描，得到：

模态 架构 (N_{opt} \propto C^a) (D_{opt} \propto C^b) 性格 | 模态 | 架构 | (N_{opt} \propto C^a) | (D_{opt} \propto C^b) | 性格 |

Language Dense (a \approx 0.47) (b \approx 0.53) 接近 Chinchilla 平衡（≈ 1:1） | Language | Dense | (a \approx 0.47) | (b \approx 0.53) | 接近 Chinchilla 平衡（≈ 1:1） |

Vision Dense (a \approx 0.37) (b \approx 0.63) 明显偏向数据 | Vision | Dense | (a \approx 0.37) | (b \approx 0.63) | 明显偏向数据 |

Language MoE (sparsity=16) (a \approx 0.41) (b \approx 0.59) 稍向”数据”倾斜 | Language | MoE (sparsity=16) | (a \approx 0.41) | (b \approx 0.59) | 稍向”数据”倾斜 |

Vision MoE (sparsity=16) (a \approx 0.36) (b \approx 0.64) 更向”数据”倾斜 | Vision | MoE (sparsity=16) | (a \approx 0.36) | (b \approx 0.64) | 更向”数据”倾斜 |

• Language 相对 parameter-hungry：每 10 倍算力，参数该涨 (10^{0.47}\approx 2.95) 倍，数据涨约 3.4 倍，基本对半；

• Vision 是 data-hungry：每 10 倍算力，参数只涨 (10^{0.37}\approx 2.34) 倍，数据要涨 (10^{0.63}\approx 4.27) 倍，数据的增速比语言高约 1/4。

限定：^[13] 用 Transfusion 式框架，语言走 next-token prediction、视觉走扩散，这组 ((a,b)) 里还混着训练目标的差异（6.2 节总表把换损失族记为换曲线）。方向（视觉更 data-hungry）大概率成立，但要干净地归因于模态，需要在同一目标下重测。

4.2.2 “不对称”在大规模下会放大成足以决定架构选型的量级差距

对每个模态用 compute-optimal 换算成 (D_{opt} \propto N_{opt}^{b/a})：语言 (D \propto N^{0.53/0.47} \approx N^{1.13})，视觉 (D \propto N^{0.63/0.37} \approx N^{1.70})。两个指数差 0.57，意味着视觉相对语言的数据需求比随模型规模按 (O(N^{0.57})) 增长：设 1B 参数时比值为 1×，100B 时约 (100^{0.57} \approx 14) 倍，1T 时约 (1000^{0.57} \approx 51) 倍。

外推 hedge：14× / 51× 是 ^[13] 原文自己算的，但它的 IsoFLOP 扫描只到约 (10^{21}) FLOPs、激活参数 1.5B 量级，外推远超拟合区间（7.1 节会专门讨论这类”小拟合、大外推”），只能读作量级示意。方向仍然要紧：1T 参数的统一模型要同时满足两个模态的 compute-optimal，要么欠训视觉，要么大幅过训语言；许多统一模型的配比更迁就语言主干，这可能是它们在图像生成上难以赶超纯视觉 SOTA 的原因之一。

4.2.3 Sparsity（MoE）为什么”顺便缓解”了这个不对称

看 4.2.1 的表：Dense 下语言与视觉的 (a) 差 0.10（0.47 vs 0.37），MoE 16× 稀疏下缩到 0.05（0.41 vs 0.36），方向是语言的 (a) 往视觉靠拢，两者都更偏向数据。直觉是 MoE 让”参数便宜了、数据变贵了”：每 token 只过一部分专家，总参数补偿了容量，最优配比于是往”多数据、少激活”走，与视觉的画像重合。^[13] 的说法是 MoE “harmonizes this scaling asymmetry”；这可能是统一多模态模型偏好 MoE 的原因之一，但纯文本 LLM 普遍用 MoE，主要图的是算力效率（4.4 表）。

4.2.4 补充证据：modality-agnostic routing 下的 emergent modality specialization

在 router 完全不区分模态的设置下，^[13] 观察到模型自发把更多专家分给了文本（尽管 load-balancing loss 在鼓励均匀使用），并呈现”先分后合”的深度结构：浅层以文本专家为主，深层视觉与多模态专家占比上升。它不依赖事先规定专家类型，方向与 4.2.1 一致。ERNIE 5.0 ^[14] 同样用模态无关的路由，报告专家有清楚的分工，但分工主要由任务需求而不是模态边界塑造。

4.2.5 统一 insight（跨两篇论文）

在同一个模型里同时训语言和视觉，两个模态走在两条不同的 scaling 曲线上：语言相对吃参数，视觉吃数据。Dense 还是 MoE、专家按模态分还是不分，本质上都是在调停这两条曲线。

(a)、(b) 也不是模态的固有常数，还随预算、tokenizer、监督稠密度和架构变（4.3）。每个新领域都要重拟自己的 ((a, b))；想做”统一 everything”的模型，就得面对”N 个模态 N 条曲线”的约束优化。

4.3 计算最优配比不是常数

第 3 章的”约 20 token/参数”和 4.2.1 的 ((a,b))，都是在特定预算、成本口径和表示下测出来的。2025–26 年的工作从五个方向把它们推离了常数：

• 预算：Farseer ^[6] 训练约 1,000 个模型后发现，数据项的系数和指数都随 (N) 变化；在它的数据与模型族下，“(D/N\approx20)“只在 (C\approx10^{20})–(10^{21}) FLOPs 附近成立，更大预算下拟合面给出的最优 (D/N) 持续上升。外推到 25.1B 的 loss 误差 0.47%，但只验证了这一个点，大预算下的配比本身没有直接验证。原文称这与 Llama 3.1、Qwen3 的高 token/参数配置一致，可见后者未必全为推理成本。

• 推理计划：部署时若要对每题重复采样，把这笔推理成本一起计入，最优模型比 Chinchilla 给出的小得多、训得更久，落在标准 scaling 套件覆盖不到的过训区（T² ^[15]）。

• 成本口径：只数 FLOPs 会高估”小模型 + 推理时计算”；把长思考与多次采样带来的访存算进去，部署时应先选到约 14B 再加推理时计算（Kinetics ^[16]，阈值测于 Qwen3 等 0.6B–32B 系列、B200 成本口径）。

• 表示与监督：在人类游戏行为数据上，世界模型每帧从 256 个 token 增到 540 个，(N_{opt}\propto C^{a}) 的 (a) 从 0.49 升到 0.62；行为克隆的动作监督稀疏，(a) 降到 0.32（只有参数式拟合，原文称这组规律不够清楚）。语言上复现了同一件事：字符级 tokenizer 下 (a=0.66)，GPT-2 的 BPE 下 0.44（Pearce et al. ^[17]）。

• 领域：Waymo 在约 50 万小时驾驶数据上测得 (N_{opt}\propto C^{0.63})、(D_{opt}\propto C^{0.44})，模型应比数据长得快约 1.5 倍 ^[18]；全球天气模型相反，固定算力下多给数据比加大模型更划算 ^[19]。把 (a) 排在一起大致是一条谱：视觉约 0.37、语言约 0.47 ^[13]、蛋白质约 0.60（由 (N_{opt}\propto D^{1.48}) 换算的近似 ^[20]）、驾驶 0.63；各家的 tokenizer 与目标不同，只能当量级看。

insight：配比指数不是某个模态的固有常数，而是”预算 × 推理计划与成本口径 × 表示与监督 × 领域”的联合结果。引用”20 token/参数”或某组 ((a,b)) 时，要交代预算窗口、成本口径、tokenizer 与训练目标。

4.4 全景总表：还有哪些资源轴

正文已展开的轴只在各表下提一句。证据分级见 0.1 节的阅读约定，括号里是验证到的规模，“强”不等于已在前沿规模验证过；多数行出自单个团队，外推前按 7.1 节打折。

预训练与架构指标形态与关键数值出处证据| 预训练与架构 | 指标 | 形态与关键数值 | 出处 | 证据 |

MoE 激活比与粒度效率杠杆（同 loss 下 dense 与 MoE 的算力比）随激活比降低、算力增大呈幂律上升，最优粒度 8–12；(10^{22}) FLOPs、激活比 3.1% 时外推超过 7 倍，0.85B 激活的试点对 6.1B dense 实测亦超 7 倍^[21]；早期 ^[22]强（≤28B）| MoE 激活比与粒度 | 效率杠杆（同 loss 下 dense 与 MoE 的算力比） | 随激活比降低、算力增大呈幂律上升，最优粒度 8–12；(10^{22}) FLOPs、激活比 3.1% 时外推超过 7 倍，0.85B 激活的试点对 6.1B dense 实测亦超 7 倍 | ^[21]；早期 ^[22] | 强（≤28B） |

条件记忆（查表参数）loss记忆槽数上呈幂律，不增每 token 计算；稀疏参数在 MoE 与记忆间的分配呈 U 形，约 75%–80% 给 MoE 最优^[23]中（≤27B）| 条件记忆（查表参数） | loss | 记忆槽数上呈幂律，不增每 token 计算；稀疏参数在 MoE 与记忆间的分配呈 U 形，约 75%–80% 给 MoE 最优 | ^[23] | 中（≤27B） |

注意力形式(L(C))softmax (3.71,C^{-0.080})，混合 (3.48,C^{-0.076})（总 loss 单幂律）；(N_{opt})、(D_{opt}) 指数之和不为 1（1.22、1.14），暂不据此判定动 (A) 还是动斜率（6.2 节）；Kimi Linear 约 1.16 倍算力效率^[24][25]中（≤7B）| 注意力形式 | (L(C)) | softmax (3.71,C^{-0.080})，混合 (3.48,C^{-0.076})（总 loss 单幂律）；(N_{opt})、(D_{opt}) 指数之和不为 1（1.22、1.14），暂不据此判定动 (A) 还是动斜率（6.2 节）；Kimi Linear 约 1.16 倍算力效率 | ^[24][25] | 中（≤7B） |

循环深度loss等 FLOPs 比，循环 (r) 次只抵 (r^{0.46}) 份独立参数；等参数比，循环次数应与数据一同增长^[26][27]中（≤1.3B）| 循环深度 | loss | 等 FLOPs 比，循环 (r) 次只抵 (r^{0.46}) 份独立参数；等参数比，循环次数应与数据一同增长 | ^[26][27] | 中（≤1.3B） |

并行流数 (P)loss约等于参数放大 (O(\log P)) 倍；同等提升下，显存增量最多比加参数少 22 倍^[28]中（≤4.4B）| 并行流数 (P) | loss | 约等于参数放大 (O(\log P)) 倍；同等提升下，显存增量最多比加参数少 22 倍 | ^[28] | 中（≤4.4B） |

上下文长度验证 loss幂律加常数（至 32K），模型越大指数越大；最优上下文随数据量上升；更多上下文 ≠ 更多相关信息^[29][30]中（7B–70B）| 上下文长度 | 验证 loss | 幂律加常数（至 32K），模型越大指数越大；最优上下文随数据量上升；更多上下文 ≠ 更多相关信息 | ^[29][30] | 中（7B–70B） |

训练精度 / 训练后量化loss低精度训练相当于有效参数打折，数据超过临界量反而变差，性价比最优在 4–8 bit；训练后量化则训得越满、掉点越多；一定区间内 FP4 训练比 FP8 划算^{[31][32][33][34]}强（多项研究，≤1.7B）| 训练精度 / 训练后量化 | loss | 低精度训练相当于有效参数打折，数据超过临界量反而变差，性价比最优在 4–8 bit；训练后量化则训得越满、掉点越多；一定区间内 FP4 训练比 FP8 划算 | ^{[31][32][33][34]} | 强（多项研究，≤1.7B） |

训练语种数各语种 loss语种扩到 4 倍，模型约 ×1.4、总数据约 ×2.74，每个语种的数据反可少约 32%^[35]强（≤8B）| 训练语种数 | 各语种 loss | 语种扩到 4 倍，模型约 ×1.4、总数据约 ×2.74，每个语种的数据反可少约 32% | ^[35] | 强（≤8B） |

另见正文：训练目标（中，4.5）、数据配比与合成数据（强 / 中，4.6）、最优 (D/N) 的移动（强 / 中，4.3）。

后训练、推理与 Agent指标形态与关键数值出处证据| 后训练、推理与 Agent | 指标 | 形态与关键数值 | 出处 | 证据 |

奖励模型过优化gold RM（代替人类的 6B 模型）评分随与初始策略的 (\sqrt{\mathrm{KL}}) 距离 (d) 先升后降：BoN 为 (d(\alpha-\beta d))，RL 为 (d(\alpha-\beta\ln d))（原文系数），系数随 RM 规模平滑变化，RM 越大 gold 分越高^[36]强（RM ≤3B，合成设定）| 奖励模型过优化 | gold RM（代替人类的 6B 模型）评分 | 随与初始策略的 (\sqrt{\mathrm{KL}}) 距离 (d) 先升后降：BoN 为 (d(\alpha-\beta d))，RL 为 (d(\alpha-\beta\ln d))（原文系数），系数随 RM 规模平滑变化，RM 越大 gold 分越高 | ^[36] | 强（RM ≤3B，合成设定） |

验证 / 评判算力准确率最优解答数 (\propto C^{0.57})、验证次数 (\propto C^{0.39})，多数预算下多数投票更省；27B 生成式 RM 投票 32 次追平 671B，加 meta RM 引导 8 次即最好（Reward Bench）^[37][38]中（≤70B）| 验证 / 评判算力 | 准确率 | 最优解答数 (\propto C^{0.57})、验证次数 (\propto C^{0.39})，多数预算下多数投票更省；27B 生成式 RM 投票 32 次追平 671B，加 meta RM 引导 8 次即最好（Reward Bench） | ^[37][38] | 中（≤70B） |

RL 环境数量留出环境准确率1→256 个环境单调提升；400 个环境 +3.37 分，原 recipe 多花 3 倍算力只 +0.49；厂商自报 1,800 多个合成环境^[39][40]中（1.5B）/ 弱| RL 环境数量 | 留出环境准确率 | 1→256 个环境单调提升；400 个环境 +3.37 分，原 recipe 多花 3 倍算力只 +0.49；厂商自报 1,800 多个合成环境 | ^[39][40] | 中（1.5B）/ 弱 |

推理 SFT / 蒸馏样本数数学、代码准确率32B 基座约 800 条精选样本即可激发推理；7B 学生用到约 120 万条仍在涨；更强的模型未必是更好的 teacher。早期：指令微调随任务数单调提升 ^[41]，SFT 后数学能力更看预训练 loss ^[42][43][44]中（7B–32B）| 推理 SFT / 蒸馏样本数 | 数学、代码准确率 | 32B 基座约 800 条精选样本即可激发推理；7B 学生用到约 120 万条仍在涨；更强的模型未必是更好的 teacher。早期：指令微调随任务数单调提升 ^[41]，SFT 后数学能力更看预训练 loss ^[42] | ^[43][44] | 中（7B–32B） |

另见 4.7：RL 训练算力（强）、模型规模 × RL 算力（强）、RL 采样分配（中）、推理时计算（强 / 中）。Agent 任务时长的自变量是发布时间而非资源，趋势见 11.7 节；翻倍期对任务集构成敏感（2024 年起 TH1 为 109 天、TH1.1 为 89 天 ^[45]）。Agent 场景里 reward hacking 的主战场正从 RM 过优化转向钻评分代码的漏洞（本文判断，低置信）：依据只有 METR 对 o3 的一组观察，原文另列任务更难、脚手架不同两种解释 ^[46]，数字见 11.4 节。

其他领域与模态指标形态与关键数值出处证据| 其他领域与模态 | 指标 | 形态与关键数值 | 出处 | 证据 |

推荐 · 生成式规模召回、NE、LogLossHSTU 质量随训练算力呈幂律，跨 3 个数量级；Wukong 复杂度跨两个数量级（超过 100 GFLOP/样本）仍持续改善^[47][48]强（跨 2–3 个数量级）| 推荐 · 生成式规模 | 召回、NE、LogLoss | HSTU 质量随训练算力呈幂律，跨 3 个数量级；Wukong 复杂度跨两个数量级（超过 100 GFLOP/样本）仍持续改善 | ^[47][48] | 强（跨 2–3 个数量级） |

推荐 · 用户序列长度 (L)R@10、AUC对数线性，R@10 (=0.0147\log L+0.2326)（256–8192）；更深的模型从长序列获益更多^[49][50]中| 推荐 · 用户序列长度 (L) | R@10、AUC | 对数线性，R@10 (=0.0147\log L+0.2326)（256–8192）；更深的模型从长序列获益更多 | ^[49][50] | 中 |

具身 · 环境与物体多样性未见环境与物体上的表现近似幂律，每个环境-物体对约 50 条示教后饱和；ManiBox：空间泛化所需数据随空间体积呈幂律，成功率随数据饱和^[51][52]中（约 4 万条示教）| 具身 · 环境与物体多样性 | 未见环境与物体上的表现 | 近似幂律，每个环境-物体对约 50 条示教后饱和；ManiBox：空间泛化所需数据随空间体积呈幂律，成功率随数据饱和 | ^[51][52] | 中（约 4 万条示教） |

具身 · 人类第一视角视频小时数 (D)手部动作验证 loss对数线性 (L=0.024-0.003\ln D)，真机完成度 0.30→0.71^[53]中（1k–20k 小时）| 具身 · 人类第一视角视频小时数 (D) | 手部动作验证 loss | 对数线性 (L=0.024-0.003\ln D)，真机完成度 0.30→0.71 | ^[53] | 中（1k–20k 小时） |

自动驾驶 · 算力与驾驶小时数交叉熵、轨迹误差幂律加常数，模型应比数据长得快（4.3），闭环指标随算力改善；数据律收益递减很快（4.8）^[18][54]强（≤118M，跨 2 个数量级）| 自动驾驶 · 算力与驾驶小时数 | 交叉熵、轨迹误差 | 幂律加常数，模型应比数据长得快（4.3），闭环指标随算力改善；数据律收益递减很快（4.8） | ^[18][54] | 强（≤118M，跨 2 个数量级） |

世界模型 / 行为克隆配比指数 (a)随每帧 token 数、观测编码、监督稠密度在 0.32–0.66 之间移动，两种拟合法差异不小 → 4.3^[17]中（≤894M）| 世界模型 / 行为克隆 | 配比指数 (a) | 随每帧 token 数、观测编码、监督稠密度在 0.32–0.66 之间移动，两种拟合法差异不小 → 4.3 | ^[17] | 中（≤894M） |

蛋白质语言模型上游 loss；零样本适应度上游 (N_{opt}\propto D^{1.48})（约合 (a\approx0.60)，4.3）；3B 以上零样本适应度预测常常更差（4.8）^[20]强（上游 ≤10B）/ 中| 蛋白质语言模型 | 上游 loss；零样本适应度 | 上游 (N_{opt}\propto D^{1.48})（约合 (a\approx0.60)，4.3）；3B 以上零样本适应度预测常常更差（4.8） | ^[20] | 强（上游 ≤10B）/ 中 |

只要能稳定量化投入与效果，就值得先试着用 scaling law 建模；但曲线是幂律、对数线性、饱和还是 S 形，要靠实验回答（4.8）。

4.5 数据受限 / 数据重复 Scaling

先挑明一个常被忽略的前提：第 2–3 章的经典 scaling law 都假设数据近似无限、每个 token 都新鲜、只训一个 epoch（Chinchilla 的 400 多次实验即如此）。unique 高质量 token 不够、不得不重复时，scaling law 的形态本身会变。

图：两个 regime 的对比示意（非实测）。unique 数据耗尽（约 1 epoch）后，只能重复的红线逐渐偏离蓝线、饱和到高于 (E) 的地板；拐点（≈4 / ≈16 epoch）取自 Muennighoff et al. ^[55] 的自回归、常规正则设置。

Muennighoff et al. 2023 ^[55] 在自回归、常规正则下（至 9B 参数、9000 亿 token）发现：重复至约 4 轮（epoch）时与新数据几乎等价，此后边际价值递减，约 16 轮后接近走平。他们把总 token (D = U_D(1+R_D)) 拆成 unique token 数 (U_D) 与重复次数 (R_D)（= epoch 数 − 1），用打折后的有效数据 (D’) 代入 Chinchilla 公式： [ \hat{L}(N, D) = E + \frac{A}{N’^{\alpha}} + \frac{B}{D’^{\beta}},\qquad D’ = U_D + U_D, R_D^{}\left(1 - e^{-R_D / R_D^{}}\right) \tag{24} ]

图：Muennighoff et al. ^[55] Figure 1。左：重复训练的前 4 个 epoch 几乎与新数据等价（虚线），此后价值递减，原图把 “repeating is worthless” 标在拟合曲线的 40 epoch 处。右：数据受限时按 Chinchilla 建议训更大的模型反而更差，即其设置下”宁可训小、多几个 epoch”的依据。Source: Muennighoff et al., arXiv:2305.16264

一个 token 的价值随重复次数指数衰减：(R_D^{}) 原文称”半衰期”，实为价值衰减到 (1/e) 的尺度，拟合值约 15（对应 16 个 epoch）；(R_D \ll R_D^{}) 时退回 Chinchilla。模型规模也有对称的折扣 (N’ = U_N + U_N R_N^{}(1 - e^{-R_N/R_N^{}}))，(R_N^{}) 约 5.3、小于 (R_D^{})：多余参数比重复数据贬值更快。对中途训崩、loss 反升的模型（如 44 epoch），这套拟合会显著低估最终 loss。

Lovelace et al. 2026 ^[56] 换了思路：重复 token 仍计入数据项，另加一个随重复增长的过拟合惩罚。原文从单参数到四参数给出一组形式，最完整的是： [ \hat{L}(N, U_D, R_D) = E + \frac{A}{N^{\alpha}} + \frac{B}{\big(U_D(1+R_D)\big)^{\beta}} + \underbrace{P \cdot R_D^{\delta}\cdot\left(\frac{N}{U_D^{\gamma}}\right)^{\kappa}}_{\text{过拟合惩罚}} \tag{25} ]

拟合得 (\delta>1)、(\kappa>1)：每多一轮重复伤害更大，模型相对 unique 数据越大伤害越重；effective-data 形式在高重复次数下会系统性低估 loss。weight decay 从 0.1 提到 1.0，惩罚系数约降 70%。由此推出的处方与 Muennighoff 相反：算力超过某个水平后，应加大模型、减少 epoch（原文把分歧追溯到 Muennighoff 分析里的一个方法选择）。Kim et al. ^[57] 固定 2 亿 token、不限算力时发现，最优 weight decay 约为常规的 30 倍，调好正则后 loss 随参数量单调下降；再叠加多个独立训练模型的集成，数据效率约提高 5.17 倍。

**训练目标改写数据重复规则。**上面的拐点只对自回归加常规正则成立。Prabhudesai et al. ^[58] 用同一个 (D’) 公式拟合掩码扩散语言模型，得到 (R_D^{*}\approx 500)（自回归在 Muennighoff 原文中约 15，在其设置下约 32）：1 亿 unique token 时，扩散的最优点在约 500 个 epoch，自回归在约 50 个 epoch。代价是数据充足、算力受限时扩散更费算力，它反超自回归所需的临界算力随 unique token 数呈幂律。作者的解释是随机掩码相当于对 token 顺序做隐式数据增强。“数据墙”对不同训练目标并不等高。

**限定：**这些公式都是经验拟合，没有第一性原理解释衰减或惩罚的形式；Lovelace 的网格只到 1B 参数、6B unique token，Kim 的种子数据只有 2 亿 token，扩散的结果来自单个团队，都未在前沿规模验证。

**insight（regime 切换的实践含义）：**进入数据受限 regime 后，① 中低算力下多几个 epoch 比堆 (N) 划算，算力再高则应加大模型、减少重复，并调大 weight decay；② 重复的收益会饱和，自回归约 16 轮后接近走平，扩散目标晚得多；③ 把预算投到扩 unique 数据的边界上：多模态、合成、私有数据都能推 (U_D)，但换了分布，要在新曲线上重拟（6.2 节），纯自产的合成数据还会截掉分布尾部（6.5 节）。10.2、10.7 节谈”还剩多少 unique token”，本节谈”见底后怎么重复”。

4.6 数据质量与配比 Scaling

Goyal et al. 2024 ^[59] 在 CLIP / DataComp 设定下（图文对比学习，不是 LLM 预训练）证明数据过滤不是 compute-agnostic 的：小算力时严格过滤、只用最精华的分桶重复几个 epoch；大算力时放松过滤，把次一档的分桶也吃进来，避免精华桶过度重复。

图：Goyal et al. 2024 Figure 1（四栏横排）。第一栏把 web 数据按质量分成六桶，原文桶名从高到低是 E > D > C > A > B > F（字母只是标签，与本文的 (E)、(A) 无关）。第二栏：重复降低单位 token 的 utility，最高一档 3 个 epoch 后几乎失效。第三栏：最优训练池随算力扩大，从最高一档起依次纳入第二、第三档。第四栏：三档算力下最优过滤策略不同，“top 10% 永远最优”的假设被推翻。Source: Goyal et al., arXiv:2404.07177

配比（data mixture）——网页、代码、书籍、论文、多语种各占多少——一直是工业界的核心 recipe，学术侧也在把它做成可预测的对象：DoReMi ^[60] 用小 proxy 模型学领域权重，Data Mixing Laws ^[61] 把”混合比例 → 验证 loss”拟合成函数，RegMix ^[62] 用一批极小模型做回归来搜最优点，都把配比搜索的成本挪到了小模型上。Apple 的 Shukor et al. ^[63] 进一步把领域权重写进 scaling law，用 10–20 次小规模运行估参数，外推到更大规模与没见过的配比（LLM 至 7B 参数、150B token），并解出给定预算 ((N,D)) 下的最优权重：最优配比本身是预算的函数，小规模搜到的配比不能原样搬到大几个数量级的训练上；它还依赖目标分布与评测口径，换下游任务就得重解。

合成数据的比例也有了受控结果。Kang et al. ^[64] 训练 1,000 多个模型比较：只用改写（rephrase）数据并不比自然网页快；约 1/3 改写加 2/3 网页，在大数据预算下达到同一验证 loss 快 5–10 倍；只用教科书式生成数据，小预算下多个领域的 loss 明显更高。改写数据有原文作外部信息源，纯生成数据没有，这对应 6.5 节对合成数据的分类（改写属于有外部信息源、无裁判的中间一类）。

提质量与调配比在 6.2 节总表里不在同一格：只清洗训练集（Goyal 的做法）动的是哪个数尚无定论；调领域配比直接改变数据分布，严格说换了一条曲线；连评测集一起过滤已是换题（6.5 节）。

4.7 推理时计算与 RL：一条曲线拆成了几根轴

2024 年之后最重要的新投入不在 (N)、(D) 上，而在模型训完之后：推理时计算与可验证奖励强化学习（RLVR）。o1 / o3 ^[65][66]、DeepSeek-R1 ^[67] 这一代的能力增量，主要来自作答前多想一会儿，以及在可自动判分的任务上用 RL 练出长链推理。两者曾被合起来当作一条 S 形曲线；2025–26 年的证据把它拆成了几根形状不同的轴，每根都开始有自己的配比规律：

• **RL 训练算力：带非零基线的 S 形，但只在限定条件下。**ScaleRL ^[68] 的 sigmoid（11.3 节 (48) 式）拟合的是”固定基座、固定生成长度预算下，RL 训练算力 → 训练分布内留出集通过率”，不涉及推理时计算。同一 recipe 多跑步数会饱和；平台可被更大的基座（17B×16 MoE 用 8B 模型 1/6 的 RL 算力就超过它）、更长的生成预算（14k → 32k token）和更大的 batch 抬高。模型规模一维另有配比律：同样的 RL 算力下大模型始终更好，但学习效率随 (N) 饱和，用 0.5B–32B 的拟合即可预测 72B ^[69]。

• **推理时计算分三支。**① 并行采样：覆盖率随采样数在约 4 个数量级内持续上升，(-\log(\text{pass@}k)) 对 (k) 呈幂律；单题的失败率随尝试次数指数下降，但题目难度的分布重尾，聚合起来就成了幂律 ^[70][71]。没有自动 verifier 时，多数投票与奖励模型在几百个样本后走平。② 顺序思考：在厂商给的思考档位内大致对数线性 ^[72]；硬把思考拉长则先升后降，最优长度随题目变难而变长、随模型变强而变短 ^[73]，有的任务上越想越差 ^[74]。③ 与环境交互的步数：放长一次 rollout 内的交互轮数能提升 web agent 的成功率，目前只有单调趋势、没有拟合式 ^[75]。

• **多跑步数抬不高平台，加宽每题 rollout 却能。**ProRL ^[76] 在每题 16 个 rollout 下约 3,000 步后饱和、再训反而退化；把每题 rollout 提到 512，已饱和的 1.5B 模型继续提升 ^[77]。IsoCompute 显示最优的每题 rollout 数随预算增长、然后饱和，易题上靠把已会的解磨锐，难题上靠解出更多题 ^[78]。抬高平台的手段因此包括换 recipe、换更大的基座、放长生成预算、加宽探索和扩大环境集合（4.4 表）。第 6 章会区分几层地板；RL 平台能被 recipe（训练方式那一层）和更大的基座（补另一根轴）抬高（见 6.5）。sigmoid 上升段的边际回报是递增的，6.6 节”下一块钱投谁”的账也不能照搬。

• **RLVR 是在扩展能力边界，还是在激发基座已有的能力，**仍有争论，双方证据见 11.4 节。

推理时计算与模型规模怎么分也要重写。Snell et al. ^[79] 发现，按 FLOPs 计、题目对小模型不算太难时，小模型加推理时计算能胜过大 14 倍的模型；但推理 token 远多于预训练 token 时，难题上把预算给预训练更划算。成本算得更全之后，两个问题的答案方向不同（4.3）：部署时计入访存，应先选足够大的模型再加推理时计算（Kinetics：Qwen3 等 0.6B–32B 系列上阈值约 14B）；预训练时计入重复采样的成本，最优模型反而比 Chinchilla 给出的更小、训得更久（T²）。

insight：别把预训练的幂律直觉搬到这里，也别把 RL 的 S 形搬到推理时。RL 训练算力看平台在哪、用什么抬高；并行采样看有没有可靠的 verifier；顺序思考看题目难度与训练时见过的长度；交互步数目前只有”越多越好”的趋势。

4.8 Takeaway：六条跨域 insight

Insight 1：幂律很常见，但指数、常数乃至曲线形态都是局部的。

很多 scaling law 可以写成 (y = E + A \cdot x^{-\alpha}) 或其多元推广，但这是经验模型，不是先验保证：(\alpha) 是 scaling 的速度，主要随数据与任务走；(A) 是起点，是工程的主战场，但干净地只动它的手段不多（6.4 节）；(E) 是渐近项，在论文里通常仍是一个拟合参数。本章的曲线远不止幂律：对数线性（人类视频、用户序列长度）、饱和（单细胞基础模型在语料的一小部分上就饱和，看不到清晰的数据 scaling law ^[80]）、带基线的 sigmoid（RL 训练）、倒 U（思考长度）、阈值（厂商自报：1B 模型在海量操作数据下”固化”，7B 以上才能吸收 ^[81]），以及上游 loss 降、下游指标反而变差（蛋白质模型）。先判断形态，再谈外推。“几倍”也要绑定规模与口径：矩阵型优化器（Muon、Soap）相对调好的 AdamW，按固定模型规模比所需 token，加速比从 0.1B 的约 1.4 倍缩到 1.2B 的约 1.1 倍，这组跨规模对比固定在约 8 倍 Chinchilla 数据量 ^[82]。按 Chinchilla 式推算，只压参数项前因子时，这种口径下的加速比应大致不变甚至上升，与实测不符，所以不能读成”只压前因子”；它动的是 (A) 还是斜率、是否与数据量或训练区制交互，目前未定（6.4 节）。

Insight 2：很多资源都可以被建模成 scaling 维度，但成本不能只数 FLOPs。

除了 (N)、(D)、(C)，4.4 节还列了专家激活比、记忆槽数、并行流、循环次数、语种数、RL 环境数、思考 token、用户序列、人类视频等轴，因变量也大多不是 loss。挑方向要按真实成本算：计入访存后，“小模型加推理时计算”的优势被高估 ^[16]。也有试了却不 scale 的资源：视觉 tokenizer 放大编码器，重建和生成都几乎不涨 ^[83]；Agent 数量看似可以堆，相对单 Agent 的效果却从 +80.8% 到 −70.0% 不等，取决于任务能否分解 ^[84]。

Insight 3：多模态、多语种各有价值，但机制不同；异质数据要过门槛才有正迁移。

原生多模态若新增模态与目标相关，可以降低条件熵，(H(Y \mid X_{\text{text}}, X_{\text{vision}}) \leq H(Y \mid X_{\text{text}}))，无关或低质的模态则不会。异质数据还要过门槛才变成正收益，门槛的形态各不相同：GEN-0 是模型规模（Insight 1）；Physical Intelligence 是预训练多样性：VLA 在足够多的场景、任务和本体上预训练之后，人类视频才开始向机器人迁移，在只有人类数据覆盖的场景上接近翻倍 ^[85]；EgoScale 是数据量：1k–2k 小时的人类视频上验证 loss 先降后停滞或回升，10k–20k 小时才单调改善 ^[53]。多语种有轻微的容量税，被语种间的正迁移部分抵消 ^[35]。RL 侧的证据方向不同：已近饱和的 1.5B 推理模型靠扩大训练环境集合继续提升 ^[39]，目前只有单篇。

Insight 4：渐近项 (E) 提醒我们关注地板（能力侧的天花板）。

只沿原曲线多花算力，常常不如改善数据、条件信息和评测目标，具体路径见 6.5 节。新领域的例子说明天花板由表示、数据来源和评测目标决定：仿真数据的收益只涨到一个平台，加真机数据才抬高上限 ^[86]；蛋白质模型越大越贴近进化分布，零样本适应度预测在 3B 以上反而常常变差，大模型的优势要用实验数据对齐才释放出来 ^[20]。

Insight 5：Scaling Law 是产品规划工具，不是哲学——但可预测的主要是 loss 和少数平滑指标。

它最大的价值是在花钱之前算账：能不能达标、最优配比多少、竞品用同样预算能做到哪里。新领域已有直接的例子：驾驶视频扩散模型在训练前就预测了 9B 的 loss（4.2）；端到端驾驶的轨迹误差在 8,192 小时的基础上再降 5%，外推约需再加 27 万小时数据 ^[54]。下游指标则要打折：复查 46 个下游任务，只有 18 个（39%）呈平滑可预测的改善 ^[87]。

Insight 6：比较基准（等 FLOPs、等参数还是等显存）会翻转结论。

MoE 通常被认为吃显存，但专家数不多时，同 loss、同训练预算下显存反而可比 dense 更省 ^[88]；循环深度按等 FLOPs 算只值 (r^{0.46}) 份独立参数，按等参数算却是一根新的算力轴；并行流的收益落在显存与延迟上，条件记忆的代价记在存储上（4.4 表）。读到”X 比 Y 好几倍”时，先问比较基准是什么。

暗线回扣：本章是暗线③（范式演化）的主场 —— 坐标轴从 (N)、(D)、(C) 扩展到数据质量、上下文长度、精度、专家数、推理时计算等，曲线形态也不止幂律；暗线②（数据约束）在 4.5、4.6 两节落到数据重复与数据质量的量化上；暗线①（可预测性）则再被限定一次 —— 可预测的主要是 loss 与少数平滑指标（Insight 5）。