5. 为什么是幂律

5. 又回到最初的起点：为什么是幂律？

先交代本章的立场：**“为什么是幂律”目前没有公认的统一理论。**几种模型各自在自己的假设下能推出幂律，但指数的来源不同 —— 知识单元的频率尾巴、数据流形的内在维度、表示向量的几何重叠、语言的层级与相关结构。下面把它们当作互相竞争、也互相补充的假说来读：5.3–5.6 各讲一种，每种都按”假设 → 预测的指数 → 证据到哪一步 → 边界”交代；5.6 后半再看它们能统一到什么程度。

5.1 观察候选曲线的形状

实验上看到的是：在 Kaplan 的实验区间内（(N) 约 6 个、(D) 约 3 个、(C) 约 7 个数量级），模型离地板还远，test loss 在 log-log 坐标下近似一条直线。几种候选函数在 log-log 下长这样：

候选 公式 在 log-log 下的形状 与观测 | 候选 | 公式 | 在 log-log 下的形状 | 与观测 |

指数 / 对数 / stretched exponential (L = L_0 e^{-\lambda N}) (L = a - b\log N) (L = L_0 e^{-(N/N_0)^{q}}) 向下弯，越往后越陡（(\log L) 对 (\log N) 的二阶导为负） ❌ 跨几个数量级后曲率明显，与观测不符 | 指数 / 对数 / stretched exponential | (L = L_0 e^{-\lambda N})(L = a - b\log N)(L = L_0 e^{-(N/N_0)^{q}}) | 向下弯，越往后越陡（(\log L) 对 (\log N) 的二阶导为负） | ❌ 跨几个数量级后曲率明显，与观测不符 |

S 型（sigmoid） (L = L_\infty + \dfrac{\Delta}{1 + (N/N_0)^k}) 小 (N) 端有起始平台和拐点；(N \gg N_0) 时退化成 (L_\infty + \Delta,(N_0/N)^k)，即”幂律 + 常数” ⚠️ 窗口内没看到拐点；拐点在窗口之外则无法排除 | S 型（sigmoid） | (L = L_\infty + \dfrac{\Delta}{1 + (N/N_0)^k}) | 小 (N) 端有起始平台和拐点；(N \gg N_0) 时退化成 (L_\infty + \Delta,(N_0/N)^k)，即”幂律 + 常数” | ⚠️ 窗口内没看到拐点；拐点在窗口之外则无法排除 |

纯幂律 (L = A,N^{-\alpha}) 严格直线，斜率 (-\alpha) ✅ 离地板远时最简洁 | 纯幂律 | (L = A,N^{-\alpha}) | 严格直线，斜率 (-\alpha) | ✅ 离地板远时最简洁 |

幂律 + 常数 (L = E + A,N^{-\alpha}) 先直，随 (L \to E) 逐渐变平；可约部分 (L - E) 才是严格直线 ✅ 离地板远时与纯幂律无法区分；Chinchilla（式 (14)）和第 6 章用的就是它 | 幂律 + 常数 | (L = E + A,N^{-\alpha}) | 先直，随 (L \to E) 逐渐变平；可约部分 (L - E) 才是严格直线 | ✅ 离地板远时与纯幂律无法区分；Chinchilla（式 (14)）和第 6 章用的就是它 |

断裂幂律 ^[1] 分段幂律 + 平滑过渡 分段直线，在拐点处换斜率 ✅ 有限区间内同样相容 | 断裂幂律 ^[1] | 分段幂律 + 平滑过渡 | 分段直线，在拐点处换斜率 | ✅ 有限区间内同样相容 |

所以 log-log 上的一条直线不能唯一确定幂律：有限区间加上噪声，“幂律 + 常数”、断裂幂律、拐点落在窗口外的 S 型都与它相容。幂律的说服力来自另外两件事：拟合跨多个数量级、残差小；外推成功 —— 例如 GPT-4 用算力小约 (10^4) 倍的小模型预测了最终 loss ^[2]（7.2 节）。本书采用的工作形式是”幂律 + 常数”，本章问的”为什么是幂律”，指的是可约部分 (L - E) 为什么呈幂律。

5.2 幂律的数学性质：尺度不变性（Scale Invariance）

对可约部分 (L - E = A,N^{-\alpha})： [ \frac{L(\lambda N) - E}{L(N) - E} = \lambda^{-\alpha}, \quad \text{for all}\ \lambda, N \tag{26} ]

把 (N) 放大 (\lambda) 倍，可约 loss 缩小的比例只取决于 (\lambda)，与当前在哪一档无关：1B → 10B 与 100B → 1T，可约 loss 都乘以 (10^{-\alpha})。这个性质叫尺度不变性（scale invariance / self-similarity）。反过来，连续正函数若对所有 (\lambda) 满足 (f(\lambda N) = g(\lambda),f(N))，就必然是幂律：尺度不变与幂律是一回事。

它让外推省参数、对拟合区间的位置不敏感：小模型上测到的”每翻十倍降多少”，可以直接搬到大模型上。但外推本身只要求函数形式选对 —— 总 loss (E + A,N^{-\alpha}) 并不尺度不变（越贴近 (E)，每一档的相对降幅越小），照样能外推。于是问题变成：**为什么可约 loss 是尺度不变的？**5.3–5.6 给出四种候选机制，5.6 后半讨论它们能统一到什么程度。

5.3 机制一：数据本身是重尾的（Zipf / quanta）

**假设。**Michaud et al. ^[3] 的 quanta 模型：模型要学的知识和技能能拆成离散单元（quanta），各单元被用到的频率按秩呈幂律；模型按频率从高到低依次学会它们；每个没学会的单元带来近似相同的超额 loss；学会的单元数与参数量 (N) 成正比（数据轴上则由”每个单元要见到若干次才学得会”决定）。

**预测的指数。**设第 (k) 常用单元的频率为 [ P(k) = \frac{1}{\zeta(s)}, k^{-s}, \quad s > 1 \tag{27} ]

学会前 (n) 个之后，剩下的概率质量 (\sum_{k>n} P(k) \approx \dfrac{n^{1-s}}{(s-1),\zeta(s)})，于是 (L - E \propto N^{-(s-1)})，即 (\alpha_N = s - 1)；数据轴上 (n \propto D^{1/s})，得 (L - E \propto D^{-(s-1)/s})。Hutter ^[4] 的学习曲线模型给出同样的数据轴形式。

**证据到哪一步。**在人为设定频率幂律的玩具任务（multitask sparse parity）上，loss 对 (N)、(D) 的指数与预测一致 ^[3]。对真实语言模型只做到自洽性检验：由 Pythia 的 (\alpha_N \approx 0.083) 反推 (s \approx 1.083)，而他们用梯度聚类估出的 quanta 秩–频斜率约为 (-1.24)，比预期的 (-1.08) 更陡，作者认为仍在聚类方法不确定性的误差范围内；quanta 本身也无法直接观测。推理侧有一个结构相同、在真实模型上验证过的例子：逐题的失败率随尝试次数 (k) 指数下降，整组平均成功率的负对数却随 (k) 呈幂律，因为单次成功率的分布重尾 ^[5]（4.7 节）；它说明”逐项指数收敛 + 重尾 → 聚合成幂律”这条数学成立，但不检验训练侧的 quanta 假设。

**边界。**起作用的必须是”知识单元”的频率，而不是词频：开源 LLM 的 token 频率指数约为 1 ^[6]，代入 (\alpha_N = s - 1) 几乎给不出 scaling。离散单元、按频率学、每个单元代价相同，都是强假设，Michaud 等自己把”离散性”列为最冒险的一条。在层级数据的下一 token 预测上，指数由层级结构而不是频率分布决定（5.6 节）。

5.4 机制二：数据活在高维空间的低维流形上（Intrinsic Dimension）

假设。Sharma & Kaplan ^[7]：在数据充足、模型容量是瓶颈的区制里，网络相当于在一个 (d) 维数据流形上做回归。ReLU 网络是分片线性函数，(N) 个参数大致对应 (N) 个能独立调整的”分片”（这一对应本身是假设）；目标函数足够光滑。

**预测的指数。**设流形上有 (n) 个有效分辨单元 —— 容量受限时是分片数（(\propto N)），数据受限时是训练点数（Bahri et al. ^[8] 的数据轴版本）。它们铺满 (d) 维流形，典型间距 (\epsilon \sim n^{-1/d})；分片线性逼近光滑函数，误差 (\propto \epsilon^2)，平方型 loss（MSE，或 logits 分片线性时的 KL）(\propto \epsilon^4)： [ L(n) \sim \epsilon^4 \sim \big(n^{-1/d}\big)^4 = n^{-4/d} \tag{28} ]

取 (n \propto N)： [ L(N) \propto N^{-\alpha},\quad \alpha \approx \frac{4}{d} \tag{29} ]

常数 4 来自”分片线性 + 平方型 loss”：loss 取 (|y - y^*|^p) 时是 (2p/d)；分片常数（最近邻式）逼近配 MSE 时是 (2/d)。目标函数结构简单时 loss 降得更快，所以原文的完整说法是不等式 (\alpha \gtrsim 4/d)。维度越高指数越小，这给”指数通常很小”提供了一种几何解释。

证据到哪一步。他们分别测 (\alpha)（拟合 (L(N))）和 (d)（在训练好的网络最后一层隐藏表示上，用 TwoNN ^[9] 等最近邻方法估计，并与 MLE ^[10] 交叉核对）。这样测出的 (d) 与拟合 (\alpha) 相互独立，但依赖模型：

图：Sharma & Kaplan ^[7] Figure 1。横轴是 (4/\alpha)（由参数轴 scaling 指数换算），纵轴是实测 intrinsic dimension，直线为 (\text{ID} = 4/\alpha)。teacher-student 合成数据的点基本落在线上，CIFAR-10 也在线附近；MNIST 的 (4/\alpha \approx 6)、ID 约 9.4，即 (\alpha \approx 0.67)，高于 (4/d)，符合不等式（原文说 MNIST、Fashion MNIST、SVHN 上的幂律趋势不如 CIFAR-10 清楚）；GPT 语言模型只给出下界：(4/\alpha \approx 53)，而 (d \ge 90)，满足不等式、离等式很远。Source: arXiv:2004.10802

Bahri et al. ^[8] 在更常见的架构上复核：teacher-student 模型的数据轴指数符合 (4/\alpha_D \approx d)（此处 (\alpha_D) 与第 2 章 Kaplan 对总 loss 拟合的 (\alpha_D) 口径不同），四层 CNN 与 Wide ResNet 在标准数据集上的关系”不那么清楚”。图像数据的内在维度确实远小于像素数：Pope et al. ^[11] 用 MLE 估计，完整数据集上 MNIST 约 7–13、CIFAR-10 约 13–26、ImageNet 约 26–43（Table 1，近邻数 (k) = 3–20）；统一缩放到 32×32×3、每个数据集随机抽 5 对类别做二分类时更低（Table 2：MNIST 7.5–10.9、SVHN 8.5–13.2、CIFAR-10 11.4–18.3、ImageNet 15.4–21.6）。他们还用可控 ID 的 GAN 数据检验了 ID 对学习难度的影响：

图：Pope et al. ^[11]。上：Figure 4，在 ID 为 16 / 32 / 64 / 128 的合成数据（外在维度固定为 3×32×32，两类狗的二分类）上，ID 越高，达到同样准确率所需的样本越多。下：Figure 5，固定 ID、只改外在维度（3×16×16 至 3×128×128），样本复杂度几乎不变。这里测的是二分类的样本复杂度，不是 scaling 指数；在真实数据集上，ID 的排序与样本复杂度大体一致，但低样本区有交叉，SVHN 与 CIFAR-10 的差距也比 ID 预期的小，原文的结论是 ID “不是影响样本复杂度的唯一因素”。Source: arXiv:2104.08894

**边界。**ID 不是数据的绝对属性，依赖表示空间、距离度量、采样尺度和估计器；这类估计器在 (d \lesssim 20) 时较准，维度更高时通常低估 ^[7]。推导要求 i.i.d. 样本、光滑目标和欧氏流形，next-token 预测并不严格满足这些条件；语言上目前只有一个下界。数据几何约束的是指数 (\alpha)，不管前因子 (A)；同族内的小改动常常只平移曲线，但有限规模下前因子与指数会互相串味，跨架构族也不保证同一斜率（6.3 节、7.1.4 节）。

5.5 机制三：神经网络的叠加（Superposition）

前两条讲数据，这一条讲模型：一个宽度为 (m) 的表示空间，为什么能表示远多于 (m) 个特征？

**假设。**特征是稀疏的（很少同时激活），网络把它们存成彼此不正交的方向，再用 ReLU 和负偏置截掉干扰 ^[12]。高维几何让这件事代价不大： [ \mathbb{E}\big[\langle u, v\rangle\big] = 0,\quad \operatorname{std}\big[\langle u, v\rangle\big] \approx \frac{1}{\sqrt{m}};\qquad M(\epsilon, m)\ \sim\ e^{,c,\epsilon^{2} m} \tag{30} ]

(u, v) 是 (\mathbb{R}^m) 中的随机单位向量，(M(\epsilon, m)) 是两两内积都不超过 (\epsilon) 的方向最多能有几个 ^[13]：维度越高，“近正交”的方向越多。低维下没有这份余量 —— Anthropic 的玩具模型把 5 个特征塞进 2 维、排成正五边形，不相邻的两个方向夹角 144°，谈不上近正交，能成立靠的是稀疏和 ReLU ^[12]。

**预测的指数。**Liu, Liu & Gore ^[6] 在 Anthropic 的玩具模型上用权重衰减调节叠加强度，得到两个区制（(p_i) 为第 (i) 常见特征的频率）：

• 弱叠加：只表示最常见的约 (m) 个特征，loss ≈ 没被表示的特征的频率之和。频率呈幂律 (p_i \propto i^{-a})（(a > 1)）时 (L \propto m^{-(a-1)})，与 5.3 是同一段推导；频率呈指数分布时就没有幂律。

• 强叠加：所有特征都被表示、彼此重叠，loss 来自表示向量之间的干扰，按重叠的平方计。各向同性的向量在 (\mathbb{R}^m) 中的平方重叠约为 (1/m)，于是 (L \propto 1/m)（宽度指数 (\alpha_m \approx 1)），在相当宽的一类频率分布（包括指数分布）下都成立；频率极度偏斜时 (\alpha_m) 会大于 1，并重新依赖频率分布。

**证据到哪一步。**他们检查了 OPT、GPT-2、Qwen、Pythia 四个开源模型族（约 1 亿到 700 亿参数）：LM head 的每一行都有非零范数，即所有 token 都被表示，处在强叠加区；归一化行向量的平均平方重叠大致按 (1/m) 变化；把 loss 拟合成 (C_m/m^{\alpha_m}) 加上一个与宽度无关的常数，得 (\alpha_m = 0.91 \pm 0.04)。再用 Chinchilla 模型的 (N \propto m^{2.52}) 把参数指数（约 0.35）换算到宽度上，得 (0.88 \pm 0.06)。这条幂律的来源是几何重叠，而不是数据谱：这些模型的 token 频率指数约为 1，按弱叠加（也就是 5.3）的公式几乎给不出 scaling。

**边界。**玩具模型没有严格求解；把 token 当作原子特征、只看 LM head，是很粗的映射；它只解释 loss 中随宽度变化的那一部分，数据量和训练步数的 scaling 原文没有研究；换算到参数量还要借助 (N \propto m^{2.5}) 这类模型形状的经验关系。

5.6 机制四：语言的层级与相关结构 —— 兼论能否统一

这一条把指数追到语言本身的统计结构上，也是本章几条里唯一在真实语料上无自由参数地预测出指数的一条；本节后半再看这四条能否统一到一副骨架上。

机制四：层级生成与长程相关

**假设。**语言的统计结构里有两条幂律：下一 token 的条件熵随上下文变长按幂律逼近熵率，token 两两之间的相关性随间隔按幂律衰减。两者都可以归因于语言潜在的层级（树状）生成结构，随机层级模型一类的可解模型就满足它们 ^[14][15]。数据越多，模型能从有限样本的噪声里分辨出的相关性越长程，能用上的上下文也就越长。

**预测的指数。Cagnetta, Raventós, Ganguli & Wyart ^[14] 只用这两条能直接从语料测出的统计量 —— 条件熵的超额部分 (H_n - H_\infty \sim n^{-\gamma})（(n) 是上下文长度，(H_\infty) 是熵率），以及相关性随间隔衰减的指数 (\beta’)（即原文的 (\beta)）—— 推出数据受限时可约 loss 的指数：可用上下文长度 (n^ \propto D^{1/(2\beta’)})，可约 loss 随之按 ((n^)^{-\gamma}) 下降，合起来 (\alpha_D = \gamma/(2\beta’))。

**证据到哪一步。**TinyStories 上 (\gamma \approx 0.325)、(\beta’ \approx 0.88)，预测 (0.185 \pm 0.013)，直接拟合学习曲线约 0.15–0.19（随拟合点数略变，各拟合区间都与预测区间重叠）；WikiText-103 上预测 (0.14 \pm 0.03)，拟合约 0.13–0.17。整个预测没有自由参数。可解模型一侧，在层级生成的合成数据上，下一 token 预测的学习曲线本来就是幂律 ^[15]；Cagnetta, Kang & Wyart ^[16] 进一步发现，让产生规则服从 Zipf 分布只改局部细节、不改指数，据此认为解释 LLM scaling 的首要候选是语言的层级结构，而不是特征的 Zipf 分布。

**边界。**只管数据轴，不管参数轴；实验用的是 GPT-2 与 LLaMA 风格的小模型，可用上下文只到几十个 token；作者自己也把”这套机制在万亿 token、(10^5) 上下文的规模上是否成立”列为待检验的问题。层级结构本身也不自动给出幂律：分类任务里，产生规则均匀时学习曲线是 S 形的，达到固定误差所需的样本数对输入维度是多项式的（随机层级模型 ^[17]），规则服从 Zipf 分布时才变成幂律，指数随 Zipf 指数变 ^[16]。幂律要么来自规则的 Zipf 分布，要么来自下一 token 预测这个任务本身。

能否统一？一种谱视角的猜想（本文判断，低置信）

下面是本文的归纳，不是任何一篇文献的结论：前面几条机制里，有一部分可以写成同一副骨架 —— 按重要性排序、依次学习一条重尾谱。骨架的推导是标准的，“LLM 的指数就来自这样一条谱”才是猜想。

**骨架：三个假设推出幂律。**设某个”相关算子”（数据的核或协方差、表示的 Gram 矩阵等）的特征值按幂律衰减： [ \lambda_i \sim c_\lambda, i^{-(1+\alpha_s)}, \qquad i = 1, 2, 3, \dots,\quad \alpha_s > 0 \tag{31} ]

若模型按谱序学会了前 (k) 个模态，其余每个模态贡献约 (\lambda_i) 的残差： [ L(k) - E ;\sim; \sum_{i>k}\lambda_i ;\sim; \frac{c_\lambda}{\alpha_s}, k^{-\alpha_s} \tag{32} ]

再设资源 (x)（(N) 或 (D)）换来的可分辨模态数 (k \approx c,x^{\rho})，代回 (32)： [ L - E ;\approx; A,x^{-\alpha}, \qquad \alpha = \rho,\alpha_s,\quad A = \frac{c_\lambda}{\alpha_s},c^{-\alpha_s} \tag{33} ]

三个假设都是实质性的：(i) 谱是重尾的；(ii) 按谱序拾取 —— Michaud ^[3] 把它单列为一条假设，核回归里它来自谱偏置，但还要求目标函数在各模态上的系数配合（source condition）；(iii) (k) 随资源幂律增长，模型一侧的因素都藏在 (\rho) 和 (c) 里。

图：把 (31)–(33) 画出来。横轴是按重要性排序的模态序号 (i)，纵轴是特征值 (\lambda_i)。资源只够分辨到前沿 (k)（蓝色实心 = 已学），(k) 之后的长尾（红色斜纹）累加起来就是可约 loss；右上角小图是这条残差对 (k) 在双对数下的直线，斜率 (-\alpha_s)。示意图，非实测数据。

哪些机制能归到这副骨架上，哪些不能

• 5.3（频率谱）：谱就是 quanta 的频率，(\lambda_i = P(i) \propto i^{-s})，即 (\alpha_s = s - 1)，取 (\rho = 1) 就还原出 (\alpha_N = s - 1)。Hutter ^[4]、Michaud ^[3] 属于这一支。

• 5.4（数据几何 → 核谱）：Matérn 光滑度为 (\nu)（对应 Sobolev 阶 (\nu + d/2)）的核作用在 (d) 维流形上，特征值约按 (i^{-(1+2\nu/d)}) 衰减，即 (\alpha_s = 2\nu/d) ^[18][19]。维度越低，谱衰减越快，指数越大，这是 (\alpha \propto 1/d) 的谱语言版本。

• 5.5（叠加）：只有弱叠加一支是 (31) 的特例，强叠加归不进来（见下面的反证）。

Bahri et al. ^[8] 把几何这一支放进了一个更大的分类里（(L_\infty) 是被放大的那一侧资源趋于无穷时的极限；宽度、参数量沿用本章的 (m)、(N)，原文记作 (w)、(P)）： [ \underbrace{L - L_\infty \sim D^{-1}\ \text{或}\ m^{-1}}{\text{方差受限}},\qquad \underbrace{L - L\infty \sim D^{-\alpha_K}\ \text{或}\ N^{-\alpha_K},\ \ \alpha_K \propto 1/d}_{\text{分辨率受限}} \tag{34} ]

放大充裕的那一侧，多出来的资源只在压有限样本或有限宽度的统计涨落，指数普适为 1（参数侧对宽度 (m) 而言；有定理保证，前提是存在良态的无限数据 / 无限宽极限、loss 足够光滑），这时 (L_\infty) 还含着另一侧瓶颈的贡献，不等于 (E)；Chinchilla 按 (N)、(D) 拟出的指数约 0.3，离这个值很远。放大瓶颈那一侧，指数由核谱衰减率 (\alpha_K) 决定，这一格就是 (31)–(33) 在随机特征模型里的正式版本。在 Maloney et al. ^[20] 的可解随机特征模型里，同一个数据谱指数同时驱动参数轴与数据轴（最优正则化下的测试 loss 可用 (L \approx L_0,(1/N + 1/T)^{\alpha}) 拟合，没有不可约项）。写成 Chinchilla 的两项： [ L - E ;\approx; A,N^{-\alpha} + B,D^{-\beta},\qquad \alpha = \rho_N,\alpha_s,\ \ \beta = \rho_D,\alpha_s \tag{35} ]

两个指数出自同一个 (\alpha_s)，是否相等取决于两轴”资源换模态”的效率 (\rho_N)、(\rho_D)。Bahri 的”对偶”（分辨率受限时 (\alpha_D = \alpha_N)）是在线性随机特征模型里推出的，另在预训练特征上观察到；Chinchilla 的拟合检验不了它：compute-optimal 训练同时放大两轴，不是 Bahri 讨论的单轴渐近区（原报参数 (\alpha \approx 0.34)、(\beta \approx 0.28) 的差别也受拟合程序问题影响，重拟合后为 0.35 / 0.37，见 3.2、7.1.2 节）。所以”两轴指数相等”不是这条链的必然推论。按这套语言，谱衰减率与拾取指数定 (\alpha)、拾取常数定 (A)、学不动的那截定 (E)，具体对号见 6.2 节。

反证：指数不总是来自数据谱

• 强叠加：玩具模型里 (L \propto 1/m) 对特征频率分布不敏感，开源 LLM 的宽度指数约 0.9，接近这个几何值 ^[6]（5.5 节）。

• 层级与相关结构：机制四不走”按谱序学一条谱”的路子，看的是相关性随距离的衰减（本节前半）。它支持的是一个更弱的共同点：指数由数据的统计结构决定。

证据强度与可证伪点

这个猜想里有文献支撑的只有两段：数据几何 → 核谱衰减 → 分辨率受限指数 ^[8][18][19]；特征谱或 quanta 频率的幂律 → loss 的幂律 ^[3][4][20]。二者在可解模型或玩具任务里有推导与实验支撑，但都没有在前沿 LLM 规模上验证，放到 LLM 上证据只算弱；强叠加与层级数据并不进来。这副骨架还很灵活：换一个”相关算子”、调一个 (\rho)，几乎什么指数都能解释，所以它更像一套描述语言（6.2 节就是这样用它的），而不是事前的预测。要让它可证伪，得先在真实 Transformer 上定义并测出相关算子的谱，再由”可分辨模态数随资源的增长”独立测出 (\rho)：谱若呈指数衰减，或实测指数与 (\rho,\alpha_s) 系统性不符，猜想即被证伪；若 (\rho) 只能靠拟合指数反推，这条可证伪点就不成立。

5.7 放到物理学里看：类比，不是证明

幂律在物理与社会系统里很常见，常被当作”没有特征尺度”（scale-free）的标志。身高这类高斯分布有一把尺子（均值与标准差），偏离越远，概率衰减越快；地震没有：Gutenberg–Richter 定律 (\log_{10} N(\ge M) = a - bM)，(b \approx 1)，震级每升 1 级（能量约 ×32），次数约降为 1/10，从 M4 到 M8 以上大致成立。城市规模、词频也常被这样讨论。临界现象出幂律，是因为系统被调到（或自组织到）临界点、失去了特征尺度。但这些只与 scaling law 共享数学形式：地震、城市描述的是事件大小的分布，scaling law 描述的是 loss 随资源变化的函数关系，而且 scaling law 的叙事里找不到”被调到临界点”的对应物。物理提供的是语言和问题 —— 例如 ^[14] 追问：是否存在一大类共享同一组指数、只在前因子上不同的”普适类”架构？—— 而不是”为什么是幂律”的证明。

5.8 Takeaway

• **没有公认的统一理论。**几种模型都能在各自的假设下推出幂律，但指数的来源各不相同，证据强弱也不一，最定量的是 ^[14]（标注口径见 0.1 节的阅读约定）：

机制指数来自哪里预测的指数证据主要边界| 机制 | 指数来自哪里 | 预测的指数 | 证据 | 主要边界 |

频率尾巴（5.3）知识单元使用频率的幂律尾(\alpha_N = s - 1)弱：玩具任务吻合，真实 LLM 只做到自洽性检验quanta 无法直接观测；离散性是强假设| 频率尾巴（5.3） | 知识单元使用频率的幂律尾 | (\alpha_N = s - 1) | 弱：玩具任务吻合，真实 LLM 只做到自洽性检验 | quanta 无法直接观测；离散性是强假设 |

内在维度（5.4）数据流形的维度 (d)(\alpha \gtrsim 4/d)中：合成数据吻合、图像大体相符；语言上弱（只有下界）ID 依赖表示与估计器，高维时偏低| 内在维度（5.4） | 数据流形的维度 (d) | (\alpha \gtrsim 4/d) | 中：合成数据吻合、图像大体相符；语言上弱（只有下界） | ID 依赖表示与估计器，高维时偏低 |

叠加（5.5）表示向量的几何重叠强叠加 (\alpha_m \approx 1)中：单一研究，四个开源模型族的宽度指数 (0.91 \pm 0.04)只看 LM head；数据与步数轴未研究| 叠加（5.5） | 表示向量的几何重叠 | 强叠加 (\alpha_m \approx 1) | 中：单一研究，四个开源模型族的宽度指数 (0.91 \pm 0.04) | 只看 LM head；数据与步数轴未研究 |

层级与相关结构（5.6）条件熵与相关性随距离的衰减(\alpha_D = \gamma/(2\beta’))中：单一研究，两个小规模语料上无自由参数预测吻合只管数据轴；小模型、几十 token 上下文| 层级与相关结构（5.6） | 条件熵与相关性随距离的衰减 | (\alpha_D = \gamma/(2\beta’)) | 中：单一研究，两个小规模语料上无自由参数预测吻合 | 只管数据轴；小模型、几十 token 上下文 |

统一谱猜想（5.6）重尾谱 + 按谱序拾取(\alpha = \rho,\alpha_s)本文判断，低置信强叠加、层级数据归不进来；(\rho) 须独立测出才可证伪| 统一谱猜想（5.6） | 重尾谱 + 按谱序拾取 | (\alpha = \rho,\alpha_s) | 本文判断，低置信 | 强叠加、层级数据归不进来；(\rho) 须独立测出才可证伪 |

• **“同一条重尾谱”是猜想。**它能串起频率与几何两支，但有明确的反例（强叠加、层级数据），适合当描述语言（6.2 节），不适合当定理引用。

• **幂律是工作模型。**它的可信度来自跨数量级的拟合与外推成功；若曲线在足够宽的区间里明显偏离”幂律 + 常数”，先查有没有特征尺度、数据瓶颈或区制切换。

暗线回扣：本章从理论一侧检验暗线①（可预测性）—— 还没有哪种机制能事前算出前沿 LLM 的指数，外推的底气仍主要来自经验。

知道了曲线长什么样、也看过几种”为什么”的候选解释，下一问更落地：架构、稀疏性、精度、优化器、数据质量、语种、模态、context 长度这些旋钮，分别拧动了曲线的哪个部位？下一章把这条幂律拆开，逐个零件地看。