• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

10. 将来与限制

阅读约 24 分钟AI 起草 · 人工审核已核查 · 已审核审核人 负责人

专题章节

10. 将来:Scaling 的真实限制 —— 根本性、相对性与自消解

到目前为止,Scaling Law 在 log-log 图上还是那条漂亮的直线。从 GPT-2(2019)到 GPT-4(2023)这四年,训练 compute 涨了约 3.5–4 个数量级(Epoch 估计为 3,000–10,000 倍 [1]);Epoch 估计 2020 年以来前沿语言模型训练算力的趋势约为每年 5 倍(约 0.7 OOM/年;OOM 即数量级,1 OOM = (\times 10),0.5 OOM/年 ≈ 每年 (\times 3.16))[2],慢于那四年,但仍是指数。自然要问:沿这条趋势继续涨下去,会撞到什么?

流行的答案是”撞墙”——数据墙、能源墙、算力墙。但**“墙”是一个会误导人的隐喻**:它暗示存在一道确定的、所有人会在同一时刻撞上的硬边界,又把性质完全不同的约束混为一谈。本章换一个更可被推演的框架——把约束当成一本账本来记:先按”可不可改、由谁定”分成根本性(物理)/ 相对性(经济与制度)/ 自消解(算法效率)三类,再用Liebig 最小因子律把它们统一成一个 (\min(\cdot)),最后给出一个独立判断:哪一类最难解除、为什么经济与数据约束大概率早于纯物理极限绑定。(下文仍沿用”数据墙""经济墙”等作通俗标签,指的是账本里的约束项。)

本章会反复回到一条主线,它也是通往第 11 章的桥:**scaling 从未”撞墙”,它一直在换”计价单位”——从 FLOP,到高质量 token,再到可验证的经验与环境。**最稀缺的要素沿这条价值链不断上移;资本、电力、芯片这些投入端约束并不因此消失(10.3、10.6)。

图:Aschenbrenner《Situational Awareness》[1] 的分解——有效算力(effective compute)≈ 物理算力 × 算法效率 × unhobbling(原图为示意,2023 年之后为外推)。他只量化了前两层:物理训练算力的长期趋势约 0.5 OOM/年(与上文 Epoch 对 2020 年以来前沿语言模型的约 0.7 OOM/年口径不同),GPT-2 → GPT-4 期间则涨了约 3.5–4 OOM(Epoch 估计 3,000–10,000 倍,明显快于长期趋势);算法效率约 0.5 OOM/年。两层合计,GPT-2 → GPT-4 约为 4.5–6 OOM 的”基础有效算力”。unhobbling(从基座模型到聊天机器人、再到 agent 的解锁)他没有换算成 OOM,只说难以放到同一把有效算力尺上,量级至少与前两层相当。所以”约 4 OOM”是物理算力,“4.5–6 OOM”是物理算力加算法效率,两者都不含 unhobbling。

10.1 把”墙”换成账本:三类约束与最小因子律

把所有被叫作”墙”的东西按性质重排,会得到三类截然不同的约束:

  • 根本性约束(物理):能源的热力学下界(Landauer 极限)、光速与通信延迟,以及数据的不可约熵(6.1 节的 ① 层,即评测分布自身的条件熵,详见 10.2)。Landauer 与光速由物理常数锚定,改不了,只能绕;数据熵只随题目本身变,只能换题(6.5 节)。内存带宽常被一并归入此类,但它其实是架构 × 工艺 × 产能的混合约束(10.2)。“数据墙”说的是高质量数据的供给,与数据熵不是一回事,它介于相对与根本之间(10.2、10.5)。

  • 相对性约束(经济 / 制度):资本回报、半导体供应链产能、监管与诉讼、顶尖人才。它们由市场与政策决定,可被钱、政策、时间推移改变。

  • 自消解约束(算法效率):算法进步本身会主动把前两类的有效高度往下压——同样的能力,两年后所需算力大幅下降。它不是”墙”,而是一台”拆墙机”。

三类约束如何共同决定”实际能走多远”?答案是最短板,而不是某一面墙。把它写成 Liebig 最小因子律: [ \begin{aligned} C_{\text{eff}} &= \eta_{\text{alg}}\cdot\min\Big{\underbrace{\eta_{\text{util}}\cdot\min_{i}\frac{R_i}{a_i}}{\text{投入端}},;; \underbrace{C_D(D{\text{hq}})}{\text{信号端}}\Big},\qquad C_D(D)\approx\frac{6D^2}{r},\[4pt] i &\in\Big{\underbrace{\text{资本}}{\text{经济}},;; \underbrace{\text{EUV},,\text{CoWoS},,\text{HBM}}{\text{供应链}},;; \underbrace{\text{电力}}{\text{能源}},;; \cdots\Big} \end{aligned} \tag{47} ]

投入端里,(R_i) 是第 (i) 种资源的供给,(a_i) 是每单位物理算力所需的该资源量,所以 (\min_i R_i/a_i) 就是这些资源能撑起的物理算力;(\eta_{\text{util}}) 是集群平均有效利用率,只乘这一支(利用率提高不会多产生 token)。信号端的 (C_D) 是高质量数据 (D_{\text{hq}}) 在固定配方(每参数 (r) 个 token)下能支撑的训练算力:由 (C\approx 6ND)、(N=D/r) 得 (C_D\approx 6D^2/r),高质量数据翻倍可支撑约 4 倍算力,所以数据不能像其他资源那样按常数 (a_i) 折算。(\eta_{\text{alg}}) 是算法效率(Epoch 口径,不含利用率,见 10.4),作用于两支,把物理算力折成有效算力;10.6 把信号端从数据推广到可验证环境。这是示意式:它假设配方固定、资源之间不可替代,而且是静态的,各项供给如何随资本投入扩张见 10.5。

(47) 的读法有三层意思:其一,实际进展受当下最短板约束,砸钱补强非短板项不会让整体更快;其二,补强一处,瓶颈会迁移到下一处,而不是消失;其三,自消解项是乘法系数:算法效率乘在整个 (\min) 外面,利用率只乘投入端那一支,同一份资源能换来的有效算力随之放大 —— 它们的作用是乘法,而不是从供给里”减去”什么;只省某一种资源的改进(如压缩 KV cache 省带宽)则相当于压低该项的 (a_i),可能让短板换人。

这与第 6 章用的是同一种边际账:杠杆方程 (40)(41) 管同一条曲线内部下一块钱在 (N)、(D) 之间怎么分,(47) 管曲线外部的资源供给——某根轴(例如数据 (D))逼近供给上限时,约束项换人,曲线被迫”换轴”。

10.2 根本性约束:物理常数(最硬,但本十年多数不绑定)

先把真正的物理天花板与”被叫作物理、其实是经济”的约束分开。下面列四条:前三条是严格意义上的根本性约束,第四条(内存墙)是常被归入此类的混合约束;其中多数本十年并不绑定:

  • 能源 / Landauer 极限:每擦除 1 bit 至少耗散 (kT\ln 2\approx 2.9\times10^{-21}) J(室温 (T\approx 300) K)。现实 CMOS 与数据中心系统距此仍有多个数量级,因此 Landauer 本身不是当下约束;真正咬人的”能源问题”是相对性的(电网、审批),见 10.3。

  • 光速 / 通信延迟:同一数据中心内网络 RTT 通常为数十 (\mu s)量级,主要由交换跳数与软件栈决定,而不是光速(200 m 光纤往返约 2 (\mu s)),所以万卡级集群的机间同步瓶颈在网络与软件栈。真正受光速支配的是跨数据中心那一档(跨洲约 (150,ms),已贴近光纤传播的理论下限)。把训练推向多数据中心的,是单站点的电力、施工与审批限制(相对性约束)[3];一旦跨 DC,光速延迟与跨区带宽就成了**少数”根本性且已经咬人”**的约束,逼出了分层与异步同步。

  • 数据的不可约熵:6.1 节把 loss 的地板分成四层,只有 ① 层(评测分布自身的条件熵)是同一道题上任何模型、任何数据都砸不穿的下界(它只随题目本身变);(37) 的 (E\approx S(\text{True})) 要在”无限大模型能精确建模数据分布”的假设下才与它重合。“数据墙”是供给约束:同分布的高质量 token 快用完了,曲线沿 (D) 轴往右走的余地只剩重复训练那一段(4.5 节),这不等于曲线已经贴近地板;降 ① 层只能”换题”(6.5 节);② / ④ 层会随模型族、训练数据与拟合协议移动,不属于根本性约束。

  • 内存墙:Gholami et al.[4] 的 20 年窗口里,峰值硬件算力(FLOPS)累计增长约 (+60{,}000\times),而 DRAM 带宽仅 (+100\times)、互连带宽仅 (+30\times)(等价速率:算力约 (3.0\times)/2 年、DRAM 带宽约 (1.6\times)/2 年、互连带宽约 (1.4\times)/2 年);推理 decode 阶段(尤其是低 batch 时;Gholami 的剖析取 batch = 1)是带宽 bound 而非 FLOP bound,KV cache 进一步放大访存压力。这条是”根本性(冯·诺依曼瓶颈 / 工艺)× 相对性(HBM 产能)“的混合,已在推理侧绑定。

本文判断(高置信):纯物理极限(Landauer、以及光速对单点算力密度的限制)本十年基本不绑定;真正已经咬人的只有两条——光速 → 跨数据中心同步(纯物理),与带宽 → 推理(混合约束)。把这两条与”能源墙""算力墙”混为一谈,会高估物理的紧迫性、低估经济与制度的紧迫性。

10.3 相对性约束:经济、供应链、监管、人才(投入端当下绑定的约束大多在这里)

把镜头转到相对性约束——它们可被钱、政策、时间改变,但决定”能买到多少算力”的投入端约束,当下真正绑定的大多在这一层(访存带宽见 10.2;决定算力能换来多少能力的信号端约束见 10.6)。

10.3.1 经济墙(贯穿全程、最难解除的一堵)

  • 资本门槛快速抬升:据 2026 年 7 月下旬的 Q2 财报,Microsoft / Amazon / Alphabet / Meta 四家 CY2026 资本开支指引合计约 7200–7450 亿美元(中值约 7300 亿),比 2025 年实际(约 4100–4160 亿,因口径而异)增长约 73–82% [5];其中微软因把更多新租约计为经营租赁,口径值由约 1900 亿降到约 1750 亿,公司称实际投入预期不变。Oracle 财年截至 5/31,另计:FY2027 资本开支指引 900–950 亿美元,扣除客户预付后的净现金支出不超过 700 亿。日历年与财年、现金 capex 与融资租赁、指引与实际需分列。Goldman Sachs Global Institute(高盛全球研究院)对 2026–2031 全栈基础设施投入的基线估计约 7.6 万亿美元(系 2026–2031 累计的假设驱动基线情景 / 预测,非承诺或已发生支出)[6];IBM CEO Arvind Krishna 则按”每 GW 约 800 亿美元”估算,全球约 100 GW 的算力承诺对应约 8 万亿美元资本开支 [7]。这些点估计差异很大,可靠的结论不是某个数字,而是前沿能力的资本门槛在指数抬升。

  • 折旧错配:GPU 账面寿命常按 5–6 年计,但在前沿训练强度下真实可用寿命可能只有 2–3 年。以 2030 年前后约 2 万亿美元的算力资产示意(自行推算,非既有权威数):按 5 年账面寿命(年折旧 20%)计约 4000 亿美元/年;若真实寿命只有 2–3 年,经济折旧约 6700 亿–1 万亿美元/年(Goldman 按 3 年周期估算,2026–2031 累计约 3.99 万亿美元、年均约 6650 亿美元,据原文图表读数 [6])。两者之差就是”折旧错配”的量级,可与头部厂商的年利润相比——这意味着财报口径的脆弱性,是经济墙最硬的量化来源之一。

  • 投入与收入的缺口在绝对额,不在增速:Epoch 估计前沿语言模型训练算力 2020 年以来约每年 5 倍、训练成本约每年 3.5 倍,OpenAI 年化收入 2024 年以来约每年 3.2 倍 [2];2026 年头部模型公司的收入涨得更快——据 Epoch 汇总的公开报道,Anthropic 年化收入从 2025 年底约 90 亿美元升到 2026 年 4 月的 300 亿美元以上(公司披露)、7 月底约 650 亿美元,OpenAI 8 月超过 400 亿美元 [8]。所以增速上并不存在”收入明显跑输成本”的剪刀差;缺口在绝对额和期限上:四大云厂 2026 年一年的资本开支(约 7300 亿美元)约为这两家头部模型公司年化收入之和(约 1050 亿美元)的 7 倍(口径不对等:云厂 capex 同时服务自身 AI 业务与大量客户,其中相当一部分正是在为这两家公司提供算力,此处只作量级示意),而这些资产要在几年内折旧完(见上条)。这是财务约束,而非物理约束。

  • 兑现率:宣称的巨型集群与实际落地之间存在缺口:IEA 估计,若电网风险得不到处理,约 20% 的规划中数据中心项目面临延期风险 [9]。

本文判断(高置信):约束 scaling 的,往往不是 Scaling Law 本身失效,而是资本回报层面的审视先于物理极限到来。这堵墙不会某天突然撞上,而是每一笔巨额融资把它推后一点;资本的耐心有上限。其结构性根因见 10.5 口径二。

10.3.2 供应链 / 地缘墙

  • EUV 产能可以被算成一个量级上限:据 SemiAnalysis 创始人 Dylan Patel 的推算 [10],Nvidia Rubin 一代每 1 GW 数据中心容量约需 3.5 台 EUV 光刻机(逻辑与存储晶圆合计约 200 万次 EUV 曝光);ASML 目前年产约 70 台、到 2030 年也只到 100 台出头,加上已有的 250–300 台,2030 年约有 700 台,若全部用于 AI,每年可支撑约 200 GW 的 AI 芯片(按 IT 负载计)。这是情景推算而非硬天花板:EUV 实际只有一部分分给 AI(Patel 自己也说”并非全部”,这会让上限更低),ASML 扩产又会把它往上推,净方向不确定,应视为量级估计(单一来源的情景推算,证据弱)。

  • 瓶颈已经迁移过几轮:按 Patel 在同一访谈中的说法,前几年先后卡在 CoWoS 先进封装、电力与数据中心,这些都是交付周期较短的环节;现在瓶颈回到芯片制造本身(逻辑晶圆与存储,晶圆厂建设要 2–3 年),到 2028–2029 年将落到供应链最底层的 ASML EUV 光刻机 [10]——这本身就是 (47) 里”瓶颈迁移”的实例。

  • 出口管制与去耦:2022–2025 年多轮收紧使受限地区的高端 GPU 逐级降配(A800 / H800 → H20);2025 年 12 月美方改为按 25% 分成个案放行 H200(Blackwell、Rubin 仍禁)[11],中方却限制采购、转向国产芯片,直到 2026 年 8 月才有首批少量交付的报道(字节、腾讯各约 1 万颗,每笔需发改委审批)[12]。约束从单边管制变成双向去耦,受限地区仍更依赖算法效率与系统优化。

一句话:scaling 的瓶颈不止是 FLOP 的物理极限,还有”谁能拿到这些 FLOP”。在地缘去耦背景下,这层约束短期内不会消失。

10.3.3 监管 / 法律墙

  • EU AI Act:训练算力 (>10^{25}) FLOP 的模型推定为”系统性风险 GPAI”(Art.51,GPT-4 以上基本命中);所有 GPAI 都要提交技术文档、制定版权政策并公开训练内容摘要(Art.53),系统性风险模型再加评估与对抗性测试、风险缓解、重大事件报告与网络安全义务(Art.55)。

  • 训练数据版权诉讼:NYT v. OpenAI、Getty v. Stability、音乐出版商 v. Anthropic 等。其中 Bartz v. Anthropic 已以 15 亿美元和解(约每部作品 3000 美元),2026 年 7 月获法院最终批准 [13];此前法院认定用合法购得的书训练属合理使用,和解针对的是从盗版库下载书籍——训练数据的获取方式开始有了明确的价格。

  • 训练算力阈值与安全评估:美国 EO 14110 设定的 (10^{26}) FLOP 报告要求已随该行政令于 2025 年 1 月撤销;加州 SB 53(2025-09-29 签署)把训练算力超过 (10^{26}) 次运算的模型定义为前沿模型,要求年收入超过 5 亿美元的大型前沿开发者公开安全框架、报告重大安全事件 [14]。

监管很少直接限制 scaling 速度,而是通过抬高合规成本、推迟部署、增加诉讼风险,间接把经济墙再垫高一截。

10.3.4 人才瓶颈

顶尖 AI 研究者与能支撑前沿 scaling 研发的实验室都很少(本文判断,中置信:缺少可靠的统计口径)。钱和算力都 scale 得动,顶尖研究者却很难靠加钱在短期内成倍增加——这是一道软上限,而非硬边界。

10.4 自消解约束:算法效率(它会主动推后前两类)

第三类约束最常被”物理天花板”式讨论忽略:算法效率本身是一台拆墙机。

  • 预训练效率约每 8 个月翻倍(Epoch 2024 年论文的估计,95% 置信区间 5–14 个月;Epoch 趋势页的更新口径是约每年 3 倍、约 0.5 OOM/年,即约每 7.6 个月翻倍;该口径只计算法,不含硬件利用率 / MFU,见 6.4)[2]:同样的模型效果,两年后所需算力可大幅下降;推理侧另有 Densing Law 的口径:同等能力所需参数量约每 3.5 个月减半(9.10 节 [15]),它衡量的是参数与推理侧效率,与这里的预训练算力效率不是同一口径,不能直接比较或相乘。

  • 利用率的余量要分口径看:前沿训练的 MFU 已在 38–55%(Llama 3 405B 预训练为 38–43% [16];MegaScale 在 12,288 卡上训练 175B 模型达到 55.2% [17]),即便以 60% 为目标,余量也只有约 1.1–1.6 倍,这才是 (47) 里 (\eta_{\text{util}}) 对前沿训练的含义。企业与推理集群则普遍闲置:Cast AI 称其观测的 Kubernetes 集群 GPU 平均占用率约 5% [18](厂商统计,证据弱;按占用时间计,与 MFU 不是同一指标)。这部分浪费影响推理成本和全行业算力需求,不直接放大前沿训练能用的有效算力。

  • 访存侧的自消解:MQA/GQA/MLA、speculative decoding、continuous batching、注意力与 KV cache 压缩,都是在把内存墙往后推。

但自消解的上限同样在收紧:最容易摘的果子(Chinchilla 配比、MoE、FlashAttention、低精度)已成主流;下一代突破需要新范式(test-time compute、原生多模态等;前者见 4.7),新范式能否持续出现,是自消解能否持续的关键不确定性;前沿算法在 2023 年后趋于私有化。

这一层能推出什么、推不出什么:直觉上,效率变高应该让所有墙一起后退,但在竞争性市场里并非如此。单位能力的成本一下降,省下来的算力不会沉淀成利润,而会被竞争性地重新投入到”更强的下一代能力”上 —— 更大的模型、更长的推理链、更多的并行实验。这是 Jevons 效应(效率提升反而推高总消耗,前提是需求足够有弹性),在前沿竞争里又被军备竞赛式的再投入放大。结果是单位成本持续下降,绝对支出、电力和芯片需求却都不降,前沿的资本门槛照旧沿指数抬升(10.3.1)。所以在 (47) 的供给侧账里,算法自消解对经济、能源、供应链三堵墙作用是对称的:它让同样的资源换来更多能力,把每一堵墙在能力维度上都往后推,却不会让其中任何一堵的绝对需求下降——单凭算法效率,推不出”经济墙排在能源、供应链之前”。需求侧还有一层不对称:若需求弹性足够大,降价会推高总收入,先松动经济墙,同时推高电力与芯片的绝对需求(2026 年头部公司收入的快速增长与此一致,10.3.1)。经济墙为什么仍排在前面,要看约束之间的上下游关系,见 10.5 口径二。

10.5 迁移式瓶颈与撞墙时序(独立判断)

材料内部存在一处真实而健康的分歧:有人(如 SemiAnalysis 一派 [19][10])主张半导体供应链是最终的硬卡点(电可以靠并网外的燃气等绕过,芯片制造、最终是 EUV 光刻才扩不动);电力 / 电网侧分析(如 Goldman [20])主张电力先绑定(电网与审批是 O(年),赶不上 O(月) 的 GPU 部署;IEA 没有拿电力与芯片比先后,但给出发达经济体新建输电线路要 4–8 年、燃气轮机交期也要数年 [9]);存储侧则指出推理时代访存带宽先绑定(“GPU 在等数据”)。

我的取舍是:这三者并不矛盾,它们是不同 regime 下的同一个 (\min(\cdot))。把 (47) 沿时间展开,得到一个迁移式瓶颈模型:

  • 约 2023–2025(训练侧):先是 CoWoS 先进封装,再是电力与数据中心——交付周期较短的环节先后卡住;

  • 2026–2027(训练侧):绑定项回到芯片制造本身——逻辑晶圆与 HBM / DRAM 产能(10.3.2);

  • 2028–2030(中期):两种判断并存——SemiAnalysis 认为落到 EUV 光刻机,电网侧分析认为电网接入、审批与时间错配仍是主约束;

  • 推理时代(已发生):绑定项 = 访存带宽 + KV cache;

  • 贯穿全程:经济墙(理由见下文口径二)。

图:约束排序与最小因子律。横轴是”对本十年 scaling 的约束力”——越靠左越难被钱、政策或时间解除,且本十年内会绑定(即下文的口径二);它不等同于按日历时间的先后(那是口径一,见上文的分阶段清单)。颜色编码:相对性(红 / 橙 / 黄)、数据(蓝,介于相对与根本之间)、根本性(灰);自消解项不在图中。图中 7.6 万亿美元是高盛对 2026–2031 年算力、数据中心与电力累计投入的基线估计 [6],945 TWh 是 IEA 对 2030 年全球全部数据中心用电的基准情景预测 [9]。示意图,非实测数据。

本文判断(经济墙排第一:中置信;其余次序:低置信):这里必须先把两个口径分开,否则会和上面的分阶段清单直接打架 ——

  • 口径一 · 按日历时间的”即时短板”:即上面清单里每个时段取到 (47) 那个 (\min) 的项——推理侧的访存带宽已经绑定,训练侧则是供应链与电力交替成为短板。

  • 口径二 · 按”本十年内最难解除”排序(能不能被钱、政策或时间解除;单凭算法自消解推不出三者的先后,见 10.4):经济墙 > 能源墙 > 供应链墙 > 数据墙 > 物理墙。经济墙排第一,不是因为它今天卡得最死,而是因为约束之间有上下游关系,而且是动态的。用 (47) 的记号说:短期内各项供给 (R_i) 是给定的,(\min) 取到哪一项,哪一项就是口径一的即时短板;拉长到数年,电力、芯片等供给随此前投入的资本、按各自的交付周期扩张(自建燃气、拉专线、换址,扩产 CoWoS / HBM、新建晶圆厂;晶圆厂约 2–3 年 [10],发达经济体新建输电线路 4–8 年 [9]),数据也能靠采购、授权与合成部分补充,监管与诉讼大多通过抬高成本起作用(10.3.3)。资本本身的供给却取决于回报:融资、战略与主权资本可以把它推迟(10.3.1),但最终要靠收入兑现,而收入取决于需求与变现,不在工程日程表上。所以它贯穿全程;一旦收入跟不上,会同时放慢所有下游约束的扩产(人才是部分例外,见 10.3.4)。能源排在供应链之前,是因为电网的交付周期更长,自建燃气也受轮机交期所限;若 EUV 成为硬顶(下文前提其一),两者次序对调。数据墙可被效率与合成推后;纯物理极限最硬,但本十年多数不绑定,所以排在最后。

上面那张排序图画的是口径二。它是顺序判断而非具体年份预测,依赖两个可观测的前提:

  • **其一,电力与供应链在本十年内能靠钱和时间扩张。**观测指标:ASML 的 EUV 年出货与流向 AI 的份额、先进制程与 CoWoS 的订单交期。SemiAnalysis 认为 EUV 恰恰是例外(ASML 到 2030 年也只能年产 100 台出头,10.3.2)。若 2028 年前后先进制程持续满载、AI 芯片交期拉长到两年以上,而云厂资本开支指引仍在上调(即出货受 EUV / 晶圆产能而非资金所限),供应链应在口径二里前移。

  • **其二,AI 收入追不上资本开支。**观测指标:头部模型公司年化收入之和与四大云厂当年资本开支之比。2025 年底约为 1:14(约 300 亿对 4160 亿美元),2026 年年中约为 1:7(约 1050 亿对 7300 亿美元,口径不对等,见 10.3.1),七个多月翻了一倍。若到 2027 年底升到 1:2 以上,经济墙应降级,瓶颈回到电力与供应链。

10.6 真正的主线:与其说 scaling”撞墙”,不如说”计价单位”在上移

把前五节收成一条判断(本文判断,中置信):“墙”是一个会误导人的隐喻;更贴切的隐喻是”计价单位(numéraire)迁移”。要说清楚的是:这些约束都是真实的,而且如 10.3 所述有好几项当下就在绑定;但迄今为止 scaling 并不是撞上某个物理常数而停下的,它每次只是在更换衡量稀缺性的单位——旧单位”耗尽”时,价值并不消失,而是上移到价值链上更稀缺的要素。

图:计价单位的三代迁移。示意图,非实测数据;年份为粗略起点。三代是叠加而非替换:新单位出现后,旧单位仍在计价(与 11.1”不互斥,也没有必然先后”一致)。

这条主线把第 10 章(限制)与第 11 章(范式)缝成一件事:投入端(资本、电力、芯片)决定能买多少算力,信号端(高质量数据、可验证环境)决定这些算力能换来多少能力。(47) 的两支就是这两端,那里的信号端只写了高质量数据,这里推广到可验证环境。当一个维度能被稳定量化、又有足够供给,它就能被纳入可预测的工程优化;互联网文本这条维度正在变窄,而”可验证经验 / 环境”这条维度才刚刚被打开——下一章正是讲这条新维度怎么 scale。下表把全书几套分期对到这三代上(附录 A 的五个主战场、11.1 的三类学习信号):

计价单位(约起点)附录 A 的主战场学习信号(11.1)主要限制(信号端按 11.1 的外部性 / 可靠性 / 可扩展性)| 计价单位(约起点) | 附录 A 的主战场 | 学习信号(11.1) | 主要限制(信号端按 11.1 的外部性 / 可靠性 / 可扩展性) |

FLOP / 算力(约 2012 起)2020–22 拼 N/D静态数据(互联网文本)投入端:能买到多少算力(10.3);互联网文本的三项属性俱佳| FLOP / 算力(约 2012 起) | 2020–22 拼 N/D | 静态数据(互联网文本) | 投入端:能买到多少算力(10.3);互联网文本的三项属性俱佳 |

高质量 token(约 2022–23 起)2022–23 配比与数据质量;2023–24 MoE、长上下文、过训静态数据,含 SFT 对话可扩展性:高质量文本存量见顶(10.5 图、4.5 节)| 高质量 token(约 2022–23 起) | 2022–23 配比与数据质量;2023–24 MoE、长上下文、过训 | 静态数据,含 SFT 对话 | 可扩展性:高质量文本存量见顶(10.5 图、4.5 节) |

可验证经验 / 环境(约 2024–25 起)2024–25 RLVR 与推理时计算;2025–26 agentic交互经验:coding agent → 高价值 agent可靠性与外部性:verifier 覆盖不全、可被钻空子,缺外部锚定的自生成信号会退化(11.3–11.5)| 可验证经验 / 环境(约 2024–25 起) | 2024–25 RLVR 与推理时计算;2025–26 agentic | 交互经验:coding agent → 高价值 agent | 可靠性与外部性:verifier 覆盖不全、可被钻空子,缺外部锚定的自生成信号会退化(11.3–11.5) |

具身经验(早期,尚未成为主要计价单位)附录 A 未覆盖具身经验:Physical AI可扩展性:反馈可靠,但贵,且受物理时间约束(11.6)| 具身经验(早期,尚未成为主要计价单位) | 附录 A 未覆盖 | 具身经验:Physical AI | 可扩展性:反馈可靠,但贵,且受物理时间约束(11.6) |

10.7 Takeaway

把三类约束、最小因子律(Liebig,10.1)与当前行业 workaround 收成一张表:

类别约束是否本十年绑定当前主流 Workaround| 类别 | 约束 | 是否本十年绑定 | 当前主流 Workaround |

根本性Landauer / 制程极限否(Landauer 仍差多个数量级;制程微缩在放缓,但尚未成为主约束)专用 ASIC、低精度、近存计算| 根本性 | Landauer / 制程极限 | 否(Landauer 仍差多个数量级;制程微缩在放缓,但尚未成为主约束) | 专用 ASIC、低精度、近存计算 |

根本性光速 / 同步延迟部分(跨 DC 已咬人)多数据中心异步、分层同步| 根本性 | 光速 / 同步延迟 | 部分(跨 DC 已咬人) | 多数据中心异步、分层同步 |

根本性数据熵 E(评测分布自身的条件熵,6.1 节 ① 层)不适用(是地板而非供给,只随任务变)换题:改 conditioning、改任务定义(6.5)| 根本性 | 数据熵 E(评测分布自身的条件熵,6.1 节 ① 层) | 不适用(是地板而非供给,只随任务变) | 换题:改 conditioning、改任务定义(6.5) |

混合内存带宽是(推理侧,低 batch decode)MQA/GQA/MLA、KV 压缩、speculative decoding| 混合 | 内存带宽 | 是(推理侧,低 batch decode) | MQA/GQA/MLA、KV 压缩、speculative decoding |

相对性经济墙(贯穿全程、最难解除)是(最难解除为中置信,10.5)巨额融资、推理端商业化、垂直应用| 相对性 | 经济墙(贯穿全程、最难解除) | 是(最难解除为中置信,10.5) | 巨额融资、推理端商业化、垂直应用 |

相对性能源 / 电网是(局部电网已在咬人;2028–30 年与 EUV 谁先绑定有分歧,10.5)核电伴建、液冷/浸没、绿电选址、需求响应| 相对性 | 能源 / 电网 | 是(局部电网已在咬人;2028–30 年与 EUV 谁先绑定有分歧,10.5) | 核电伴建、液冷/浸没、绿电选址、需求响应 |

相对性供应链 / 地缘是(训练侧,短中期;2028–30 年是否由 EUV 接棒有分歧)封装/HBM 扩产、国产替代、算法补硬件| 相对性 | 供应链 / 地缘 | 是(训练侧,短中期;2028–30 年是否由 EUV 接棒有分歧) | 封装/HBM 扩产、国产替代、算法补硬件 |

相对性监管 / 人才软上限合规与披露、全球抢人、AI 辅助研究| 相对性 | 监管 / 人才 | 软上限 | 合规与披露、全球抢人、AI 辅助研究 |

数据公开高质文本见顶 [21]临界(~2028,区间 2026–2032)数据效率/curation、合成(需 verifier)、多模态| 数据 | 公开高质文本见顶 [21] | 临界(~2028,区间 2026–2032) | 数据效率/curation、合成(需 verifier)、多模态 |

自消解算法效率上限对冲项新范式、利用率提升、推理时 scaling(4.7)| 自消解 | 算法效率上限 | 对冲项 | 新范式、利用率提升、推理时 scaling(4.7) |

Scaling Law 给出的是投入—产出的理论曲线;而由三类约束共同作用的 (\min(\cdot)),决定了你实际能沿这条曲线走多远。未来四年的真正考验不是”会不会撞上某面物理墙”,而是在经济墙贯穿全程、很可能最难解除的前提下,能否把 scaling 的计价单位顺利上移到”可验证经验/环境”这条新维度——这正是下一章的主题。

暗线回扣:暗线②(数据约束)在本章落到账上 —— 公开高质量文本约在 2028 年前后见顶(区间 2026–2032),是 (47) 式信号端的上限;暗线③(范式演化)表现为计价单位上移 —— 稀缺要素从 FLOP 移到高质量 token,再到可验证经验与环境(10.6 节的分期对照表)。

参考来源

  1. [1][39] Aschenbrenner L. Situational Awareness: The Decade Ahead . situational-awareness.ai, 2024-06.(在新窗口打开)unknown · 访问于 2026-10-18官方 · 非本人原话↩
  2. [2][61] Ho A, Besiroglu T, Erdil E, et al. Algorithmic Progress in Language Models . NeurIPS 2024 (arXiv:2403.05812). https://epoch.ai/publications/algorithmic-progress-in-language-models ; Epoch AI. Tre(在新窗口打开)epoch.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  3. [3][176] Patel D, Nishball D, Ontiveros J E. Multi-Datacenter Training: OpenAI's Ambitious Plan To Beat Google's Infrastructure . SemiAnalysis, 2024-09-04. https://semianalysis.com/2024/09/04/multi-datac(在新窗口打开)semianalysis.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  4. [4][41] Gholami A, Yao Z, Kim S, Hooper C, Mahoney M W, Keutzer K. AI and Memory Wall . IEEE Micro, 2024 (arXiv:2403.14123).(在新窗口打开)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  5. [5][263] Alphabet. 2026 Q2 Earnings Call (2026 年资本开支指引 1950–2050 亿美元). 2026-07-22. https://abc.xyz/investor/events/event-details/2026/2026-Q2-Earnings-Call-2026-GgTAq7Is0z/default.aspx ; Microsoft. Fisca(在新窗口打开)abc.xyz · 访问于 2026-10-18权威媒体 · 非本人原话↩
  6. [6][101] Lee G, Greenbaum L (Goldman Sachs Global Institute). Tracking Trillions: The Assumptions Shaping the Scale of the AI Build-Out . Goldman Sachs, 2026-05-01. https://www.goldmansachs.com/insights/(在新窗口打开)www.goldmansachs.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  7. [7][177] Patel N. Why IBM's CEO doesn't think current AI tech can get to AGI (Decoder 播客访谈 IBM CEO Arvind Krishna). The Verge, 2025-12-01. https://www.theverge.com/podcast/829868/ibm-arvind-krishna-watso(在新窗口打开)www.theverge.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  8. [8][178] Epoch AI. Data on AI Companies (revenue reports 数据表). Epoch AI, 2026 (2026-09-24 版). https://epoch.ai/data/ai-companies(在新窗口打开)epoch.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  9. [9][179] International Energy Agency. Energy and AI . IEA, 2025-04-10. https://www.iea.org/reports/energy-and-ai(在新窗口打开)www.iea.org · 访问于 2026-10-18权威媒体 · 非本人原话↩
  10. [10][180] Patel D. Dylan Patel — Deep dive on the 3 big bottlenecks to scaling AI compute . Dwarkesh Podcast, 2026-03-13. https://www.dwarkesh.com/p/dylan-patel(在新窗口打开)www.dwarkesh.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  11. [11][264] Reuters. US to allow Nvidia H200 chip shipments to China, Trump says (引 Trump 在 Truth Social 的原帖). Reuters, 2025-12-08. https://www.reuters.com/world/china/us-open-up-exports-nvidia-h200-chips-c(在新窗口打开)www.reuters.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  12. [12][265] James L. First Nvidia H200 shipments reach China, ByteDance and Tencent take deliveries as Beijing loosens its import block (引 Financial Times 报道). Tom's Hardware, 2026-08-19. https://www.tomsha(在新窗口打开)www.tomshardware.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  13. [13][181] Brittain B. US judge approves Anthropic's \(\$\)1.5 billion settlement of copyright lawsuit . Reuters, 2026-07-20. https://www.reuters.com/world/us-judge-approves-anthropics-15-billion-settlemen(在新窗口打开)www.reuters.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  14. [14][182] California State Legislature. SB 53: Transparency in Frontier Artificial Intelligence Act (Chapter 138, Statutes of 2025). 2025-09-29. https://leginfo.legislature.ca.gov/faces/billNavClient.xhtm(在新窗口打开)leginfo.legislature.ca.gov · 访问于 2026-10-18权威媒体 · 非本人原话↩
  15. [15][38] Xiao C, Cai J, Zhao W, et al. Densing Law of LLMs . Nature Machine Intelligence 7(11):1823–1833, 2025 (doi:10.1038/s42256-025-01137-0; arXiv:2412.04315, 2024).(在新窗口打开)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  16. [16][114] Llama Team, AI @ Meta. The Llama 3 Herd of Models . arXiv:2407.21783, 2024.(在新窗口打开)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  17. [17][184] Jiang Z, Lin H, Zhong Y, et al. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs . NSDI 2024 (arXiv:2402.15627).(在新窗口打开)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  18. [18][183] Das K. GPU Cost Monitoring: Track Utilization and Attribute AI Spend (引 Cast AI《2026 State of Kubernetes Optimization Report》). Cast AI Blog, 2026-07-23. https://cast.ai/blog/gpu-cost-monitoring(在新窗口打开)cast.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  19. [19][100] Pandey A, Ontiveros J E, Patel D. How AI Labs Are Solving the Power Crisis: The Onsite Gas Deep Dive . SemiAnalysis, 2025-12-30. https://newsletter.semianalysis.com/p/how-ai-labs-are-solving-the(在新窗口打开)newsletter.semianalysis.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  20. [20][62] Goldman Sachs Research. GS SUSTAIN: Data Center Power Demand: The 6 Ps Driving Growth and Constraints . Goldman Sachs, 2025-11-10. https://www.goldmansachs.com/insights/goldman-sachs-research/dat(在新窗口打开)www.goldmansachs.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  21. [21][40] Villalobos P, Ho A, Sevilla J, Besiroglu T, Heim L, Hobbhahn M (Epoch AI). Position: Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data . ICML 2024 (arXiv:2211.04325).(在新窗口打开)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩