Scaling Law · 引语索引

主题深度专题更新于 2026-10-18AI 起草 · 人工审核已核查 · 已审核审核人负责人

从 Kaplan 与 Chinchilla 两套定量框架出发，梳理幂律拟合、工程杠杆与未来数据/经验约束。

共 3 条引语

引语	主题	出处与定位	来源等级	原话状态
data is the fossil fuel of AI 数据是 AI 的化石燃料。 —— 伊利亚·苏茨克维	scaling-law、pretrain	[171] Sutskever I. Sequence to Sequence Learning with Neural Networks: What a Decade . NeurIPS 2024 Test of Time Award talk, Vancouver, 2024-12-13. https://neurips.cc/virtual/2024/test-of-time/105032 （在新窗口打开）NeurIPS 2024 Test of Time 演讲节选；见 02-what-is §误解五	权威媒体非本人原话	转述
We've achieved peak data and there'll be no more. 我们已经达到数据峰值，不会再有更多了。 —— 伊利亚·苏茨克维	scaling-law、pretrain	[171] Sutskever I. Sequence to Sequence Learning with Neural Networks: What a Decade . NeurIPS 2024 Test of Time Award talk, Vancouver, 2024-12-13. https://neurips.cc/virtual/2024/test-of-time/105032 （在新窗口打开）同上节引	权威媒体非本人原话	转述
Kaplan et al. (2020) report α_N ≈ 0.076 for L(N) on WebText2 (non-embedding N). Kaplan 2020 在 WebText2 上报告 L(N) 的 α_N 约为 0.076（非 embedding 参数口径）。 —— 伊利亚·苏茨克维	scaling-law	[1] Kaplan J, McCandlish S, Henighan T, et al. Scaling Laws for Neural Language Models . arXiv:2001.08361, 2020.（在新窗口打开）arXiv:2001.08361 main.tex eq. crit_n；2026-10-18 自 arXiv 源码核对	官方非本人原话	转述

引语

主题

出处与定位

来源等级

原话状态

data is the fossil fuel of AI

数据是 AI 的化石燃料。

—— 伊利亚·苏茨克维

scaling-law、pretrain

权威媒体非本人原话

转述

We've achieved peak data and there'll be no more.

我们已经达到数据峰值，不会再有更多了。

—— 伊利亚·苏茨克维

scaling-law、pretrain

权威媒体非本人原话

转述

Kaplan et al. (2020) report α_N ≈ 0.076 for L(N) on WebText2 (non-embedding N).

Kaplan 2020 在 WebText2 上报告 L(N) 的 α_N 约为 0.076（非 embedding 参数口径）。

—— 伊利亚·苏茨克维

scaling-law

官方非本人原话

转述

证伪区：流传但无法证实或已被证伪的说法

每条都写明依据。这些说法不是原话引用，正文也不以它们为依据。

暂无。