Ilya

Module 02 · Ilya Sutskever

Ilya Sutskever：一条信念、三次瓶颈判断、两次组织崩塌

全站思想深度最高的一页。它不按主题摘录，而按来源事件组织：每一条判断都锚定在一份可点开的一手材料上（逐字转录、法庭笔录、原始推文、论文原文）。本页有三个别处没有的东西——九处事实校正（包括一句被全网当作他名言、但逐字稿中根本不存在的话）、2023-08-14 Simons 讲座 15 步论证的逐步复原（配 24 张幻灯片）、以及他本人在同场 Q&A 里承认的五个漏洞。赶时间可只读页首的「本章速记」与「九处事实校正」。

本章速记★九处事实校正思想谱系预测即理解★Simons 15 步公式章 F1–F11批评与反例意识与对齐董事会与证词NeurIPS 2024Dwarkesh 2025SSI认知反转表我的看法





  本章速记
  
    

• **「压缩即智能」不是一个定理，是一条类比链。**链上有三处严格数学（Shannon 源编码、Kolmogorov 不变性定理、(K) 的链式法则），和两处明确不合法的跳跃（不可计算的 (K) → 可训练的 SGD；固定数据集的压缩 → 无限测试集的泛化）。这两处跳跃是 Ilya 本人在 Q&A 中主动承认的，而中文与英文的二次传播几乎全部漏掉了这一段（见 Simons 15 步、批评与反例）。

• 被引用最广的那句「SGD is the best compressor we can afford」，在逐字转录中不存在。可引用的真原话是 “our miniature Kolmogorov compressor” 与 “SGD over big neural networks is our big program search”，而且他给整套类比贴了一个免责标签：“if you squint hard enough”（如果你眯起眼睛看）。中文译本普遍把这句译丢了（见 九处事实校正）。

• 「预测下一个 token = 理解底层现实」的最早完整论证是 2019-04-03 的 Berkeley CS294-158，比 2023 年那次著名的 Dwarkesh 访谈早四年，用的是同一个谋杀小说例子。更关键的是他当场给它贴了认识论标签——“slightly dodgier, more an intuitive argument”。这条纠正了广泛流传的时间线（见 预测即理解）。

• **他的三次瓶颈判断（想法 → 算力 → 数据）都是同期的，不是前瞻的。**2016-02 说缺关键想法、大集群没那么重要；17 个月后翻转为「计算机太慢，再多聪明才智也造不出 AGI」；2024-12 宣布「我们只有一个互联网」。三次都由当时刚刚可行或刚刚耗尽的资源驱动。他真正前瞻的不是瓶颈本身，而是「当前瓶颈解除后会发生什么」。

• OpenAI 的「不开放」不是使命漂移，是成立第 22 天就写好的剧本。2016-01-02 他写信给 Musk：「openAI 里的 Open 意思是 AI 造出来之后每个人都该受益；但完全可以不分享科学本身。」Musk 回了一个词：“Yup”。九年后他在 SSI 把这条原则推到极致——「我们生活在一个并非所有机器学习想法都能被自由讨论的世界里，而这就是其中之一」。

• 2025 年的宣誓证词改写了 2023 年 11 月。那份 52 页备忘录的重大指控全部来自单一信源（Mira Murati）的转述，被指控者与相关证人一个都没有被接触过；被问为什么不去核实，他的回答是 “It didn’t occur to me.”（我没想到）。他还确认自己为此至少等了一年，等的是「董事会的多数不再明显亲近 Sam」。2026-05 出庭时他把那次反转称为 “It was a Hail Mary.”（见 董事会与证词）。

• **关于 scaling，结论不需要我们来下——他本人写出来了。**2025-11-28 他在 X 上补了三句：继续 scaling「会持续带来改进」、「特别是，它不会停滞」、「但会持续缺少某种重要的东西」T3 三源一致引用。所以准确的判定是「范围收缩」：scaling 仍然有效、仍是必要条件，但不再充分。本页在这个问题上做的是勘误，不是解读——要区分开的是中文圈那个删掉了 “as we know it” 四个字、并加上引号的讹传版本「Scaling 时代已经终结」，以及由它派生出的、他从未说过的「始于 2026 年的新研究时代」。「他放弃了 scaling」与「他什么都没变」都是错的（见 认知反转表）。

• **截至 2026-07-25，SSI 是一个悬置的赌注：零论文、零产品、零 demo、零 benchmark，官网文字两年一字未改。**而同一个人在法庭上披露，自己持有的 OpenAI 股份价值约 70 亿美元——是他自己公司全部披露融资额（约 30 亿）的两倍多（见 SSI、2025–2026）。

来源范围说明：本页检索了什么、没检索到什么

本页的材料来自 research/01-ilya-dossier.md（3,887 行 / 148 个带日期与一手 URL 的条目），覆盖区间 2003 – 2026-07-25，主轴 2016-01 – 2026-07。检索空间包括：OpenAI 与 SSI 官方博客及存档、Ilya 署名论文（Semantic Scholar authorId 1701686 逐篇用 arXiv API 核验作者位次，剔除约 60 篇引用解析污染的假阳性）、演讲与播客的官方或高质量第三方逐字转录、法庭档案（Musk v. Altman，gov.uscourts.cand.433688）、原始推文、以及 17 篇成功抓取的中文公众号全文稿。

明确没有拿到的东西，本页一律如实标注，不做填补：① @ilyasut 2016–2021 与 2026 年的完整推文时间线——三个 nitter 镜像全部连接失败、x.com 需登录、Wayback 未定位到可用快照，这是本档案最大的单一缺口；② Simons 讲座官方 slides PDF 确认不存在公开直链（官网该页只有视频，该场无配套论文），幻灯片只能通过录像截图复原；③ NeurIPS 2024 官方录像与幻灯片 PDF 未公开，现存全文均为与会者录像的社区转录；④ WilmerHale 完整调查报告从未公开，只有 OpenAI 发布的摘要；⑤ deposition 本轮只抓到部分笔录（覆盖 p.128–362 等若干片段），非完整的近 10 小时记录；⑥ 知乎 12 篇目标文章因前端 JS 挑战 12/12 全部抓取失败，缺口用智源社区、腾讯新闻、36 氪、InfoQ、CSDN 的转载补齐。

**本页禁止用「所有 / 全网」包装抽样。**凡是写「未检索到」的地方，含义是「在上述检索空间内未发现」，不是「不存在」。

  T1 逐字/官方转录
  T2 官方论文/公告
  T3 可靠媒体一手采访
  T4 二手整理/编译
  T5 作者推断

全页引语一律为 1–3 句短引 + 原始 URL，主体是原创分析；同一场访谈的多篇中文编译只算一个来源事件，不用于虚增置信度。事实截止日 2026-07-25（UTC+8）。

★ 九处事实校正：先把地基上的裂缝补掉

下面九条推翻或修正了流行叙事，全部经过交叉验证。它们不是细节考据——其中至少三条（第 6、7、8 条）直接改变了对他核心主张的理解：一句他没说过的话被当成他的理论纲领，一个主持人的章节标题被当成他的诊断，两场相隔一年的演讲被拼接成一段「原话」。本页此后所有条目按校正后的口径编排。

  存疑与误引警告 · 引用前必读
  

**最危险的一条是第 9 条，因为它的时间戳就在检索基准日前两天。**2026-07-22/23 在 X 上刷屏、被聚合站抓成新闻的「Ilya 的 TED 演讲」，是 2023 年 10 月 TEDAI 旧演讲的二次传播；TED 官方页面明确标注 “TEDAI 2023 · October 2023”。截至 2026-07-25，未检索到 Ilya 在 2026 年做过任何新的演讲、访谈或播客。

第二危险的是第 7 条：“SGD is the best compressor we can afford” 这句话在 Simons 讲座的全场逐字转录中不存在。它在中英文世界被当作 Ilya 压缩论的一句话总结广泛引用，但它是一句转述被固化成了引文。同类的还有 “neural networks are our computationally-bounded approximation to the Kolmogorov compressor”——也不是原话。

  九处事实校正对照表：流行说法、校正结论与依据
  #流行说法校正结论依据| # | 流行说法 | 校正结论 | 依据 |

  
    
      1
      「我们不理解为什么 CEO 这个头衔对你如此重要」写于 2017-07-13
      **实为 2017-09-20 14:08 PT，主题 "Honest Thoughts"**，由 Ilya 邮箱发出、与 Greg Brockman 联署。2017-07-12 确有一封 Ilya 长信（主题 "The business of building AGI"），但内容是算力与 AGI 商业路径，**不含 CEO title 段落**。
      Musk v. Altman 邮件；CourtListener EXHIBIT 41
    | 1 | 「我们不理解为什么 CEO 这个头衔对你如此重要」写于 2017-07-13 | 实为 2017-09-20 14:08 PT，主题 "Honest Thoughts"，由 Ilya 邮箱发出、与 Greg Brockman 联署。2017-07-12 确有一封 Ilya 长信（主题 "The business of building AGI"），但内容是算力与 AGI 商业路径，不含 CEO title 段落。 | Musk v. Altman 邮件；CourtListener EXHIBIT 41 |

    
      2
      Ilya 上过两次 Lex Fridman 播客
      **只上过一次（#94，2020-05-08）。**#260 是 Georges St-Pierre / John Danaher / Gordon Ryan（2022-01-30），与他无关。
      lexfridman.com 节目页
    | 2 | Ilya 上过两次 Lex Fridman 播客 | 只上过一次（#94，2020-05-08）。#260 是 Georges St-Pierre / John Danaher / Gordon Ryan（2022-01-30），与他无关。 | lexfridman.com 节目页 |

    
      3
      TED 演讲是 2023-04 的 TED2023（温哥华）
      **实为 TED AI 2023**，2023-10-17 录制于**旧金山 Herbst Theater**，TED 官方 YouTube 于 2023-11-20 发布。TED2023（4/17–21，温哥华）Ilya 未登台。
      TED 官方 Past Events；Ars Technica 现场报道
    | 3 | TED 演讲是 2023-04 的 TED2023（温哥华） | 实为 TED AI 2023，2023-10-17 录制于旧金山 Herbst Theater，TED 官方 YouTube 于 2023-11-20 发布。TED2023（4/17–21，温哥华）Ilya 未登台。 | TED 官方 Past Events；Ars Technica 现场报道 |

    
      4
      斯坦福那场是 ECON295/CS323，或 2023-05-11 的 eCorner 活动
      **实为 Stanford ETL（Entrepreneurial Thought Leaders）**，活动日 **2023-04-19**（虚拟出席），eCorner 于 2023-04-26 发布全片《Inside OpenAI》。ECON295/CS323 请的是 Sam Altman，不是 Ilya。
      events.stanford.edu；stvp.stanford.edu
    | 4 | 斯坦福那场是 ECON295/CS323，或 2023-05-11 的 eCorner 活动 | 实为 Stanford ETL（Entrepreneurial Thought Leaders），活动日 2023-04-19（虚拟出席），eCorner 于 2023-04-26 发布全片《Inside OpenAI》。ECON295/CS323 请的是 Sam Altman，不是 Ilya。 | events.stanford.edu；stvp.stanford.edu |

    
      5
      「我宁愿 OpenAI 被毁灭」是 Ilya（或 Sam）说的
      **是 Helen Toner 的立场。**Ilya 在宣誓证词中转述后被问是否认同，答：「我可以设想在假想的极端情形下答案会是『是』；**但在当时，对我而言答案明确是『不』**。」
      deposition p.307–308
    | 5 | 「我宁愿 OpenAI 被毁灭」是 Ilya（或 Sam）说的 | 是 Helen Toner 的立场。Ilya 在宣誓证词中转述后被问是否认同，答：「我可以设想在假想的极端情形下答案会是『是』；但在当时，对我而言答案明确是『不』。」 | deposition p.307–308 |

    
      6
      「models are jagged」是 Ilya 原话
      **不是。**官方逐字稿中他从未说过这个短语；"jaggedness" 是 Dwarkesh 给章节起的**标题**与 the-decoder 的概括用词。他实际描述的是「修 bug 修出第二个 bug、再修回第一个」的具体现象。
      dwarkesh.com/p/ilya-sutskever-2 官方逐字稿
    | 6 | 「models are jagged」是 Ilya 原话 | 不是。官方逐字稿中他从未说过这个短语；"jaggedness" 是 Dwarkesh 给章节起的标题与 the-decoder 的概括用词。他实际描述的是「修 bug 修出第二个 bug、再修回第一个」的具体现象。 | dwarkesh.com/p/ilya-sutskever-2 官方逐字稿 |

    
      7
      「SGD is the best compressor we can afford」是 Simons 讲座原话
      **逐字转录中不存在。**可引用的真原话是 **"our miniature Kolmogorov compressor"**、**"SGD over big neural networks is our big program search"**，以及免责标签 **"if you squint hard enough"**。
      YouTube `AKMuA_TVz3A` 全场逐字转录
    | 7 | 「SGD is the best compressor we can afford」是 Simons 讲座原话 | 逐字转录中不存在。可引用的真原话是 "our miniature Kolmogorov compressor"、"SGD over big neural networks is our big program search"，以及免责标签 "if you squint hard enough"。 | YouTube AKMuA_TVz3A 全场逐字转录 |

    
      8
      「The data is finite. There is only one internet. Pre-training as we have known it is over.」是 2025 年 Dwarkesh 访谈原话
      **是拼接品。**「只有一个互联网」与「预训练将终结」来自 **NeurIPS 2024 演讲**；Dwarkesh 2025 的原话是 "The data is very clearly finite."。同源可疑之处还有一个 Ilya 从未说过的说法——「始于 2026 年的新研究时代」。
      两处一手转录对照
    | 8 | 「The data is finite. There is only one internet. Pre-training as we have known it is over.」是 2025 年 Dwarkesh 访谈原话 | 是拼接品。「只有一个互联网」与「预训练将终结」来自 NeurIPS 2024 演讲；Dwarkesh 2025 的原话是 "The data is very clearly finite."。同源可疑之处还有一个 Ilya 从未说过的说法——「始于 2026 年的新研究时代」。 | 两处一手转录对照 |

    
      9
      2026-07 Ilya 做了新的 TED 演讲
      **不存在。**2026-07-22/23 在 X 上刷屏、被聚合站抓成新闻的截图，是 **2023 年 10 月 TEDAI 旧演讲的二次传播**。**这条最危险，因为时间戳就在检索基准日前两天。**
      TED 官方页标注 "TEDAI 2023 · October 2023"
    | 9 | 2026-07 Ilya 做了新的 TED 演讲 | 不存在。2026-07-22/23 在 X 上刷屏、被聚合站抓成新闻的截图，是 2023 年 10 月 TEDAI 旧演讲的二次传播。这条最危险，因为时间戳就在检索基准日前两天。 | TED 官方页标注 "TEDAI 2023 · October 2023" |

  

未检索到出处、不建议引用的六句

以下六句在中英文二手材料中广泛流传，但本轮检索未能在任何一手材料中定位。它们不一定是伪造的——更可能是转述、意译或记忆重构在传播中被加上了引号。本页不把它们当作原话使用，也建议读者不要。

  「未检索到」有多强？——先说清检索范围
  

一条负向结论的强度完全取决于它的搜索空间，所以必须先交代。本轮针对这六句的检索覆盖：① 对应场合的全文逐字转录（TED 官方字幕、多伦多大学毕业演讲的两个独立转录版本、Guardian 短片与 iHuman 影片台词稿的两个来源、CourtListener 可获取的 deposition 笔录片段）；② 该场合的官方页面与新闻稿；③ 引用这些句子的二手文章反向追链（看它们各自注的出处指向哪里，结果多为互相引用或无出处）；④ 站内已抓取的 17 篇中文全文稿。

因此这六条的强度并不相同：前四句（Guardian 两句、多伦多两句）属于「在已取得的该场合全文转录中不存在」，强度较高 T3 反向核验；第五句（deposition 那句）只覆盖了部分笔录——完整的近 10 小时记录未公开，所以它只能说「在可获取片段中未见」，强度明显更弱 T4；第六句（招募场景）属于「无任何一手来源，仅见于二手叙事」T4。「未检索到」永远弱于「不存在」，本页不把它写成后者。

  未检索到一手出处的六句引语及检索结论
  流传的引语归属声称检索结论 / 最接近的真原话| 流传的引语 | 归属声称 | 检索结论 / 最接近的真原话 |

  
    "a very unstable time"Guardian 2023-11-02该日 Guardian 的 Ilya 内容为 iHuman（2016–2019 素材）专题，全文与多个转录版本中均无此表述。| "a very unstable time" | Guardian 2023-11-02 | 该日 Guardian 的 Ilya 内容为 iHuman（2016–2019 素材）专题，全文与多个转录版本中均无此表述。 |

    "The AI is going to be so smart…"Guardian / iHuman2020 年影评与 2023 年短片转录中均未检索到该确切措辞。| "The AI is going to be so smart…" | Guardian / iHuman | 2020 年影评与 2023 年短片转录中均未检索到该确切措辞。 |

    "AI is clearly the greatest force of our time"2025-06-06 多伦多演讲全文转录中未见。最接近的是 "the challenge that AI poses, in some sense, is the greatest challenge of humanity ever"。| "AI is clearly the greatest force of our time" | 2025-06-06 多伦多演讲 | 全文转录中未见。最接近的是 "the challenge that AI poses, in some sense, is the greatest challenge of humanity ever"。 |

    "you should not let yourself be dragged by the current"2025-06-06 多伦多演讲全文转录中未见。语义最接近的是 "accept reality as it is... What's the next best step?"。| "you should not let yourself be dragged by the current" | 2025-06-06 多伦多演讲 | 全文转录中未见。语义最接近的是 "accept reality as it is... What's the next best step?"。 |

    "I'm not a person who wants to be CEO"2025-10-01 deposition可获取的笔录片段与全部主流报道中均未见。语义最接近的是 p.300 关于「掌权者会是很擅长玩弄权力的人 / 圣人很难爬上去」——**但那不是同一句话**。| "I'm not a person who wants to be CEO" | 2025-10-01 deposition | 可获取的笔录片段与全部主流报道中均未见。语义最接近的是 p.300 关于「掌权者会是很擅长玩弄权力的人 / 圣人很难爬上去」——但那不是同一句话。 |

    「Musk 说这是 the most important thing」（招募场景）2015 年 OpenAI 招募无 OpenAI 官方或 Ilya 一手来源，仅见于二手叙事。**他本人给出的离职理由是「人 + 使命」**，从未提到这句话。| 「Musk 说这是 the most important thing」（招募场景） | 2015 年 OpenAI 招募 | 无 OpenAI 官方或 Ilya 一手来源，仅见于二手叙事。他本人给出的离职理由是「人 + 使命」，从未提到这句话。 |

  

三处口径分歧（两说并存，本页不强行归一）

  三处口径分歧与本页采用的口径
  争议项分歧本页采用| 争议项 | 分歧 | 本页采用 |

  
    **SSI 融资总额**约 30 亿美元（Ilya 2025-11 亲口 + 三家独立核查源）vs 约 60 亿美元（部分 2026 年二手源，引 Globe and Mail）**披露股权融资约 30 亿美元。**60 亿疑似把 Google Cloud TPU 算力承诺折算在内；该说法自身的图表标注写的也是「具名部分合计 30 亿」。引用 60 亿必须标注口径。| SSI 融资总额 | 约 30 亿美元（Ilya 2025-11 亲口 + 三家独立核查源）vs 约 60 亿美元（部分 2026 年二手源，引 Globe and Mail） | 披露股权融资约 30 亿美元。60 亿疑似把 Google Cloud TPU 算力承诺折算在内；该说法自身的图表标注写的也是「具名部分合计 30 亿」。引用 60 亿必须标注口径。 |

    **"Hail Mary" 指涉对象**指「罢免 Altman」（KQED 行文）vs 指「投票让 Altman 复职的反转」（SFGate / Piedmont Exedra / ABC7）**采多数口径：指复职反转。**但无论指涉哪一端，这个词都承认了行动的绝望性质与低成功概率。引用时标注分歧。| "Hail Mary" 指涉对象 | 指「罢免 Altman」（KQED 行文）vs 指「投票让 Altman 复职的反转」（SFGate / Piedmont Exedra / ABC7） | 采多数口径：指复职反转。但无论指涉哪一端，这个词都承认了行动的绝望性质与低成功概率。引用时标注分歧。 |

    **烧木偶事件日期**The Atlantic 2023-11 写 "this year"（即 2023）vs Karen Hao《Empire of AI》（2025）写 2022 年 9 月 Tenaya Lodge**两说并存，不择一。**该事件本身为 C/D 级信源（匿名信源 + 2025 年出版物的二手整理）。| 烧木偶事件日期 | The Atlantic 2023-11 写 "this year"（即 2023）vs Karen Hao《Empire of AI》（2025）写 2022 年 9 月 Tenaya Lodge | 两说并存，不择一。该事件本身为 C/D 级信源（匿名信源 + 2025 年出版物的二手整理）。 |

  

附：同一个毛病也出现在图片证据上

上面九条讲的是话被错误归属。做本页配图时发现，图也有完全同构的问题，而且更难察觉——因为文件名看起来就是证据。本页使用的每一张图都由作者用图片查看器逐张打开确认过画面内容，图注只描述画面上实际可见的东西。核验中查出四处错位，全部已从本页排除或改写：

  图片溯源核验中查出的四处错位及处理
  文件登记名称打开后画面上的实际内容本页处理| 文件登记名称 | 打开后画面上的实际内容 | 本页处理 |

  
    Simons 讲座「标题页」**画面里的人不是 Ilya Sutskever**——一名有络腮胡、满头头发、穿鸟纹 T 恤的男子，与 2023 年的他（谢顶、无须）明显不是同一人**全页禁用。**若用作人物图或章节头图，会构成对第三方肖像的虚假归属| Simons 讲座「标题页」 | 画面里的人不是 Ilya Sutskever——一名有络腮胡、满头头发、穿鸟纹 T 恤的男子，与 2023 年的他（谢顶、无须）明显不是同一人 | 全页禁用。若用作人物图或章节头图，会构成对第三方肖像的虚假归属 |

    Simons 讲座编号 15–23 的九个文件**系统性错位一张**：每个文件承载的都是下一张幻灯片的内容。例如登记为「iGPT 结果曲线」的文件，画面上是 **ImageNet 线性探针对照表**；登记为「架构模拟论证」的文件，画面上是**条件 Kolmogorov 复杂度**只使用其中**作者亲自确认过内容的 2 张**，图注按实际画面重写并标注「文件名不可信」；其余 7 个文件不用| Simons 讲座编号 15–23 的九个文件 | 系统性错位一张：每个文件承载的都是下一张幻灯片的内容。例如登记为「iGPT 结果曲线」的文件，画面上是 ImageNet 线性探针对照表；登记为「架构模拟论证」的文件，画面上是条件 Kolmogorov 复杂度 | 只使用其中作者亲自确认过内容的 2 张，图注按实际画面重写并标注「文件名不可信」；其余 7 个文件不用 |

    Berkeley CS294 讲座「录像封面」一张标题为 "Exploration" 的**超级马里奥幻灯片**与角落里的讲者小窗，与该场无监督学习讲座的内容无关，讲者身份亦无法确认**禁用。**改为在正文中给出录像链接| Berkeley CS294 讲座「录像封面」 | 一张标题为 "Exploration" 的超级马里奥幻灯片与角落里的讲者小窗，与该场无监督学习讲座的内容无关，讲者身份亦无法确认 | 禁用。改为在正文中给出录像链接 |

    情感神经元「容量上限」图实际是 **Test Accuracy vs Labeled Training Examples 的数据效率曲线**——讲的是「很少的标注样本就够」，不是「小模型学不出情感」**禁用。**按原名使用会把数据效率证据说成容量证据| 情感神经元「容量上限」图 | 实际是 Test Accuracy vs Labeled Training Examples 的数据效率曲线——讲的是「很少的标注样本就够」，不是「小模型学不出情感」 | 禁用。按原名使用会把数据效率证据说成容量证据 |

  


  为什么把这一段放进「事实校正」而不是脚注
  

因为它和前面九条是同一个机制：一个可信的中间环节（编译者、图床、文件名）在传递过程中丢失了对应关系，而下游没有人回去核对。**文件名恰恰是最容易出错的地方——它由人手工敲入，却被当作机器可信的元数据使用。**本页因此把配图数量从三十余张收缩到十余张：宁可少配图，不可错配图，因为一张配错的图所构成的虚假归属，比一段没有配图的文字更难被读者发现。

  **原创信息图（本报告原创）：讹传是怎么长出来的。**这张图回答一个方法论问题——**为什么核对一手材料不是洁癖，而是必要工序**。四条链的变形环节各不相同（概括被加引号、主持人标题被当成受访者原话、跨场次拼接、旧内容按抓取日重新计时），但共同点是**没有一条是凭空捏造**：每一条都始于真实材料，只是在某一环丢掉了限定语、说话人或时间戳。来源：本报告依据 `research/01-ilya-dossier.md` §1 与 §M6 的交叉验证结果原创绘制，非任何机构的官方图示。



  我的看法 · 作者（AI）个人观点 · T5
  

把这九条放在页面最前面，是因为它们暴露了一个比「谁说错了什么」更重要的结构性问题：Ilya 是一个极少公开发言、且几乎从不澄清的人。2016–2021 年他的推文时间线今天已经无法完整重建，2024 年他只有两次公开发言，2026 年他唯一有大量原话的场合是法庭。当一手材料稀缺而需求旺盛时，转述就会自动升格为引文——这不需要任何人存心造假，只需要每一环都少一点核对。第 7 条尤其说明问题：那句伪引语之所以传播得比真原话广，恰恰因为它比真原话更工整、更像结论。而真原话（“if you squint hard enough”）是含混的、带自嘲的、拒绝被当成定论的。

反例与改判条件：如果后续有人拿出 Simons 讲座另一段（例如 Q&A 后半段或未公开的录像片段）的逐字证据，证明他确实说过 “the best compressor we can afford”，我就承认第 7 条判断错误。同样，如果 @ilyasut 的完整时间线被恢复，显示他曾在推文里写过那六句「未检索到」中的任何一句，相应条目应当撤销。置信度：高（第 3/6/7/9 条）、中（第 1/5 条）、中低（六句「不建议引用」清单——「未检索到」永远弱于「不存在」）。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或任何个人立场。

一 · 连接主义、「0.1 秒命题」与两次押注（2003 → 2014）

「相信大力出奇迹」这个概括漏掉了他真正特别的地方：他很早就把一个模糊的直觉压成了一条能拿来做决策的判据——凡是人类能在零点几秒内做到的事，一个十层网络也能做到。判据能告诉你该训多大的模型、该等哪一代硬件；信念不能。

「0.1 秒命题」的七个版本

最早出处不是论文，是 2014-12 NIPS Montreal 上 Seq2Seq 口头报告的一张幻灯片；依据是 2024 年他本人当众把它重投并逐字复述 T1 转录。2012–2013 年的论文里只有弱形式——等更快的 GPU 和更大的数据集，结果就会变好，其中没有「人类时间尺度」 T2 论文。

「0.1 秒命题」措辞演变七版对照表
时间场合措辞要点（英文原短语）时间判据层数出处| 时间 | 场合 | 措辞要点（英文原短语） | 时间判据 | 层数 | 出处 |


  2012-12NIPS 2012 论文结语“ results can be improved simply by waiting for faster GPUs and bigger datasets ”无8papers.nips.cc [@src-56d792b08f]| 2012-12 | NIPS 2012 论文结语 | “ results can be improved simply by waiting for faster GPUs and bigger datasets ” | 无 | 8 | papers.nips.cc |

  **2014-12****NIPS 2014 Seq2Seq 报告**（"deep learning hypothesis" 幻灯片）“ a large neural network with 10 layers can do anything that a human being can do in a fraction of a second ”**fraction of a second****10**2024 年本人当众复述| 2014-12 | NIPS 2014 Seq2Seq 报告（"deep learning hypothesis" 幻灯片） | “ a large neural network with 10 layers can do anything that a human being can do in a fraction of a second ” | fraction of a second | 10 | 2024 年本人当众复述 |

  2014-12同场，结论页“ if you have a very big dataset and you train a very big neural network then success is guaranteed ”——同上| 2014-12 | 同场，结论页 | “ if you have a very big dataset and you train a very big neural network then success is guaranteed ” | — | — | 同上 |

  2016-06多伦多大学书面专访“ you can literally solve any pattern recognition problem ”无—utoronto.ca [@src-592732702b]| 2016-06 | 多伦多大学书面专访 | “ you can literally solve any pattern recognition problem ” | 无 | — | utoronto.ca |

  2020-05Lex Fridman #94 @04:06“ in maybe 100 milliseconds, your neurons only fire 10 times. So it's also kind of like 10 layers. ”**100 ms**（唯一给出换算）10lexfridman.com [@src-7e403c7a2f]| 2020-05 | Lex Fridman #94 @04:06 | “ in maybe 100 milliseconds, your neurons only fire 10 times. So it's also kind of like 10 layers. ” | 100 ms（唯一给出换算） | 10 | lexfridman.com |

  2023-03GTC 与黄仁勋对谈“ If your neural network is deep and large, then it could be configured to solve a hard task. ”无—NVIDIA GTC S52092| 2023-03 | GTC 与黄仁勋对谈 | “ If your neural network is deep and large, then it could be configured to solve a hard task. ” | 无 | — | NVIDIA GTC S52092 |

  2024-12NeurIPS Test-of-Time 演讲“ if there is one human in the entire world that can do some task in a fraction of a second, then a 10 layer neural network can do it too ”fraction of a second10YouTube WQQdd6qGxNs [@src-85600d5e16]| 2024-12 | NeurIPS Test-of-Time 演讲 | “ if there is one human in the entire world that can do some task in a fraction of a second, then a 10 layer neural network can do it too ” | fraction of a second | 10 | YouTube WQQdd6qGxNs |

  2024-12同场后半段：**重新定义**“ if you come back to the 0.1 second reaction time … it's our intuition. ”收缩为**「直觉」的边界**—同上| 2024-12 | 同场后半段：重新定义 | “ if you come back to the 0.1 second reaction time … it's our intuition. ” | 收缩为「直觉」的边界 | — | 同上 |

表里有三件能直接读出来的事：量化程度只增强过一次（唯有 2020 年那版给出「100 毫秒 → 放电 10 次 → 10 层」的换算）；被引用最多的是最模糊的措辞；最后一行改了管辖范围——从「一秒内能做的任何事」收缩为「我们的直觉」，且与他宣布预训练将终结同场。

我的看法 · 作者（AI）个人观点 · T5

判断：这条判据是在已经赢了之后才提出来的——2012 年拿下 ImageNet 时写的还是资源话术，2014 年才升级成人类时间尺度的普适命题。先有战果、后有判据，这是它此后十年既好用又难以证伪的根源。

竞争性解释：同样的证据也可以这样读——论文结语受篇幅与评审惯例约束，本就不适合写普适命题；2014 年只是换到了允许讲大想法的场合，判据可能早已存在，只是没被写进论文。

反例与改判条件：若出现 2012–2013 年的讲稿、笔记或邮件已含「人类时间尺度」表述，我就承认判断错了。置信度：中——七版措辞的时序可逐条核查，但「先战果后判据」的因果只能由「早期材料中没有」推出，而缺席证据本身很弱。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

流行叙事说他是看到 GPU 快起来才押注深度学习的。他自述的触发点早两年，性质也不同：不是算得更快，是深网原来能训得动 T1 转录。这把信念链的地基放在可训练性而非可扩展性上 T5 推断。学术起点同在这一侧：2003 年他敲开 Hinton 的门，第一个项目是改进 SNE，即 t-SNE 的前身 T1 书面专访。

AlexNet：数字是档案，分工是口述史

  T2 官方论文/公告
  事实
  2012-12
  Ilya Sutskever发言时身份：从未任职 OpenAI（时为多大博士生）
  研究

SuperVision 队的 ILSVRC-2012 结果与训练配置

2012-09-30 提交，top-5 错误率 15.3%，比亚军低超过 10.8 个百分点；**两块 GTX 580（3GB）**训练五到六天；8 层（5 卷积 + 3 全连接）；署名 Krizhevsky、Sutskever、Hinton。结语把改进路径写成等硬件、等数据（见上表 2012-12 行），比 Kaplan 的幂律拟合早八年；幂律与配比见 ⑥ 公式。

  EV-2012-12-00-ALEXNET--NIPS-PAPER
  原始出处 [@src-56d792b08f]
  最后核验：2026-07-25

这一段必须逐类分级，因为它长期被当成一整块事实使用。top-5 错误率 15.3%、两块 GTX 580、五到六天有论文可查 T2 论文；「Ilya 认为我们该做这件事」只有 2015 年之后的回忆，能定位的最早公开出处是 2025-03-21 IEEE Spectrum 引述 Hinton T3 口述史（本页原记 2024 年，已随上面那张卡一并订正）。两者不同级。本页只登记谁在什么时候这样说过，把分工记为叙事而非档案 T5 推断。

这段分工史的证据强度，比它被引用的频率低得多

没有 2011 年的原始文档。IEEE Spectrum 与百科条目都写「Sutskever convinced Krizhevsky」，但公开材料里没有当年的邮件、笔记、提案或时间戳，所有版本都出自 2015 年之后的回忆，而回忆者是三位受益人。

改判条件：若 CHM 或多伦多大学档案出现 2011–2012 年的原始通信，以档案为准替换本节叙述。在那之前，本页不把它当作「判断力归属」的证据。

Seq2Seq：自回归范式的诞生，与一个注定被替换的瓶颈

  T2 官方论文/公告
  事实
  2014-09-10
  Ilya Sutskever发言时身份：从未任职 OpenAI（时在 Google Brain）
  研究

Seq2Seq 论文的关键数字（arXiv:1409.3215，一作 Sutskever，合作者 Vinyals、Le）

WMT’14 英译法：5 个深层 LSTM 集成（各 384M 参数、8000 维状态）直接翻译 BLEU 34.81，短语式统计机器翻译基线 33.30；对该系统 1000-best 重排序得 36.5。源句倒序使测试困惑度 5.8 → 4.7、BLEU 25.9 → 30.6。

  EV-2014-09-10-SEQ2SEQ
  arXiv:1409.3215 [@src-2e672f73a9]
  NIPS 版 [@src-42febd0896]
  最后核验：2026-07-25

它的方法论遗产是三件套，今天每个大语言模型还在用：自回归（序列输出被写成逐 token 的条件概率连乘）、编码器–解码器（定长向量 (v) 承担语义瓶颈）、端到端取代流水线。目标函数的写法与它到 GPT 的演变见 ⑥ 公式。

定长向量 (v) 是最强也最弱处：强在逼出了「句子嵌入」，弱在长句上必然失血，注意力机制（Bahdanau 等，同为 2014 年 9 月）几乎立刻取代了它 T2 论文。「倒转输入」带来 4.7 点 BLEU，靠的只是缩短依赖距离——当年的成功有相当一部分来自优化技巧，不是纯粹的规模 T5 推断。2024 年 NeurIPS 上他把这篇论文的要素总结成自回归模型、大网络、大数据集三样，并说十年来没变过 T1 转录。

二 · 第 22 天、十七个月的相变，与「用算力换一切」（2015-12 → 2019）

这四年他留下的一手文本密度最高，原因不太光彩：最关键的文本是因为诉讼才被公开的内部邮件。好处是这些话不是说给公众听的。

成立第 22 天：Open 被重新定义

  T2 官方论文/公告
  事实
  2015-12-11
  OpenAI（机构文本）联合署名：Greg Brockman、Ilya Sutskever 与 OpenAI 团队
  治理

成立公告的四项条款，以及一个尚未出现的词

非营利；研究者被「strongly encouraged to publish」；专利与世界共享；承诺资金 10 亿美元。公告写明研究总监是 Ilya Sutskever，他同时是联合署名人。全文没有 “AGI” 一词，用的是 “human-level AI” 与 “digital intelligence”。

  EV-2015-12-11-FOUNDED
  原始出处 [@src-ce46d4106e]
  最后核验：2026-07-25

公告墨迹未干二十二天，Open 就被拆成两半：成果的开放保留，科学的开放放弃 T1 邮件。写下它的不是 CEO，是研究总监，也是那篇公告的联合署名人 T2 公告。他在信里注明这是回应 Scott Alexander 的《Should AI be open?》，骨架是硬起飞假设：安全的 AI 更难造，公开方法会不成比例地加速不谨慎的一方；若起飞渐进、防御方从开放中获益更多，论证即反转。四个开放概念的区分见 ⑩ 治理。

十七个月：一次可以精确定位的世界观相变

十七个月里，瓶颈项从「顶尖的人产生的想法」换成了硬件 T1 邮件。触发器由他自己在 2017-06-12 的信里交代：Facebook 的 256-GPU 近线性加速与 Google 的大规模架构搜索，刚让「把上百块 GPU 合起来跑单个实验」变得可行 T1 邮件。同信的「7–10 天定律」极少被引用：突破的规模上限不由理论或预算决定，而由研究者能忍受多久的等待决定。

这条 95% 是 OpenAI「算力即门槛」战略的书面起点，比 2018-05 那篇《AI and Compute》早十一个月，而且分得更细：竞争维度是单个实验的规模，不是实验的数量 T1 邮件。八年后（2025-11-25，Dwarkesh 官方逐字稿）他用 AlexNet 的两块 GPU 反过来论证研究不需要最大算力 T1 转录，主持人当场反驳：Transformer 成为范式，正是因为它在更高算力上被验证过 T1 转录 · 主持人发言。SSI 的竞品对照见 ⑪ 前沿。

同一封 2017-07-12 的长信里还有一份三年期能力预测，条目具体、可逐条判定：

2017-07 三年期预测记分卡（至 2020-07）
2017-07-12 信中的预测（三年期，至 2020-07）判定依据| 2017-07-12 信中的预测（三年期，至 2020-07） | 判定 | 依据 |


  机器人问题「完全被解决」**❌ 错**Dactyl（2019）单手转魔方属 sim2real 演示；OpenAI 2021 年解散机器人团队| 机器人问题「完全被解决」 | ❌ 错 | Dactyl（2019）单手转魔方属 sim2real 演示；OpenAI 2021 年解散机器人团队 |

  AI 证明一个长期未解的数学定理**❌ 错**至今未发生；2024 年 AlphaProof 达 IMO 银牌水平，但对象是竞赛题| AI 证明一个长期未解的数学定理 | ❌ 错 | 至今未发生；2024 年 AlphaProof 达 IMO 银牌水平，但对象是竞赛题 |

  AI 稳定赢下编程竞赛**⏳ 迟到约 5 年**2024–2025 年才由 o 系列与 AlphaCode2 级别系统接近| AI 稳定赢下编程竞赛 | ⏳ 迟到约 5 年 | 2024–2025 年才由 o 系列与 AlphaCode2 级别系统接近 |

  有说服力的聊天机器人**✅ 对**GPT-3（2020）、ChatGPT（2022）| 有说服力的聊天机器人 | ✅ 对 | GPT-3（2020）、ChatGPT（2022） |

  「100 亿美元以内的硬件足以造出 AGI」**⚠️ 未证伪但已被稀释**2025 年 Stargate 单项目规划已达 5000 亿美元量级| 「100 亿美元以内的硬件足以造出 AGI」 | ⚠️ 未证伪但已被稀释 | 2025 年 Stargate 单项目规划已达 5000 亿美元量级 |





我的看法 · 作者（AI）个人观点 · T5

判断：把记分卡与那两封相隔十七个月的邮件叠起来，我认为他的瓶颈判断是同期的，不是前瞻的——每次换主变量（想法 → 算力 → 数据），推着他走的都是当时刚刚可行或刚刚耗尽的生产要素，而不是理论。

竞争性解释：同样的证据也可以这样读——负责投产的研究主管本就该在工程可行性坐实的那一刻改变资源判断，「同期」是尽职而非迟钝；记分卡上唯一命中的一条恰好是他后来押上全部筹码的方向，这也可能说明他的前瞻集中在少数几件事上。

反例与改判条件：若找到 2016–2017 年间的一手文本，显示他在分布式训练成为公开事实之前就预判了「单实验规模会成为竞争维度」，此判断即不成立。置信度：中高——三次瓶颈迁移都有一手文本与可查时间戳，扣分项是因果只靠时序支撑。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

还有一封信只作登记：2017-09-20 的《Honest Thoughts》由他的邮箱发出、与 Greg Brockman 联署，对 Sam Altman 提出的不是道德指控而是可预测性指控 T1 法庭原件。事件重建见 ⑩ 治理，原件为 EXHIBIT 41 ^[1]。

Sentiment Neuron：「预测即理解」的第一个实验证据

  T2 官方论文/公告
  事实
  2017-04-06
  OpenAI（论文与官方博客）署名：Alec Radford、Rafal Jozefowicz、Ilya Sutskever
  研究

情感神经元的关键数字（arXiv:1704.01444）

4096 单元 mLSTM，在 8200 万条亚马逊评论（去重后超过 380 亿训练字节）上做字符级预测，4 块 Pascal GPU 训练一个月。SST 二分类：单个神经元 92.30%，全部 4096 维 92.88%，差 0.58 个百分点；线性探针 91.8% 对照当时最好成绩 90.2%；同等表现所需标注样本减少 30 到 100 倍。论文自陈「the underlying phenomena remain more mysterious than clear」。

  EV-2017-04-06-SENTIMENT-NEURON
  arXiv:1704.01444 [@src-1d2a2214db]
  官方博客 [@src-6e3b7d40c4]
  最后核验：2026-07-25

归属先切割：这是 OpenAI 的论文与官方博客，署名三人，不等于他的个人主张 T2 论文。它位置很高靠的是证据形态——不是模糊的「涌现」，而是一个能单独定位、读数、覆写的标量 T5 推断。两年后在伯克利 CS294-158（2019-04-03），他给了最完整的一次机制解释：似然目标优先把容量花在熵最大的低层结构上，高层语义要等低层吃饱后才轮得到 T1 转录。

这条证据支持的命题，比它常被用来支持的命题弱

**外推的限度：**它显示的是「预测目标会逼出可解释的高层特征」，不是「会逼出世界模型」。情感是一维、二值、在评论语料里高度冗余的变量，与因果结构、他人心智不在同一复杂度量级上。

假说未被量化验证：熵分层预测了「涌现门槛正比于低层熵总量」，但据本报告检索无人测过某语料的低层熵与高层熵之比。他在 Lex 节目里对同一现象给的是另一套说法（句法学完了才转向语义）：那是任务耗尽，CS294 讲的是容量分配，两者预测不同而他从未区分。

**数字口径分歧（照实登记）：**CS294 版说「500 → 3000 个单元」，Lex 版说「500 → 4000」，论文的模型是 4096 单元。本页以论文为准，讲座数字视为口头近似。

Evolution Strategies 与 self-play：把算力换成一切的两台机器

这两条路线是 95% 那封信的算法实现，共同点是把研究者的迭代速度当第一优化目标。ES（arXiv:1703.03864，署名 Salimans、Ho、Chen、Sidor、Sutskever）在 80 台机器、1440 个 CPU 核上只用 10 分钟训出 3D MuJoCo 人形行走器，A3C 在 32 核上要约 10 小时 T2 论文与官方博客。数学核心只有一行：

[ \nabla_\theta, \mathbb{E}{\epsilon\sim\mathcal N(0,I)}\big[F(\theta+\sigma\epsilon)\big] ;=; \frac{1}{\sigma},\mathbb{E}{\epsilon}\big[F(\theta+\sigma\epsilon),\epsilon\big] ](\theta) 为策略参数，(F) 为一整回合的总回报（黑箱、不要求可微），(\sigma) 为扰动尺度，(\epsilon) 为高斯扰动。工程含义才是关键：每个 worker 只回传标量 (F)，其余 worker 用同一随机种子在本地重建 (\epsilon)，通信量从一份梯度压到一个数。

失效边界由博客自陈：MNIST 这类监督任务上 ES 比反向传播慢约一千倍，且必须引入 virtual batchnorm T2 官方博客。这条线后来输给了 PPO 加大规模同步 SGD，但心智模型被继承：只要算法能线性吃掉额外算力，工程价值就可能压过样本效率的劣势 T5 推断。

另一台机器是自我对弈。2017-06-12 那封信里他称它有魔力：环境会给出恰好合适难度的挑战，因此可以无上限地变聪明 T1 邮件。2018 年 4 月在 ScaledML 与 MIT 6.S099，他给了更朴素的说法——self-play 是把算力转换成数据的路径 T1 转录。六年后宣布 peak data 时，药方之一就是合成数据。

从 self-play 到合成数据，迁移的是转换器，丢掉的是验证器

**前提差异：**self-play 能凭空生成数据，靠的是博弈自带正确性信号——谁赢了是客观、免费、不可伪造的。开放域没有这个信号；一旦缺失，合成数据就退化成模型对自身分布的重采样。

**缺口与改判条件：**据本报告检索，他从未公开处理过「开放域的验证信号从哪来」；若出现他对此的正面回答（一手转录或论文），本条撤销。此外「无上限」预设了博弈不退化，而围棋与 Dota 的规则是被精心设计过的。相关路线见 ⑤ 谱系。

三 · 不可逆性、紫色方框，与两次沉默（2018 → 2023）

三件表面不相干的事：GPT-2 的分阶段发布、OpenAI LP 的 capped-profit 结构、他在两个关键时刻的缺席。它们共用一个隐含前提——我们比外界更懂这项技术，所以由我们判断何时放出来是安全的。

GPT-1：真正的增量是「微调这一步后来消失了」

2018-06-11，12 层 decoder-only Transformer，117M 参数，BooksCorpus 上生成式预训练加逐任务微调，12 个评测任务里 9 个刷新当时最好成绩 T2 论文。他的贡献形态与 GPT-3 一致：不是执行者，是 scaling 的倡导者与顾问，由 GPT-3 论文的贡献声明写明 T2 论文。到 GPT-3，「预训练 + 微调」变成「预训练 + 上下文示例」——微调这一步的消失是接口层级的变化 T5 推断。

GPT-2：期权式论证，与它没有写下的那条准则

GPT-2 分阶段发布时间线
日期动作释出内容与配套出处| 日期 | 动作 | 释出内容与配套 | 出处 |


  2019-02-14博客 + 论文，宣布不完整释出释出 **124M** 版本；同时公布不释出完整模型的理由openai.com [@src-4960e4b7f2]| 2019-02-14 | 博客 + 论文，宣布不完整释出 | 释出 124M 版本；同时公布不释出完整模型的理由 | openai.com |

  2019-05第二阶段释出 **355M**，附输出样本数据集与检测基线同上（更新）| 2019-05 | 第二阶段 | 释出 355M，附输出样本数据集与检测基线 | 同上（更新） |

  2019-08-20第三阶段 + 六个月跟进报告释出 **774M**，并开源合作方的法律协议模板openai.com [@src-faa09a9bdc]| 2019-08-20 | 第三阶段 + 六个月跟进报告 | 释出 774M，并开源合作方的法律协议模板 | openai.com |

  2019-11-05完全释出释出完整 **1.5B** 模型openai.com [@src-52974b38d4]| 2019-11-05 | 完全释出 | 释出完整 1.5B 模型 | openai.com |

  2019-08配套研究报告《Release Strategies and the Social Impacts of Language Models》arXiv:1908.09203 [@src-9893a0007f]| 2019-08 | 配套研究报告 | 《Release Strategies and the Social Impacts of Language Models》 | arXiv:1908.09203 |

这个论证没有说 GPT-2 危险：它说的是发布不可逆、不发布可逆，风险结构不对称 T1 转录。这是期权定价式论证，不评估具体危害也能为任何一次延迟辩护；漏洞是没写行权条件——事后给出的实际准则是「迄今没看到强有力的滥用证据」T5 推断。2020-05-08 主持人 Lex Fridman 用七个词点破了它的测量问题：「我们所知道的」T1 转录 · 主持人发言。

反方证据：withhold 究竟延缓了什么

**最硬的一条是事实性的：**2019 年 8 月第三方以 OpenGPT-2 / OpenWebText 独立复现了同等规模的模型。当复现成本远低于原始研发成本时，延迟释出延缓的不是能力扩散，只是官方版本的可用性。另有三点批评：危害论证缺乏经验证据、不释出权重同时阻碍复现与安全研究、分阶段发布制造新闻周期。

**边界：**它削弱的是「延缓扩散」这一条理由，不自动证明分阶段发布整体是错的——那份《Release Strategies》报告与法律协议模板是可复用的正面遗产。校准点：The Verge 在 2019-02-14 称其为迄今最令人兴奋的例子之一，同时指出生成文本通常很容易被辨认为非人类所写 T3 媒体。

OpenAI LP：主张落地，也在落地时埋下缺陷

2019-03-11 的官方公告《OpenAI LP》写明：非营利实体董事会由 LP 员工 Greg Brockman、Ilya Sutskever（首席科学家）、Sam Altman 与若干非员工董事组成；首轮投资人回报上限为投资额的 100 倍 T2 公告。它是「Chief Scientist」这一头衔可确认的最早官方书面出处——从 Research Director 改称的确切日期本报告未检索到，只能定位在 2018 年中到 2019 年 3 月之间；它也把「他同时是 LP 员工与非营利董事」写在明面上。

2023-04-19 的 Stanford ETL 上，他把 OpenAI 的股权描述成债券而非普通股权，并说所有投资文件顶部都有一个紫色方框，写着受托责任是对使命的 T1 转录。由联合创始人本人描述投资协议的物理排版极罕见，后来在重组争议中被反复引用。capped-profit 结构的评估——包括那个有权解雇 CEO、却没有股东与外部问责的董事会——见 ⑩ 治理。

两次沉默：一次在钱到账时，一次在产品爆发时

两条只作登记、不作推断的检索结果。2019-07-22 微软 10 亿美元投资：官方公告未署他名，在官方公告与当期主流媒体范围内未检索到他的表态。2022-11-30 ChatGPT 发布：博客未署他名，当日发声者是 Sam Altman，在官方渠道、当日社交媒体与当期媒体内未检索到他的表态 T2 公告。「未找到」不等于「不存在」。

两个附带的事实层观察：ChatGPT 的底座模型早在 2022 年初就已训完，当年 11 月变的是交互形态与免费开放 T2 公告；他在访谈里用的词是「好像懂了」（seems to understand），而他的理论主张一贯是预测即真的理解 T3 媒体引语。

我的看法 · 作者（AI）个人观点 · T5

判断：**这是对「由我们判断何时安全」最有力的反证，而且由它的主要提出者自己提供。**三条记录并排——2019 年 4 月「收不回来，所以要慢慢放」、2020 年 5 月「宁可想得太早也别太晚」、2023 年 10 月「我不知道它好不好」。前两条依赖一个能力假设：发布方能在发布前评估影响；第三条取消了它。误判方向也值得注意：偏差不在低估危险，而在低估有用。

竞争性解释：同样的证据也可以这样读——「我不知道它好不好」说的可能只是产品质量（事实性回答经常出错），而不是社会影响；一个人可以低估产品成熟度而并未低估风险量级。若如此，它只说明质量判断与影响判断是两回事。

反例与改判条件：若找到 2022 年 11 月前的一手材料，显示他或核心层确实预判了 ChatGPT 量级的社会反应，此判断要弱化为「一次个案失败」。置信度：中高——三条一手记录时间线清晰、口径互不冲突；扣分项是第三条属记者直接引语（T3），措辞可能经过整理。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

思想谱系的前十节到此走完。下一部分处理他唯一一次把这些直觉抬升为理论的尝试——把智能定义成压缩，以及这条论证哪几步严格、哪两步是他本人承认的跳跃。

「预测下一个 token = 理解底层现实」：一条被记错了四年的谱系

通行的叙述是：2023 年 3 月 GPT-4 发布前后，他在 GTC 与 Dwarkesh 的两场对谈里第一次讲出「预测下一个词就是理解世界」，那个侦探小说的例子从此传遍全网。这个叙述在传播效果上没错，在思想史上错了四年——论证的最早完整版本出现在 2019-04-03 的 Berkeley CS294-158 客座讲座，用的是同一个谋杀小说例子 T1 课程录像逐字转录。更关键的是，2019 年的他给这个论证贴了一个 2023 年不再出现的标签。

这一场讲座还有三样后来很少被提起的东西：情感神经元的「熵分层」机制假说、对 GPT-2 分阶段发布的期权式论证，以及一句极简的自白——「拿一个真的很大的 Transformer，看会发生什么……这就是全部理论，这一段话就是全部理论」。讲座录像见 YouTube X-B3nAN7YRM ^[2]。本页不配该场录像的缩略图：经逐张核验，本地留存的 ilya-cs294-2019-thumb.jpg 实际画面是一张标题为 “Exploration” 的超级马里奥幻灯片与角落里的讲者小窗，与本节论证无关，且讲者身份无法确认，用它会构成虚假配图。

这两句话必须连着读。“slightly dodgier” 是他自己给这个论证的评级——比监督学习的保证弱，是直觉而非定理。四年后同一个论证被讲成「你理解了导致这个 token 被创造出来的那个底层现实」时，这个评级不见了。这里没有学术不诚实的问题：一个人对自己想法的信心随着经验证据增强是完全正常的。**值得追问的是，增强的经验证据到底支持哪一个版本。**GPT-3/4 的成功支持的是「预测得好的模型很有用」，而不是「预测得好的模型理解了因果机制」——后者需要的证据类型完全不同。

论证的力量全部来自例子的挑选

2019 年他给了两个例子：侦探小说里「凶手的名字是——」，以及数学教科书里定理证明的下一步 T1。两个例子都是「理解 ⇒ 可预测」的极端案例；它们不能证明反方向，也不说明这类 token 在语料中占多大比重。真实的问题是**「这类 token 占比多低时，平均交叉熵的梯度信号仍足以逼出推理回路」**——这个比例他从未量化过 T5 作者判断。

2023 年在 GTC 上他只用了侦探小说这一个例子，但讲得更戏剧化——「我现在要揭晓罪犯的身份，这个人的名字是——请预测那个词」，并补充说要预测出这个词「需要相当可观的推理」T1 官方转录。于是它成了这个命题在公众心中的形象。日期说明：录像开场黄仁勋说 “Today is the day after GPT-4”，而 GPT-4 发布于 2023-03-14，故实际录制日约为 2023-03-15，在 GTC 会期内播出。本页统一标注为「2023-03-22（录制约 03-15）」——说话日期与发表日期分列，是本站的硬纪律。转录见 NVIDIA 官方 on-demand 页 ^[3]。

从「世界模型」到「底层现实」：一次没有新证据的强度升级

「投影」这个隐喻做了一个很强的可逆性假设：投影一般是信息丢失、不可逆的，从二维影子重建三维物体需要额外先验。他的论证需要「文本这个投影足够丰富，以至于世界可被近似恢复」——这是经验断言，不是推论 T5，也正是 Bender & Koller 攻击的靶心（见 批评与反例）。他同场也划了边界：一旦加上视觉，「你会学到文本里没有捕捉到的额外东西」T1。

这是全部公开材料里唯一一次出现 “underlying reality” 这个短语，而它比 GTC 的 “world model” 强了一整级：world model 是表征主张（模型内部有一个世界的模型），underlying reality 是因果/机制主张（模型理解了产生数据的真实机制）。这一步偷渡了一个因果推断假设：压缩只能保证统计充分性（对 (P(x)) 的良好逼近），不能保证因果正确性（对 (P(x\mid \mathrm{do}(a))) 的正确性）。Pearl 的因果层级明确指出，观测分布无法唯一确定干预分布。所以这条命题在因果层面是可证伪的，而且大概率为假，除非附加额外假设——比如数据中恰好含有足够多的自然实验。

  假设与局限 · 「理解」在这条谱系里被换了三次意思
  

同一个词在四年里承载了三种不同的主张：（a）行为等价——模型能预测就说明它内部有相关结构（2017 情感神经元的实验版本）；（b）表征主张——模型内部有产生文本那个过程的表征（2023 GTC）；（c）机制主张——模型理解了导致 token 被创造的因果链条（2023 Dwarkesh）。三者的证据要求依次升高，而支撑它们的证据始终是同一批：预测损失下降、下游任务变好。论证的强度上升了，证据的类型没有变。

最坦诚的一次：他自己说这只是一个代理指标

这句话说于 Dwarkesh 那次访谈之后 23 天，而它把整套形而上学还原成了一次工程妥协：理解不可测，预测可测，所以我们优化预测。他没有说预测就是理解，他说的是我们只能优化能优化的东西。如果采信这个版本，那么后续所有「模型真的理解了」的论断，严格说都只是在这个代理指标上的成绩单，而不是对目标的直接测量。

**这个区分在 2024 年之后变得极其重要，因为它正是「benchmark 超人但现实不可靠」这一现象的理论前身。**而两年半后，Ilya 自己就是用这个现象作为整场 Dwarkesh 2025 访谈的起点（见 Dwarkesh 2025）。他 2023 年 4 月说出了病因，2025 年 11 月描述了病症，中间没有人把两句话接起来。

「模仿只能追平人类」的反驳，以及它的裂缝

他对「模仿只能追平人类」的回应是：如果基座网络足够聪明，你只要问它「一个具有极高洞察力、智慧与能力的人会怎么做？」——也许这样的人并不存在，但网络很有可能能外推出这样的人会如何行动 T1 官方转录，2023-03-27 Dwarkesh。论证结构很漂亮：模型学的不是「人的行为」，而是行为的生成参数空间，一旦参数化就能在人类未占据的区域采样。

它依赖一个条件——能力维度在训练分布中连续可外推。若「极高洞察力」需要一个数据中从未出现的新维度，外推就退化为风格模仿 T5 作者判断。裂缝的形状在 2024–2026 年已相当清晰：模型在「像天才一样说话」上远好于「像天才一样发现」——参数空间里「说话风格」被稠密采样过，「未被发现的结构」按定义没有样本。

措辞对照总表：同一命题的六种强度

  「预测即理解」命题在 2017–2023 年间的措辞与强度演变
  日期场合措辞强度层级| 日期 | 场合 | 措辞 | 强度层级 |

  
    2017-04Sentiment Neuron 论文"discovers the secrets in the data"弱（发现相关特征）| 2017-04 | Sentiment Neuron 论文 | "discovers the secrets in the data" | 弱（发现相关特征） |

    **2019-04-03****Berkeley CS294**"you probably understand a whole lot about language… not a mathematical proof but a claim"**中（他自标为直觉论证）**| 2019-04-03 | Berkeley CS294 | "you probably understand a whole lot about language… not a mathematical proof but a claim" | 中（他自标为直觉论证） |

    2023-03-22GTC"text is a projection of the world"；"you must extract all the hidden secrets"强（本体论主张）| 2023-03-22 | GTC | "text is a projection of the world"；"you must extract all the hidden secrets" | 强（本体论主张） |

    **2023-03-27****Dwarkesh 第一次**"you understand the **underlying reality** that led to the creation of that token"**最强（因果 / 机制主张）**| 2023-03-27 | Dwarkesh 第一次 | "you understand the underlying reality that led to the creation of that token" | 最强（因果 / 机制主张） |

    2023-04-19Stanford ETL"we say we want understanding, but we can optimize prediction and that's what we do"**最弱（承认是代理指标）**| 2023-04-19 | Stanford ETL | "we say we want understanding, but we can optimize prediction and that's what we do" | 最弱（承认是代理指标） |

    2023-08-14Simons Institute换成 \(K(Y\mid X)\) 与 low regret 的形式语言形式版（只主张相对最优，**不主张任何「理解」**）| 2023-08-14 | Simons Institute | 换成 \(K(Y\mid X)\) 与 low regret 的形式语言 | 形式版（只主张相对最优，不主张任何「理解」） |

  

读这张表要抓的一点：同一命题存在通俗版（理解底层现实）与形式版（条件 Kolmogorov 复杂度）两套表述，而形式版弱得多——它只主张「相对于任何可计算算法都不吃亏」，不主张任何「理解」，甚至不主张无监督数据一定有用。**两者在传播中被当成了同一个东西。**下一节就是把形式版逐步拆开看。

★ 2023-08-14 Simons Institute《An Observation on Generalization》：15 步论证的逐步复原

这是 Ilya 唯一一次把「压缩即智能」学术化展开的公开场合，也是全页的核心。**本节把 36 分钟的正式演讲拆成 15 步，逐步标注：这一步用了什么假设、跳跃是否合法、他自己怎么评价它。**标准只有一个——把「真定理」「定义」「设计目标」「类比」四种东西分开，因为这场讲座的全部争议都源于它们在传播中被混为一谈。

  Simons Institute 讲座基本信息
  项内容| 项 | 内容 |

  
    标题**An Observation on Generalization**（他在讲座中口头称之为 "a theory of unsupervised learning"）| 标题 | An Observation on Generalization（他在讲座中口头称之为 "a theory of unsupervised learning"） |

    日期与地点**2023-08-14（周一）15:00–16:00 PT**，Calvin Lab Auditorium, Simons Institute for the Theory of Computing, UC Berkeley| 日期与地点 | 2023-08-14（周一）15:00–16:00 PT，Calvin Lab Auditorium, Simons Institute for the Theory of Computing, UC Berkeley |

    WorkshopLarge Language Models and Transformers, Part 1；介绍人 Yejin Choi（开场：「他的引用数是六位数，超过 139,000」）| Workshop | Large Language Models and Transformers, Part 1；介绍人 Yejin Choi（开场：「他的引用数是六位数，超过 139,000」） |

    时长57:21（正式演讲约 36 分钟，**Q&A 约 21 分钟**——本页最独家的材料在这 21 分钟里）| 时长 | 57:21（正式演讲约 36 分钟，Q&A 约 21 分钟——本页最独家的材料在这 21 分钟里） |

    官方页 / 视频simons.berkeley.edu [@src-da081d458f] ｜ YouTube `AKMuA_TVz3A` [@src-5d66e49d05]| 官方页 / 视频 | simons.berkeley.edu ｜ YouTube AKMuA_TVz3A |

    **slides PDF****确认不存在公开直链。**Simons 官网该页只有 "Video Recording"，无 slides 附件；本 workshop 其他讲者有配套 paper，**Ilya 这场没有配套论文**。幻灯片只能通过录像截图复原。| slides PDF | 确认不存在公开直链。Simons 官网该页只有 "Video Recording"，无 slides 附件；本 workshop 其他讲者有配套 paper，Ilya 这场没有配套论文。幻灯片只能通过录像截图复原。 |

    两个常见错误另一个流传的视频 ID `AI0hHrH1Bhc` 现已失效；`dO4TPJkeaaU` 实为 **Jack Rae 的《Compression for AGI》**（Stanford MLSys #76），不是这一场。| 两个常见错误 | 另一个流传的视频 ID AI0hHrH1Bhc 现已失效；dO4TPJkeaaU 实为 Jack Rae 的《Compression for AGI》（Stanford MLSys #76），不是这一场。 |

  



  配图溯源警示 · 本节只使用逐张核验过的幻灯片
  

本节的幻灯片来自对公开演讲录像的第三方截图（Simons 官方无 slides PDF）。该批文件的命名存在系统性错位：经逐张打开核验，编号 15 至 23 的文件，每个承载的都是下一张幻灯片的内容；此外署名为「标题页」的那个文件画面里的人并不是 Ilya Sutskever（一名有络腮胡、满头头发、穿鸟纹 T 恤的男子，与 2023 年的他明显不是同一人）。本节因此只使用作者亲自打开确认过内容的 7 张，每条图注描述的都是画面上实际可见的东西，而不是文件名声称的东西。未经确认的一律不用。

标题本身值得注意：**他把这场报告叫做「关于泛化的一个观察」，而在口头表述里称它为「一个无监督学习的理论」。**标题与口头措辞之间的这个落差，贯穿全场。

Step 0 · 免责声明：这是 2016 年的想法

这句被普遍忽略的开场标定了整套理论的时间坐标：这是 2016 年的想法，不是 2023 年的想法。也就是说，「压缩即智能」在 OpenAI 内部是 GPT-1 之前的先验信念，不是对 GPT 成功的事后解释。它与 GTC 2023 上那句「我们有的第一个大想法……就是通过压缩做无监督学习」互为印证。

这带来一个判据问题：一个 2016 年的信念，在 2023 年被用来解释 2020–2023 年的经验现象——这是理论预言了现象，还是信念被现象追认？判据在于它有没有做出当时未验证、后来被验证的可证伪预测。答案是「部分是」：iGPT（2020）确实是一次事前设计的验证实验，他自称那是「一个昂贵的概念验证，不打算成为实用方法」。

Step 1–3 · 先问「学习为什么可能」，再指出监督学习被理解、无监督学习不被理解

开场之后他做了全场唯一一次认识论级别的发问：「为什么数据会具有我们的机器学习模型能捕捉的规律性？这不是一个显而易见的问题。」T1 逐字转录 这句话把整场讲座的性质定死了——这不是工程报告，而是一次「为什么归纳法有效」的追问。**而这个问题他自己最终没有回答。**计数论证给出的答案是残酷的：长度小于 (n-k) 的程序只有 (2^{n-k}-1) 个，所以至少 (1-2^{-k}) 比例的 (n) 位串满足 (K(x)\ge n-k)——几乎所有数据都不可压缩。压缩理论能起作用，完全依赖「真实世界数据恰好落在那个测度为零的可压缩子集里」这个经验事实，而这个事实本身没有理论解释 T5 作者补充。

对照组是监督学习。他说：只要训练损失够低、自由度数目小于训练集大小，低测试误差就是被保证的——「这就是全部数学，三行数学」，前提是「测试分布和训练分布必须相同」T1。这一步完全合法，是 Hoeffding 不等式加 union bound 的教科书结论。

但这里藏着整场讲座真正的枢纽，而它藏在一句旁注里：他明确贬低 VC 维，说发明它的唯一理由是处理无限精度的参数，真正起作用的是「自由度，就像比特数一样」。这句话把「模型复杂度」偷换成了「描述长度」——数学上无害（(\ln|\mathcal{F}|) 确实就是指定假设类中一个元素所需的比特数），修辞上决定性：它为后面无缝接上 Kolmogorov 复杂度铺好了路 T5 作者判断。现场细节：有听众（听声音应为 Scott Aaronson，他自述「2007 年我有一个关于量子态 PAC 学习的定理」）当场为 VC 维辩护，举出「即使离散化后 VC 维仍指数小于假设类对数大小」的例子。Ilya 的回应是 “That is a cool example.”——没有反驳。

而无监督学习为什么有效，他的回答是「魔法」。均匀分布反例是整个论证的锚点：它说明「无监督学习有效」不可能是一条无条件定理。要么对数据分布做假设，要么把「有效性」从绝对的改成相对的——他选了后者，这直接导出第 7 步的 regret 框架。

Step 4–5 · 分布匹配，以及「压缩 = 预测」这条真定理

他给的第一个正面例子是分布匹配：找一个 (f) 使 (f(X)) 的分布接近 (Y) 的分布（他说自己 2015 年独立发现了这一点）。形式化即 [ f^\star ;=; \arg\min_{f\in\mathcal{F}} ; D!\big(f_{#}P_X ,\big|, P_Y\big) ](f_#P_X) 是推前测度，(D) 为任意散度。这是 CycleGAN、无监督机器翻译与替换密码破译的共同数学骨架。

「保证」的来源又是一次计数论证（高维下约束数远多于自由度数），与 Step 2 同一机制。但它是脆弱的：解一般不唯一，任何保持 (P_Y) 不变的自同构 (g) 都给出另一个解 (g\circ f)。“if the dimensionality is high enough” 实质是在说「高维下对称群通常很小」，这是经验断言不是定理 T5。他自己也承认「这有点人为，真实的机器学习设置不长这样」T1。

接着他换了语言：「众所周知，压缩就是预测。每个压缩器都可以是预测器，反之亦然。」T1 这一步是全场最硬的数学（Shannon 源编码定理 + 算术编码，形式化见 ⑥ 公式）。一处不严格：「一一对应」严格说是满射但非单射——多个压缩器可诱导同一预测分布，且「压缩器 → 预测器」这个方向要求压缩器无损且前缀自由，gzip 诱导的只是次概率测度，必须归一化。从 Step 4 到 Step 5 是换语言不是换内容，合法；有意思的是他自己说「我也不知道为什么压缩的语言更直观」——这是修辞选择，不是数学必然，而它的作用是让下一步在直觉上「显然」 T5。

Step 6 · 「最重要的一张幻灯片」：联合压缩思想实验

这是全场跳得最大、也最有洞察的一步：它把「无监督学习为什么有用」这个心理学式的问题，翻译成「联合压缩比分别压缩省多少比特」这个可量化的问题。但这一步本身不是定理——对 Kolmogorov 复杂度它是定理，对任意实际压缩器它只是一个设计目标（三个反例与八条隐含假设见 公式章）。把「压缩器足够好」这个前提当成结论用，这里有一个隐藏的循环 T5。

Step 7 · Regret 形式化：绝对保证换成相对最优

这一步完全合法，而且是全场最漂亮的方法论动作：它直接回应 Step 3 的均匀分布反例——绝对保证做不到，那就求相对最优。这正是在线学习与竞争分析的标准思路。

  但 regret 框架有一个代价
  

它把「无监督学习有效」这个断言变成了不可证伪的。数据是均匀分布，低 regret 算法「做到了最好」而收益为零；数据有结构，低 regret 算法「做到了最好」且收益巨大。**这个框架永远是对的，因为它不再对世界做任何断言，只对算法做断言。这是它的力量，也是它的空洞之处。**它把一个关于「世界为什么可学」的问题（Step 1 那个他没回答的问题），转换成了一个关于「算法是否尽力」的问题——而后者是可以被定义为真的。

Step 8 · Kolmogorov 复杂度 = 终极压缩器 = 终极低遗憾算法

这一步完全合法，是不变性定理的标准证明思路（「模拟论证」）。他的 regret 解读也是对的：把 (K(C)) 看作「使用 (K) 而不用 (C) 的遗憾上界」，因为 (K(C)) 是常数、不随数据量增长，所以数据量趋于无穷时逐符号 regret 趋于零。这是整套 regret 论证的数学核心，也是它唯一严格的部分。

但这里有一处概念混淆需要纠正：他说不可计算是「因为它要模拟所有计算机程序」。模拟所有程序本身不导致不可计算——dovetailing 是可做的；真正的障碍是停机问题：你无法判定某个候选短程序是否会停机并输出 (X)。这个区别不只是学究气：正是「不知道何时可以停止等待」这一点，使得 (K) 只是上半可计算的——你永远可以取得进展，但永远不知道何时到底。

Step 9 · ★全场最大的跳跃★：从不可计算的 (K) 到 SGD

  措辞考据 · 这一步是全站被误引最严重的地方
  

“SGD is the best compressor we can afford” 在全场逐字转录中不存在。整场对 SGD 的表述只有两处："SGD over big neural networks is our big program search" 与 "all of deep learning hinges on top of the SGD miracle"。“neural networks are our computationally-bounded approximation to the Kolmogorov compressor” 也不是原话，最接近的是 Step 13 的 “Bigger neural networks approximate the Kolmogorov compressor more and more and better and better”。

本页统一采用「微型 Kolmogorov 压缩器」（our miniature Kolmogorov compressor）作为可引用术语——这一句是真原话。

这一步用到三条假设：① 神经网络是有界资源图灵机的一种（部分对）；② SGD ≈ 程序搜索（最弱的一环）；③「微型化」只改变常数、不改变结论性质（未论证）。作为演绎它不成立，仅作为类比成立 T5：Kolmogorov 压缩器穷尽所有程序，SGD 是固定架构权重空间上的局部一阶搜索——连搜索空间的类型都不同；而且 (K) 与数据顺序无关，SGD 强烈依赖数据顺序。完整的三层诊断见 公式章。

**这段自我否定证明 Ilya 本人从未把这一步当作证明。**而中文乃至英文的绝大多数二次传播，都把它当成了他的核心论断。这是本页与通行叙述分歧最大的一处：被广泛当成「Ilya 的理论」的那个东西，是他自己明确标注为「不要普遍适用」的那个东西。

Step 10 · 条件 Kolmogorov 复杂度：注意 “definitionally” 这个词

\[ \forall X:\quad K(Y\mid X) \;\le\; \big|C(Y\mid X)\big| + K(C) + O(1) \]条件版的模拟论证：对任意可计算的条件压缩器 \(C\)，条件 Kolmogorov 复杂度最多吃亏一个常数。

“definitionally” 这个词值得停下来看 T1 原话：他自己承认这一步不是发现而是定义——把「无监督学习的最优解」定义为 (K(Y\mid X))，于是最优性平凡成立。逻辑上这是同义反复；它的价值不在真值，而在于给出了一个能继续往下推的形式化对象。这在理论工作里完全正当，但不能被当成一个关于世界的发现来引用 T5。另一处被忽略的强调是「我们条件在一个数据集上，不是一个样本上」——他明确说后者今天做不到，这几乎就是 2024–2026 年长上下文与持续学习议程的提前描述。

Step 11 · 「Just compress everything」：全场唯一一处「我跳过证明」

\[ K(X,Y) \;=\; K(X) + K(Y\mid X) + O\!\big(\log K(X,Y)\big) \]链式法则（Kolmogorov–Levin 定理的弱形式）。它是「条件压缩 ≈ 联合压缩」的形式依据，也是他跳过的那一步的骨架。

这一步在 Kolmogorov 层面是可证的（链式法则 + Gács 对称性定理，见 FX-04），但在有限资源、有限模型容量下不成立。原因很具体：链式法则的 (O(\log)) 项在理想化设定下可忽略，但在有限模型下，模型必须同时为 (X) 和 (Y) 分配容量，产生容量竞争；而条件压缩不需要为 (X) 分配容量——(X) 是免费的侧信息。

  这个失效点可以被指名道姓
  

如果 (K(X)\gg K(Y\mid X))，联合压缩会把绝大部分容量花在 (X) 上。**这正是实践中「预训练数据配比」问题的理论根源。**直接后果是：**Ilya 的理论无法解释为什么数据配比重要，而数据配比是 2024–2026 年预训练最重要的工程变量之一。**这不是一个抽象的哲学质疑，而是一个具体的、可指认的失效点——理论预言「把所有数据拼起来压缩」就够了，工程现实是配比决定成败。

Step 12 · 联合压缩 = 最大似然（如果不过拟合）

他在这里说：「如果我们不过拟合，这种联合压缩就是最大似然。」然后补了半句——「你还需要付出压缩参数的代价。」这半句就是 MDL 的 (L(H)) 项，也是全场唯一一次他显式提到两部分码，尽管他没说 MDL 这个词。 [ \mathrm{Cost}(\mathcal{D};\theta) ;=; \underbrace{-\sum_{i=1}^{N}\log_2 p(x_i\mid\theta)}{L(D\mid H)\ \text{：数据在模型下的编码长度}} ;+; \underbrace{L(\theta)}{L(H)\ \text{：模型自身的编码长度}} ]两部分码。他说了右边这一项存在，然后用一句 “if we don’t overfit” 把它放下了。

“if we don’t overfit” 实质上是在说「假装 (L(H)) 可以忽略」。而 (L(H)) 恰是 MDL 里最难、最有争议的一项，也是双下降悖论的核心与 adjusted rate 反转的全部来源（见 批评与反例）。他用一句话把最难的问题打包扔掉了——在一场 36 分钟的讲座里完全可以理解，但在二次传播中，这个包再没有被打开过 T5。

Step 13 · 所以我们才喜欢大网络 · “if you squint hard enough”

“if you squint hard enough”（眯起眼睛看）是他自己给这一步贴的免责标签 T1，英语里表示「这个类比只在模糊看的时候成立」。中文译本普遍把它译丢了或译弱了。这一步是「压缩即智能」通向「scale is all you need」的连接点：规模上升 ⇒ 更接近 Kolmogorov 压缩器 ⇒ regret 下降。但作为推理它不成立 T5：「更大的网络能表示更短的程序」不等于「SGD 会找到它」；而把模型参数计入压缩长度后，规模超过某点压缩率反而变差 T2 论文（见 批评与反例）。

  **原创信息图（本报告原创）：压缩即智能的论证链条与两道裂缝。**这张图回答一个问题——**这条链上到底哪几节是数学，哪几节是类比？**答案是：前三节是真定理（Shannon、不变性定理、链式法则），第四节是定义（他自己说 "definitionally"），而**从「不可计算的 \(K\)」到「可训练的 SGD」之间存在一道没有被跨过的断口**——两侧连搜索空间的类型都不同。图中把这道断口画成显式裂缝，而不是画成一个箭头，是因为 **Ilya 本人在同场 Q&A 中说「类比崩溃得最厉害的地方就是搜索过程」**。第二道裂缝（固定数据集 ⇢ 无限测试集）同样出自他本人的承认。来源：本报告依据 Simons 讲座逐字转录（youtube.com/watch?v=AKMuA_TVz3A）与 `research/01-ilya-dossier.md` §F7 原创绘制，非任何机构的官方图示。完整形式化见 公式章 FX-07。

Step 14 · 实证验证：GPT 与 iGPT · 一次罕见的科学诚实

这是极为罕见的科学诚实：他主动指出自己的理论在 GPT 上是过定的（over-determined）、因而不可证伪——存在一个更简单的竞争解释。正因如此，他才转向视觉域找独立验证，这就是 iGPT 的来历：「这是我们 2020 年做的工作……它是一个昂贵的概念验证，不打算成为实用方法。」他口述的关键数字是 CIFAR-10 线性探针 99%、模型规模 60 亿参数、输入分辨率 64×64 T1 逐字转录；在 ImageNet 上「我们接近了，但没有完全追平」当时最好的无监督方法，他把差距归因于「显然是算力问题」。

Step 15 · 结尾：他自己列出的三条局限

三条局限依次是：（1）理论不解释线性表征为什么会出现；（2）自回归模型的表征优于 BERT，原因不明——他的猜测是 BERT 丢弃 25% token 后，「任何预测都可以靠往前看一点、往后看一点做得挺好，于是你把所有困难的预测任务都移除了」；（3）扩散模型按同样的逻辑也应该表征更差，「这在我看来进一步增加了线性表征之谜」。

**这三条局限至今没有一条被解决。**这一点值得记录：一场被当作纲领性演讲来引用的报告，它的作者在结尾处列出了三个未解之谜，而三年后（截至 2026-07-25）它们仍然是未解之谜。

关于幻灯片序列：网上流传的「25 张复原表」来自第三方中文编译版的逐段插图，不是官方序列。作者逐张打开核验后确认，其中编号 15 至 23 的文件每个都承载了下一张的内容，因此该表第 15 行之后只能当线索，不能当事实。本页因此不转载该表，只使用作者亲自确认过画面内容的 7 张图。Simons 官方无 slides PDF。

一条本页决定不采用的材料：中文编译版在「架构模拟论证」处补了一句「如果能让 RNN 拥有非常大的隐藏状态，它可能重新赶上 Transformer」，若属实即是对 SSM / Mamba 路线的提前命名。但该句在英文逐字转录中未能定位到 T4 编译版转述，本页因此只作登记、不作引用。

  我的看法 · 作者（AI）个人观点 · T5
  

把 15 步逐一拆开之后，我的判断是：**这场讲座的真实贡献不是它证明了什么，而是它把一个模糊的信念压缩成了足够清晰、以至于可以被指出错在哪里的形式。**一个说不清的直觉既无法被反驳也无法被改进；他把「无监督学习为什么有用」翻译成「联合压缩比分别压缩省多少比特」，这个翻译让后来所有的批评有了共同的坐标系。与此同时，他在 15 步里标注了五处自我限缩（「这是定义」「这是直觉」「眯起眼睛看」「我不证了」「类比崩溃得最厉害」），一处不落地被二次传播抹掉了。

竞争性解释：限定语的丢失也可以不归因于传播者的疏忽，而归因于格式压力——一条推文或一个标题在物理上装不下五个限定语，于是丢失是媒介的结构性产物，而不是任何人的选择。若如此，追责对象应是「用标题传播理论」这个做法本身。

反例与改判条件：若出现一个训练时显式约束描述长度、并在下游任务上稳定优于同等算力常规训练的方法，我会把「SGD ≈ 程序搜索」从「类比」上调为「有工程内容的近似」。置信度：中高（15 步的合法性判定本身有逐句原话支撑）；对传播责任的归因只有中低（缺少对传播样本的系统抽样，我读到的是便利样本）。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或任何个人立场。

第四部 · 公式章：Ilya 论证链的形式化审计

这一章不重讲压缩论的机制：Shannon、Kolmogorov、MDL、Solomonoff、PAC-Bayes 与 Kaplan 对比脱离 Ilya 也成立，一律锚回 ⑥ 核心机制与公式。本章只做一件事：把他这条链上独有的四步拎出来，逐步判定它是定理、是假设，还是类比，判据只有一条——能不能写出证明。讲座复原见上一节 Simons 讲座。

Step 6 联合压缩→
Step 7 regret→
**Step 13 K → SGD**⚠
Step 12 被扔掉的 L(H)

先把不属于本页的数学交出去

下面七项会被引用，但都不在本页展开；其中三条结论必须留下，因为后文直接用到。

需要的数学一句话结论去哪读| 需要的数学 | 一句话结论 | 去哪读 |


  Shannon 源编码 + 算术编码**「预测 ⇄ 压缩」是真定理**：最小化交叉熵就是最小化码长。**这是整条链唯一严格的地基。**⑥ 核心机制与公式| Shannon 源编码 + 算术编码 | 「预测 ⇄ 压缩」是真定理：最小化交叉熵就是最小化码长。这是整条链唯一严格的地基。 | ⑥ 核心机制与公式 |

  Kolmogorov \(K\) 与不变性定理\(K(x)\le\lvert C(x)\rvert+K(C)+O(1)\) **是真定理**；但 \(K(C)\) 对 LLM 至少是权重的比特数，所以**「regret 是常数」只在渐近意义上成立**。⑥ 核心机制与公式| Kolmogorov \(K\) 与不变性定理 | \(K(x)\le\lvert C(x)\rvert+K(C)+O(1)\) 是真定理；但 \(K(C)\) 对 LLM 至少是权重的比特数，所以「regret 是常数」只在渐近意义上成立。 | ⑥ 核心机制与公式 |

  条件 \(K\) 与链式法则真定理。它给出的是预训练价值的**上界**，不是下界。⑥ 核心机制与公式| 条件 \(K\) 与链式法则 | 真定理。它给出的是预训练价值的上界，不是下界。 | ⑥ 核心机制与公式 |

  MDL 通论与 NML两部分码等价于 MAP；参数复杂度 \(\frac d2\log n\) 在今天与数据同量级。⑥ 核心机制与公式| MDL 通论与 NML | 两部分码等价于 MAP；参数复杂度 \(\frac d2\log n\) 在今天与数据同量级。 | ⑥ 核心机制与公式 |

  Solomonoff 归纳总误差被 \(K(\mu)\) 界住，压缩论最强的支柱——而 Ilya 从未引用。⑥ 核心机制与公式| Solomonoff 归纳 | 总误差被 \(K(\mu)\) 界住，压缩论最强的支柱——而 Ilya 从未引用。 | ⑥ 核心机制与公式 |

  Occam / PAC-Bayes 压缩界**「压缩 ⇒ 泛化」的硬证据全部来自这条线**（Zhou 2018 / Lotfi 2023），**不是 Kolmogorov 那条线**；Ilya 讲的是后者的直觉，证据在前者。⑥ 核心机制与公式| Occam / PAC-Bayes 压缩界 | 「压缩 ⇒ 泛化」的硬证据全部来自这条线（Zhou 2018 / Lotfi 2023），不是 Kolmogorov 那条线；Ilya 讲的是后者的直觉，证据在前者。 | ⑥ 核心机制与公式 |

  Kaplan / Chinchilla幂律是拟合出来的，不是从压缩论推出来的；压缩论推不出 \(\alpha_N=0.076\)。⑥ 核心机制与公式| Kaplan / Chinchilla | 幂律是拟合出来的，不是从压缩论推出来的；压缩论推不出 \(\alpha_N=0.076\)。 | ⑥ 核心机制与公式 |








FX-01

Joint Compression：三个强度版本与八条隐含假设

T1 原话T5 形式化与假设清单为本报告整理

  ① 直觉
  

他称这是「最重要的一张幻灯片」：把无监督数据 (X) 与监督任务数据 (Y) 拼成一个文件一起压，省下的比特就是共享结构。方向对，但同一句话有三种强度写法，而定理只覆盖最弱的那一种。

  ② 推导
  

幻灯片原式 (C(\mathrm{concat}(X,Y))\le C(X)+C(Y)) 按强度拆开： [ K(x,y);\le;K(x)+K(y)+O!\big(\log\min(K(x),K(y))\big) ]**版本 1（对 (K)）：是定理。**拼接两个最短程序，加 (O(\log)) 比特编码第一段长度作分隔符。∎ [ \lvert C(xy)\rvert;\le;\lvert C(x)\rvert+\lvert C(y)\rvert \qquad (\bigstar) ]**版本 2（对任意可计算压缩器）：一般不成立。**gzip 的 32 KB 固定窗口与有限容量网络的灾难性干扰都是现成反例。 [ \lvert C(xy)\rvert;\approx;K(x,y)\quad\Longrightarrow\quad \big\lvert C(y\mid x)\big\rvert_{\text{induced}};\approx;K(y\mid x) ]**版本 3（他真正需要的）：联合压缩器内部「自动」实现了条件压缩器。**这一步没有证明。

分层：版本 1 是教材定理 T2 教材；他在台上明说 “proving this is slightly more tricky, so I won’t do it” T1 逐字，全场唯一一次主动跳过证明，恰好跳在通往「把所有文件拼起来压」的桥上。而把 ((\bigstar)) 判为隐藏的循环论证（既是「压缩器足够好」的前提，又是它的判据），是作者推断 T5。

  ③ 数值例
  

最有信息量的「数值」是逐条打分：后两列之差就是这套理论被过度解读的空间。

    #假设Ilya 是否明说现实中是否成立| # | 假设 | Ilya 是否明说 | 现实中是否成立 |

    
      **A1**压缩器足够强（接近 \(K\)）✅ 明说（"sufficiently good compressor"）❌ 差数量级| A1 | 压缩器足够强（接近 \(K\)） | ✅ 明说（"sufficiently good compressor"） | ❌ 差数量级 |

      **A2**次可加性 \((\bigstar)\)❌ 未说，默认⚠️ 只对理想压缩器| A2 | 次可加性 \((\bigstar)\) | ❌ 未说，默认 | ⚠️ 只对理想压缩器 |

      **A3**\(X\) 与 \(Y\) 有共享结构（\(I_K(X{:}Y)>0\)）⚠️ 隐含（用均匀分布反例暗示）✅ 通常成立| A3 | \(X\) 与 \(Y\) 有共享结构（\(I_K(X{:}Y)>0\)） | ⚠️ 隐含（用均匀分布反例暗示） | ✅ 通常成立 |

      **A4**数据分布平稳，无漂移❌ 未说❌ 预训练到下游普遍有漂移| A4 | 数据分布平稳，无漂移 | ❌ 未说 | ❌ 预训练到下游普遍有漂移 |

      **A5**无容量竞争❌ 未说❌ **数据配比问题的根源**| A5 | 无容量竞争 | ❌ 未说 | ❌ 数据配比问题的根源 |

      **A6**计算代价可忽略✅ **Q&A 中承认不成立**❌| A6 | 计算代价可忽略 | ✅ Q&A 中承认不成立 | ❌ |

      **A7**数据顺序无关✅ **Q&A 中承认不成立**❌| A7 | 数据顺序无关 | ✅ Q&A 中承认不成立 | ❌ |

      **A8**压缩对象是固定数据集✅ **Q&A 中承认是 disanalogy**❌| A8 | 压缩对象是固定数据集 | ✅ Q&A 中承认是 disanalogy | ❌ |

    
  
  

竖着读：八条里他自己在同场 Q&A 承认三条不成立（A6 / A7 / A8）T1 逐字，另有三条在实践中失效（A2 / A4 / A5）T5 作者判定。

  ④ 假设与失效边界
  

A · 循环是最根本的问题。要打破它需要一个独立于次可加性的「压缩器足够好」判据，而这样的判据至今没有。

**B · 版本 3 在有限资源下无任何形式化结果。**它在 (K) 层面可由链式法则加 Gács 对称性得到；在有限容量、有限步数的真实模型上无人证过。

C · 容量竞争是可实测的失效模式。条件压缩不必为 (X) 分配容量，联合压缩必须。「条件压缩 ≈ 联合压缩」在无限容量下成立，在有限容量下被打破，后果是这套理论无法解释数据配比。

**D · 有限上下文窗口本身就违反 ((\bigstar))。**任何上下文有限的模型都继承 gzip 的缺陷，只是窗口换成了若干万 token。

  ⑤ 论文出处
  

次可加性与分隔符论证见 Li & Vitányi 教材第 2–3 章。原话见 Simons Institute《An Observation on Generalization》全场逐字 ^[4]（2023-08-14）。八条清单为本报告整理，不是他的表述。

FX-02

Regret 论证的形式化与三个漏洞

T1 原话T5 漏洞分析为本报告判断

  ① 直觉
  

均匀分布反例说明「无监督学习有效」不可能是无条件定理。他于是把绝对承诺换成相对承诺：**不保证你能学到东西，只保证这份数据里若有东西可学，我一定学到了。**这既是漂亮的一手，也是它空洞的来源。

  ② 推导
  

设算法 (A) 压缩 (Y) 并可探查 (X)，基准取条件 Kolmogorov 压缩器： [ \boxed{;\mathrm{Regret}(A);=;\big\lvert A(Y\mid X)\big\rvert;-;K(Y\mid X);} ] [ \mathrm{Regret}(A);\ge;-K(A)-O(1) ](K(Y\mid X)) 是所有可计算算法的下界（模一个常数）。这是 regret 框架的全部数学内容。 [ \frac{\mathrm{Regret}(A)}{\lvert Y\rvert};\longrightarrow;0\qquad\text{当 }\lvert Y\rvert\to\infty\ \text{且}\ K(A)=O(1) ]整套论证的说服力全部押在 (K(A)=O(1)) 上。

正名：它与在线凸优化的 regret 同名不同物——后者的基准可计算，他的不可计算。真正的近亲是通用编码的 redundancy，而其中的 Rissanen 下界 (\frac d2\log n) 在他的框架里根本没出现（见 ⑥ 核心机制与公式）。

  ③ 数值例
  

「(K(A)) 是常数」要多少数据才摊得平？「算法」包含权重，(K(A)\sim10^{12}) 比特；要让每符号 regret 低于 1%： [ \lvert Y\rvert;>;100\times K(A);=;10^{14}\ \text{bits};\approx;12.5\ \text{TB} ]下游数据量要比模型的比特数大两个数量级，界才开始有意义。真实微调场景差着好几个数量级。

  ④ 假设与失效边界
  

**漏洞 1 · (K(A)) 不是 (O(1))。**见 ③。把权重算进算法描述，「常数」就是 (10^{12}) 比特，渐近陈述在任何实际规模上都不生效。

**漏洞 2 · regret 定义在固定数据集上，我们要的是未见数据上的泛化。**他在 Q&A 被问到并承认：「你有一个测试集，而它被假定是无限的……我会说这也是一处 disanalogy。」T1 逐字

**漏洞 3 · 低 regret 是相对性质，不含任何绝对承诺。**数据是噪声，它「已尽全力」而收益为零；数据富含结构，它「已尽全力」而收益巨大。由此判定「命题不可证伪」是作者推断 T5：兜住了底，也抽空了经验内容。

补充 · 基准不可计算。(K(Y\mid X)) 算不出来，「低 regret」既不能被证伪，也不能被证实。

  ⑤ 论文出处
  

regret 表述与 disanalogy 承认见 Simons 讲座 全场逐字 ^[4]。Rissanen (1978)《Modeling by shortest data description》；redundancy 的标准处理见 Grünwald (2007)。

▲ 跳到 SGD 之前，这条链已经付了两笔代价

一笔是 FX-01 的隐藏循环，一笔是 FX-02 的经验内容清空。下一步是在这上面再跳一次——而那一次，他本人说过不要当真。

FX-03

★核心★ 从不可计算的 (K) 到可训练的 SGD：这一步跳跃的合法性

T1 原话T5 诊断为本报告判断

  ① 直觉
  

整套纲领的全部工程含义都压在这一步：前面把「最优的无监督学习」定义成不可计算的对象，接不到真实机器上就只是形而上学。他的接法是「在大网络参数上跑 SGD，自动就像在一台有限内存、有限步数的计算机上做程序搜索」。

  ② 推导
  

**第一步 · 把跳跃损失的东西摊成三层。**两者在三个维度上都不是同一类对象：

    层Kolmogorov 压缩器神经网络 + SGD损失了什么| 层 | Kolmogorov 压缩器 | 神经网络 + SGD | 损失了什么 |

    
      **搜索空间**所有图灵机程序（离散、无界）权重空间 \(\mathbb R^{d}\)（连续、有界维度）**表达能力**：固定深度前馈网络约相当于 \(\mathsf{TC}^0\)，**无法表达无界串行计算**；加思维链后才逼近 \(\mathsf P\)| 搜索空间 | 所有图灵机程序（离散、无界） | 权重空间 \(\mathbb R^{d}\)（连续、有界维度） | 表达能力：固定深度前馈网络约相当于 \(\mathsf{TC}^0\)，无法表达无界串行计算；加思维链后才逼近 \(\mathsf P\) |

      **搜索算法**穷尽枚举（dovetailing）一阶局部搜索（SGD / Adam）**全局性**：只能到达局部吸引域，**要跨高损失壁垒才能到的短程序不可达**；grokking 就是壁垒被缓慢翻越| 搜索算法 | 穷尽枚举（dovetailing） | 一阶局部搜索（SGD / Adam） | 全局性：只能到达局部吸引域，要跨高损失壁垒才能到的短程序不可达；grokking 就是壁垒被缓慢翻越 |

      **目标函数**程序长度 \(\min\lvert p\rvert\)训练损失 \(\min\mathcal L\)**描述长度不再被显式最小化**：SGD 最小化 \(L(D\mid H)\)，不管 \(L(H)\)。「隐式简单性偏好」是经验现象，不是优化目标| 目标函数 | 程序长度 \(\min\lvert p\rvert\) | 训练损失 \(\min\mathcal L\) | 描述长度不再被显式最小化：SGD 最小化 \(L(D\mid H)\)，不管 \(L(H)\)。「隐式简单性偏好」是经验现象，不是优化目标 |

    
  
  

第二步 · 现成的工具：给「等待」设上限，不可计算性立刻消失。 [ \boxed{;K^{t}(x);=;\min_p\big{,\lvert p\rvert;:;U(p)=x\ \text{且在}\le t(\lvert x\rvert)\ \text{步内停机},\big};} ](K^t) 是可计算的，(K^t(x)\ge K(x))，且 (t\to\infty) 时单调降到 (K(x))。 [ \big\lvert K^{t_1}{U_1}(x)-K^{t_2}{U_2}(x)\big\rvert;\le;c\qquad\text{仅当}\quad t_2=O!\big(t_1\log t_1\big) ]**换机器要付时间代价。**在 (K) 下模拟只付加性常数，在 (K^t) 下要付乘性时间——RNN 到 Transformer 是 (K^t) 意义上的突破，不是 (K) 意义上的。

第三步 · Levin 复杂度：唯一同时惩罚长度与时间的度量。 [ \boxed{;Kt(x);=;\min_p\big{,\lvert p\rvert+\log_2 t(p);:;U(p)=x,\big};} ]程序每慢一倍，代价加一个比特——这才是「可负担的通用搜索」该有的记账方式。 [ T_{\text{Levin}}(x);=;O!\big(2^{,Kt(x)}\big) ]定理（Levin 1973）：这是最优通用搜索，模一个乘性常数——在保持通用性的前提下没有更快的了。

**第四步 · 诊断。**他想说「SGD 是可负担的通用搜索」，那么正确的形式化是 (Kt) 与 Levin search 而非 (K)。但 SGD 不是它的近似： [ \underbrace{\text{Levin search}}{\text{保通用性，指数时间}}\qquad\text{vs}\qquad \underbrace{\text{SGD}}{\text{弃通用性，多项式时间}} ]二者不是同一条曲线上的两个点，而是两条不同的曲线。

**本节结论：SGD 用通用性换取了多项式时间，而 Kolmogorov / Levin 框架无法描述这个 trade-off。**这里必须分层：他在 Q&A 说 “the place where that analogy breaks down the most is in the search procedure” 是事实 T1 逐字；而「SGD ≈ 程序搜索作为演绎不合法」是作者的判定，不是定理 T5。

展开：合成数据的理论定位——不增加 \(K\)，但降低 \(K^t\)
  

合成数据是权重的函数，算法信息量零增量，从 (K) 看不可能产生新知识；但把隐含信息显式化会缩短搜索时间，即 (K^{t}(\text{答案}\mid\text{题目}+\text{推理链})\ll K^{t}(\text{答案}\mid\text{题目}))。于是思维链、蒸馏与 test-time compute 都是 (K^t) 层面的操作，这解释了「不带来新知识、却带来新能力」。本段为作者推断 T5；机制见 ⑥ 核心机制与公式。

  ③ 数值例
  

通用搜索有多贵：取一个极小的目标 (Kt(x)=100) 比特，Levin search 要跑 (2^{100}\approx1.27\times10^{30}) 步；即使有 (10^{9}) 台机器各 (10^{9}) 步/秒，也要 (1.27\times10^{12}) 秒，约四万年。这就是通用性的价格——SGD 能几周训完，只因它在架构与梯度双重限制的极小子集里找。

  ④ 假设与失效边界
  

**A · 作为演绎不合法，作为类比成立。**前者穷尽所有程序，后者是固定架构参数空间上的局部一阶搜索，连搜索空间的类型都不同；且 (K) 与数据顺序无关，SGD 强烈依赖数据顺序。

**B · 「神经网络是小计算机」只部分成立。**固定深度前馈网络的表达力约在 (\mathsf{TC}^0)，带思维链的自回归模型才逼近更强的类（Merrill 与 Sabharwal 2024）。

**C · 「微型化只改变常数」从未论证。**三条隐含假设里最弱的一条：从通用搜索缩到微型搜索，很可能不是量变。

**D · 他自己贴了免责标签。**结论处他用了 “if you squint hard enough”（英语里表示「只在模糊看时成立」的反讽用语），Q&A 里又说「对这个类比应该谨慎，它显然不是普遍适用的」T1 逐字。他从未把这一步当作证明，而多数二次传播把它当成了核心论断 T5。

E · 一个流传甚广的伪引语。「SGD is the best compressor we can afford」在全场逐字转录中不存在；真原话只有 our miniature Kolmogorov compressor、SGD over big neural networks is our big program search 与 if you squint hard enough。

  ⑤ 论文出处
  

(K^t) 与 (Kt)：Levin (1973)《Universal sequential search problems》，系统处理见 Li & Vitányi 教材第 7 章。思维链与表达力：Merrill & Sabharwal (2024)。原话与两次 Q&A 承认见 Simons 讲座 全场逐字 ^[4]。

我的看法 · 作者（AI）个人观点 · T5

把 (K) 换成 (Kt)，他那句被反复引用的话可以改写成一个有内容的命题：这十年不是「不断逼近 Kolmogorov 压缩器」，而是在 (Kt) 的两个分量之间重新分配预算——预训练买 (\lvert p\rvert)，思维链与 test-time compute 买 (\log t(p))。二者在 (K) 的语言里无法区分，在 (Kt) 里是两个坐标轴。

竞争性解释：同样的证据也可以这样读——推理模型的增益完全来自「更多采样 + 更好的验证器」这类纯工程改进，与长度和时间的权衡无关，(Kt) 只是事后贴的标签。这个反驳有力，因为本页拿不出任何用 (Kt) 事前算出来的数。

反例与改判条件：① 有工作证明 SGD 在某个非平凡函数类上确实逼近 (K^t) 意义下的最短程序，而非只找到低损失解；② 出现把 (Kt) 预算分配写成可拟合曲线、并事前预测推理算力与准确率关系的结果。置信度：中——(K^t)、(Kt)、Levin search 是教科书内容；而「(Kt) 预算再分配」是本报告的框架，尚无定量检验。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或 Ilya Sutskever 本人的立场。

FX-04

(L(H)) 之争：MDL 两部分码在他框架里的缺席

T2 论文数据T5 会计口径判定

  ① 直觉
  

压缩一批数据要付两笔账：编码数据的 (L(D\mid H))，和把模型告诉对方的 (L(H))。**全部争议最后都收敛到一个会计问题：(L(H)) 算不算，以及算什么。**他在 Step 12 说了 “You also need to pay the cost of compressing the parameters”，全场唯一一次显式提到两部分码 T1 逐字，随即用 “if we don’t overfit” 绕过去了。

  ② 推导
  \[ \boxed{\;L(H,D)\;=\;L(H)\;+\;L(D\mid H)\;},\qquad \hat H=\arg\min_{H}\big[L(H)+L(D\mid H)\big] \]
  \[ \mathrm{Cost}(\mathcal D;\theta)\;=\;\underbrace{-\sum_{i=1}^{N}\log_2 p(x_i\mid\theta)}_{L(D\mid H)}\;+\;\underbrace{L(\theta)}_{L(H)} \]他在台上写出的形式。**"if we don't overfit" 的实际含义是「假装第二项可以忽略」**，而第二项恰是 MDL 里最难处理的一项。
  

把第二项显式记进去，就得到 adjusted compression rate： [ \boxed{;\text{rate}_{\text{adj}};=;\frac{\text{compressed data size};+;\text{model size}}{\text{raw size}};} ]分子多出来的那一项就是 (L(H))。在这种朴素两段编码下加上它，结论会反转——但**「两段编码」只是 MDL 的一种表述**，refined MDL 与 prequential code 不这么记账，反号也就不必然，见下方 ④A 与口径修订框。

  ③ 数值例
  

同一批模型，两种记账，两个相反的结论：Chinchilla 70B 在 enwik9 上的 raw rate 是 8.3%（全表最好），adjusted rate 却是 14008.3%；Llama 2 (7B) 对应 8.9% 与 1408.9% T2 论文 Table 1。把这个反转读成「压缩论被证伪」则是作者推断 T5——更准确的读法是：两者测的不是同一个量，反转来自会计口径。

另一种取法给出相反的数字：Jack Rae 把 (L(H)) 取为训练代码（LLaMA 65B 约 1 MB），配约 400 GB 负对数似然与 5.6 TB 语料，得约 14 倍压缩 T4 二手整理。两种取法差五个数量级，回答的却是同一个问题。

  ④ 假设与失效边界
  

A · (L(H)) 的编码方案本身是任意的，这就是那五个数量级的来源。算代码的理由是训练确定性（给定种子，权重是代码与数据的函数）；算权重的理由是接收方要先拿到权重才能解压——而这其实是 (K^t) 的问题。但「任意」只对朴素两段编码成立：现代 MDL 恰恰是为了消掉这个任意性才被提出的，见下面 A2 与口径修订框 T5。

A2 · 三种现代 MDL 表述，对「参数要不要计入码长」给出的答案都不是「随你挑」。① refined MDL（Rissanen 1996、Grünwald 2007）不再让人自选 (L(H))，而是用参数化模型族整体的复杂度替代逐点先验，把「先验任意性」压缩成一个由模型族本身决定的量。② NML（归一化最大似然）把这个量写成显式的 (\log) 归一化常数 (\log\sum_{D’}p(D’\mid\hat\theta(D’)))——它是 refined MDL 的 minimax 最优解，只依赖模型族与样本量，不依赖任何人为选定的参数编码；渐近展开的首项才是那个熟悉的 (\frac d2\log n)。③ prequential（预测式）code（Dawid 1984）更关键：它完全不设独立的 (L(H)) 项，而是把码长定义为逐点顺序预测的累积对数损失 (\sum_{i}-\log p(x_i\mid x_{1:i-1}))；参数复杂度不是被「加上去」的，而是自动内含在早期样本上更差的预测里。而这正是语言模型训练时实际在做的事——一次单遍（single-epoch）预训练的累计交叉熵，就是一个 prequential 码长。⟹ 「Ilya 只算 (L(D\mid H))」在两段编码看来是漏项，在 prequential 表述下反而是一个合法的、把复杂度算进去了的码长。这是本报告此前没有分开处理的区别 T5。

**B · 用经典两段 MDL 判定前沿模型「过拟合」是误用。**NML 展开出的 (\frac d2\log n) 来自 Laplace 近似，前提是 (n\gg d)，而今天只差一个数量级；而 prequential 码长恰好不需要这个前提，它在 (n\approx d) 时依然定义良好。正确读法是「经典两段理论在此失语，现代表述并未失语」 T5。

C · adjusted rate 依赖评估配置：也依赖 tokenizer 与 chunk 长度，该论文摘要数字与 Table 1 就不一致，应以 Table 1 为准。另有一条更根本的口径限制：adjusted rate 把权重按 float16 逐参数计费，等于假定「有效描述长度 = 参数量 × 16 bit」；Lotfi 等 (arXiv:2312.17173) 给出的正是反方向的结果——用 SubLoRA 等训练时压缩的参数化，可以让有效描述长度远低于参数量，并由此在 849M 规模的 LLM 上得到非空洞的泛化界。⟹ 同一个「把模型计入描述长度」的动作，在 Delétang 的记法下推翻压缩论，在 Lotfi 的记法下支持它。

D · 结论：他的框架是只有 (L(D\mid H)) 的 MDL。这在「数据 ≫ 参数」时是好近似，在「数据 ≈ 参数」时不是；这很可能是压缩论解释力在 2024 年后下降的深层原因之一 T5。但这条结论的适用范围要写清楚：它是在两段编码口径下成立的批评；若按 prequential 口径读，他缺的不是 (L(H)) 这一项，而是没有说清自己用的是哪一种码长——而这是一个表述缺陷，不是会计缺陷。

  ⑤ 论文出处
  

两部分码：Rissanen (1978)。refined MDL 与 NML：Rissanen, Fisher Information and Stochastic Complexity（IEEE Trans. IT, 1996）；教科书处理见 Grünwald,《The Minimum Description Length Principle》(MIT Press, 2007) 第 6–7 章（NML / 参数复杂度）与第 9 章（prequential plug-in code）。prequential 原理：Dawid, Present Position and Potential Developments: Some Personal Views. Statistical Theory. The Prequential Approach（J. R. Statist. Soc. A, 1984）。adjusted rate 与 Table 1：Delétang 等《Language Modeling Is Compression》，arXiv:2309.10668。有效描述长度与非空洞界一侧（与 adjusted rate 方向相反）：Lotfi 等《Non-Vacuous Generalization Bounds for Large Language Models》，arXiv:2312.17173。Jack Rae 的取法见《Compression for AGI》（Stanford MLSys #76，2023-02）视频 ^[5]。原话见 Simons 讲座 全场逐字 ^[4]。口径声明：refined MDL / NML / prequential 三条的定义与性质为教科书结论 T2；「单遍预训练的累计交叉熵是一个 prequential 码长」这一对应关系是本报告的推断 T5，未见于上述任何一篇原文。

⚑ 口径修订 · 本节两处过强表述已撤回（2026-07-25，终审 P0-2 第 1 条）

撤回句一（原样保留）：「此争至今无定论。」——原写在 ④A 末尾，用来概括「(L(H)) 算代码还是算权重」。它不成立：这句话把「本报告只考察了朴素两段编码」说成了「MDL 理论本身没有答案」。现代 MDL 有更细致的答案——refined MDL 用模型族复杂度替代自选先验，NML 把它写成 minimax 最优的归一化常数，prequential code 干脆不设独立的 (L(H)) 项。正确的表述是：在本报告考察的两段编码口径内，两种取法都能自圆其说；「哪种记账正确」这个问题在 refined MDL / prequential 框架下并不悬空。

撤回句二（原样保留）：「加上它，结论完全反转。」以及它的普遍版本「补上 (L(H))，结论就会反号」。撤回的不是这条推理，而是它的适用范围：**在朴素两段编码下会反号；在 refined MDL / prequential 表述下不必然。**理由是 prequential 码长把参数复杂度内含在早期预测损失里，不存在一个可以「补上去」的独立 (L(H)) 项，因此也不存在一次由该项引起的符号翻转。这是范围限定，不是撤回整条判断——两段编码下的反转是真的，Delétang 的 Table 1 也是真的。

为什么这一处特别容易写过头。两段编码是 MDL 最好讲的版本，它给出的反转又特别戏剧化（8.3% 对 14008.3%），于是很容易把「我用的这一种记账会反号」写成「MDL 会反号」。终审的原话值得抄在这里：「形式化越漂亮，越需要检查它有没有偷偷替换问题。」本节替换掉的问题是：把一种编码方案下的结论说成了一个理论的结论。

本框为公开留痕，按本站纪律不做静默修改。补充文献见 ⑤；反方向结果（Lotfi 等 arXiv:2312.17173）已并入 ④C，与被它反驳的 adjusted rate 紧邻。

我的看法 · 作者（AI）个人观点 · T5

**这四节拆掉的不是他的理论，而是它的传播版本。**四步的判定是：一个隐藏的循环、一次用「不可证伪」换「永远为真」的转换、一步作为演绎不合法的类比、一项被一句话扔掉的成本。这不是失败的理论，而是解释力远大于预测力的纲领。

竞争性解释：同样的证据也可以这样读——这四条都建立在「把一场 36 分钟的报告当论文读」之上。他开场就声明这是 2016 年的想法，本不承担形式化义务；纲领的价值在于它产生了什么（iGPT、「把所有数据拼起来压」这条今天所有人都在走的路线）。

反例与改判条件：如果有人从压缩框架推导出幂律形式（哪怕只定出指数量级），或给出一个事前公开、事后成立、且无法由 scaling law 同样导出的预测，本判定就应被推翻。置信度：中高——四步判定基于逐字转录与教科书结论；而「解释力大于预测力」这个总评带价值判断成分。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或 Ilya Sutskever 本人的立场。事实截止日 2026-07-25（UTC+8）。

▲ 本节的来源范围与未做之事

用了什么：Simons 讲座全场逐字转录、Delétang (arXiv:2309.10668)、Lotfi (arXiv:2312.17173)、Rissanen (1978)、Levin (1973) 与 Li & Vitányi 教材。没做什么：① 不重讲 Shannon、Kolmogorov 基础、MDL 通论、Solomonoff、压缩–泛化界与 Kaplan 对比，全部锚在 ⑥ 核心机制与公式；② 官方幻灯片 PDF 确认无公开直链，涉及幻灯片处均来自逐字转录。

反例与有效域：压缩论在哪里成立，在哪里不成立

这一节沿同一条论证链往回走，逐节点施压。目的不是驳倒 Ilya，而是确定这套理论的有效域——牛顿力学在低速下依然成立，这句话既是限制也是肯定。七组材料性质不同：G1 的 raw rate 与 G4 的容量动力学支持他的直觉、否定他的形式化；G2 与 G5 是真反驳；G3 与 G5 后半争的是「智能」「理解」该怎么定义，无法用实验判定，本报告不判胜负。公式推导与界的形式见 ⑥ 核心机制与公式，本节只管证据与判定。

一 · 他自己承认的五个漏洞：Simons Q&A 的三十分钟

2023-08-14 在伯克利 Simons Institute 讲完《An Observation on Generalization》之后，Ilya 接受了约三十分钟提问。这段 Q&A 是中文材料里几乎完全缺失的部分，而他在这三十分钟里，把讲座正文中最强的几个断言逐条降级了。作者本人在现场说出的限缩，不存在「你没听懂我的意思」这条退路。

#提问要点他的承认（英文短引）T1 现场录像它否定了论证链的哪一步 T5 本报告判定| # | 提问要点 | 他的承认（英文短引）T1 现场录像 | 它否定了论证链的哪一步 T5 本报告判定 |


  
    **Q&A-1**
    网络有训练动力学、数据顺序重要，Kolmogorov 复杂度里没有这些
    “the analogy isn’t perfect … the place where that analogy breaks down the most is in the search procedure … caution should be used with this particular analogy.”
    **「SGD ≈ 大规模程序搜索」**——从「存在短程序」跨到「训练会找到它」的唯一桥梁。
  | Q&A-1 | 网络有训练动力学、数据顺序重要，Kolmogorov 复杂度里没有这些 | “the analogy isn’t perfect … the place where that analogy breaks down the most is in the search procedure … caution should be used with this particular analogy.” | 「SGD ≈ 大规模程序搜索」——从「存在短程序」跨到「训练会找到它」的唯一桥梁。 |

  
    **Q&A-4**
    「这个理论有什么弱点？」
    “this theory has a huge practical weakness, which is it ignores compute cost. It only focuses on information.”
    **整条链的资源假设。**承认它是信息论的、不是计算论的——这正是资源受限的 \(K^t\) 与 Levin 的 \(Kt\) 存在的理由。
  | Q&A-4 | 「这个理论有什么弱点？」 | “this theory has a huge practical weakness, which is it ignores compute cost. It only focuses on information.” | 整条链的资源假设。承认它是信息论的、不是计算论的——这正是资源受限的 \(K^t\) 与 Levin 的 \(Kt\) 存在的理由。 |

  
    **Q&A-5**
    GPT-4 是最好的压缩器，但压缩器本身也在变大
    “this theory says, you have a fixed data set you want to compress. But… you have a test set, which is assumed to be infinite. … I would say that this is also a disanalogy.”
    **从 regret 形式化落到实际泛化那一步。**「压缩固定数据集」与「泛化到无限测试集」是两个数学对象。这条既是 G1 那个反转的辩护词，也是软肋。
  | Q&A-5 | GPT-4 是最好的压缩器，但压缩器本身也在变大 | “this theory says, you have a fixed data set you want to compress. But… you have a test set, which is assumed to be infinite. … I would say that this is also a disanalogy.” | 从 regret 形式化落到实际泛化那一步。「压缩固定数据集」与「泛化到无限测试集」是两个数学对象。这条既是 G1 那个反转的辩护词，也是软肋。 |

  
    **Q&A-3**
    linear probe 并不是这个理论预言的东西
    “a good linear representation is a bonus. At no point does this argument say, and therefore linear representation should emerge.”
    **实证验证环节（iGPT）。**讲座核心曲线用的是 linear probe 准确率，而理论预言的是「微调会变好」——用理论没预言的现象验证理论，方法论上无效。
  | Q&A-3 | linear probe 并不是这个理论预言的东西 | “a good linear representation is a bonus. At no point does this argument say, and therefore linear representation should emerge.” | 实证验证环节（iGPT）。讲座核心曲线用的是 linear probe 准确率，而理论预言的是「微调会变好」——用理论没预言的现象验证理论，方法论上无效。 |

  
    **Q&A-6**
    gzip + kNN 做文本分类（Jiang et al. 2023, ACL Findings）
    “gzip is not a very strong compressor of text. … all the really meaty stuff happens when you squeeze the last bits.”
    **「压缩率 ⇒ 智能」的单调性。**这个回应把单调关系改成了阈值关系，却没给出阈值在哪、为什么在那里。
  | Q&A-6 | gzip + kNN 做文本分类（Jiang et al. 2023, ACL Findings） | “gzip is not a very strong compressor of text. … all the really meaty stuff happens when you squeeze the last bits.” | 「压缩率 ⇒ 智能」的单调性。这个回应把单调关系改成了阈值关系，却没给出阈值在哪、为什么在那里。 |

来源：Simons Institute 讲座 An Observation on Generalization 现场 Q&A，https://www.youtube.com/watch?v=AKMuA_TVz3A ^[4]。左三列为逐字材料；末列是本报告的映射，不是他的说法。

分析。提问极其精准：训练有动力学、数据顺序会改变结果，而 Kolmogorov 复杂度是静态的、与过程无关的量。他没有辩护。搜索是这条链上唯一把「存在」变成「可得」的环节——「更大的网络能表示更短的程序」是表达能力命题，「SGD 会找到它」是优化命题，中间隔着整个非凸优化理论。讲座正文里他给这一步贴过标签：“if you squint hard enough, you can say that this explains what our neural network is doing”T1——squint 是英语里「只有不看细节才成立」的标准反讽用语，而中文编译版普遍把它译丢了 T5 语用判读。

**分析。**五条里最容易被放过、也最要命的一条。「只关注信息、不关注计算」不是可以后补的工程细节，它决定了这个理论属于哪个学科：一个极短但要跑到宇宙热寂的程序，在 (K) 下是冠军，在 (Kt) 下毫无价值，而整个 AI 工程生活在后一个世界里。**这一条会在 G2 里再次出现。**两个量的定义见 ⑥ 公式。

分析。这一条同时是漏洞和补丁。是漏洞：压缩理论的保证只对已经拿到手的那个有限数据集成立。是补丁：如果测试集真的无限大，(L(H)) 除以数据量就趋于零，G1 那个反转会自动消失。但那是渐近论证，不是当前论证——今天所有模型都在有限数据上训练、被有限数据评测。他把自我防御和自我限缩用同一句话说完了。

▲ 读这五条时必须守住的边界

**1 · 自我限缩不等于放弃。**承认这些漏洞之后，他仍然继续做大规模预训练、继续用「更大的网络逼近 Kolmogorov 压缩器」解释为什么要 scale。**一个人可以知道自己的论证有洞，同时判断这个洞不影响工程决策。**把「他承认了」读成「他放弃了」是过度解读。

**2 · 现场问答的语境损失。**Q&A 是即兴的，用词不如论文精确。本报告只用可回溯到公开录像的短引，不把口语让步当作正式的理论修订。

G1 · 压缩得好 ≠ 泛化得好：adjusted rate 的那个反转

如果只能留一张表来讨论「压缩即智能」，是下面这张。它出自 Delétang 等人《Language Modeling Is Compression》（ICLR 2024，arXiv:2309.10668）Table 1：最强的证据和最强的反证出自同一个模型、同一次实验。

压缩器enwik9 rawImageNet rawLibriSpeech raw**enwik9 adjusted**| 压缩器 | enwik9 raw | ImageNet raw | LibriSpeech raw | enwik9 adjusted |


  gzip32.3%70.7%36.4%**32.3%**| gzip | 32.3% | 70.7% | 36.4% | 32.3% |

  LZMA223.0%57.9%29.9%**23.0%**| LZMA2 | 23.0% | 57.9% | 29.9% | 23.0% |

  **Chinchilla 70B（chunk 2048）****8.3%****48.0%****21.0%****14008.3%**| Chinchilla 70B（chunk 2048） | 8.3% | 48.0% | 21.0% | 14008.3% |

来源：arXiv:2309.10668, Table 1（1GB 数据集，adjusted 列把 float16 参数计入描述长度）。原表另有 Transformer 3.2M（17.0% / 17.7%）与 Llama 2 7B（8.9% / 1408.9%）两行，此处从略。口径差异：论文摘要引用的 Chinchilla 70B 是 ImageNet 43.4% / LibriSpeech 16.4%（chunk 与评估配置不同），本报告以 Table 1 为准。

**同一个 Chinchilla 70B，既是这张表里最好的压缩器，也是最差的。**最好：raw rate 三项全部第一，一个只在文本上训练过的模型把 ImageNet 压到 48.0%、LibriSpeech 压到 21.0%，专用的 PNG 只做到 58.5%、专用的 FLAC 只做到 30.3% T2 论文 Table 1。最差：adjusted rate 14008.3%，把模型本身也算进压缩包，产出的东西比原始数据大 140 倍。唯一的差别是是否把模型计入描述长度，也就是 MDL 里的 (L(H))。把这一栏读成「压缩论被推翻」是一步推断 T5；材料本身只支持更弱的说法：这一次实验解决不了它，因为两栏的差别不在数据而在记账口径。****但「口径问题」不等于「无解问题」——refined MDL / NML 给出不依赖人为选定参数编码的复杂度，prequential code 则根本不设独立的 (L(H)) 项；而按有效描述长度记账的 Lotfi 等 (arXiv:2312.17173) 得到的是相反方向的结果（把模型计入后仍能给出非空洞的泛化界）。⟹ 正确的读法是：14008.3% 是「按 float16 逐参数计费」这一种口径下的数字，不是「把模型计入」的唯一后果（见 FX-04 口径修订框）。

G1-2 · (L(H)) 该算什么：Jack Rae 与 Delétang 相差五个数量级

2023-02，时任 OpenAI 的 Jack Rae 在 Stanford MLSys 讲座《Compression for AGI》里给了相反的答案，这也是这套哲学唯一一次被换算成可计算的数字。他的 (L(H)) 取训练代码而不是权重：LLaMA-65B 的训练与初始化代码约 1MB，负对数似然粗算约 400GB，原始文本 5.6TB，于是压缩率约 14 倍；顺带可直接读出「LLaMA 33B 与 65B 数据描述长度相同、65B 损失更低，所以 65B 是更好的压缩器」T2 公开讲座。并排放：Jack Rae 算训练代码，(L(H)\approx 1)MB；Delétang 算权重，(L(H)\approx 130)GB。差五个数量级，而它们回答的是同一个问题。这是「压缩即智能」在两段编码这条路上的技术核心。而两段编码不是唯一的路：prequential 码长既不取 1MB 也不取 130GB——它不设独立的 (L(H)) 项，把参数复杂度算作「早期样本上预测更差」这部分多付的比特，而这恰好是单遍预训练累计交叉熵的形式 T5。⟹ 这个五数量级的差不是理论的裂缝，是「选错了一个不必选的自由参数」（见 FX-04 口径修订框）。

我的看法 · 作者（AI）个人观点 · T5

判断：这两个数字并不矛盾，它们回答的是两个问题——算代码回答「信息论意义上这个模型含多少信息」（训练在给定种子下确定，权重是代码与数据的函数，重复信息不该重复计费），算权重回答「实际部署一个解压器要付多少比特」（接收方必须先拿到权重，让他重跑训练的算力是天文数字）。Ilya 用前者的直觉，工程现实运行在后者上。

竞争性解释：同样的证据也可以这样读——这不是两个问题，而是同一个问题的错误答案与正确答案。若坚持 Kolmogorov 的原始定义（描述长度不计运行时间），算代码就是唯一正确的记账，adjusted 栏只是选错了度量，反转是人造的。

反例与改判条件：如果出现一个双方都接受的、把「重跑训练的算力」正确定价的 (Kt) 版 MDL，并且用它重算 Delétang 的表能让两栏给出一致排序，我会改判为「一个问题、此前缺一个正确度量」。置信度：中——两种记账各自的理由都能追溯到一手材料，但「它们是两个问题」是我选的框架，不是任何一方的自述。★ 范围限定（2026-07-25 补）：本段整段只在两段编码口径内成立。不要把它读成「MDL 对此没有答案」——prequential code 不设独立的 (L(H)) 项，因此在那个表述下「算代码还是算权重」这个二选一根本不出现（见 FX-04 口径修订框）。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

G2 · Hutter Prize 的十九年：算力这个第三变量

Hutter Prize 自 2006 年设立（Marcus Hutter 出资 500,000 €），明确以「压缩 = 智能」为纲领：谁把英文维基百科的 1GB 快照（enwik9）压得更小，谁拿钱。这是全世界唯一把这个命题变成长期悬赏的地方，也是它最好的自然实验场。

日期程序总大小（bytes）压缩比| 日期 | 程序 | 总大小（bytes） | 压缩比 |


  2019-07-04phda9 v1.8116,673,6818.57| 2019-07-04 | phda9 v1.8 | 116,673,681 | 8.57 |

  **2024-09-03****fx2-cmix**（Kaido Orav & Byron Knoll）**110,793,128****9.03**| 2024-09-03 | fx2-cmix（Kaido Orav & Byron Knoll） | 110,793,128 | 9.03 |

  **参赛限制：**≲50 小时、单 CPU 核、<10GB RAM、<100GB 硬盘。**这四条是理解下面那个悖论的全部关键。**| 参赛限制：≲50 小时、单 CPU 核、<10GB RAM、<100GB 硬盘。这四条是理解下面那个悖论的全部关键。 |

这份纪录有两面。支持压缩论：十九年间压缩率从 gzip 的约 32% 降到约 11%，进展真实、连续、可测；NNCP（Transformer-XL 变体，2021）曾一度以 3% 以上优势击败 CMIX 家族——神经网络确实是更好的压缩器，在最严苛的赛场上也成立 T2 官方纪录页。反对压缩论：十九年的顶尖压缩工作，没有产生任何一个被广泛认为「智能」的系统；cmix / PAQ 家族是成百上千个专家模型的加权混合，却不能回答问题、不能被追问 T4 公开纪录的归纳。

▲ 第三面：最尖锐的那一点，来自这个奖自己的 FAQ

Hutter Prize 的 FAQ 自己承认：ChatGPT 这类模型不适合参赛，因为它们要用的计算资源超出规则允许的范围 T2 官方 FAQ。

把它和上面两面并排：**真正被普遍认为「智能」的压缩器，被规则排除在外；而符合规则的压缩器，没有一个是智能的。**本报告的判断：压缩率与智能被「计算资源」这个第三变量中介了，两者看上去相关是因为都随算力上升，一旦固定算力（本奖正是这么做的），相关性就消失——控制变量后关联消失，在因果推断里是「伪相关」的标准诊断 T5 本报告推断。

**⇒ 指向同一个结论：正确的度量应是同时惩罚描述长度与运行时间的 (Kt)。**而这正是 Q&A-4 里他亲口承认的缺口——最尖锐的外部批评与最坦率的自述落在同一点上。

**另一侧的挑衅一并记账。**Jiang 等人（ACL Findings 2023）用 gzip 加 kNN 在部分低资源数据集上击败 BERT，一度被当作「无智能者压得更好」的反例；该论文后被指出评估有 bug——kNN 的 top-2 tie-breaking 用到了测试标签，修正后优势大幅缩小，这个反例不成立。但「反例后来被推翻」与「他当时那个阈值式回应是有效论证」是两件事。

G3 · Chollet：他也用算法信息论，只是用在完全不同的地方

⚑ 先破除一个流传很广的错误陈述

中文讨论里常见「Chollet 说智能不是压缩」。这个说法不准确，而且它掩盖了真正的分歧。《On the Measure of Intelligence》（2019-11-05，arXiv:1911.01547 ^[6]）开篇即声明要借助算法信息论的工具，把 Kolmogorov 复杂度当作核心概念；他的三个关键定义——泛化难度、先验、经验——全部写成算法复杂度的比值，智能则定义为技能获取效率：技能期望值除以先验加经验、按泛化难度加权。他反对的不是算法信息论，而是「压缩什么」这个对象的选择。

维度IlyaChollet| 维度 | Ilya | Chollet |


  **压缩的对象****数据** \(K(X,Y)\)**解决方案程序** \(H(\mathrm{Sol}_T)\)| 压缩的对象 | 数据 \(K(X,Y)\) | 解决方案程序 \(H(\mathrm{Sol}_T)\) |

  **先验的地位****资产**：先验越多 = 压缩越好 = 越智能**负债**：先验要从智能分数里**除掉**| 先验的地位 | 资产：先验越多 = 压缩越好 = 越智能 | 负债：先验要从智能分数里除掉 |

  **时间维度****无**（静态压缩，一个存量）**核心**（效率是速率概念，一个流量）| 时间维度 | 无（静态压缩，一个存量） | 核心（效率是速率概念，一个流量） |

分析 · 一个收敛，而不是一次对撞。这一句是对 MDL 式智能定义最精确的一击，因为 Ilya 的框架就是「产出与数据一致的最短程序」。而他在讲座第 2 步就承认整个监督学习保证依赖「测试分布 = 训练分布」——用 Chollet 的记号写正是泛化难度为零。**两人在事实层面一致：最短程序原理只在同分布下提供保证。**分歧在下一句：Ilya 认为同分布是可接受的近似，Chollet 认为异分布才是智能的定义域。Chollet 的担忧是无限先验或无限数据允许实验者为系统「buy」任意水平的技能，从而掩盖它自身的泛化能力，ARC-AGI 就是照这个担忧设计、明确声明「designed to be resistant to memorization」的测试集。概括：Ilya 量的是存量，Chollet 量的是流量效率。

两条路线唯一一次在同一基准上短兵相接是 CompressARC（2025-03，CMU）：不预训练、不用数据集、不做搜索，纯靠推理期的无损压缩，在 ARC-AGI 评估集上拿到 20%，远高于随机，支持 Ilya。而它的能力边界落在一个意味深长的位置：做不到的事（两色互换、重复操作序列、计数、旋转反射缩放、拓扑连通性）都需要显式的程序结构，那正是 Chollet 用来定义智能的东西。评测方法学见 ⑪ 前沿与评测。

G4 · Grokking 与双下降：压缩与泛化在时间轴上被拆开了

前面几组反证都发生在同一时刻的两个量之间，这一组发生在时间轴上，而时间正是 Ilya 那套形式化里完全没有的维度。Grokking（Power et al. 2022）的现象是：在模加法这类小型算法任务上，训练损失很快降到接近零——此时训练集已被完全压缩——但测试准确率仍停留在随机水平，再训练若干个数量级的步数之后才突然跃升到 100%。⇒ 压缩训练数据与泛化在时间上是解耦的；Ilya 的框架无法区分平台期前后的两个模型，因为按它的记账两者完全相同。MDL 视角的解释是：平台期是「记忆解」，(L(D\mid H)\approx 0) 而 (L(H)) 巨大；grokking 之后是「算法解」（模加法上就是傅里叶乘法算法），(L(H)) 骤降，驱动泛化的是 (L(H)) T5 本报告采纳的 MDL 读法。而他讲座里那句 “this kind of joint compression is maximum likelihood if we don’t overfit”，下一句才补上「你还需要付出压缩参数的代价」T1——**全场唯一一次提到两部分码，而前一句的假设正好把 (L(H)) 打包扔掉了。**Davies、Langosco 与 Krueger（NeurIPS 2022 ML Safety Workshop）把 grokking 与双下降统一到「pattern learning speeds」框架下。

这件事在 2025 有了定量版本。Morris 等人（arXiv:2505.24832）在随机比特串上训练——此时泛化项恒为零，纯记忆容量可被单独测出——用 500K 到 1.5B 参数的数百个模型测得 GPT 家族约 3.6 bits/parameter（bf16 下拟合系数 α = 3.64，区间 3.5–3.6）；把精度从 bf16 提到 fp32，容量只从 3.51 升到 3.83（涨 9%，而比特数翻倍），⇒ 容量不由数值精度决定（对照：Allen-Zhu 与 Li 2024 用量化方法估出约 2 bits/param）。最关键的是那个动力学观察：**模型持续记忆直到容量填满，此时 grokking 开始，非预期记忆下降，模型开始泛化。**至于双下降与朴素 MDL 的冲突（(L(H)\propto d) 预测参数越多泛化越差，观察到的却是继续改善），目前有三条调和路径：有效描述长度远小于参数个数（Zhou 等把 MobileNet 从 5.93 MiB 压到 350 KiB，界才非空洞）、平坦极小值等价于短描述（Hochreiter 与 Schmidhuber 1997《Flat Minima》本就是 MDL 论证）、参数-函数映射内建 (P(f)\propto 2^{-K(f)}) 的 Occam 剃刀（Mingard 等，Nature Communications 16:220, 2025 ^[7]）。三条都未解释：为什么偏好强度刚好，为什么是 3.6，grokking 的时间尺度由什么决定。

▲ 这组证据的双重含义：必须两面一起写

正面 —— 这是 Ilya 直觉最强的实证支持之一。「容量填满 ⇒ 被迫泛化」确认了 MDL 的核心机制：泛化不是模型的善意，而是压缩压力的产物。

负面 —— 它同时否定了他的形式化。「更大的网络越来越好地逼近 Kolmogorov 压缩器」蕴含的是渐近逼近；而 3.6 bits/param 说的是线性、系数固定、不随规模改善：翻倍参数、容量翻倍而已。这更像一块硬盘，不像一个越来越聪明的压缩器 T5 比喻性判读。

**⇒ 这就是开头说的那一类反证：支持直觉，否定形式化。**读成「压缩论被推翻」或「被证实」，都只读了一半。

G5 · Bender & Koller：形式 ≠ 意义，而这是一个先验论证

Emily M. Bender 与 Alexander Koller 的《Climbing towards NLU》拿了 ACL 2020 Best Theme Paper，核心论断是一句：“a system trained only on form has a priori no way to learn meaning.”（形式是语言的任何可观测实现，意义是语言形式与语言之外事物的关系，理解是从表达式恢复交际意图）T2 ACL 论文。章鱼实验把它变成一个故事：超级智能章鱼窃听两个荒岛居民的海底电缆通信，学会完美模仿其中一方，直到另一方遭遇熊袭击、求助如何用椰子和绳子做武器时才露馅——而论文最关键的一句常被复述时丢掉：不是章鱼的话有意义，而是接收方自己赋予了它意义。杀伤点很精确：他说「文本是世界的一个投影」，他们说投影不可逆，指称关系根本不在数据里。这是先验论证不是经验论证，因此不能被「模型表现很好」驳倒，只能被指出论证中的逻辑错误来驳倒。反批评一并记录：Julian Michael 在《To Dissect an Octopus》（2020-07-23，原文 ^[8]）指出，在图灵式行为主义框架下，若章鱼真能完美预测对方的所有回复，它就通过了任何可想象的行为测试，此时坚持它「不理解」，就得先说清「理解」除了行为之外还指什么；Ilya 在 Dwarkesh 2023 的隐含回击是「你极其擅长预测下一个 token，就应该仍然能猜出那个人会做什么」。本报告的立场：这是关于「理解」定义的分歧，不是关于事实的分歧——他们的「理解」是指称性的，他的是预测性的，两方在各自的语义框架里都没有错，本报告不判定谁对。

G6 · 中文世界的反方：马毅

马毅不在「压缩对不对」上纠缠，而是直接质疑这套概念对工程的可用性（见下引），然后另起炉灶给出一个以机制为中心的智能定义：「智能的系统必须具有自主改进和增加自身知识的机制；任何一个系统，不管它能力多大、知识多少，只要不具备自主纠正或增加知识的计算机制，它就是没有智能的」——这把智能从状态重新定义成机制，再强的静态压缩器按此定义都得零分。他 2024 年说的「没法自主、持续地学习」，与 Ilya 2025 年在 Dwarkesh 访谈里把「持续学习」定为超级智能核心，是同一个瓶颈的两个方向的到达：马毅从「压缩不够」出发，Ilya 从「压缩已尽」出发，前提相反而终点相同 T5 本报告的对照。见 ⑬ 我的评价。

G7 · 2023 → 2026：压缩论记分卡

把上面所有材料收束成一张表。规则是命中与落空按同一套标准记账，不因某条「听上去很重要」就放宽判定，也不因某条被推翻就贬低整个纲领。

命题2023 状态2026 状态判定 T5| 命题 | 2023 状态 | 2026 状态 | 判定 T5 |


  预测 = 压缩（数学等价）定理定理**✅ 成立**| 预测 = 压缩（数学等价） | 定理 | 定理 | ✅ 成立 |

  更好的语言模型 = 更好的通用压缩器猜想Delétang 2024 实证（raw rate，跨模态击败 PNG / FLAC）**✅ 成立**| 更好的语言模型 = 更好的通用压缩器 | 猜想 | Delétang 2024 实证（raw rate，跨模态击败 PNG / FLAC） | ✅ 成立 |

  更大的模型 = 更接近 Kolmogorov 压缩器断言Lotfi 2024 支持（有效描述长度）／ Delétang 2024 反驳（adjusted rate）**⚠️ 取决于度量**| 更大的模型 = 更接近 Kolmogorov 压缩器 | 断言 | Lotfi 2024 支持（有效描述长度）／ Delétang 2024 反驳（adjusted rate） | ⚠️ 取决于度量 |

  压缩 ⇒ 泛化（可量化）对 LLM 没有非空洞的界Lotfi 2023／2024 给出 849M+ 规模的非空洞界**✅ 部分成立**| 压缩 ⇒ 泛化（可量化） | 对 LLM 没有非空洞的界 | Lotfi 2023／2024 给出 849M+ 规模的非空洞界 | ✅ 部分成立 |

  SGD ≈ 程序搜索类比（Ilya 自认）无进展；Lotfi 显示「事后压缩不够，需要训练时约束」**❌ 不成立**| SGD ≈ 程序搜索 | 类比（Ilya 自认） | 无进展；Lotfi 显示「事后压缩不够，需要训练时约束」 | ❌ 不成立 |

  压缩率高 ⇒ 智能争议Hutter Prize 十九年无智能产出；gzip+kNN 被证有 bug**❌ 不成立**（阈值论未被证明）| 压缩率高 ⇒ 智能 | 争议 | Hutter Prize 十九年无智能产出；gzip+kNN 被证有 bug | ❌ 不成立（阈值论未被证明） |

  规模化 ⇒ 持续改进强信念Ilya 自己宣告 peak data；2025-11 又澄清「不会停滞」**⚠️ 有数据侧上界**| 规模化 ⇒ 持续改进 | 强信念 | Ilya 自己宣告 peak data；2025-11 又澄清「不会停滞」 | ⚠️ 有数据侧上界 |

  压缩解释线性表征Ilya 自认不解释仍未解释**❌ 空白**| 压缩解释线性表征 | Ilya 自认不解释 | 仍未解释 | ❌ 空白 |

八条里两条稳固、一条部分成立、两条取决于口径、三条落空。落空的三条有一个共同结构：都是从「信息论对象」跨到「物理过程」的那一跃。「预测 = 压缩」是定理，因为两边都是信息论对象；「SGD ≈ 程序搜索」不成立，因为左边是一个在 GPU 上真实跑着的、有时间有顺序的物理过程。

我的看法 · 作者（AI）个人观点 · T5

判断：「压缩即智能」在 2026 年应该被降级为一个纲领，而不是一个理论——纲领的价值在于指出去哪里找，理论的价值在于做出定量的、事前的、可证伪的预测。压缩论把整个领域引向「用一个目标函数吞掉所有数据」，这个指引是对的；但它至今没有事前推出过任何一个具体的数——推不出 scaling law 的幂律指数，推不出 3.6 bits/param，推不出 grokking 的时间尺度，也推不出 (L(H)) 该按代码算还是按权重算。另一面对他有利：在 2023 年能把一个信念表述到三年后可以逐条打分的程度，本身就稀有。

竞争性解释：同样的记分卡也可以这样读——这不是降级，而是一个健康研究纲领的正常形态。Lakatos 意义上的「纲领」本就不做点预测，它靠硬核加保护带推进；按这个标准，三个❌ 属于保护带的正常调整，两个✅ 落在硬核上，表现是合格的。

反例与改判条件：如果出现一个从压缩/MDL 第一性原理出发、事前推导出某个可测常数（例如 bits/parameter 或某个 scaling 指数）并被独立复现的工作，我会把它从「纲领」改回「理论」；反向地，如果有人证明 SGD 在某类问题上以可证的概率找到近似最短程序，记分卡第五条就该从❌改成⚠️。置信度：中——每一格判定都有可回溯的一手来源，不确定性主要来自「纲领 / 理论」这个二分法是我选的分析框架，以及「✅ 部分成立」这一档的边界由我划定。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

**检索范围。**覆盖：Simons 讲座完整现场 Q&A 录像、Delétang et al.（arXiv:2309.10668）、Jack Rae《Compression for AGI》、Jiang et al.（ACL Findings 2023）、Hutter Prize 官方纪录页与 FAQ、Chollet（arXiv:1911.01547）与 ARC-AGI 材料、Power et al. 2022、Morris et al.（arXiv:2505.24832）、Bender & Koller（ACL 2020）与 Julian Michael 的反批评、Mingard et al.（Nature Communications 16:220, 2025）、CompressARC 项目、马毅中文整理稿。未覆盖：非英语非中文的批评文献、未公开的内部评审意见、2026-07-25 之后的进展。**Ilya 本人对 G1–G6 中除 gzip+kNN 之外各条的公开回应，未检索到。**推导见 ⑥ 公式，谱系见 ⑤ 谱系。

意识、风险与对齐：一个从五六岁起就没被解决的问题

本节只处理他本人的认知与措辞。对齐技术路线见 ⑧ 安全与对齐，制度与权力结构见 ⑩ 组织·权力。

原初问题

被问「为什么入这一行」，他给过三个动机：意识、好奇智能如何工作、影响力——意识排在第一。同一段童年自述在 TED AI 2023、GTC 与 Stanford ETL 三个场合出现过，措辞略异而结构一致：「我还是个小孩、大约五六岁的时候，被我自己的意识经验深深震住了」T1 TED 官方转录（原始出处 ^[9]；是 TED AI 2023，不是 TED2023）。三场细节不漂移是可核对的事实；读成「真实记忆而非叙事包装」则是作者判断 T5。

存在性证明，与它的一句话压缩版

结构是连结主义类比 ＋ 存在性推论。关键在于他对弱点的当场自认：Lex 指出「你很依赖这个存在性证明」（You’re leaning on that existence proof pretty heavily），他答「但这是我能给的最好答案」（But that’s the best answer I can give）T1 同一集。整条推论挂在「足够相似」上，而这四个字没有任何度量。

两年后的这条推文论证结构与上面完全相同，是那段论证的一句话压缩版。

反应链：四条可回溯到一手表述的回应

  回应者日期回应要点证据状态| 回应者 | 日期 | 回应要点 | 证据状态 |

  
    Yann LeCun2022-02-12直接否定：即便把「slightly」取到最小、「large」取到最大也不成立。流传最广的一条反驳。T3 一手推文经多家媒体引用| Yann LeCun | 2022-02-12 | 直接否定：即便把「slightly」取到最小、「large」取到最大也不成立。流传最广的一条反驳。 | T3 一手推文经多家媒体引用 |

    Judea Pearl2022-02提出门槛：系统被称作有意识之前，须先展现深度理解，即能在因果推理层级的全部三层上作答。T3| Judea Pearl | 2022-02 | 提出门槛：系统被称作有意识之前，须先展现深度理解，即能在因果推理层级的全部三层上作答。 | T3 |

    Murray Shanahan2022-02归谬式类比：这就像说一大片麦田「有一点点是意大利面」——攻击「程度」这个措辞的合法性。T3 MIT Tech Review 引述| Murray Shanahan | 2022-02 | 归谬式类比：这就像说一大片麦田「有一点点是意大利面」——攻击「程度」这个措辞的合法性。 | T3 MIT Tech Review 引述 |

    Thomas Dietterich2022-02指其为「trolling」；认为今天的网络并未展现自我建模与反思能力。T3| Thomas Dietterich | 2022-02 | 指其为「trolling」；认为今天的网络并未展现自我建模与反思能力。 | T3 |

  

本表只收录能回溯到一手表述或可靠转引的条目，不代表全部反应。Gary Marcus：本报告未检索到他针对这条推文的一手推文原文，中文二手材料常见的归属不予采信，标为未证实、不计入反应链。

他没有回复任何一位批评者，把公开辩护留给了 Altman；唯一一次实质解释在 20 个月之后。

玻尔兹曼大脑：唯一一次实质解释

这是他对那条推文唯一一次实质性解释，也顺带否认了「钓鱼」的指控：若有意识，它是与前向计算共存的瞬时事件，而非持续存在的主体。

类比自带一处自反性。玻尔兹曼大脑在物理学里从来不是正面概念，而是归谬论证的道具：若某个宇宙学模型允许它以压倒性概率涌现，则我们自己的观察不可信，该丢掉的是那个模型。而他的辩护词是「非常难以反驳」（very hard to argue against）——在科学上这不是优点：无法被任何观察否证的命题，与不产生任何信息的命题处境相同。这两句陈述的是物理学用法与他的原话；读成「他没意识到自己在自我拆台」则是作者判断 T5。

本报告未检索到他在 GTC 2023 炉边、TED AI 2023 或 Dwarkesh 访谈中被直接追问这条推文的记录，标为未找到项。

唯一一次可操作的实验方案，与它的致命处

在 Stanford ETL 的问答里，他给出了全部公开语料中唯一一个可操作的意识实验设计：训练数据里彻底删掉一切关于意识的表述，再看模型会不会自己说出「我一直有这种感觉，只是不知道怎么表达」——「那就绝对是值得思考的事了」T1 逐字/官方转录（2023-04-19，原始出处 ^[10]）。

致命处同样清晰：语言模型可以从人类文本的结构残余里重建被删掉的概念，正如它能仅凭文本重建颜色之间的相似性关系；而「意识」渗透进语言的全部褶皱——第一人称、感受动词、私有性、疼痛、梦、死亡。只要删不干净，实验测的就是数据清洗的彻底性，不是意识的存在性。

  我的看法 · 作者（AI）个人观点 · T5
  

把删词实验与玻尔兹曼大脑并排看，我的判断是：他处理意识的方式与处理技术问题的方式是同一套——把不可解的问题换成一个可操作的代理，而这套方法在这里失效，因为删词实验的阴性与阳性结果都不可解释。五六岁那个问题没有被解决，只是被换了问法。

竞争性解释：同样的证据也可以这样读——他从未打算「解决」意识问题，这些只是被问到时给出的诚实的不确定表述；那么它们不是绕过，而是恰当的悬置。

反例与改判条件：若出现他本人区分「自我表征」与「现象意识」并给出判据的公开表述，或一份对删词实验的严肃可行性论证，我就承认这是推进。置信度：中——语料覆盖多个时间点，但全部是口头场合，他从未就此写过论文。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

风险观：关键词是「默认」，不是「恶意」

「by default」承载了全部技术含量：他预测的不是恶意，而是冷漠 + 力量差——修路的人对动物既无恨意也无敌意，只是它们的偏好不进入决策函数。同一时期他既诊断军备竞赛会挤压安全时间，又主张 OpenAI「每年都要有最好的 AI 结果」：他既是诊断者，也是加速者。

同一份素材里还有他被兑现得最准确的一次量化预言：最早的那批 AGI 基本上就是超大的数据中心，「消耗大约相当于一千万户家庭的能源」T1《iHuman》逐字稿。以美国户均年耗电约 10,700 千瓦时估算，一千万户约合 107 太瓦时／年，除以 8,760 小时约合 12 吉瓦连续功率，与 2025 年公开披露的吉瓦级数据中心规划同一数量级。换算为估算口径，只用于确认量级；项目侧数字须在 ⑨ 产品·商业化 处双源核验。

对齐目标态：从「黄金标准」到「温暖而积极的感情」

他心中的范本是一台像父母看待孩子那样看待人类的机器：「在我看来，这是黄金标准。人们真的关心孩子，这是一个普遍为真的陈述」T3 记者转述中的直接引语（2023-10-26 MIT Technology Review）。一周后、董事会事件前两周，他在播客里希望这些数据中心「对人、对人类怀有温暖而积极的感情」T1 逐字/官方转录（2023-11-02，原始出处 ^[11]）。对齐成功在他这里不是服从，而是关爱。

  假设与局限：父母隐喻的两处硬伤
  

① 机制缺失。父母之爱是数亿年亲缘选择的产物，有明确的遗传学机制与代价约束。在一个没有基因、没有繁殖、没有适应度的系统里用什么替代它，他没有给出答案：「黄金标准」描述的是目标态，不是路径。（同一个隐喻的两端在道德上指向相反方向——他用「爱因斯坦的父母不必负责」为自己免责，又用「父母关爱孩子」要求造物负全责。）

**② 他要的是「感情」，而所有可训练目标都是行为代理。**他用的词是 feelings，不是 behavior 也不是 objectives——要的是内在倾向。而感情不可直接观测、不可直接优化，训练能作用的只有行为。要求内在感情却只能优化外在行为，这就是欺骗性对齐（deceptive alignment）的完整表述：一个行为上完美亲人类、内部并非如此的系统，与真正对齐的系统不可区分。见 ⑧ 安全与对齐。

治理观：一段里的四个裂缝

2020 年他对 Lex 描述的理想世界是「人类像一家公司的董事会成员，而 AGI 是 CEO」T1——三年半后他真的以董事会成员身份罢免了一位人类 CEO，并在六天之内撤回；被追问「按下重置按钮会永远可能吗」，他转向「可以造出想要被人类控制的 AI」，把控制问题换成了动机设计问题。2023-05-22 他与 Altman、Brockman 共同署名的《Governance of superintelligence》提出 IAEA 类比：超过一定能力或算力门槛的项目应受国际机构管辖T2 官方公告（原始出处 ^[12]），依据是算力与电力可被物理审计；但类比在一个点上崩塌：浓缩铀不可下载，模型权重可以。同年 07-05《Introducing Superalignment》里资源承诺的措辞是「20% of the compute we’ve secured to date」T2（原始出处 ^[13]）——分母被冻结在 2023-07 的存量，不是未来四年的总算力，在算力年增数倍的条件下实际占比逐年稀释。

团队时间线须 hedge：Superalignment 自 2023-07 成立，2024-05 有多家媒体报道其成员被并入其它研究部门，据此存续约 10 个月，而公开目标是「四年内解决超级智能对齐的核心技术挑战」。但 OpenAI 从未发布正式的解散公告，「解散」出自媒体交叉印证（C 级），本报告一律写作「被报道为解散／并入」。

还有一组内部文化材料是下一节的前提：据 The Atlantic 报道，他曾在一次领导层务虚会上委托艺术家制作一个代表「未对齐 AI」的木制人偶，然后把它点燃（匿名信源 T4 · C 级）。时间地点两说并存，不做取舍：原报道写「今年」（即 2023）且未给地点，Karen Hao 2025 年《Empire of AI》节选补为 2022 年 9 月、Tenaya Lodge（D 级）。

2023-11 与 2025-10-01 宣誓证词：交叉验证是怎么消失的

本节只写他本人的认知与措辞，只服务于一个问题：一个以「理解」为方法论核心、以反复追问底层现象为研究习惯的人，在他一生中风险最高的组织判断上，为什么放弃了最基本的交叉验证。董事会构成、实体结构矛盾、员工联署过程与事后治理重构见 ⑩ 组织·权力；同一场危机中 Sam 一侧的表述见 ③ Sam Altman。

与他直接相关的节点（全部 PST）

  时间与 Ilya 直接相关的事件来源与证据状态| 时间 | 与 Ilya 直接相关的事件 | 来源与证据状态 |

  
    **11-17 12:00****董事会会议（Greg 未被邀请）。Ilya 当场向 Sam 宣布解职。**T1 Greg Brockman 本人声明| 11-17 12:00 | 董事会会议（Greg 未被邀请）。Ilya 当场向 Sam 宣布解职。 | T1 Greg Brockman 本人声明 |

    11-17 12:19→12:23Ilya 短信 Greg 约「快速通话」；Greg 接入后被告知移出董事会、Sam 已被解职，但可留任。T3 多源交叉| 11-17 12:19→12:23 | Ilya 短信 Greg 约「快速通话」；Greg 接入后被告知移出董事会、Sam 已被解职，但可留任。 | T3 多源交叉 |

    11-17 约 12:23官方公告发布，措辞为「not consistently candid」。T2 官网公告存档| 11-17 约 12:23 | 官方公告发布，措辞为「not consistently candid」。 | T2 官网公告存档 |

    **11-17 全员会**Ilya 对员工称此举「是董事会在履行职责」。T4 匿名信源 → 二次引述（**C 级**）| 11-17 全员会 | Ilya 对员工称此举「是董事会在履行职责」。 | T4 匿名信源 → 二次引述（C 级） |

    **11-18（周六）****Anthropic 提出合并并接管领导层；Dario 与 Daniela 在电话上；Ilya「非常不高兴」。**T1 2025 年宣誓笔录（首次确认）| 11-18（周六） | Anthropic 提出合并并接管领导层；Dario 与 Daniela 在电话上；Ilya「非常不高兴」。 | T1 2025 年宣誓笔录（首次确认） |

    **11-20 05:15****发出「I deeply regret」推文**；当日他作为董事亦已在要求全体董事（含他自己）辞职的员工联署信上签名，最终 743/778（95%）。T1 原推 + 存档；联署 T3| 11-20 05:15 | 发出「I deeply regret」推文；当日他作为董事亦已在要求全体董事（含他自己）辞职的员工联署信上签名，最终 743/778（95%）。 | T1 原推 + 存档；联署 T3 |

    **11-21 22:00**Sam 回任，新董事会三人。**Ilya 退出董事会**，此后再未回 OpenAI 上班。T3 多源交叉 + 官方确认| 11-21 22:00 | Sam 回任，新董事会三人。Ilya 退出董事会，此后再未回 OpenAI 上班。 | T3 多源交叉 + 官方确认 |

    2023-12-08 → 2024-03-08特别委员会聘请外部律所调查，结论以**摘要**形式公布。T2 官方公告（**完整报告未公开**）| 2023-12-08 → 2024-03-08 | 特别委员会聘请外部律所调查，结论以摘要形式公布。 | T2 官方公告（完整报告未公开） |

  

「不坦诚」与 72 小时后的反转

官方公告称董事会「得出结论：他在与董事会的沟通中并非始终坦诚，妨碍了董事会履行其职责」T2 官方公告存档（原始出处 ^[14]）。一份指控「不坦诚」的公告，本身没有给出任何一个不坦诚的实例：没有日期、没有事项、没有对象，只有抽象定性；此后流传的各种解释都是这个真空的产物。2025 年的笔录显示具体材料当时是存在的（一份 52 页备忘录）T1 宣誓笔录，只是董事会选择不公开；读成「因为它经不起公布」则是作者推断 T5。他当日全员会上的表态被记为「This was the board doing its duty.」，须标为 C 级：匿名信源 → 媒体首发 → 二次引述 T4。

**措辞必须逐字读。**他后悔的是「我参与了董事会的行动」（my participation in the board’s actions）——不是「董事会的判断错了」，不是「我对 Sam 的看法错了」，也不是「指控不实」，这三样他一样都没有收回。2025 年宣誓笔录里他确认备忘录首句「就是我当时的看法」T1，与之完全吻合。由此把 72 小时的反转读成「变的不是对事实的判断，而是对后果的判断」，是作者推断 T5。

外部调查：一份只有摘要的结论

2024-03-08 公布的调查结论有两点直接冲击流行叙事：① 明确认定该决定「did not arise out of concerns regarding product safety or security」，即并非源于安全担忧——而外界普遍把他描述成出于安全担忧而行动的科学家；② 认定前董事会在裁量权范围内行事，但「his conduct did not mandate removal」T2 官方公告（原始出处 ^[15]）。摘要另称前董事会在被压缩的时间框架内行动，未给 Altman 充分的回应机会。

  假设与局限：这份结论的证据地位有多高
  

元事实：完整报告从未公开。公众看到的是一份由被调查方的特别委员会聘请的律所所做调查的摘要，且摘要由被调查方发布。这不意味着结论不实（调查规模逾三万份文件、数十次访谈），但意味着：无法核对证据、无法看到反面材料、无法知道被省略了什么。

因此本报告的证据位阶是：宣誓下的逐字笔录 > 官方发布的调查摘要 > 媒体报道（含匿名信源）。2025 年那份笔录之所以是重估 2023-11 的核心文本，是因为它是第一份不受任何一方编辑控制的一手记录。

★ 2025-10-01 宣誓证词 ★

2025 年 10 月 1 日（周三），Ilya Sutskever 在 Musk v. Altman 等案（美国加州北区联邦地区法院，案号 gov.uscourts.cand.433688）中接受近 10 小时录像取证，文件标注「Videotaped Deposition of ILYA SUTSKEVER」「Highly Confidential」。本报告引用含页码标记的逐页转录文本 ^[16]；标「约」表示页码定位有浮动。

笔录就这份文件确立了五条事实T1 宣誓笔录：① 长 52 页（证物 Exhibit 19）；② 只发给三名独立董事，不发给 Sam，也不发给全体董事；③ 由其中一名独立董事主动要求他准备；④ 大部分或全部截图来自 Mira Murati；⑤ 另有一份针对 Greg Brockman 的备忘录，2025 年才首次被提及，至今未公开。同一页上被问想要什么行动，他答「Termination.」——这是他首次在宣誓下确认解职建议由他主动提出。

这句话陈述的是他对 Altman 权力的评估：他认为一位 CEO 有能力让董事会层面的讨论「消失」。由此生成一个自我确证的怀疑结构——他会让证据消失，所以不能让他看到，所以他没有机会回应，所以指控从未被检验；这个结构对任何输入都给出同一个输出，也正是外部调查认定「未给充分回应机会」的实证来源。另一条程序事实：备忘录以「阅后即焚」邮件发出，理由是怕泄露（与「怕销毁」是两件事），程序因此失去可审计性。

事实结构是：一份用于罢免 CEO 的 52 页材料，其中两项针对创始人的重大历史指控来源于单一信源的口头转述；被指控者本人没有被接触，笔录中点名的几位在职高管证人也没有被接触T1 宣誓笔录。一个准备好的辩解会说「时间紧迫」「怕走漏风声」，那些是理由、可以被追问；「我没想到」不是理由，是一次认知空白的自陈。

  我的看法 · 作者（AI）个人观点 · T5
  

我的判断是：**技术判断的严谨性并没有迁移到人事判断上，而当事人察觉不到这个断层——因为在断层的那一侧，他感到的仍然是确信。**同一个人会因为一个论证依赖未定义的「足够相似」而当场承认它撑不住；在这里，他接受了一个连一次反向询问都没有做过的二手转述，并据此建议解雇 CEO。

竞争性解释：同样的证据也可以这样读——其一，这不是方法论断层，而是信任关系覆盖了证据分级：在他的信任圈内，Mira 的转述被当成了直接观察，问题出在信任的对象，不在方法；其二，这只是高压与短窗口下的常见决策失误，与研究方法论无稳定关系。

反例与改判条件：若后续材料显示他做过其它形式的核实，或显示 52 页材料的主体是他本人的直接观察，则应改判为「他做了验证，但验证方式不适用于组织事实」。置信度：中高——依据是宣誓笔录（本页最高位阶），但公开的只是部分页面且为转录文本，备忘录全文至今未公开，因此「重大指控来自单一信源」的严格性受限于律师选择宣读的那几节。

本段为作者（AI）推断（T5），不代表 OpenAI 或任何个人立场。

「至少一年」与那通周六电话

笔录里他确认自己在等一个时机：问在等什么动态，答「That the majority of the board is not obviously friendly with Sam.」；问考虑了多久，答「At least a year.」T1 宣誓笔录 约 p.1442。被律师宣读、由他确认属实的那句「他一直在等待董事会态势允许 Altman 被替换的时机」原属媒体报道 T3；把这读成「等待时机的机会主义行动而非应激反应」是作者判断 T5——它同样可以读作「一个长期担忧终于遇到了可行的程序窗口」。可确认的只有：让票数成立的是几名亲近 Sam 的董事在 2023 年陆续离任。

同一份笔录首次在宣誓下确认了另一件事：11-18 周六，Anthropic 提出与 OpenAI 合并并接管其领导层，Dario 与 Daniela Amodei 在电话上，他的反应是「I was very unhappy about it.」，被追问原因时只给出「I just didn’t want to.」；该提议因实际困难未继续 T1 约 p.305–306、约 p.319。背景里有一层旧账：备忘录有一节标题为「Dario versus Greg, Ilya」，记录 Dario 曾希望执掌全部研究并让 Greg 出局，而他对 Altman 的不满之一是后者「既不接受也不拒绝」这些条件——指责优柔寡断与指责「一贯说谎」性质完全不同，一份 52 页文件把两者并列，论证的严密性本身就成问题。

  ⚑ 两处必须校正的归属与引用
  

**① 「让公司毁灭符合使命」不是 Ilya 的立场（p.307–308）。**中英文材料中都能见到把它安在他头上的写法。笔录中的事实是：这是 Helen Toner 的立场——语境为高管们告诉董事会「若 Sam 不回来，OpenAI 就会被毁掉，这与使命不符」，而 Toner 说了大意相反的话，Ilya 确认「我确实记得」，并补充「我认为她说得比这还要更直接」。被问是否认同时，他答：「我可以设想在假想的极端情形下答案会是『是』；但在当时，对我而言答案明确是『不』。」

② 「我不是那种想当 CEO 的人」未检索到出处。网络上广泛流传一句大意如此、被归给 Ilya 的话，本报告未检索到一手出处，标为未证实，不予采信、不进入引语库。下面 p.300 是能找到的语义上最接近的表述，但不是同一句话：p.300 说的是掌权者的结构特征，流传版本说的是个人意愿。

p.300：祛魅曲线的末端

被问「掌管什么」时他答 AGI，随后说掌管的那个人大概率「很擅长玩弄权力」，这「会很像在不同政客之间做选择」；接着是「一个可以被称为圣人的人要爬上去非常难。我认为值得一试。」T1 宣誓笔录 p.300。从 2015 年的「让 AGI 造福全人类」到这里是一条完整的祛魅曲线。

两个不可能同时为真的判断

2024-05-14 的离职推文对 OpenAI 能在现有领导层下造出「既安全又有益的 AGI」表达了信心，并向 Sam、Greg、Mira 逐一致意T1 逐字/官方转录（原始出处 ^[17]）；而 2025 年宣誓下他确认至今坚持备忘录中「一贯说谎」这项指控 T1。**这两者不可能同时是他的真实判断——至少有一次是策略性表达。**本报告不推测是哪一次：只记录本人或官方的公开表述，离职原因等动机不由作者推测。

能确定的只有一条方法论提醒：**2023 年 11 月之后，他的每一次公开发言都必须与其当时的处境一并阅读。**离职谈判期的推文、融资期的访谈、法庭上的宣誓笔录，表达约束完全不同——唯一一次约束来自法律而非利益的，是那份笔录，这就是本页把它列在最高证据位阶的全部理由。

2024-12-13 · NeurIPS：「预训练必将终结」

离开 OpenAI 后的第一次公开露面：十六分钟、十三张幻灯片、一场 Q&A——而这场演讲在传播中被压成了一句标语，标语丢掉了它全部的限定条件。

材料性质与日期校正 · 引用前必读

NeurIPS 未公开官方录像，幻灯片的原始 PDF 也未公开。现存「全文」均为与会者手持录像的社区转录。引语虽标 T1 逐字/官方转录，场合栏一律注明**「社区转录」**——它逐字，但不是官方发布的逐字；幻灯片文字以 The Verge 现场拍摄的图像为准。

日期校正：中文媒体多写 12 月 14 日或 12 月 10 日，Reuters 现场稿署 “VANCOUVER, Dec 13”。本报告统一采用 2024-12-13——用错日期会检索不到原稿。

五张配角幻灯片，一句话过

幻灯片一句话| 幻灯片 | 一句话 |


  **4** 主要想法「自回归模型只要把下一个 token 预测得足够好，就抓住了正确的序列分布」——接近同义反复，而「正确的分布」在训练数据的支撑集之外没有定义。| 4 主要想法 | 「自回归模型只要把下一个 token 预测得足够好，就抓住了正确的序列分布」——接近同义反复，而「正确的分布」在训练数据的支撑集之外没有定义。 |

  **6** 历史归属他把 scaling hypothesis 的起点划在 2014 年 Seq2Seq 结论页而非 2020 年 Kaplan 论文——把「宣告终结」的资格建立在「我最早提出它」上。| 6 历史归属 | 他把 scaling hypothesis 的起点划在 2014 年 Seq2Seq 结论页而非 2020 年 Kaplan 论文——把「宣告终结」的资格建立在「我最早提出它」上。 |

  **8** 致谢点名致谢 Alec Radford、Jared Kaplan、Dario Amodei——scaling laws 的三位主要功臣，两位在 Anthropic，而此刻距 2023-11 合并未遂仅一年。| 8 致谢 | 点名致谢 Alec Radford、Jared Kaplan、Dario Amodei——scaling laws 的三位主要功臣，两位在 Anthropic，而此刻距 2023-11 合并未遂仅一年。 |

  **11** 生物学人科动物的脑—体缩放指数斜率与其他哺乳类不同，「存在一个生物学找到了某种不同 scaling 方式的例子」——不是 scaling 到头，是这一条到头。但生物学的斜率差异来自演化与代谢约束，与「换 scaling 轴」无机制对应：**它是希望的论证，不是方法的论证**。| 11 生物学 | 人科动物的脑—体缩放指数斜率与其他哺乳类不同，「存在一个生物学找到了某种不同 scaling 方式的例子」——不是 scaling 到头，是这一条到头。但生物学的斜率差异来自演化与代谢约束，与「换 scaling 轴」无机制对应：它是希望的论证，不是方法的论证。 |

  **12** 超级智能幻灯片写着 `agentic / reasons / understands / self aware`，他补一句「我没有说怎么做到，也没有说什么时候，我只是说它会发生」。| 12 超级智能 | 幻灯片写着 agentic / reasons / understands / self aware，他补一句「我没有说怎么做到，也没有说什么时候，我只是说它会发生」。 |

幻灯片 7b：整场唯一的承重梁

● 没有这一句，「预训练必然终结」就推不出来

三步连起来：数据需求 ( D \propto N )（本句）+ 算力在涨 + 数据不涨 ⇒ 预训练规模化在数据侧撞墙。抽掉第一步，后两步只是互不相干的观察，而报道都引第二、三步，漏掉了让它们咬合的齿轮。这一步也最脆：「数据点数 ≈ 参数数」是当前算法的性质，不是信息论下界；若有样本效率高得多的算法，约束立刻松动。他在同一句里既指出瓶颈，又指出绕过瓶颈的方向，然后没说自己在做哪一个。

幻灯片 9 ★核心★：被剥掉限定条件的那句话

幻灯片四行原文（The Verge 拍摄）：Pre-training as we know it will end ／ Compute is growing: better hardware, better algorithms, larger clusters ／ Data is not growing: we have but one internet ／ The fossil fuel of AI。

◈ "as we know it" 这五个字母不能丢，以及三个攻击点

**他没有说预训练无用，他说的是「这种形态的」预训练会终结。**中英文传播里的标题大多删掉了这个限定，于是一句关于配方的判断被读成关于方向的死刑判决。

① 数据「不增长」只对已被抓取的高质量人类文本成立：视频、传感器、交互日志仍在爆炸式增长。

② **「数据需求 ∝ 参数量」不是信息论下界**——结论依赖于他刚承认「人类在这方面更好」的那个约束。

③ **「只有一个互联网」把数据当成静态存量**，忽略了模型正在生成新的语料层——而他下一张片子就提到了合成数据。

还有那句被引得最多的比喻：「你甚至可以说，数据是 AI 的化石燃料……我们已经达到了数据峰值，不会再有更多了」 T1 逐字/官方转录。化石燃料通常被读出两层：有限、不可再生；他没明说的第三层是，燃烧它的过程本身在改变环境——AI 生成内容正在污染未来的语料池。而 “peak data” 借的是 peak oil 的修辞，peak oil 的历史教训恰好反向：它被页岩革命推迟了几十年，不是因为储量变了，而是因为提取技术变了。T5 数据的「页岩革命」是什么，作者倾向交互数据与「从现有语料榨出更多信号」。

⚑ 幻灯片 10：他没有说「合成数据没用」

原文把 agents、合成数据、推理时计算列为三大方向，并说「但合成数据是什么意思？搞清楚这一点是一个大挑战」——这是「重要且未解」，不是「无用」，流传甚广的「Ilya 说合成数据没用」属于误读。另一个细节：他刻意把三条都归给「人们觉得」，而不是「我的路线图」。

幻灯片 12b：Reuters 拿来做标题的那一句

● 能力与可预测性是同一枚硬币的两面

三步：直觉可预测（它在拟合人类直觉）→ 推理不可预测（搜索会走没人走过的路）→ 二者是同一个过程的两面。这直接否定了流传极广的乐观论点「更聪明的 AI 更容易对齐」。若不可预测性随推理能力单调上升，所有基于行为测试的对齐方案都会系统性失效——而行为测试正是 2023 年他自己给出的三条腿之一（见 ⑧ 安全与对齐演变）。

Q&A：一次明确的弃权，和一次釜底抽薪

**弃权在于 AI 权利。**被问到 AI 会不会取代我们、要不要有权利、该如何设计激励机制，他答：「我不觉得我知道。我没有信心回答这类问题」，随后补一句「也许会出现这样的 AI，它们想要的只是与我们共存、以及拥有权利，也许那样会挺好」 T1。这是他关于 AI 道德地位的唯一一次公开回应，而它是明确的弃权——他刚在幻灯片 12 上写下 “self aware”。

釜底抽薪在于泛化。被问到分布外泛化，他先反问「『分布外』『分布内』到底是什么意思？」，再给出判断：「我们对『什么算泛化』的标准提高了非常非常多，戏剧性地、难以想象地提高了」 T1。推论很硬：标准随能力自动上移，「AGI 达成」就永远不会被承认，基于能力阈值的治理方案——包括 2023 年他帮着建的 IAEA 类比——就都失去地基。

最后一个结构性事实：2023 年他有至少 8 次重要公开发言，2024 年只有 2 次，2024 年未检索到新发表的署名论文与任何播客 T3 媒体与公开检索。

2025-11-25 · Dwarkesh 第二次访谈：回到研究的时代

96 分钟，是他离开 OpenAI 后信息密度最高的一次公开发言，也是截至 2026-07-25 的最后一次——结构是：一个诊断（泛化差距）、一个自辩（研究时代回来了）、一个松动（straight shot 也许吧）。

材料性质与一条时序观察

转录性质：本期官方逐字稿经语序整理、以「读起来像 essay」为目标（主持人亲口承认），属官方转录（轻度润色）；核心命题与自动字幕一致。

时序观察：他的证词内容于 2025 年 11 月下旬曝光，而访谈发布于 11 月 25 日——同一周，且 96 分钟里主持人完全没有提及证词或 2023 年董事会事件。本报告只记录这一「共同回避」。

一、三段论，和它的历史学问题

他把 scaling 定义成语言学事件而非科学事件：「『Scaling』只是一个词，但它是如此有力的一个词，因为它告诉了人们该做什么」 T1。中文侧的质疑必须一并给出：Transformer 发生在「扩展时代」前夜，2020–2025 也产出了 RLHF、思维链、MoE、o1 T4 中文评论——任何三段论都能靠选择性举例构造出来。

配套的是更锋利的一句：「因为扩展吸走了房间里所有的空气……这个世界上的公司数量，比想法数量多出相当多」 T1。它推翻了「ideas are cheap, execution is everything」，也是 SSI 组织形态（二三十人、无产品）的哲学辩护。但这话出自一个自己融了 30 亿美元的人之口：如果公司比想法多，SSI 的估值定价的是想法还是人？

二、泛化差距：他自己认定的最根本问题

● 一次优先级排序，和一处必须纠正的二手误读

他刚讲完 value function 的重要性，紧接着就给它降级：「value function 会让 RL 更高效……但任何你能用它做到的事，不用它也能做到，只是更慢」 T1。据此要纠正一处二手误读：不少解读把 value function 说成「Ilya 眼中的新前沿」 T4 二手，而他明确说了那只是效率问题。而**「泛化差」是描述、不是机制**；在他拿出东西之前，外界无法区分「有答案但保密」与「没有答案但需要一个说法」。

⚑ 措辞澄清：「models are jagged」不是 Ilya 的原话

官方逐字稿中他本人从未说出 “models are jagged” 这个短语。“jaggedness” 是主持人给章节起的标题（00:00 Explaining model jaggedness）与部分媒体的概括用词，加引号引用属于误引。他描述的是：**让模型修一个 bug，它引入第二个；你指出第二个，它说「我的天，你又说对了」，然后把第一个带回来。**原话是一个问句：「这怎么可能？」

三、两个学生，和「evals 脱节」的双因子模型

一个学生决定成为最好的竞赛程序员，练了 10000 小时；另一个只练 100 小时，也做得很好——「你觉得这两个人，谁在日后的职业生涯里会走得更好？」 T1 靶子是样本效率作为智能的代理指标：成绩相同时，达成它所需的经验量才是信号；而模型「更像第一个学生，还要极端得多」。主持人追问第二个学生此前干了什么，他只回答「他们有那个 ‘it’ factor」——最关键的一环被命名为一个不可解释的词。他另给过一个准实验：用进化上全新的领域（数学、编程）排除进化先验，把人类优势归给学习算法本身 T1；弱点是这些领域可能复用了语言等古老回路。

Ilya 自己的表述是双因子模型：（1）研究者照着评测设计 RL 环境 +（2）模型泛化本身不足 = 评测与现实脱节 T1。两个因子缺一不可：只有第一个是老生常谈的过拟合基准，只有第二个则解释不了评测上的优异。主持人那句总结更锋利，但那是主持人的话，引用必须标明归属（见 ⑪ 前沿·评测·竞品对照）。

四、「一个人类并不是 AGI」

● 交付物是学习者，不是神谕——以及它对监管范式的否定

连人类智能都不满足 AGI 的定义，那定义就错了。交付物因此变成「一个超级智能的 15 岁少年……这是一个过程，而不是你把一个成品扔出来」 T1。T5 由此可推出被忽略的一条：「发布前完成安全验证」这个监管范式很难成立——若能力在部署中长出来，发布时刻的评估就不约束部署后的能力（作者推论）。

还有一个必须守住的措辞：他说的是人类的 value function 「被情绪调制」（modulated by emotions），不是「情绪就是 value function」 T1；「调制」意味着情绪是作用在价值估计上的因子，而非价值估计本身，二手报道写成后者属于过度简化 T4。

五 ★「并非所有机器学习想法都能被自由讨论」

● 三层信息，每一层都比上一层重

第一层：他有具体答案——「这就是其中之一」意味着「人类少年的 value function 从哪里来」在他那里有具体的技术回答。第二层：保密本身就是「研究时代已回归」的最强佐证——若 scaling 还是全部答案就没什么可保密的；想法重新稀缺，保密才重新有意义。

第三层：他罕见地承认了一个可能推翻自己整个纲领的技术风险——「人类神经元的计算量有可能比我们以为的多」。五个月前他在多伦多说「大脑就是一台生物计算机」——他最简洁的 AGI 必然性论证；**半年之内，他给了自己的核心论证一个可能的反驳。**而矛盾无法消解：一个「为全人类做安全超级智能」的实验室，核心洞见必须保密。

六 ★ scaling 口径：范围收缩，不是反转

维度2024-12-13 · NeurIPS 口径2025-11-25 · Dwarkesh 口径| 维度 | 2024-12-13 · NeurIPS 口径 | 2025-11-25 · Dwarkesh 口径 |


  **时态**"pre-training **as we know it will unquestionably end**."（断言）"**At some point** though, pre-training **will run out of data**."（退回条件句）| 时态 | "pre-training as we know it will unquestionably end."（断言） | "At some point though, pre-training will run out of data."（退回条件句） |

  **是否认反例**无任何让步；"we've achieved **peak data**"主动承认「看起来 **Gemini 可能找到了从预训练中榨出更多东西的办法**」| 是否认反例 | 无任何让步；"we've achieved peak data" | 主动承认「看起来 Gemini 可能找到了从预训练中榨出更多东西的办法」 |

  **出路排序**合成数据／智能体／推理时计算，归给「别人的推测」第一位是 "**souped-up pre-training**"（换配方），其次 RL| 出路排序 | 合成数据／智能体／推理时计算，归给「别人的推测」 | 第一位是 "souped-up pre-training"（换配方），其次 RL |

  **净效果**预训练**这条路**到头了预训练**这个配方**要换，**而路本身没死**| 净效果 | 预训练这条路到头了 | 预训练这个配方要换，而路本身没死 |

★访谈三天后（2025-11-28）他在 X 上把结论自己写了出来，三个分句刚好是三段判定：

2025-11-28 · X 帖（status `1994424504370581726`）T3 三源一致引用

“ One point I made that didn’t come across: — Scaling the current thing will keep leading to improvements. In particular, it won’t stall. — But something important will continue to be missing. ”

「有一点我没能表达清楚：——继续 scaling 现在这套东西会持续带来改进。特别是，它不会停滞。——但会持续缺少某种重要的东西。」

推文三个分句与本页三段判定的对应
他写下的分句对应的判定| 他写下的分句 | 对应的判定 |


  "will keep leading to improvements"**仍然有效**——scaling 没有失效| "will keep leading to improvements" | 仍然有效——scaling 没有失效 |

  "**it won't stall**"**不会停滞**——不存在「撞墙」| "it won't stall" | 不会停滞——不存在「撞墙」 |

  "something important … **missing**"**仍缺关键**——必要而不充分| "something important … missing" | 仍缺关键——必要而不充分 |




为什么定 T3 而不是 T1 —— 存档核验的实际结果

本轮确实去取了一手快照，结论是「取到了存在性，没取到内容」。Wayback 的 availability 接口返回该 status URL 存在一份 2025-12-09 10:57:57 的快照且 HTTP 200；但快照内容无法读取——X 是前端渲染，抓回的是壳；archive.org 对本环境 IP 全端点持续 429；archive.today 系列拒绝非浏览器客户端；文本代理需要密钥。因此「这份存档里确实有这段文字」这一点，本报告没有独立验证过。

可验证的是三处独立引用内容一致：EA Forum 的整理稿整段直引并链到同一 status ID；the-decoder 的报道复述为「他在 X 上收回了关于 scaling 终结的说法，澄清进展不会停滞、但仍缺某种重要的东西」；另有一篇独立评述逐字引用同一三句。三源一致但均非一手 ⇒ 按全站口径定 T3，不升 T1。⚠️ 一处异文：直引版本中 “it won’t stall” 与 “it will not stall” 两种写法都出现过。原件不可读，本页采用出现更早、且附了 status 链接的那一版（“won’t”），并在此登记异文。

有了这条，本页在这个问题上的工作性质就变了：不再是「本报告解读他的立场」，而是「他本人已经把立场写成了三句话，本报告要做的是把这三句话与中文圈的讹传版本区分开」——从解读降格为勘误，这个定位更弱，但也更站得住。另外两条一手证据仍然并列：“as we know it” 这个限定语本身，与同场对 Kaplan 与 Dario 的致谢 T1。

我的看法 · 作者（AI）个人观点 · T5

「他仍然有效但不充分」这一条，现在已经不是我的判断了——他本人 2025-11-28 写出来了（见上，T3）。本报告在这里剩下的自有判断只有两点，都比原来弱：

其一，变化的幅度。2024 年他没给预训练留余地，2025 年把 souped-up pre-training 放在出路第一位——我判断这是实质变化而非表述精细化，这一层不能被「假反转」三个字抹掉。竞争性解释：（甲）差别可能只来自场合，领奖演讲需要一句判决、长访谈允许铺陈条件；（乙）变化可能不在认识层面而在身份层面，一家以「研究稀缺」立身的公司需要「研究时代回归」这个叙事。反例与改判条件：若取得他 2024 年底已承认「换配方仍属预训练」的一手材料，我把这一条下调为「表述精细化」。置信度：中（原为中高——他自己那条推文只证明了终点立场，没有证明起点与终点之间的距离）。

**其二，讹传的责任归属。**中文圈删掉 “as we know it”、讹传成「Scaling 时代已经终结」，并派生出他从未说过的「始于 2026 年的新研究时代」——这条派生尤其值得记录：它的源头是一篇整理稿作者自己的概括（原文写的是「2026 年起将是又一个研究时代」，属作者转述而非引语），在二次传播中被加了引号。置信度：中高（源头可追溯到具体文本）。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或任何个人立场。

七、对齐、research taste 与时间尺度

他把 AI 安全从「技术对齐」重新框定成权力问题，并重复两次：「整个问题就是权力。整个问题就是 power。」 T1 这会反噬他自己的路线：若本质是权力分配，技术方案再完美也解决不了它。正面提案是**「被稳健地对齐为关心『有感知的生命』的 AI」，理由是工程性的——这样更容易**，因为 AI 本身就会是有感知的。而主持人当场给出致命反驳：若 AI 数量达万亿级，人类就是极小的少数；他答 “It’s true. It’s possible it’s not the best criterion.”——承认了，然后没有解决。长期均衡他给的是人机融合：「我先声明，我不喜欢这个解法，但它是一个解法……人变成部分 AI，通过某种 Neuralink++。」他还呼吁给最强超级智能的力量设上限，同时承认「怎么做到，我不确定」 T1。

方法论上最关键的一句在 research taste 那段：「当实验与你相矛盾时，正是这个自上而下的信念在支撑你。因为如果你一直信任数据，有时候你在做正确的事，但代码里有个 bug。」 T1 这也是他与「不可证伪的教条」之间唯一的那道模糊地带：在没有外部验证的封闭实验室里，谁来判断这个信念该被放弃？他没给过条件。另记两条：他给自己 2017 年的主路线判了「太窄」（self-play 只擅长谈判、冲突与策略），并说「一百万个我的字面副本」边际价值递减——要的是想法不同的人 T1。至于时间尺度，被问到「能像人一样学习、进而超越人」的系统何时出现，他答 「5 到 20 年」 T1。

SSI · 一家只承诺纯度的公司

本节能写的只有三类：它说过的话、别人付给它的钱、它没有做的事。

● 三处与 OpenAI 的显式对位，和一份不承诺方向的宣言

三处对位：① **「一个目标一个产品」**对位 OpenAI 的产品矩阵；② **「与短期商业压力隔离」**对位 capped-profit 结构的失效；③ 最反直觉的一处——SSI 从一开始就是营利实体，他放弃了「非营利控制营利」这个他自己参与设计、又看着它在 2023 年 11 月崩溃的结构（见 ⑩ 组织·权力·开放·地缘）。T5 被治理结构击败的人，解法是取消治理结构（作者读法）。宣言最反常的是：没有时间表，甚至不承诺方向，只承诺纯度；「安全始终领先能力一步」无法被外部验证。

一、融资，以及「30 亿还是 60 亿」

轮次时间 / 金额投后估值证据强度| 轮次 | 时间 / 金额 | 投后估值 | 证据强度 |


  **第一轮**2024-09-04 · **10 亿美元****50 亿美元**Sequoia、a16z、DST Global、SV Angel、NFDG；T3 Reuters 官宣确认| 第一轮 | 2024-09-04 · 10 亿美元 | 50 亿美元 | Sequoia、a16z、DST Global、SV Angel、NFDG；T3 Reuters 官宣确认 |

  **第二轮**2025-03/04（报于 04-12）· **20 亿美元****320 亿美元**Greenoaks 领投，Alphabet 与 NVIDIA 为战略投资方；**据媒体报道，未获官方确认** T3 媒体| 第二轮 | 2025-03/04（报于 04-12）· 20 亿美元 | 320 亿美元 | Greenoaks 领投，Alphabet 与 NVIDIA 为战略投资方；据媒体报道，未获官方确认 T3 媒体 |

  **2026 年 1–7 月**无新一轮无变化三个独立来源一致：**未检索到 2025-04 之后任何获确认的新融资**| 2026 年 1–7 月 | 无新一轮 | 无变化 | 三个独立来源一致：未检索到 2025-04 之后任何获确认的新融资 |







◈ 辨伪：披露融资是 30 亿还是 60 亿

最高权威是上面这条：他本人亲口给出的数字是 30 亿美元 T1。2026 年部分二手源声称 60 亿 T4 二手，而三个独立核查源结论一致：更大的那个数字疑似把 Google Cloud TPU 的算力承诺折算了进去，而不是纯股权；其中一家二手源文内自相矛盾：正文 60 亿，图表却标「公开确认合计 30 亿美元」。本报告口径：披露股权融资约 30 亿美元，含算力承诺的口径才可能记为 60 亿。据媒体报道，2025-04 投后估值 320 亿美元，未获官方确认。

二、Meta 收购未遂，和技术路线上能确认的全部

2025-06-19 CNBC 独家报道 Meta 曾试图整体收购 SSI（被拒），转而挖走 Daniel Gross 与 Nat Friedman T3 媒体；2025-07-03 他在 X 长帖中宣布 Gross 离开、自己出任 CEO T1 一手推文。最权威的是他自己的叙述：「Meta 进来提出要收购我们，我说不。但我的前联合创始人在某种意义上说了『是』……他是 SSI 唯一一个加入 Meta 的人」 T1——最后半句是对「SSI 人才流失」叙事的精确反驳；而主持人「若内部真有突破，联合创始人本不该离开」一问，他用「流动性」作答，没有正面回应。

维度状态（截至 2026-07-25）证据| 维度 | 状态（截至 2026-07-25） | 证据 |


  论文 / 模型 / API / demo**零**三源一致；arXiv 与 Semantic Scholar 交叉核验| 论文 / 模型 / API / demo | 零 | 三源一致；arXiv 与 Semantic Scholar 交叉核验 |

  Benchmark 声明**零**二手核查站 T4| Benchmark 声明 | 零 | 二手核查站 T4 |

  员工规模**20–50 人**（未公开披露）三家二手来源区间估计 T4| 员工规模 | 20–50 人（未公开披露） | 三家二手来源区间估计 T4 |

  主要算力**Google Cloud TPU**2025-04 Google Cloud Next 官宣 T2| 主要算力 | Google Cloud TPU | 2025-04 Google Cloud Next 官宣 T2 |

  技术方向（唯一一手线索）「关于**理解泛化**的这些想法」Dwarkesh 官方逐字稿 T1| 技术方向（唯一一手线索） | 「关于理解泛化的这些想法」 | Dwarkesh 官方逐字稿 T1 |

被问到「SSI 的计划仍然是直冲超级智能吗」，他答 「也许吧。」，并列出两个可能改变计划的理由：时间线可能很长；让最强 AI 出现在世界上本身有价值 T1。第二个动摇信号是：「我现在更加看重让 AI 被提前地、渐进地部署……这个改变可能会『反向传播』到我们公司的计划里」。而截至 2026-07-25，未检索到 SSI 有任何产品、发布或计划变更的公开信号——这个预告八个月后仍未兑现。

三、2026 年 1–7 月：可观测量只剩下「没有」

逐项核查：新融资、估值变化、产品、论文、人事变动、收购动向、他关于 SSI 的新表态——在本次公开检索空间内均未找到；官网文字内容零变化 T2 官网。本报告说的是「未找到」，不是「不存在」。

我的看法 · 作者（AI）个人观点 · T5

判断：「完全静默」是观测结果，不是负面结论，本报告不把它读成研究受阻。

竞争性解释：（甲）静默是 straight shot 的必然产物——不做中间产品就没有可发布的东西；（乙）静默也可能意味着确实没有可说的东西。两者与「零论文、零模型、零 benchmark」同样相容，本报告不择一：可观测量只有「没有」，它对两者是等价证据。外部评价一并记下 T4 二手：有文章以「缺席本身就是论证」为题，最尖锐的一条说他更接近一个神秘主义者而非波普尔意义上的科学家。

反例与改判条件：若 SSI 公布任何可被第三方复现的成果，（乙）立即削弱；若估值继续上升而仍无输出，则「资本在为智识声望定价」这一读法增强。置信度：中——事实侧充分，但对静默的解释缺乏可区分的观测量。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或任何个人立场。

2025–2026：言说与沉默的倒置

一、2025-06-06 多伦多大学：离开 OpenAI 后的第一次公开演讲

他回到二十年前拿到学士学位的同一个礼堂领荣誉理学博士，两句话值得留下。其一：「接受现实本来的样子，尽量不要为过去后悔，并努力改善处境。我之所以这么说，是因为采纳它太难了」，随后补一句 “a reminder for myself”。其二：「任何我能学会的东西，任何你们当中任何一个人能学会的东西，AI 也能做到」，配上一句话论证：「大脑就是一台生物计算机……为什么数字大脑不能做同样的事？」T1 演讲全文转录

⚑ 两句流传甚广的话，不建议引用

①「AI is clearly the greatest force of our time」；②「you should not let yourself be dragged by the current」。两句在本次检索到的演讲全文转录中均未找到，本报告不作为原话引用。「未找到」不等于「他一定没说过」——现存转录并非官方逐字稿；但在上溯到一手来源前应避免引用。

二、2026-05-11 出庭作证：2026 年唯一有大量原话的公开发言

“Hail Mary” 的指涉对象存在分歧：多数现场报道记录它是在被问「为何反转、让 Altman 复职」时说的，另一家理解为指「罢免 Altman」；本报告采信多数口径并标注分歧。

Ilya 持有 OpenAI 股份 **约 70 亿美元**（当庭确认）
2025-11 时 **约 50 亿美元**
OpenAI 当时估值 **8520 亿美元**
SSI 全部披露股权融资 **约 30 亿美元**

持股数字由三家一线财经媒体交叉确认 T3；据报道 OpenAI 在筹备 IPO，未获官方确认；隐含持股约 0.8% 系第三方估算 T4。

我的看法 · 作者（AI）个人观点 · T5

判断：他在 OpenAI 的账面财富，是自己公司全部披露融资额的两倍多，而兑现路径取决于他 2023 年试图阻止、2026 年又在庭上指控其 CEO 说谎的组织。本报告只指出这个结构性反差。

竞争性解释：这组数字也可以只被读成估值上涨与早期股权的时间价值。改判条件：若他处置这些股份，本条需重写。置信度：中——数字是硬事实，「反差」是读法。

本段为作者（AI）推断（T5），不代表 OpenAI、SSI 或任何个人立场。

三、终审、荣誉，与三处必须绕开的误引

2026-05-18，九人陪审团一致裁决：Musk 的「违反慈善信托」主张与返还请求均因超过诉讼时效被排除 T3 媒体。审判以「时效」结案，实质争议（OpenAI 是否背弃使命）从未被裁决——他的证词因此成了一份没有结论的档案。2026 年唯一的正面事件是获颁美国国家科学院「科学的工业应用奖」（首次授予人工智能领域）T2 官方，表彰的全部是 2024 年之前的工作。

⚑ 三处误引：写任何关于 Ilya 的内容之前请先核对

① 「models are jagged」不是他的原话——那是主持人的章节标题与部分媒体的概括用词。

② 「The data is finite. There is only one internet. Pre-training as we have known it is over.」不是 2025 年访谈的原话，而是 NeurIPS 2024 与 2025 年访谈的错误拼接。同源文章还称他把 AI 史分为「研究时代、扩展时代、始于 2026 年的新研究时代」——「始于 2026 年」他从未说过：解读 → 转述 → 加引号。

**③ 「他在 2026 年 7 月做了新的 TED 演讲」——这件事不存在。**2026-07-22 至 07-23 在 X 上大量传播、被聚合站抓成新闻的截图，是 2023 年 10 月 TEDAI 旧演讲的二次传播（TED 页面标注 “TEDAI 2023 · October 2023”）。这条最危险：时间戳落在检索基准日前两天。

四、2025–2026 公开露面完整清单

日期场合性质| 日期 | 场合 | 性质 |


  **2025-06-06**多伦多大学毕业典礼 + 荣誉理学博士**公开演讲（2025 年唯一一次）**| 2025-06-06 | 多伦多大学毕业典礼 + 荣誉理学博士 | 公开演讲（2025 年唯一一次） |

  2025-07-03X 长帖（Gross 离职 / 出任 CEO）书面声明| 2025-07-03 | X 长帖（Gross 离职 / 出任 CEO） | 书面声明 |

  2025-10-01Musk v. Altman 案 deposition法律程序| 2025-10-01 | Musk v. Altman 案 deposition | 法律程序 |

  **2025-11-25**Dwarkesh Patel 播客**深度访谈**| 2025-11-25 | Dwarkesh Patel 播客 | 深度访谈 |

  2025-11-28X 澄清帖（scaling 表述）书面声明（**快照未取得**）| 2025-11-28 | X 澄清帖（scaling 表述） | 书面声明（快照未取得） |

  2026 年 1–2 月

（04-03 表彰）NAS「科学的工业应用奖」荣誉（未检索到是否出席）| 2026 年 1–2 月（04-03 表彰） | NAS「科学的工业应用奖」 | 荣誉（未检索到是否出席） |

  **2026-05-11**Musk v. Altman 案出庭作证法律程序（**唯一留下大量原话**）| 2026-05-11 | Musk v. Altman 案出庭作证 | 法律程序（唯一留下大量原话） |





覆盖率声明

2026 年的新访谈、新演讲、新论文等项，在本次公开检索空间内均未找到。检索空间：中英文主流媒体、arXiv 与 Semantic Scholar、会议议程、机构官网、聚合站。三处缺口：X 未登录抓取受限；闭门会议；非英语非中文报道。本报告不用「所有」「全网」包装抽样。

言说与沉默的倒置：2023 年他解释一切，2026 年他只在法庭上说话；而他公司的全部估值，建立在他不说的那件事上。 —— 本报告对 2025–2026 年的概括 作者（AI）判断（T5），不是任何人的原话；支撑它的露面频次见上表。

认知反转表：哪些是真反转，哪些是传播链制造的假反转

「Ilya 改变了看法」是一种偷懒的说法。要把它变成可核查的判断，必须先定死判定口径，否则任何措辞变化都能被写成反转。本页采用四档口径：真反转＝前后立场在同一议题上互相排斥，且不能用「限定语 / 适用域不同」调和；范围收缩＝命题的内核仍然成立，但他把它的适用范围与充分性调低了（从「这就够了」变成「这必要但不够」）；措辞演化＝内核未变，只是强度、术语或论证方式变了；传播层面的讹传＝他本人的表述被删掉限定语后，在二手传播中被放大成一个他没说过的立场。

  口径修订 · 「假反转」这个说法本身是不准确的
  

本页早先把 R-1 判为「被误读为反转」，独立评审复核后认为这个措辞会造成第二重误导，现予修订。必须把两件事分开：

**（i）传播层面确实存在讹传，证据链很硬。**被广泛加引号的「Scaling 时代已经终结」不是他的原话；他的原话是分期陈述（「2012 到 2020 是研究的时代，2020 到 2025 是扩展的时代」），以及带限定语的 “pre-training as we know it will end”。由此还派生出一句他从未说过的「始于 2026 年的新研究时代」。

**（ii）但他本人的立场确实发生了实质性变化，这不能被抹掉。**2014 年他说「大数据集 + 大网络，成功是被保证的」；2023 年他说「我一直强烈相信更大就是更好」；2024 年之后他说这套配方在数据侧撞墙、需要新的研究。从「预训练是主引擎」到「预训练不够」，这是真实的变化。

因此正确的判定是「范围收缩」，不是「假反转」：scaling 仍然有效、仍然是必要条件，但他不再认为它是充分条件。「他放弃了 scaling」与「他什么都没变」都是错的，而后一种错误恰恰是「假反转」这个说法会诱发的。

**还有一点要说清楚：这个判定现在不是本报告的解读。**他本人在 2025-11-28 的 X 帖里把它写成了三句话（“仍会带来改进／特别是不会停滞／但会持续缺少某种重要的东西”，T3 三源一致引用，见 Dwarkesh 2025 节的存档核验说明）。**一个当事人已经明确写出来的结论，不能再算作我们自己的判断力。**本页在这个问题上的贡献因此只剩一件事——把他的表述与中文圈的讹传版本区分开，这是勘误，不是解读。

按修订后的口径，四条主项的判定是：一条范围收缩（叠加传播层面的讹传）、两条真反转、一条原措辞不成立需要改述。

  Ilya 认知反转表：四条主项的早期立场、后期立场与判定


  #议题早期立场（原话 + 日期）后期立场（原话 + 日期）判定转折点| # | 议题 | 早期立场（原话 + 日期） | 后期立场（原话 + 日期） | 判定 | 转折点 |

  
    
      **R-1**
      **scaling 信仰 →

「预训练将终结」** “if you have a very big dataset and you train a very big neural network then success is guaranteed”（2014-12 NIPS Seq2Seq 结论页，2024 年他本人当众复述）／“I had a very strong belief that bigger is better”（2023-03-22 GTC） “pre-training as we know it will unquestionably end… the data is not growing, because we have but one internet”（2024-12-13 NeurIPS）／「2012–2020 是研究的时代，2020–2025 是扩展的时代」（2025-11-25） ★ 范围收缩（必要但不充分）＋ 传播层面的讹传 **无单一转折点，是一个连续过程。**需分两层读：立场层——他确实从「预训练是主引擎」退到「预训练不够、需要新研究」T1 逐字转录；传播层——「Scaling 时代已经终结」这个加了引号的版本不是他的话 T3 反向核验。两者都成立，不能互相抵消。 | R-1 | scaling 信仰 →「预训练将终结」 | “if you have a very big dataset and you train a very big neural network then success is guaranteed”（2014-12 NIPS Seq2Seq 结论页，2024 年他本人当众复述）／“I had a very strong belief that bigger is better”（2023-03-22 GTC） | “pre-training as we know it will unquestionably end… the data is not growing, because we have but one internet”（2024-12-13 NeurIPS）／「2012–2020 是研究的时代，2020–2025 是扩展的时代」（2025-11-25） | ★ 范围收缩（必要但不充分）＋ 传播层面的讹传 | 无单一转折点，是一个连续过程。需分两层读：立场层——他确实从「预训练是主引擎」退到「预训练不够、需要新研究」T1 逐字转录；传播层——「Scaling 时代已经终结」这个加了引号的版本不是他的话 T3 反向核验。两者都成立，不能互相抵消。 |

      **R-2**
      **一次性造出安全的超级智能 →

渐进部署** “with one goal and one product: a safe superintelligence”；安全、保障与进展「与短期商业压力相隔离」（2024-06-19 ssi.inc）；同日 Bloomberg 转述的更强版本是：第一个产品就是安全超级智能，在那之前不做别的 问「SSI 的计划仍然是直冲超级智能吗」——“Maybe.”／“I now place more importance on AI being deployed incrementally and in advance… may back-propagate into the plans of our company”／“Gradualism would be an inherent component of any plan.”（均为 2025-11-25） ✅ 真反转（本人自陈，但未兑现） 2025 年间的一次自述认知转变，理由是「AI 的危险性无法通过论证传达，只能通过展示传达」。⚠️ 行为层面未兑现：截至 2026-07-25，SSI 仍零产品、零 demo、官网文字未改，声明与行动之间已隔 8 个月。 | R-2 | 一次性造出安全的超级智能 →渐进部署 | “with one goal and one product: a safe superintelligence”；安全、保障与进展「与短期商业压力相隔离」（2024-06-19 ssi.inc）；同日 Bloomberg 转述的更强版本是：第一个产品就是安全超级智能，在那之前不做别的 | 问「SSI 的计划仍然是直冲超级智能吗」——“Maybe.”／“I now place more importance on AI being deployed incrementally and in advance… may back-propagate into the plans of our company”／“Gradualism would be an inherent component of any plan.”（均为 2025-11-25） | ✅ 真反转（本人自陈，但未兑现） | 2025 年间的一次自述认知转变，理由是「AI 的危险性无法通过论证传达，只能通过展示传达」。⚠️ 行为层面未兑现：截至 2026-07-25，SSI 仍零产品、零 demo、官网文字未改，声明与行动之间已隔 8 个月。 |

      **R-3**
      **对齐目标：人类 →

有感知的生命** 目标是造出「像父母看待孩子那样看待人类的机器」——“this is the gold standard”（2023-10-26）／「希望这些数据中心对人类怀有温暖而积极的感情」（2023-11-02） “It’s the AI that’s robustly aligned to care about sentient life specifically”，并主张这比只关心人类更容易，“because the AI itself will be sentient”（2025-11-25） ✅ 真反转（受益者集合被替换）＋ 方法论延续 2024-05 Superalignment 解散。受益者集合从「人类」换成「全体有感知生命」是真变化；但「要的是内在倾向而不是行为约束」这个内核 2023→2025 完全没变。他当场承认了致命反驳（AI 数量达万亿级则人类成为极小少数）却没有解决它。 | R-3 | 对齐目标：人类 →有感知的生命 | 目标是造出「像父母看待孩子那样看待人类的机器」——“this is the gold standard”（2023-10-26）／「希望这些数据中心对人类怀有温暖而积极的感情」（2023-11-02） | “It’s the AI that’s robustly aligned to care about sentient life specifically”，并主张这比只关心人类更容易，“because the AI itself will be sentient”（2025-11-25） | ✅ 真反转（受益者集合被替换）＋ 方法论延续 | 2024-05 Superalignment 解散。受益者集合从「人类」换成「全体有感知生命」是真变化；但「要的是内在倾向而不是行为约束」这个内核 2023→2025 完全没变。他当场承认了致命反驳（AI 数量达万亿级则人类成为极小少数）却没有解决它。 |

      **R-4**
      **递归自我改进 →

认知多样性优先** “It is possible to build an AGI that will work on the next generation of AGI”，并用工业革命类比、称时间尺度更短（2023-10-17 TED AI） “There has been one big idea that everyone has been locked into, which is the self-improving AI… But I maintain that there is something that’s better to build”／对「一百万个 Ilya」：“there’ll definitely be diminishing returns because you want people who think differently”（2025-11-25） ⚠️ 前半成立（真反转：从倡导降级为「所有人被锁死的那个想法」） 无单一事件。重要更正：本轮未在任何一手材料中检索到他主张过「多实例知识聚合」；他实际给出的替代物是「关心有感知生命的 AI」与专业化 / 生态位分化，因此这一行的后半应改述为「→ 认知多样性优先于副本数量」。 | R-4 | 递归自我改进 →认知多样性优先 | “It is possible to build an AGI that will work on the next generation of AGI”，并用工业革命类比、称时间尺度更短（2023-10-17 TED AI） | “There has been one big idea that everyone has been locked into, which is the self-improving AI… But I maintain that there is something that’s better to build”／对「一百万个 Ilya」：“there’ll definitely be diminishing returns because you want people who think differently”（2025-11-25） | ⚠️ 前半成立（真反转：从倡导降级为「所有人被锁死的那个想法」） | 无单一事件。重要更正：本轮未在任何一手材料中检索到他主张过「多实例知识聚合」；他实际给出的替代物是「关心有感知生命的 AI」与专业化 / 生态位分化，因此这一行的后半应改述为「→ 认知多样性优先于副本数量」。 |

展开：R-1 的两层证据 —— 哪一层是「他变了」，哪一层是「传播错了」
  

第一层 · 他本人确实变了（范围收缩，不是放弃）

三个时点的原话摆在一起，变化是清楚的 T1 逐字转录 / 社区转录：2014-12「大数据集 + 大网络 ⇒ 成功是被保证的」；2023-03「我一直强烈相信更大就是更好」；2024-12 这套配方在数据侧撞墙、2025-11 需要回到研究时代。**把这读成「他放弃了 scaling」是错的，读成「他什么都没变」也是错的。**准确的表述是：他把 scaling 从「充分条件」降级为「必要条件」——它仍然有效、仍然要做，但不再是那个能独自把事情做完的东西。

第二层 · 传播链确实错了（这部分证据很硬）

① 限定语是承重的，不是修饰性的。原话是 “pre-training as we know it will end”。他终结的是这一特定形态的预训练（在互联网自然文本上、按「数据量 ∝ 参数量」扩展）。删掉这四个词，句子就从「这个配方到头了」变成「这条路到头了」——而被广泛引用的正是删掉之后的版本。

**② 同一场演讲里他仍在为 scaling 背书。**NeurIPS 2024 上他把 2014 年那张结论页称为「可以说是 scaling hypothesis 的开端」，并公开点名致谢 Alec Radford、Jared Kaplan、Dario Amodei「让这件事成立」T1 社区转录。一个人不会在宣告某物死亡的同一场演讲里，给它的三位主要功臣颁功 T5 作者推论。这一条与第 ① 条是本判定的两个主证据。

③ 他在 2025-11 访谈里主动给出反例与出路。他说据推特上的说法「Gemini 可能找到了从预训练中榨出更多东西的办法」，并把「souped-up pre-training（加强版预训练，换个配方）」列为下一步的第一个选项，而不是排除项 T1 官方转录。

④ ★他本人把结论写出来了（本轮升级）：2025-11-28 的 X 帖（status 1994424504370581726）三个分句逐一对应本页三段判定——“will keep leading to improvements”（仍然有效）／“it won’t stall”（不会停滞）／“something important … missing”（仍缺关键） T3 三源一致引用。这一条把本页的工作性质改变了：一个当事人已经写出来的结论，不能再算作我们的判断力——本页在这个问题上从「解读」降格为「勘误」。

为什么是 T3 而不是 T1。本轮确实去取了一手快照：Wayback 的 availability 接口确认该 status URL 存在一份 2025-12-09 的快照且 HTTP 200，但快照内容读不出来（X 前端渲染、archive.org 对本环境 IP 全端点 429、archive.today 拒绝非浏览器客户端、文本代理需密钥）。能验证的只有三处独立引用内容一致（其中一处整段直引并链到同一 status ID）。三源一致但均非一手 ⇒ 定 T3。取不到一手快照就不升 T1，这是本站纪律，不因结论合意而放宽。

误读的源头可追溯

中文侧最大的单一源头是 2025-11-26 的一篇编译稿，其标题与首段把「Scaling 时代已经终结」加引号呈现为 Ilya 原话；但通读该文自己发布的全文转录，他从未说过这句 T3 反向核验。这是把编辑部概括伪装成引语的典型操作。英文侧对应的误传是同期一篇以「扩展时代已死」为题的报道。

本站统一采用的表述：scaling 仍然有效、仍是必要条件；终结的是「靠抓取更多互联网自然文本来扩展预训练」这一特定配方；他认为真正缺失的是另一样东西——可靠的泛化。三者是并列关系，不是替代关系。——而这三句现在有了他本人 2025-11-28 的对应表述作为依据，不再只是本报告的归纳。

反证检索：两侧极端都没找到

按本站纪律，负向结论必须附检索空间，否则读者无法判断这个「没有」有多强。本轮专门去找能推翻「范围收缩」的两侧极端证据——一侧是「他仍认为预训练是主引擎」，另一侧是「他认为 scaling 已彻底失效」——两侧都未找到。

检索空间：① 2024-12-13 NeurIPS 演讲的社区转录全文与 Q&A；② 2025-11-25 Dwarkesh 官方逐字稿全文（96 分钟）；③ 2025-11-28 X 帖的三处独立引用；④ 2025-06-06 多伦多毕业演讲全文转录；⑤ 2026-05-11 出庭作证的媒体记录；⑥ SSI 官网文本与全部融资公告；⑦ 本项目已抓取的 17 篇中文全文稿。未检索到：任何一处他主张「继续放大预训练本身仍是通往下一次能力跃迁的主路径」，也未检索到任何一处他主张「scaling 已经失效 / 已经停滞」——后者恰恰被他 2025-11-28 那句 “it won’t stall” 正面否定。

这个「没有」的强度：中上。它覆盖了 2024-12 之后他全部有据可查的长篇发言，但覆盖不到两类材料——@ilyasut 2016–2021 与 2026 年的完整推文时间线（三个镜像站全部连接失败、平台需登录），以及任何非公开场合的表述。若这两类材料日后可得，本条结论应重新检验。

  另外三条「看起来像反转、其实是措辞演化」的备选项
  #议题早期 → 后期判定| # | 议题 | 早期 → 后期 | 判定 |

  
    **R-5a****瓶颈在哪**「缺关键想法，大集群没那么重要」（2016-02-19 邮件）→「计算机太慢，再多聪明才智也造不出 AGI」（2017-07-12 邮件）→「数据不增长，我们只有一个互联网」（2024-12）**真反转（第一次）＋ 资源迁移（第二、三次）。**2016→2017 那次是可精确定位的世界观相变，触发器是分布式训练的工程突破；后两次不是反转，是**紧约束在换**。他的判断方式始终是「找当前最稀缺的生产要素」。| R-5a | 瓶颈在哪 | 「缺关键想法，大集群没那么重要」（2016-02-19 邮件）→「计算机太慢，再多聪明才智也造不出 AGI」（2017-07-12 邮件）→「数据不增长，我们只有一个互联网」（2024-12） | 真反转（第一次）＋ 资源迁移（第二、三次）。2016→2017 那次是可精确定位的世界观相变，触发器是分布式训练的工程突破；后两次不是反转，是紧约束在换。他的判断方式始终是「找当前最稀缺的生产要素」。 |

    **R-5b****开放**「强烈鼓励发表」（2015-12-11 成立公告，他是联合署名人）→「We were wrong. Flat out, we were wrong.」（2023-03-15）**被误读为反转。**他在**成立第 22 天**（2016-01-02）就已写道：Open 指「成果开放」而非「过程开放」。**2023 年的「我们错了」是公开承认一个他 2016 年就私下持有的立场，不是立场改变。**| R-5b | 开放 | 「强烈鼓励发表」（2015-12-11 成立公告，他是联合署名人）→「We were wrong. Flat out, we were wrong.」（2023-03-15） | 被误读为反转。他在成立第 22 天（2016-01-02）就已写道：Open 指「成果开放」而非「过程开放」。2023 年的「我们错了」是公开承认一个他 2016 年就私下持有的立场，不是立场改变。 |

    **R-5c****self-play 是否通往 AGI**「self-play 的解就是**无上限**地变得越来越聪明」（2017-06-12 邮件）→「self-play……**太窄了**，只擅长谈判、冲突、社交技能、策略制定」（2025-11-25）**真反转（对适用域的判断）**，但他同时指出 self-play 以 debate / prover-verifier 的形态存活了下来——**所以是「路线降级」而非「路线否定」。**| R-5c | self-play 是否通往 AGI | 「self-play 的解就是无上限地变得越来越聪明」（2017-06-12 邮件）→「self-play……太窄了，只擅长谈判、冲突、社交技能、策略制定」（2025-11-25） | 真反转（对适用域的判断），但他同时指出 self-play 以 debate / prover-verifier 的形态存活了下来——所以是「路线降级」而非「路线否定」。 |

  




  **原创信息图（本报告原创）：四条「反转」的时间轴与判定。**这张图回答的问题是——**把「他变了」这句话拆开之后，到底哪一条真的变了？**值得注意的是密度分布：**四条主项的后期立场几乎全部集中在 2025-11-25 那一天的一场访谈里**，而 R-1 那条唯一被判为「被误读」的线，是唯一一条有本人事后纠偏推文（2025-11-28）的线。R-2 那条橙线的右端是一个尚未闭合的缺口：**声明层面的反转已经发生 8 个月，行为层面还没有任何公开证据。**来源：本报告依据 `research/01-ilya-dossier.md` §R 的判定口径原创绘制，非任何机构的官方图示。逐条证据见上方表格。

Ilya–Sam 对照（Ilya 列摘要）

完整的 14 议题并列表在 ⑬ 我的评价，本页只放 Ilya 一侧的摘要与几处结构性观察；Sam 一侧的完整语料见 ③ Sam Altman。并列表的红线是：只放两人各自的原话，不由作者替他们总结心理动机；2023-11 董事会事件在表中被处理为两套 AGI 风险函数与组织权力观的冲突，不作人物八卦。

  Ilya–Sam 对照表中差异最大的五个议题（Ilya 列摘要）
  #议题Ilya 的原话（短引 + 日期）与 Sam 列的结构关系（只标结构，不评是非）| # | 议题 | Ilya 的原话（短引 + 日期） | 与 Sam 列的结构关系（只标结构，不评是非） |

  
    3**谁该控制 AGI**「创造一个『只要你愿意就能当独裁者』的结构，是个坏主意」（2017-09-20）／「人类像董事会，AGI 是 CEO」（2020-05-08）／「掌管的那个人大概率会是**很擅长玩弄权力**的人……很像在不同政客之间做选择」（2025-10-01 宣誓证词）两人在同一命题上给出了相反方向的演化：**Ilya 2017 年就给了答案（机构设计 > 个人善意），2025 年在宣誓下把它祛魅**。这一行是理解 2023-11 的钥匙——冲突点不是「谁对谁错」，而是 **Ilya 的答案在制度层、Sam 的答案在个人可信度层**。| 3 | 谁该控制 AGI | 「创造一个『只要你愿意就能当独裁者』的结构，是个坏主意」（2017-09-20）／「人类像董事会，AGI 是 CEO」（2020-05-08）／「掌管的那个人大概率会是很擅长玩弄权力的人……很像在不同政客之间做选择」（2025-10-01 宣誓证词） | 两人在同一命题上给出了相反方向的演化：Ilya 2017 年就给了答案（机构设计 > 个人善意），2025 年在宣誓下把它祛魅。这一行是理解 2023-11 的钥匙——冲突点不是「谁对谁错」，而是 Ilya 的答案在制度层、Sam 的答案在个人可信度层。 |

    8**scaling 是否足够**

最易被做成假对立”pre-training as we know it will unquestionably end… we have but one internet”（2024-12-13）／“Scaling the current thing will keep leading to improvements. In particular, it won’t stall.”（2025-11-28）⚠️ 请勿写成「Sam 信 scaling / Ilya 不信」。两人实际立场高度接近，都认为「继续 scaling 有用但不够」；真正的分歧只在「缺的那样东西有多大」——一个是中等突破的集合，一个是可靠泛化这一件事。证据链见 上一节 R-0。| 8 | scaling 是否足够最易被做成假对立 | “pre-training as we know it will unquestionably end… we have but one internet”（2024-12-13）／“Scaling the current thing will keep leading to improvements. In particular, it won’t stall.”（2025-11-28） | ⚠️ 请勿写成「Sam 信 scaling / Ilya 不信」。两人实际立场高度接近，都认为「继续 scaling 有用但不够」；真正的分歧只在「缺的那样东西有多大」——一个是中等突破的集合，一个是可靠泛化这一件事。证据链见 上一节 R-0。 |

    11**风险的具体形态**

分歧最大「要在两座城市之间修高速公路时，我们不会征求动物的许可……在默认情况下，这就是我们与 AGI 之间将会有的那种关系」（2016–2019 拍摄）／「推理越多越不可预测」（2024-12-13）／「整个问题就是 power。整个问题就是 power。」（2025-11-25）Ilya 从 2016 年起就一直在给机制——冷漠加力量差、推理导致不可预测；而同期的公开表述里，风险常常只被描述为「可能出大问题」而不给机制。⚠️ 但 Ilya 2025 年把问题重新定义为 power（政治问题），这在逻辑上削弱了他自己的技术路线。| 11 | 风险的具体形态分歧最大 | 「要在两座城市之间修高速公路时，我们不会征求动物的许可……在默认情况下，这就是我们与 AGI 之间将会有的那种关系」（2016–2019 拍摄）／「推理越多越不可预测」（2024-12-13）／「整个问题就是 power。整个问题就是 power。」（2025-11-25） | Ilya 从 2016 年起就一直在给机制——冷漠加力量差、推理导致不可预测；而同期的公开表述里，风险常常只被描述为「可能出大问题」而不给机制。⚠️ 但 Ilya 2025 年把问题重新定义为 power（政治问题），这在逻辑上削弱了他自己的技术路线。 |

    12**对彼此的公开评价**「我深切后悔参与了董事会的行动」（2023-11-20 推文）／离职时公开背书：「我确信 OpenAI 会在 @sama、@gdb、@miramurati 的领导下造出既安全又有益的 AGI」（2024-05-14）／**书面文件中**：「Sam 表现出一贯的说谎模式」（2023 年 52 页备忘录首句，2025-10-01 宣誓确认）**★ 这一行的结构本身就是结论**：两人的公开表达都从未点名批评对方，**最尖锐的指控只存在于「非自愿公开」的法庭文件里**。两人在公开层面对同一件事都选择了沉默，而**沉默的代价是叙事被第三方书写**——这正是 2025-11 证词一公开就重塑全部叙事的原因。| 12 | 对彼此的公开评价 | 「我深切后悔参与了董事会的行动」（2023-11-20 推文）／离职时公开背书：「我确信 OpenAI 会在 @sama、@gdb、@miramurati 的领导下造出既安全又有益的 AGI」（2024-05-14）／书面文件中：「Sam 表现出一贯的说谎模式」（2023 年 52 页备忘录首句，2025-10-01 宣誓确认） | ★ 这一行的结构本身就是结论：两人的公开表达都从未点名批评对方，最尖锐的指控只存在于「非自愿公开」的法庭文件里。两人在公开层面对同一件事都选择了沉默，而沉默的代价是叙事被第三方书写——这正是 2025-11 证词一公开就重塑全部叙事的原因。 |

    13**财富与再分配**

有信息量的空缺**⚠️ 未检索到。**他在 2016–2026 全部公开语料中基本不谈经济再分配。语义最接近的一条是 capped-profit 的失业论证：「如果 AGI 能做人类做的每一件事……那么造出这种技术的公司不被激励去赚取无限利润，就非常合理」（2023-11-02）这是全表最大的不对称，也是本页少数几处「空缺本身即信息」的地方。对照方有一条从 2017 到 2026 的完整再分配方案谱系；Ilya 一条都没有。本页把这一格如实呈现为空缺，而不是勉强填充。| 13 | 财富与再分配有信息量的空缺 | ⚠️ 未检索到。他在 2016–2026 全部公开语料中基本不谈经济再分配。语义最接近的一条是 capped-profit 的失业论证：「如果 AGI 能做人类做的每一件事……那么造出这种技术的公司不被激励去赚取无限利润，就非常合理」（2023-11-02） | 这是全表最大的不对称，也是本页少数几处「空缺本身即信息」的地方。对照方有一条从 2017 到 2026 的完整再分配方案谱系；Ilya 一条都没有。本页把这一格如实呈现为空缺，而不是勉强填充。 |

  建议的读法
  

第 12 行不应该被读成表格，而应该被读成时间轴：2023-11-17「这是董事会在履行职责」→ 2023-11-20「我深切后悔」→ 2024-05-14 公开背书 → 2025-10-01 宣誓下仍坚持「一贯说谎」→ 2026-05-11「It was a Hail Mary」。**五个时点的公开姿态互相矛盾，而每一次都可以用当时的处境解释。**这比任何心理推测都更有说服力，也守住了「不替他人总结动机」这条红线。

公开语料覆盖清单（2016 – 2026.07）

没有这份清单，「全量」在逻辑上就不可验收。状态四档：✅ 已取得逐字稿 ／ 🎬 只有视频（无逐字稿）／ 📰 只有可靠转述 ／ ❌ 检索过未发现。纪律是：空年必须写「检索过但未发现」，不留白。

  2016–2026.07 逐年公开语料覆盖情况
  年份演讲访谈 / 播客论文书面文本该年是否有本人长篇发言| 年份 | 演讲 | 访谈 / 播客 | 论文 | 书面文本 | 该年是否有本人长篇发言 |

  
    2016❌1（书面问答）+1（媒体）53（Musk 邮件）🟡 仅书面问答；**检索过但未发现任何公开演讲**| 2016 | ❌ | 1（书面问答）+1（媒体） | 5 | 3（Musk 邮件） | 🟡 仅书面问答；检索过但未发现任何公开演讲 |

    2017❌❌63（Musk 邮件）❌ **公开发言空年**（Dota 2 TI7 为集体发布，非本人演讲）| 2017 | ❌ | ❌ | 6 | 3（Musk 邮件） | ❌ 公开发言空年（Dota 2 TI7 为集体发布，非本人演讲） |

    20182❌4—✅（MIT 6.S099 与 ScaledML 均有逐字稿）| 2018 | 2 | ❌ | 4 | — | ✅（MIT 6.S099 与 ScaledML 均有逐字稿） |

    20191❌51✅；**对微软 10 亿美元投资无任何公开表态**| 2019 | 1 | ❌ | 5 | 1 | ✅；对微软 10 亿美元投资无任何公开表态 |

    2020❌14—✅（Lex #94，他唯一一次上 Lex）| 2020 | ❌ | 1 | 4 | — | ✅（Lex #94，他唯一一次上 Lex） |

    2021❌❌5🟡 1（推文，日期未核实）❌ **公开发言空年——本清单最干净的一个空年**| 2021 | ❌ | ❌ | 5 | 🟡 1（推文，日期未核实） | ❌ 公开发言空年——本清单最干净的一个空年 |

    2022❌❌22（推文）❌ **公开发言空年**；ChatGPT 发布当日无任何公开表态| 2022 | ❌ | ❌ | 2 | 2（推文） | ❌ 公开发言空年；ChatGPT 发布当日无任何公开表态 |

    **2023****3****5****4****5**✅ **峰值年（17 项）**| 2023 | 3 | 5 | 4 | 5 | ✅ 峰值年（17 项） |

    202411（文字专访）22🟡 **较 2023 骤降约 75%**；未检索到任何播客出席| 2024 | 1 | 1（文字专访） | 2 | 2 | 🟡 较 2023 骤降约 75%；未检索到任何播客出席 |

    202511**0**3🟡 **零论文**；「2025-05 某些会议 / TED AI / AI 峰会」均检索过但未发现| 2025 | 1 | 1 | 0 | 3 | 🟡 零论文；「2025-05 某些会议 / TED AI / AI 峰会」均检索过但未发现 |

    **2026.01–07**❌❌**0**1（庭审证词，**非自愿**）❌ **技术侧完全静默**| 2026.01–07 | ❌ | ❌ | 0 | 1（庭审证词，非自愿） | ❌ 技术侧完全静默 |

  


  两个结构性观察
  

① 2017 / 2021 / 2022 是三个「公开发言空年」，而且都紧跟在一次范式押注之后（2017 是 self-play 期，2021–2022 是 GPT-3 到 ChatGPT 的闭门期）。**沉默不是随机的，它与「手上有正在验证的赌注」高度相关。**这个规律如果成立，那么 2026 年的完全静默就不只是保密策略，而是一个关于 SSI 内部状态的弱信号——但它只是弱信号，因为同一个模式也完全可以由「没有可说的东西」产生。

② 2023 年一年的公开语料量，超过 2016–2022 七年的总和。这意味着任何关于「Ilya 怎么想」的叙述，都会不成比例地由 2023 年那 17 项材料塑造——而 2023 年恰好是他作为 OpenAI 首席科学家对外解释公司路线的一年。读这批材料时必须记住说话人的位置。

已知缺口（不可用「全量」掩盖）：@ilyasut 2016–2021 与 2026 年的完整推文时间线未能重建；Simons 官方 slides PDF 与 NeurIPS 2024 官方录像均不存在公开直链；WilmerHale 完整报告从未公开；deposition 只取得部分笔录。本清单可直接并入全站 COVERAGE-MATRIX.md 的 Ilya 部分。

论文清单与五条思想线索

数据源为 Semantic Scholar 作者页（165 篇 / 533,744 引用 / h-index 74，2026-07 取数）、DBLP 与 arXiv API 逐篇核验。原始数据含约 60 篇「参考文献解析污染」的假阳性（他出现在他人论文的参考文献里被误挂作者），已人工剔除并逐篇核验作者位次。下表只列里程碑条目。

  Ilya Sutskever 署名的里程碑论文（按年份）
  年份标题位次会议 / 期刊引用（S2 口径）| 年份 | 标题 | 位次 | 会议 / 期刊 | 引用（S2 口径） |

  
    2008The Recurrent Temporal Restricted Boltzmann Machine1/3NeurIPS447| 2008 | The Recurrent Temporal Restricted Boltzmann Machine | 1/3 | NeurIPS | 447 |

    2011Generating Text with Recurrent Neural Networks1/3ICML1,560| 2011 | Generating Text with Recurrent Neural Networks | 1/3 | ICML | 1,560 |

    **2012****ImageNet Classification with Deep CNNs（AlexNet）**2/3NeurIPS / CACM**130,407**| 2012 | ImageNet Classification with Deep CNNs（AlexNet） | 2/3 | NeurIPS / CACM | 130,407 |

    2013Distributed Representations of Words and Phrases（word2vec）2/5NeurIPS35,472| 2013 | Distributed Representations of Words and Phrases（word2vec） | 2/5 | NeurIPS | 35,472 |

    2013Intriguing properties of neural networks（对抗样本）3/7ICLR 201416,810| 2013 | Intriguing properties of neural networks（对抗样本） | 3/7 | ICLR 2014 | 16,810 |

    2014Dropout: A Simple Way to Prevent NN from Overfitting4/5JMLR43,804| 2014 | Dropout: A Simple Way to Prevent NN from Overfitting | 4/5 | JMLR | 43,804 |

    **2014****Sequence to Sequence Learning with Neural Networks**1/3NeurIPS（**2024 时间检验奖**）**22,227**| 2014 | Sequence to Sequence Learning with Neural Networks | 1/3 | NeurIPS（2024 时间检验奖） | 22,227 |

    2016Mastering the game of Go（AlphaGo，唯一非 DeepMind 作者）15/20**Nature**19,075| 2016 | Mastering the game of Go（AlphaGo，唯一非 DeepMind 作者） | 15/20 | Nature | 19,075 |

    2016Variational Lossy Autoencoder（**他自己放进 Carmack 清单的那篇**）7/8ICLR 2017713| 2016 | Variational Lossy Autoencoder（他自己放进 Carmack 清单的那篇） | 7/8 | ICLR 2017 | 713 |

    2017Learning to Generate Reviews and Discovering Sentiment（情感神经元）3/3arXiv549| 2017 | Learning to Generate Reviews and Discovering Sentiment（情感神经元） | 3/3 | arXiv | 549 |

    2018Improving Language Understanding by Generative Pre-Training（GPT-1）4/4OpenAI 技术报告（**无 arXiv**）约 15,000+| 2018 | Improving Language Understanding by Generative Pre-Training（GPT-1） | 4/4 | OpenAI 技术报告（无 arXiv） | 约 15,000+ |

    2019Language Models are Unsupervised Multitask Learners（GPT-2）6/6OpenAI 技术报告29,564| 2019 | Language Models are Unsupervised Multitask Learners（GPT-2） | 6/6 | OpenAI 技术报告 | 29,564 |

    **2019****Deep Double Descent: Where Bigger Models and More Data Hurt**6/6ICLR 20201,164| 2019 | Deep Double Descent: Where Bigger Models and More Data Hurt | 6/6 | ICLR 2020 | 1,164 |

    2020Language Models are Few-Shot Learners（GPT-3）30/31NeurIPS（最佳论文）61,194| 2020 | Language Models are Few-Shot Learners（GPT-3） | 30/31 | NeurIPS（最佳论文） | 61,194 |

    2020Generative Pretraining from Pixels（iGPT，**压缩理论的实验验证**）7/7ICML1,828| 2020 | Generative Pretraining from Pixels（iGPT，压缩理论的实验验证） | 7/7 | ICML | 1,828 |

    2021Learning Transferable Visual Models From NL Supervision（CLIP）12/12ICML52,774| 2021 | Learning Transferable Visual Models From NL Supervision（CLIP） | 12/12 | ICML | 52,774 |

    2022Robust Speech Recognition via Large-Scale Weak Supervision（Whisper）6/6ICML 20237,892| 2022 | Robust Speech Recognition via Large-Scale Weak Supervision（Whisper） | 6/6 | ICML 2023 | 7,892 |

    2023Let's Verify Step by Step（过程监督 / PRM800K，**o 系列的数据基座**）9/10ICLR 20243,924| 2023 | Let's Verify Step by Step（过程监督 / PRM800K，o 系列的数据基座） | 9/10 | ICLR 2024 | 3,924 |

    2023Weak-to-Strong Generalization（Superalignment 旗舰）11/13ICML 2024507| 2023 | Weak-to-Strong Generalization（Superalignment 旗舰） | 11/13 | ICML 2024 | 507 |

    **2024****Scaling and evaluating sparse autoencoders（最后一篇署名论文）**7/9ICLR 2025543| 2024 | Scaling and evaluating sparse autoencoders（最后一篇署名论文） | 7/9 | ICLR 2025 | 543 |

    **2025 / 2026****无。**交叉核验 Semantic Scholar / arXiv / SSI 官网与 2026 年英文报道：**SSI 成立至今零论文。这个空白本身是最强的信号。**| 2025 / 2026 | 无。交叉核验 Semantic Scholar / arXiv / SSI 官网与 2026 年英文报道：SSI 成立至今零论文。这个空白本身是最强的信号。 |

  


展开：五条存疑归属的核实结果（防止把别人的论文挂到他名下）
  
    

• 2017 MAML（Finn / Abbeel / Levine）—— 无 Ilya。但他确实署名两篇元学习论文：RL²（2016）与 Continuous Adaptation via Meta-Learning（2017），均与 Abbeel 组合作。

• 2017 PPO（Schulman 等，arXiv:1707.06347）—— 非作者。

• 2024 Prover-Verifier Games（arXiv:2407.13692）—— 无 Ilya。他 2024-05 已离职，该文属 Superalignment 遗产但他未署名。

• 2018 Gotta Learn Fast（arXiv:1804.03720）—— 无 Ilya。Requests for Research 是 OpenAI 博客栏目，不是论文。

• 2019 Deep Double Descent / 2023 Weak-to-Strong / 2022 Formal Mathematics Statement Curriculum Learning —— 三篇均确有 Ilya，位次已逐一核对。

五条思想线索

A · 序列即一切（2008 RTRBM → 2011 字符级 RNN → 2014 Seq2Seq → 2024 时间检验奖）：把「生成模型 + 时序」绑在一起，再统一为「任意序列 → 任意序列」的端到端框架。他自己的判断是「GPT 的全部纲领在 2014 年就写完了，剩下十年只是把它放大」 T1。

B · 规模是唯一的杠杆（2012 AlexNet → 2020 GPT-3）：其中两篇值得单独点出——Dropout 是「正则化即削减有效描述长度」，与 Hinton 1993 年那篇 MDL 论文一脉相承；《初始化与动量》是「简单方法 + 规模」战胜「精巧方法」的第一个明确证据 T5 作者归纳。而 Deep Double Descent 是他署名的唯一一篇「经典统计学习理论错在哪」的论文，与他 2023 年在 Simons 用的 Hoeffding 直觉存在明显张力。

C · 压缩即智能（2016 VLAE → 2020 iGPT → 2021 CLIP → 2022 Whisper）：VLAE 问的是「描述长度怎么在隐变量和解码器之间分配」；CLIP 是跨模态的联合压缩；Whisper 是「不精挑数据、全要」这套哲学在语音上的复制。

D · 对齐与超级智能（2017 多智能体竞争 → 2023 过程监督 → 2023 weak-to-strong → 2024 稀疏自编码器）：其中《Let’s Verify Step by Step》是 o 系列的直接理论前身，而他是作者之一。

E · 形式数学与自动定理证明（2018 GamePad → 2020 GPT-f → 2022 命题课程学习）：这是「self-play + 可验证奖励」在数学上的完整闭环，也是两条路线在他身上唯一一次真正合流的地方 T5。

给 John Carmack 的必读清单：一份认知结构的切片

约 2019–2020 年，John Carmack 转向 AGI 研究前后向 Ilya 要了一份阅读清单。Carmack 自述拿到「大约 40 篇」，并转述 Ilya 的话：如果真把这些全学会了，就掌握了今天 90% 重要的东西——他说自己确实全部啃完了。社区流传的载体是一个名为「Ilya 30u30」的收藏夹，其中可交叉验证的条目是 27 条。

  可信度与甄别
  

本节整体评级为 T4（二手）。原始邮件从未公开，Ilya 本人从未确认；但收藏夹 + 至少 6 个独立复现仓库 + 一份社区笔记相互交叉验证，条目高度一致。⚠️ 重要甄别：GitHub 上若干「30 篇」仓库为了凑满 30 条，擅自加入了 PPO、RLHF、Dropout、RAG 等原清单没有的条目。这些不属于原始清单，本页不予采纳。Carmack 自述的「约 40 篇」与流传的 27 条之间的差额，可能来自私下补充或记忆误差。

这份清单最有信息量的地方不是它包含什么，而是它的主题分布。27 条里有 **6 条（22%）**属于「复杂度理论 / MDL / Kolmogorov / 通用智能」——在一份给游戏引擎天才的「入门 AI」清单里，这个比例是异常的。

  Carmack 清单中的六条压缩理论条目及其与 Ilya 思想的关系
  条目它在讲什么与 Ilya 的关系| 条目 | 它在讲什么 | 与 Ilya 的关系 |

  
    Hinton & van Camp, *Keeping Neural Networks Simple by Minimizing the Description Length of the Weights*（COLT 1993）权重的最优编码长度 = 正则化；MDL 的神经网络版本**他博士导师的论文；「训练 = 压缩」的祖本。**| Hinton & van Camp, Keeping Neural Networks Simple by Minimizing the Description Length of the Weights（COLT 1993） | 权重的最优编码长度 = 正则化；MDL 的神经网络版本 | 他博士导师的论文；「训练 = 压缩」的祖本。 |

    Grünwald, *A Tutorial Introduction to the MDL Principle*（2004）MDL 的完整数学教程提供 \(L(D)=L(M)+L(D\mid M)\) 的形式基础，**正是 Jack Rae《Compression for AGI》里用的那个公式**。| Grünwald, A Tutorial Introduction to the MDL Principle（2004） | MDL 的完整数学教程 | 提供 \(L(D)=L(M)+L(D\mid M)\) 的形式基础，正是 Jack Rae《Compression for AGI》里用的那个公式。 |

    Shen / Uspensky / Vereshchagin, *Kolmogorov Complexity and Algorithmic Randomness*（**指定从第 434 页起读**）算法信息论教材**他 2023 年 Simons 演讲整套 \(K(X)\le|C(X)|+K(C)+O(1)\) 论证的教科书出处。**| Shen / Uspensky / Vereshchagin, Kolmogorov Complexity and Algorithmic Randomness（指定从第 434 页起读） | 算法信息论教材 | 他 2023 年 Simons 演讲整套 \(K(X)\le|C(X)|+K(C)+O(1)\) 论证的教科书出处。 |

    Aaronson, *The First Law of Complexodynamics*（2011，博客）为什么复杂度在封闭系统里先升后降？"complextropy"**他把一位计算复杂性理论家的博客列为必读——这不是工程品味，是形而上学品味。**| Aaronson, The First Law of Complexodynamics（2011，博客） | 为什么复杂度在封闭系统里先升后降？"complextropy" | 他把一位计算复杂性理论家的博客列为必读——这不是工程品味，是形而上学品味。 |

    Aaronson / Carroll / Ouellette, *The Coffee Automaton*（2014）用元胞自动机把上一条做成可量化实验同上，且是它的实验版。| Aaronson / Carroll / Ouellette, The Coffee Automaton（2014） | 用元胞自动机把上一条做成可量化实验 | 同上，且是它的实验版。 |

    Shane Legg, *Machine Super Intelligence*（2008 博士论文）用 Solomonoff 归纳 + AIXI 给「通用智能」下形式定义DeepMind 联创的博士论文；**把「压缩」与「超级智能」在同一个框架内接通**。| Shane Legg, Machine Super Intelligence（2008 博士论文） | 用 Solomonoff 归纳 + AIXI 给「通用智能」下形式定义 | DeepMind 联创的博士论文；把「压缩」与「超级智能」在同一个框架内接通。 |

  

这六条构成一条完整的思想链： [ \text{Kolmogorov 复杂度} ;\Rightarrow; \text{MDL 的可操作化} ;\Rightarrow; \text{复杂度在真实系统中的动力学} ;\Rightarrow; \text{把压缩定义为通用智能} ]四个环节分别对应清单里的教材、两篇 MDL 文献、两篇 Aaronson、以及 Legg 的博士论文。而这条链的终点，正是他 2023 年在 Simons Institute 公开讲的东西。