Agent 与世界模型

CHAPTER 08 # Agent 与世界模型 从 Astra（2024-05）到 Genie 3（2025-08）的 15 个月：「评分函数便宜」不等于「训练反馈便宜」——本章原来那条「有/无验证器」的主线在本轮被拆掉，换成一个更弱、多轴、且尚未预注册的框架；以及「1M 名义窗口」与「1M 有效推理窗口」之差。

    阅读时长 **约 55 分钟**
    时间范围 **2021.01 – 2026.07**
    更新 **2026-07-25**
    交互图表 **5 个**
    来源 **62 条**





  ### 本章要点

1. ★「评分函数便宜」不等于「训练反馈便宜」——本章的主线因此被拆掉重写。上一版用「有没有廉价验证器」把任务分成两侧，而它用来代表「无验证器一侧」的两个样本（Vending-Bench 2、ARC-AGI-3）恰恰拥有全场最廉价的程序化判分：读一次模拟器余额、算一条 RHAE 公式，成本几乎为零^[1][2]。真正贵的是生成一条可评分的完整轨迹——Vending-Bench 2 一次运行要 3,000–6,000 条消息、6,000 万–1 亿输出 token^[1]。RL 需要的是大量已评分的轨迹而不是一个分数，所以一个 benchmark 可以「评分器免费」而「学起来贵到不可行」。第一节据此宣布那个二分不成立，并且没有把这两个点重新归类回去保全命题；幸存下来的是一个更弱的多轴框架（目标对齐度 / 反馈密度 / 反馈延迟 / 完整轨迹成本 / 任务时长），它只是研究框架，不是已证公式。

2. 水位差是真的，但解释它的变量还没有被识别出来。判决紧贴单次输出的一侧，前沿已经越过那几条真实存在的人类对照线：IMO 2025 拿到 35/42 的金牌线成绩^[3]（金牌线由人类选手分布定义，是本章最硬的一条人类对照）、AlphaProof Nexus 自主解出 9 道 Erdős 未解题^[4]；ARC-AGI-2 从 4.9% 涨到 84.6% 只能作为「涨速」证据，不能作为「越过人类」证据——官方没有发布平均个体准确率^[5]。判决落在数千条消息之后的一侧，前沿还趴在零头上。「验证器越强、分数涨得越快」这条更强的命题，被本章第五节自己的散点数据推翻了；而第五节同时并列了一个更简约的竞争解释——METR 的任务时长律——并写明在控制任务时长之前，两个假说在观测上不可区分。

3. **Gemini 在 GDPval-AA 上落后一大截，而且比外界流传的差距更大。**同为 v2 锚定：Gemini 最好的公开值是 3.6 Flash 的 1421（Google 2026-07-21 模型卡）^[6] / 1423±18（Artificial Analysis 2026-07-25 动态榜）^[7]，榜首 Claude Opus 5 Max 是 1861（同一动态榜，2026-07-25 快照）^[7]——落后约 440 Elo（动态榜会漂移，不要当成无误差的精确差值），按 Bradley–Terry 定义对应约 7% 的期望胜率。

4. 「1M 名义窗口」不等于「在 MRCR v2 八针任务上可靠使用 1M」——而这个论证已经升级到不再依赖任何差值。Gemini 3.1 Pro 官方模型卡的 MRCR v2 八针召回：128k 报 84.9%（upto_128K，累计平均），1M 报 26.3%（at_1M，逐点）^[8]——两个数单位相同但统计对象不同，不能把差值解释为「128K 单点到 1M 单点的跌幅」；在拿不到 128K pointwise 的情况下，真实的点到点跌幅有多大，我们不知道。★新论证只用 1M 那一格自己的数：八针设置下的噪声地板约 15%（「已经找到八个相关回答后、在这些相关答案里随机选一个」的条件正确率，不是全空间盲猜——全空间约 1%），所以 26.3% 里真正的信号至少只有约 11 个百分点（这是保守下界而非点估计，理由见 §7.2）^[9]。Pro 线严格序列是 2.5 Pro 16.4 → 3 Pro 26.3 → 3.1 Pro 26.3，是「最近两代未动」，不是「三代零进步」。（「2M」只属于 Gemini 1.5 Pro 2024-05-14 的 waitlist / private preview。）

5. **同一个模型、同一套题，换个 harness 就换个答案。**Terminal-Bench 2.0 上 GPT-5.3-Codex 有 64.7%（Google 模型卡，Terminus-2）与 77.3%（第三方汇总，Codex harness）两个数，差 12.6 个点^[8]。本章把这个冲突原样呈现，不挑一个当事实。

6. **世界模型不是「更长的视频」。**三要件是模拟环境 / 跨时间维持状态 / 让 agent 在其中行动；Genie 3 能做到 720p、24fps、约 1 分钟视觉记忆，但官方自陈只能撑几分钟，而训练 agent 需要数小时^[10]。

    本章 11 节 · 3 个公式推导 · 32 张图 · 5 个交互图表 ·
    关键词：Deep Think 验证器边界 Genie 3 SIMA 2 有效上下文

   一、一条主线的返工：把「评分成本」和「反馈成本」拆开

   把 2024 年底到 2026 年 7 月这 19 个月里 Gemini 在 agent 与世界模型方向上的全部成绩摊开，确实能看到一个规整的图案：凡是「什么算对」可以被一段代码在毫秒内判定的领域，前沿已经站到人类对照线之上；凡是「什么算好」需要一个人类专家花半小时读完交付物才能判断的领域，前沿还停在零头上。本章上一版把这个图案概括成一句口号：能力的边界就是验证器的边界。

   ★先钉一个口径，否则上面这句话是不可核的：本章说「人类对照线」时，指的只有真实存在人类分布的那几条——AIME / IMO 的分数线（人类竞赛，金牌线由当年选手分布定义）、SIMA 2 官方柱状图里保留的人类完成率、GDPval-AA 锚定在 1000 Elo 的人类基线。ARC-AGI-2 不在其中：它的官方技术报告页没有发布任何平均个体准确率（只有 400 人 × 1,417 任务、门槛「two people in two attempts or less」、每题约 9–10 人尝试、人均每题 2.3 分钟，以及任务级 100% 这四项）^[11][ARC-AGI-2 技术报告]；Vending-Bench 2 的「人类 $63,000」也不在其中，它是$206/天 × 302 天的纸面推算而非实测对照组^[1]。两个最常被引用的「人类基线」恰好都不是测出来的，这本身就是本章第五节要讲的问题的一部分。

   死掉的是分类系统本身。上一版用来证明「没有廉价验证器的一侧水位低」的两个样本——Vending-Bench 2 与 ARC-AGI-3——恰恰拥有全场最廉价的程序化判分：Vending-Bench 2 的最终分数就是模拟器算出的年末银行余额，ARC-AGI-3 的 RHAE 是一条确定的算术公式^[1][2]。把它们放进「无验证器」一侧，是把自己的反例当成了正例。

   而这里有一个更强的诱惑必须当场堵死：不许把这两个点重新归类回「无验证器」一侧来保全命题，也不许换一个被比较的量（换因变量、换口径、换时间窗）把它们解释回去。一个论断如果只能靠重新归类反例或悄悄改换被比较的量来维持，它就已经输了。所以本节的处理不是打补丁，而是承认「有验证器 / 无验证器」这个二分死了，然后老实清点还剩下什么。

   同时要堵死另一个方向的越界。推翻一个解释不等于证明了另一个解释：下面给出的替代框架不是已经被识别出来的新真因，它只是一个尚未预注册、也还没有人做过对照实验的研究框架。本节每一处都过了同一个自检问题——「我是在说原解释不够充分，还是在说我的新解释才是答案？」只有前者有证据支撑。

   1.1 ★评分函数成本 ≠ 训练反馈成本

   上一版真正犯的错，一句话就能说完：**它把「评分函数便宜」当成了「训练反馈便宜」。**这是两种完全不同的成本，而在这两个 benchmark 上，它们正好分处两个极端。

| | 两种成本 | Vending-Bench 2 | ARC-AGI-3

| | 评分函数成本 （把一条已经跑完的轨迹变成一个分数） | 读一次模拟器的年末银行余额，几乎为零^[1] | RHAE 的算术，几乎为零^[2]

| | 一次完整反馈样本的成本 （把一条轨迹跑出来，才谈得上评分） | 3,000–6,000 条消息、6,000 万–1 亿输出 token，且分数只在 365 个模拟日之后出现一次^[1] | 一整套完整 agent 交互；前沿模型跑完整套评测可达数万美元量级^[2][41]

    表 8.13 · 两种成本的对照，快照 **2026-07-25**。**这张表是本章本轮返工的核心。**上一版只看第一行就把这两个 benchmark 归进了「有廉价验证器」的推论链，而 RL 真正要付的钱在第二行。




**为什么这个区分是致命的：RLVR 需要的不是一个分数，是大量已经评过分的轨迹。**一个奖励函数免费，不代表你能负担得起生成十万条带奖励的轨迹。所以一个 benchmark 完全可以做到「**评分器免费**」而同时「**学起来贵到不可行**」——Vending-Bench 2 就是这个组合的极端样本：判分只要读一个数，但要拿到那一个数，得先烧掉上亿 token 模拟一整年。

这直接改写了那两个数据点的身份：**Vending-Bench 2 与 ARC-AGI-3 不是「无验证器」的例子，它们是「评分器免费、轨迹极贵」的例子。**而上一版的整条推论链，恰恰建立在把它们读成前者之上。

### 1.2 幸存下来的是什么：一个多轴的、待检验的框架

二分死了，但被它遮住的那个真实差异没有消失：**ARC-AGI-2 的判决紧贴单次输出，Vending-Bench 2 的判决落在三千到六千条消息之后的年终结算**——两者的评分器同样廉价、同样程序化，水位却差了一个数量级。要描述这个差异，至少需要同时看四个轴，再加上任务时长。


  \[ \text{有效反馈能力}\;\approx\;\frac{\text{目标对齐度}\times\text{反馈密度}}{\text{反馈延迟}\times\text{完整轨迹成本}} \]
  **⚠ 这只是一个研究框架，不是已证公式。**四个量目前都没有公认的操作化定义、没有量纲、没有人在同一批 benchmark 上同时测过它们；分式的形式只表达「分子越大越好、分母越大越糟」这个方向，**不表达任何函数形式，更不能代数字算出一个值来排序**。写成公式是为了把四个轴一次列全，不是为了让它看起来像定律。

| | 轴 | 它问的是什么 | ARC-AGI-2 | Vending-Bench 2 | GDPval（原版）

| | 目标对齐度 | 这个标量和你真正想要的东西差多远 | 高：题解对就是对 | 高：美元就是目的本身 | 中：人类专家盲评，评委间一致率约 71%^[12]

| | 反馈密度 | 一条轨迹里能拿到几个有信息的信号 | 高：每题一个 | 极低：一年一个标量 | 中：每个任务一个

| | 反馈延迟 | 从动作到判决隔多久 | 短：单次输出即判 | 极长：365 模拟日之后 | 长：等专家读完

| | 完整轨迹成本 | 生成一条可评分的轨迹要花多少 | 低 | 6,000 万–1 亿 token^[1] | 高：专家工时

| | 任务时长 | 人类做同一件事要多久 | 分钟级 | 按年计 | 数小时^[12]

    表 8.14 · 五个轴上的定性排布，快照 **2026-07-25**。**「高/中/低」是本项目的定性判断，不是任何机构的测量值**——这正是这个框架当前最大的弱点：它**解释**得了已有数据，但因为轴没有被预注册成连续变量、也没有独立测量，它**还没有做出过任何一次事前预测**。





  **先说原命题为什么危险。**这一代推理模型的训练信号本身就是验证器的输出：RLVR 要能跑，前提是有一个可无限次调用的判分函数；而这个判分函数一旦存在，它同时就是一个 benchmark。**「写评测集」和「写训练环境」在 2026 年已经是同一个工种**[41]。于是「我们能验证的地方，我们测到了更高的能力」这句话，**确实接近同义反复**——「能验证」与「可观测」是同一个集合，而水位只能通过观测得到。**无验证器领域的真实水位，我们不是「观测到它低」，而是「观测不到」。**

  **因此可救版本必须满足两个条件，本章此后按这两条约束自己：****①** 四个轴要被**预注册成连续变量**并独立测量，而不是事后按结论给每个 benchmark 打「高/中/低」；**②** 一旦出现反例，只能靠**修改命题**来回应，**不许重新归类反例，也不许改换被比较的量**。第五节记录了本章上一版在这条纪律上的一次真实翻车（ARC-AGI-3 从反例变成正例），以及它是怎么被如实报告而不是被解释回去的。

  **那么本章还敢主张什么？**只剩一条，而且它比上一版弱得多：**有效反馈通道影响的是「能力被优化、被选出来、被可靠复现」的效率；至少要同时看目标对齐度、反馈密度、反馈延迟、完整轨迹成本与任务时长这五个量，不能用「有没有验证器」一刀切。**「涨速」那一层的否定结论没有变——第五节的十个异质端点显示验证器强度对涨速没有区分力。**本项目此前跨章统一口径里的「廉价可靠验证器」这个措辞就此作废**：它混装了评分成本与反馈成本，正是本节要拆开的那个错误。





    **反方主张：**因果方向反了。验证器不设定能力的上界——预训练分布才设定；验证器决定的只是**已有能力被采样出来的效率**。所以「能力的边界 = 验证器的边界」这句口号，把「提取效率」说成了「边界」。




    三条真实证据：**①** Yue 等（arXiv:2504.13837）报告 RLVR 训练后的模型在 **pass@1** 上大幅领先基础模型，却在 **pass@256** 上被基础模型反超，且推理覆盖变窄[@src-7014177bd4]；**②** *The Invisible Leash*（arXiv:2507.14843）给出定理版本：在其假设下，RLVR 的优化**无法越出基础模型的 support**[@src-7014177bd4]；**③** 反向的 weak-to-strong（arXiv:2312.09390）显示**弱监督者能引出强模型的能力**——如果验证器是边界，这件事不该发生[@src-7014177bd4]。




    **反方成立的条件，以及它越界的地方——两者必须一起写。**可以写的版本是：**「常见的 on-policy、受探索 / KL / 预算约束的 RLVR，往往把已有的或概率极低的正确轨迹，提升到可用的概率。」**这一句有上述实证支撑。

    **不可以写的版本是：「RLVR 只能采样，绝不可能扩大有限预算下的经验 support。」**三条理由：**①** Yue 等的 pass@1 / pass@256 结果说的是「**当前方法经常如此**」，不是普遍定理；**②** support 定理依赖「基础策略对该解赋零概率」这个前提，而**标准 softmax 通常并不赋零概率**；**③** ProRL 一类的长程训练工作给出了**经验覆盖被扩大的反例**[@src-7014177bd4]。**把「常见 RLVR 往往重加权」升级成「RLVR 只是采样器」的普遍定理，是本轮独立复核明确打回的过度推翻，本章不采纳这个版本。**




    **我的再判断：反方赢了口号那一层，但没有赢下替代因果。**「能力的边界 = 验证器的边界」这句必须删——本章已删。剩下的是一句更弱、双方都能接受的话：**在受预算与 KL 约束的常见做法下，验证器主要改变的是能力被可靠提取出来的效率；它是否也能扩大经验覆盖，取决于训练时长与探索预算，这是一个开放的经验问题，不是已经关掉的理论问题。**

| | 判决形态 | 代表任务 | 评分函数成本 | 完整轨迹成本 · 延迟 | 19 个月内的变化

| | 编译器 / 形式化证明 | AlphaProof Nexus 解 Erdős 开放问题 | Lean 的 proof checking：低边际成本、确定性、可重复调用；但把自然语言命题形式化这一步本身有成本，且「形式化后的命题是否忠实于原命题」仍需人工判断 | 搜索本身很贵：每题几百美元推理成本^[4]；但判决即时 | 从「不可能」到 9/353 道自主解出^[4]

| | 像素级精确匹配 | ARC-AGI-2（pass@2） | 脚本判分，一行代码 | 单次输出即判决，延迟最短；单题成本从 $0.962 到$13.62 不等^[5] | Gemini 2.5 Pro 4.9% → 3.1 Deep Think 84.6%^[5]

| | 人类竞赛评委 | IMO 2025 | 一年一次，不可复现 | 一年一个判决，延迟以年计 | 2024 银牌档顶端 28/42 → 2025 35/42 踩线金牌^[3][13]

| | 隐藏单元测试 | SWE-bench Verified / SWE-Bench Pro | 自动判分，但题库自身 27%–59% 有缺陷^[14] | 一次 PR 级交互，分钟到小时级 | Gemini 2.5 Pro 59.6% → 3.1 Pro 80.6%（单次尝试）^[8]

| | 三个前沿模型当评委 | GDPval-AA | 循环评估，评委本身是被测对象之一^[12] | 单任务 2 小时上限、250 轮预算^[7] | Gemini 最好 1421（Google 07-21 模型卡）/ 1423±18（AA 07-25 动态榜），榜首 1861（AA 07-25 动态榜）——落后约 440 Elo^[6][7]

| | ★真实经济结果（美元） | Vending-Bench 2（年末银行余额） | 几乎为零——读一次模拟器余额；这一格正是上一版归错类的地方 | 3,000–6,000 条消息、6,000 万–1 亿 token 才换一个标量^[1] | 当前最好 $10,936.76**；对照的 **$63,000 是 Andon Labs 的纸面推算（$206/天 × 302 天），不是实测人类基线^[1]

    表 8.1 · 按**判决形态**（不是「有没有验证器」）排列的能力进展。快照日 **2026-07-25**。**与上一版的关键差别：验证成本被拆成「评分函数成本」与「完整轨迹成本 · 延迟」两列**，拆开之后最后一行的自相矛盾就显形了——它的评分器是全表最便宜的，水位却是全表最低的。所有 Gemini 分数均为 **Google 官方报告值**，评测设置见后文各节；不同行之间不构成横向可比。




这一章按这条主线走：先看 Agent 产品线在做什么（第二节），再看这条线的评测为什么不可信（第三节），然后分别走进验证器强、弱的两侧（第四、五节），回到 test-time compute 这个把算力换成分数的机制（第六节），处理长上下文这个 agent 的记忆底座（第七节），最后是世界模型与具身线（第八、九节）与组织学视角（第十节）。



## 二、Agent 产品线：从三个研究原型到一个内建工具

### 2.1 2024-12-11：三个原型同一天出生

Gemini 2.0 Flash 实验版发布的当天，Google 一口气公布了三个「research prototype」与一个功能[@src-a38408fd54]：**Project Astra**（通用助手原型，接入 Search / Lens / Maps）、**Project Mariner**（浏览器内的人机协作智能体）、**Jules**（接入 GitHub 工作流的编码智能体），以及 **Deep Research**。


  **两个常见的谱系错误，先在这里排掉。****①** **Project Astra 的首发不是 2024-12-11，而是 2024-05-14 的 I/O 2024**；12-11 那次是接入 Search / Lens / Maps 的**更新**，不是首次公开[@src-a38408fd54][@src-cc7ef4babb]。Mariner 与 Jules 的首发确实是 2024-12-11。**②** 「Mariner 被 Computer Use 取代」「Jules 并入 Antigravity」这类说法**没有官方来源**——公开材料只能支持「这些原型与后来的产品在能力上有承继关系」，不能支持「取代 / 合并」这种组织与产品层面的动作。本章据此删除了上一版里的这两句无源表述，改为在下表里按**模型端点 / research prototype / 产品功能**三类分行陈述各自可核的状态。






    **图 8.1** 讲师给出的 agent 四步循环：感知 → 推理 → **行动** → **验证**。关键读法在第四步：**Verify 被单列为循环的闭合条件，而不是并入推理**——这正是本章主线在产品层的对应物。底部横条是**讲师本人的判断**（agent 更多来自外层的循环、工具与策略，而非基座架构革新），不是任何 Google 人员的表态。




值得注意的是，2.0 代四个卖点（原生工具调用、原生图像输出、Multimodal Live API、可调 TTS）**没有一个是关于「模型更聪明」的**——它们全是关于「模型如何与世界交换信息」[@src-a38408fd54]。同一个季度，OpenAI 做的是 Realtime API 与 Canvas，Anthropic 做的是 Computer Use 与 MCP。三家在接口层做了同构的事。


  2.0 代所有接口创新，本质上是在为**「智能体」这个新的计费单元**做准备。当模型可以自己调工具、自己看屏幕、自己说话时，「一次 API 调用」就不再是有意义的计费单位——有意义的单位变成了「完成一个任务」。这解释了为什么 2026 年 Google 官方发布表里会出现 **Vending-Bench 2（一年虚拟自动售货机生意的净资产）**与 **GDPval-AA（专家任务 Elo）**这类按任务算账的指标：**计费单元的迁移，从 2.0 的接口重写就开始了。**



### 2.2 computer use：从一个专用模型到一个内建工具

Project Mariner 的产品化路径值得单独记一笔，因为它是「agent 能力如何下沉」的干净样本：

• 2025-10-07：Gemini 2.5 Computer Use 进入 public preview，基于 2.5 Pro，128K 输入 / 64K 输出——它是一个独立的、专用的模型端点^[15][16]。

• 2026-01-29：computer use 作为工具支持 Gemini 3 Pro / 3 Flash（changelog 口径 GA）^[17]。

• 2026-06-24：computer use 变成 Gemini 3.5 Flash 的内建工具（preview），覆盖浏览器 / 移动 / 桌面三种环境，并带提示注入检测；不再需要单独调用 2.5 那个专用模型^[18]。

• 2026-07-21：3.6 Flash 与 3.5 Flash-Lite 都把 computer use 列为内建客户端工具^[6]。

    **图 8.2** 官方 OSWorld-Verified 对照图。关键读法：**OSWorld-Verified 本身是「修复型 benchmark」**——原版 OSWorld 在 2025-07 被 OpenAI、Anthropic、字节等报告了约 300 个损坏条目后才有了这个修订版，损坏原因包括网站改版、反爬墙、地域限制与评分函数拒绝正确答案[39]。看这张图时要记得：**它测的是「模型 + 脚手架 + 那一天的互联网」三者的组合。**
    [@src-7572938d99]出处：Introducing computer use in Gemini 3.5 Flash, Google, 2026-06-24
  
  
  
  
  **一个容易被忽略的规格回退。**2.5 Computer Use 的窗口是 128K/64K[@src-b759336224]，而通用 Flash 是 1M/64K[@src-4b569e3e16]。GUI agent 的每一帧截图都要吃掉大量视觉 token，128K 意味着一次会话能保留的历史屏幕数是个位数量级。同类现象在机器人线上更明显：**Gemini Robotics-ER 1.5 的输入上限是 1,048,576 token，而 2026-04 的 ER 1.6 缩回到 131,072**[@src-281297e7c5]。「把 agent 建在最新旗舰 Flash 上」和「保持超长上下文」之间存在真实的工程取舍，官方没有解释过这个取舍，本材料也不做推测。

  2.3 开发面与企业面：Antigravity、CLI、Enterprise Agent Platform、Spark

  2025-11-18 随 Gemini 3 Pro 一起发布的 Google Antigravity 是前沿实验室自己下场做 IDE 的一个显眼样本（「首个」这类优先级宣称本材料一律不写，因为它需要一份完整的历史比较，而这里没有）^[1]。它的设计里有一条与本章主线直接相关：Artifacts——让 agent 产出任务清单、计划、截图、浏览器录屏作为可验证的中间产物，官方给出的动机是「agent 的完整工具调用日志人类看不过来，Artifacts 更容易验证」^[1]。把「验证」从工程细节提升为一等界面元素，这是本章主线在产品层最直接的对应物。

| | 产品 / 形态 | 首次公开日期与状态 | 能力 | 已知局限 | 可核的评测

| | Project Astra prototype | 2024-05-14 I/O 2024 首次公开^[19]；2024-12-11 更新（接 Search / Lens / Maps）^[20] | 实时多模态助手原型 | 始终是 prototype，未作为独立产品发布 | 无独立公开 benchmark

| | Project Mariner prototype | 2024-12-11 research prototype^[20]；2025-05-20 I/O 更新（最多 10 个并发任务、teach-and-repeat）[60] | 浏览器内人机协作 | 冻结日未见官方宣布停用或被取代；「被 Computer Use 取代」无官方来源 | 无独立公开 benchmark

| | Jules prototype → 产品 | 2024-12-11 research prototype^[20]；2025-05-20 I/O 转公开测试[60] | 接 GitHub 工作流的异步编码 agent | 与 Antigravity 的关系未见官方说明；上一版写的「思路并入 Antigravity」无来源，已删 | 无独立公开 benchmark

| | Gemini app · Agent Mode 产品功能 | 2025-05-20 I/O 2026 前一年宣布，面向订阅档位[60] | 把 Mariner 的浏览器操作 + MCP 接入 Gemini app（官方演示为找公寓） | 按订阅档位分发，公开材料未给可用性与成功率 | 无独立公开 benchmark

| | Gemini Agent 产品功能 | 2025-11-18 随 Gemini 3 一同公布^[1] | Gemini app 内的多步任务执行入口 | 发布时限美国 AI Ultra 订阅者；能力边界官方未量化 | 无独立公开 benchmark

| | Deep Research 产品功能 → 模型端点 | 2024-12-11 起；2026-04-21 新版 deep-research-preview-04-2026^[17] | 多轮规划 + 搜索 + 报告；新版加协同规划、可视化与 MCP | 分数衡量的是「模型 + 搜索 + 多轮规划」这个系统，不是模型 | HLE 上从 7.95% 起步爬坡（2.5 技术报告）^[21]

| | Gemini 2.5 Computer Use 模型端点 | 2025-10-07 public preview^[15] | Web / 移动界面控制 | 128K / 64K，远小于通用线的 1M^[16] | 官方表混合 self-report、Browserbase 与 Google-run 三类口径，不可只摘总排名^[15]

| | computer use（内建工具）模型内建工具 | 2026-06-24 3.5 Flash preview^[18]；07-21 进入 3.6 Flash / 3.5 Flash-Lite^[6] | 浏览器 / 移动 / 桌面三环境 + 提示注入检测 | preview 状态；OSWorld 这类环境本身随互联网漂移 | OSWorld-Verified：3.6 Flash 83.0%，3.5 Flash 78.4%^[6]

| | Google Antigravity 产品（IDE） | 2025-11-18 公开预览（免费）^[1]；Antigravity 2.0 于 I/O 2026（2026-05-19）^[22] | Editor / Manager / agent 控制的浏览器 / Artifacts；同时支持 Claude Sonnet 4.5 与 GPT-OSS | WAU 约 240 万（2026 年口径）[26]，相对 Gemini app 的量级仍很小 | 平台无独立分数；只能间接看模型分

| | Gemini CLI harness | 作为 harness 出现在第三方对照表中[42] | 命令行 agent 脚手架 | 它本身就是一个会改变分数的变量——见第三节 | Anthropic 的 Fable 5 对照表用 Gemini CLI 跑出 3.1 Pro Terminal-Bench 2.1 70.7%[42]

| | Gemini Enterprise Agent Platform 平台 | 2026-04-22 平台发布^[23] | 统一 agent runtime / memory / identity / registry；Vertex AI roadmap 逐步转入 | 企业侧，无公开能力评测 | AlphaEvolve 于 2026-07-09 通过该平台向 Cloud 客户 GA^[24]

| | Gemini Spark 产品功能 | 2026-05-19 trusted testing^[22] | 基于 3.5 Flash 的个人 agent，7×24 常驻 | 截至 2026-07-25 仍未广泛可用 | 无公开 benchmark

    表 8.2 · Gemini Agent 产品线（快照 **2026-07-25**）。第一列的灰色标签区分**模型端点 / research prototype / 产品功能 / 平台 / harness**——这几类东西的「发布」含义完全不同，混在一起排时间线必然出错。「首次公开日期」区分 research prototype / preview / GA / trusted testing 四种状态。**本表不写任何「取代 / 并入 / 停用」，除非有官方来源。**所有 benchmark 均为 **Google 官方报告值**，除非另注；harness 与工具设置见第三节。






    四条线的时间轴：agent / 世界模型 / 机器人 / 生成媒体
    悬停看日期与说明；点图例可隐藏泳道





    节点日期取自 [@src-a24fd97eb3]Gemini API changelog、各 DeepMind 官方博客与模型卡，冻结于 2026-07-25。**状态词不可混用**：research preview ≠ preview ≠ GA。文字版见下方折叠表。





  时间轴的文字版（同一组数据）

| | 日期 | 线 | 事件 | 状态

| | 2024-02 | 世界模型 | Genie（初代，arXiv:2402.15391，110 亿参数）^[25] | 论文

| | 2024-03 | 世界模型 | SIMA 1 | 研究

| | 2024-05-14 | agent | Project Astra 首次公开（I/O 2024）^[19] | research prototype

| | 2024-05 | 生成媒体 | Veo 1（I/O 2024） | 发布

| | 2024-12-11 | agent | Mariner / Jules / Deep Research 首次公开；Astra 同日更新^[20] | research prototype

| | 2024-12 | 世界模型 | Genie 2^[26] | 研究

| | 2025-03 | 机器人 | Gemini Robotics 1.0 / ER 1.0^[27] | 发布

| | 2025-05-20 | agent | Gemini app Agent Mode；Jules 转公开测试；Mariner 支持 10 个并发任务[60] | 产品功能 / 公开测试

| | 2025-05-20 | 生成媒体 | Veo 3（Veo 家族首个原生同步音频）^[28] | 发布

| | 2025-06-24 | 机器人 | Gemini Robotics On-Device（Google DeepMind 首个向 trusted testers 开放微调的 VLA）^[29] | trusted tester

| | 2025-08-05 | 世界模型 | Genie 3（720p / 24fps / 约 1 分钟视觉记忆）^[10] | research preview

| | 2025-09-25 | 机器人 | Gemini Robotics 1.5 + ER 1.5^[30] | partner / API preview

| | 2025-10-07 | agent | Gemini 2.5 Computer Use（128K/64K）^[15] | public preview

| | 2025-10-15 | 生成媒体 | Veo 3.1^[28] | 发布

| | 2025-11-13 | 世界模型 | SIMA 2（Gemini 驱动 + 与 Genie 3 联动）^[31] | research preview

| | 2025-11-18 | agent | Google Antigravity；Gemini app 内的 Gemini Agent^[1] | 公开预览 / 产品功能（发布时限美国 Ultra）

| | 2026-01-29 | 世界模型 | Project Genie（美国成人 Ultra 用户）^[32] | 产品实验

| | 2026-03-31 | 生成媒体 | Veo 3.1 Lite（4/6/8 秒，720p/1080p）^[33] | paid preview

| | 2026-04-14 | 机器人 | Gemini Robotics-ER 1.6^[34] | preview

| | 2026-04-22 | agent | Gemini Enterprise Agent Platform^[23] | 平台发布

| | 2026-05-19 | agent / 生成媒体 | Antigravity 2.0、Gemini Spark、Gemini Omni Flash^[22][35] | I/O 2026

| | 2026-06-24 | agent | computer use 成为 3.5 Flash 内建工具^[18] | preview

| | 2026-06-30 | 生成媒体 | Gemini Omni Flash API（3–10 秒 720p/24fps）^[36] | public preview

      表 8.3 · 四条线的关键节点，冻结 2026-07-25。








## 三、★一个数字，两个答案：Terminal-Bench 2.0 的教学案例

本章后面所有的 benchmark 都要靠这一节的方法论撑着，所以先把这一节做透。

Gemini 3.1 Pro 的官方模型卡里有一张对照表，**GPT-5.3-Codex 在 Terminal-Bench 2.0 上的分数写着 64.7%**（harness 标注为 Terminus-2）[@src-564638136e]。而第三方汇总给同一个模型、同一个 benchmark 版本的数字是 **77.3%**（Codex harness）[@src-564638136e]。**差 12.6 个百分点。**


  **证据 A（低值 64.7%）：**来自 Google DeepMind 的 Gemini 3.1 Pro 官方模型卡对照表，harness 明确标注为 **Terminus-2**——这是 Terminal-Bench 官方的中立 scaffold。优点：与表内其他模型同 harness，表内横比是自洽的。缺点：**它是竞争对手替 GPT-5.3-Codex 跑出来的分数**，OpenAI 未必认可这个配置，而 Codex 系列模型本就是针对自家 CLI 优化的。

  **证据 B（高值 77.3%）：**来自第三方汇总（Verdent 口径），配置是 **Codex harness**——即 OpenAI 自家的脚手架。优点：这是这个模型在其原生环境里的真实表现，更接近用户实际体验。缺点：**它与表内任何其他模型都不同 harness**，把它填进 Google 那张表就毁掉了整张表的可比性。

  **两个数字都不是错的，它们回答的是两个不同的问题。**64.7% 回答「在一个中立脚手架里，这个模型有多强」；77.3% 回答「把这个模型交给最懂它的那套工程，它能做到多好」。真正错误的做法是**挑一个写成事实**，或者把 64.7% 和 77.3% 分别塞进不同段落而不说明它们是同一个模型。

  这不是孤例。Terminal-Bench 官方榜上，**GPT-5.5 用 Codex 是 83.1%，用共享的 Terminus 2 是 78.0%——同一模型，5.1 个点，全是 scaffold**[@src-f6aa42bfdc]。Claude Fable 5 在 Terminal-Bench 2.1 上，Anthropic 自家 scaffold 报 **88.0%**，xAI 用 Grok Build harness 复测得 **84.3%**[44]。





    同一模型、同一 benchmark，换 harness 换答案
    左柱＝中立或他厂 harness；右柱＝原厂 harness





    数据均为各来源的**公开报告值**，非本项目复现。Terminal-Bench 版本已写进 X 轴标签，**2.0 与 2.1 不可跨版本比较**（2.1 修复了 2.0 中 89 题里的 28 题[@src-f6aa42bfdc]）。逐格出处见下方折叠表。





  柱状图的数据表与逐格出处

| | 模型 · 榜单版本 | 中立 / 他厂 harness | 原厂 harness | 差值 | 出处

| | GPT-5.3-Codex · TB 2.0 | 64.7%（Terminus-2） | 77.3%（Codex） | +12.6 | Google 3.1 Pro 模型卡 / 第三方汇总^[8]

| | GPT-5.5 · TB 2.1 | 78.0%（Terminus 2） | 83.1%（Codex） | +5.1 | Terminal-Bench 官方榜^[37]

| | Claude Fable 5 · TB 2.1 | 84.3%（Grok Build 复测） | 88.0%（Anthropic scaffold） | +3.7 | Anthropic 官方 / xAI 复测[44]

      表 8.4 · 「原厂 harness 高于中立 harness」在三个样本上一致成立，差值 3.7–12.6 个点。快照 2026-07-25，均为 **厂商或第三方报告值**，无独立复现。






更尴尬的一组数字来自 Google 自己：**Gemini 3 Pro 的 Terminal-Bench 2.0，开发者博客写 54.2%，三个月后 Google 自己的 3.1 Pro 对照页把同一个模型标成 56.9%**——同一家公司、同一个模型、同一个 benchmark 版本，2.7 个点的差，两处都没有交叉说明[@src-0f9e547608][@src-564638136e]。Gemini 3.1 Pro 在 Terminal-Bench 2.1 上更是有三个数：3.5 Flash 模型卡 70.3%、3.5 家族页 73.8%、Anthropic 对照表 70.7%（Gemini CLI harness）[42]。


  **① Setting 问：**effort / thinking 档位（Grok "high" ≠ GPT "xhigh" ≠ Claude "max" ≠ Gemini "Thinking High"）、harness、工具开关、pass@1 还是 maj@k、benchmark 版本与题集 revision——缺任何一件，这个数就不可比[41]。

  **② Instrument 问：**这把尺子有多准？已知的题库错误率：MMLU **6.49%**、GPQA Diamond 约 **8%**、HLE 全量复审后仅 **26.7% 原样通过**、FrontierMath v2 修正了 **42%** 的题、SWE-Bench Pro 审计出 **27.4%–34.1%** 损坏、SWE-bench Verified 被 OpenAI 以「≥59.4% 仍有损坏或过严测试」为由弃用、Terminal-Bench 2.0 的 89 题里修了 **28 题**[@src-20fd64a19e][@src-f6aa42bfdc]。**怎么用这些数字：题库错误率*不是*分数的置信区间**——label-error prevalence 与 score CI 是两个不同的量，「差距小于错误率就不存在」在统计上不成立（本章上一版写了这句，现已删除）。正确的做法有三种，且都需要原始逐题结果：**①** 在修订后的题集上**重新计分**（corrected-set rescoring），看排序是否改变；**②** 对同一批题的逐题对错做 **paired bootstrap**，给出差值的置信区间；**③** 做**敏感性分析**——把疑似坏题按最坏 / 最好情况分别归给两个模型，看结论是否翻转。在拿不到逐题结果时，唯一站得住的说法是：**「题库缺陷有可能改变排序」**，而不是「这个差距不存在」。

  **③ Economics 问：**多少钱、多久、跑十遍稳不稳？在本章引用的评测机构里，ARC Prize 是把 $/题与分数**并列公布**做得最彻底的一家：Gemini 3.1 Deep Think 的 ARC-AGI-2 84.6% 对应 **$13.62/题**，ARC-AGI-1 96.0% 对应 **$7.17/题**[@src-c8bba1a41d]。




  把 harness 敏感度这件事推到底，会得到一个对 agent 时代很不友好的结论：**「模型」这个评测对象已经不存在了**。Epoch AI 测得只换 scaffold 不换模型，SWE-bench Verified 上 GPT-5 能动 **11 个点**、Kimi K2 Thinking 能动 **15 个点**[41]。这意味着 agent 榜单测的是「模型 + 脚手架」的组合，而**脚手架是被测方自己写的**。

  行业对此有三种回应，各有代价：Artificial Analysis 用统一 harness（牺牲对厂商最优配置的公平）；ARC Prize / Epoch 自建私有题集（牺牲覆盖度）；evals.report 只做溯源不做排名（牺牲结论性）[41]。**这三派的分裂本身就是最好的证据：「一个 agent 有多强」在 2026 年已经没有单一答案。**



### 3.1 ★判决形态强的一侧，分数为什么高：两个竞争解释

第一节说过一句话：判分函数一旦存在，它同时就是一个 benchmark。**这句话有一个直接后果，而且它对本章不利，必须自己说出来。**下面把两个解释并列，各自写清成立条件——**本节不裁定谁是真因**。

| | 观察：判决可脚本化的那一侧，分数明显更高 | 竞争解释 A · 能力真的更高 | 竞争解释 B · 训练信号把评测集吃掉了

| | 机制 | 这类任务能提供密集、低延迟、目标对齐的反馈，模型在上面被真正优化过 | 「benchmark 按其构造就是可验证环境，因此立刻可被 RLVR 及其弱形式（合成数据）攻击」——实验室会围着 benchmark 附近的嵌入空间造环境^[38]

| | 成立的条件 | 题集没有进入训练分布；或有半私有 / 私有集能挡住污染；或有独立机构复现 | 题集或其近邻确实可被合成复制；且分数提升在换到同难度未见题集时显著回落

| | 支持它的证据 | ARC Prize 用半私有集并独立验证^[2]；GSM1k 复测显示前沿模型过拟合迹象很小^[14]；METR 在评测流程里专设 reward-hack 筛查[66] | SWE-Bench Pro 的公开集 22.7% vs 私有商业集 17.8%（同 harness、同 Pass@1）^[14]；SWE-bench Verified 被 OpenAI 以「≥59.4% 仍有损坏或过严测试」为由弃用^[14]

| | 它不能推出什么 | 不能推出「分数即能力」——同一模型换 harness 能动十几个点，见本节前文 | 不能推出「这些分数全是刷出来的」。污染是可测量的，而测出来的量级是十几个点，不是全部

    表 8.15 · 同一观察的两个竞争解释与各自的成立条件，快照 **2026-07-25**。**本章的自我约束：引用「判决形态强的一侧」的分数时，一律带一个折扣读，而且这个折扣与判决的可脚本化程度*同向***——越廉价可靠的判分函数，被 Goodhart 的压力越大。**但折扣不等于归零**：把 A 整个换成 B，就又犯了「推翻一个解释即证明另一个解释」的错。





  The core issue is that **benchmarks are almost by construction verifiable environments** and are therefore immediately susceptible to RLVR and weaker forms of it via synthetic data generation... **Training on the test set is a new art form. What does it look like to crush all the benchmarks but still not get AGI?**


    Andrej Karpathy
    2025-12-19
    2025 LLM Year in Review（本人博客）
    [@src-ca5be40ee3]原文




**引用这段话时有一条纪律：Karpathy 在同一篇文章里也站在正方一侧**——他把 RLVR 描述为「训练针对**客观、不可被玩弄**的奖励函数，因此允许长得多的优化」[@src-ca5be40ee3]。**他不是一个可以被打发成 skeptic 的人，也不是一个可以被征用为 skeptic 的人**；把他的两段话拆开只引一半，就是本项目反复禁止的那种选择性引用。



## 四、验证器强的那一侧：IMO、ARC-AGI-2、AlphaProof Nexus

### 4.1 IMO：两年，两套完全不同的系统与评分

这是最容易被写错的一段，所以逐条对齐官方口径。

| | 维度 | IMO 2024 | IMO 2025

| | 系统 | AlphaProof + AlphaGeometry 2^[13] | advanced version of Gemini Deep Think^[3]

| | 成绩 | 6 题解出 4 题，28/42（当年金牌线 29，属银牌档顶端，距金牌 1 分）^[13][39] | 6 题解出 5 题，35/42；当年金牌线正好 35——踩线达标，不是大幅超过^[3][39]

| | 输入形式 | 需专家先把题人工形式化成 Lean 等语言，再把证明转回^[13] | 端到端自然语言：直接读官方题面，输出自然语言严谨证明^[3]

| | 耗时 | 一题数分钟，其余最长 2–3 天^[13] | 官方 4.5 小时竞赛时限内^[3]

| | 评分主体 | Timothy Gowers 与 Joseph Myers 作为独立专家评审按 IMO 计分规则打分——不是官方 coordinator 认证流程^[13] | IMO 官方 graders / coordinators 评阅确认^[3]

| | 正确措辞 | 银牌水平（silver-medal level） | 「achieved gold-medal standard」——不是作为正式人类选手获发一枚金牌^[3]

    表 8.5 · IMO 2024 与 2025 的严格对照。当届 630 名选手、72 枚金牌；2024 金牌线 29、银牌线 22[@src-12be8fce45]。





  **IMO 主办方自己划了一条硬边界，引用时不能省略。**2025-07-19 的官方声明原文：「the IMO cannot validate the methods, including the amount of compute used or whether there was any human involvement, or whether the results can be reproduced.」[@src-12be8fce45]——**官方只认可提交的证明本身正确，不认可方法、算力、人工参与程度与可复现性。**

  第二条边界更重要：**公开版 Deep Think 不是拿金牌那一版。**2025-08-01 面向 AI Ultra 订阅者推送的是一个低延迟 variation，Google 自己的内部评测在 IMO 上只有 **60.7%，bronze-level**[@src-9ecb690728]。把 35/42 挂到用户手上那个模型头上，是这条线上最常见的事实错误。



### 4.2 ARC-AGI-2：三年翻十六倍，以及必须标的三个旋钮

ARC-AGI-2 的评测方式是 **pass@2、像素级精确匹配、无工具、无 agent scaffold**，唯一可调的旋钮是「每题采样多少候选再挑两个提交」——**而这一个旋钮就能让分数变动两位数**[@src-c8bba1a41d]。

| | 模型 | ARC-AGI-2 | 设置 | 成本 | 来源

| | Gemini 2.5 Pro | 4.9% | — | — | Google 官方^[21]

| | Gemini 3 Pro | 31.1% | ARC Prize 验证 | — | Google 官方^[1]

| | Gemini 3 Deep Think（2025-12） | 45.1% | 含代码执行，ARC Prize 验证 | — | Google 官方^[40]

| | Gemini 3.1 Pro | 77.1% | ARC Prize verified | 约 $0.962/题 | Google 模型卡 / ARC Prize^[8]

| | Gemini 3.1 Deep Think（2026-02） | 84.6% | ARC Prize 官方验证 | $13.62/题 | DeepMind 模型页 / ARC Prize^[5]

| | Claude Opus 5 Max | 90.4% | Semi-Private，2026-07-24；High 档 88.3% | — | ARC Prize^[2]

| | GPT-5.6 Sol (Max) | 92.5% | Max 档；同一模型 Low 档只有 42.5% | — | ARC Prize^[2]

    表 8.6 · ARC-AGI-2 快照 **2026-07-25**。评测口径统一为 pass@2、像素精确匹配；**reasoning effort 档位与是否开代码执行必须同时读**——ARC Prize 公布的 GPT-5.6 Sol 五档曲线是 Low 42.5% → Medium 67.1% → High 85.4% → Extra High 90.0% → Max 92.5%，**同一模型 50 个点的跨度**[41]。**★本表不设「人类基线」一行**：ARC Prize 官方技术报告页**没有发布任何平均个体准确率**，该页人类侧只有四项数据——**400 人 × 1,417 个任务**、纳入门槛「**two people in two attempts or less**」、每题平均约 **9–10 人**尝试、人均每题约 **2.3 分钟**，小节标题是 **“Humans can solve 100% of ARC-AGI-2”**（**任务级**覆盖口径，非个体平均）[@src-5a37f864c9][ARC-AGI-2 技术报告]。**流传的「人类 60%」与「66%」都是第三方派生数，本站已全面停用。**





  **不要把「超过人类」写成无条件的结论。**ARC Prize 从 v2 起就要求同时报告效率指标，理由是「智能不仅由解题能力定义，获取与部署这些能力的效率同样是关键的定义性成分」[41]。**★但「超过人类」在这个基准上根本无法按准确率对齐：官方从未发布平均个体准确率**——人类侧只有 400 人 × 1,417 任务、门槛「two people in two attempts or less」、每题约 9–10 人尝试、人均每题约 2.3 分钟这四项，且小节标题写的是任务级 **“Humans can solve 100% of ARC-AGI-2”**[@src-5a37f864c9][ARC-AGI-2 技术报告]。**拿模型的单模型单档位准确率去对一个官方不存在的「人类平均分」，两侧口径不同，比较不成立。**

  **能对齐的只有成本轴，而它自己就足够说明问题：**3.1 Pro 是 77.1% / **每题 $0.962**，把分数推到 95.1% 的第三方方案要**每题 $8.71**，另一个开源方案要**每题 $31**[41]——**同一个基准上，最后 18 个点的边际成本是前 77 个点的 9 到 32 倍。**官方人类侧唯一可比的量是「人均每题约 2.3 分钟」，它是**时间**不是钱，换算成美元需要先假定一个时薪，**那个时薪不是官方数据，本章不做这个换算**。**所以「在成本上超过人类」这句话在本基准上暂时无法被官方数据支持，无论正反。**



### 4.3 AlphaProof Nexus：353 道 Erdős 开放问题中自主解出 9 道

2026-06，Google DeepMind 发表 *Advancing Mathematics Research with AI-Driven Formal Proof Search*（arXiv:2605.22763）[@src-1d4ccde518]。结果清单：**自主解决 9 / 353 道 Erdős 开放问题**（其中 2 题悬置 56 年，证明已登记在 Terence Tao 的 Erdős-AI wiki 上）、**证明 44 / 492 道 OEIS 猜想**、解决一个悬置约 15 年的 Hilbert 函数开放问题、改进一个凸优化的已知界。**推理成本每题几百美元。**


  「AI 解决了数学未解难题」这句话的正确读法要同时说四件事：

  **（1）它是真的。**Lean 形式化验证 + Tao 的 wiki 登记，这条证据链在数学界的标准下可核查、不可抵赖——这与 benchmark 分数是完全不同性质的证据。**（2）成功率极低。**9/353 ≈ 2.5%，44/492 ≈ 8.9%；Tao 本人此前给出的校准是「AI 在 Erdős 问题上的实际成功率只有 1–2%，且集中在较容易的题上」——**这个成果验证了专家的预期，而不是超出了专家的预期**[@src-1d4ccde518]。**（3）关键是可验证性，不是智能。**这条路线能走通，是因为 Lean 的 proof checking 提供了**低边际成本、确定性、可重复调用**的验证信号——注意这三个词都不是「零」：把一个 Erdős 问题写成 Lean 命题本身是有成本的人工工作，而「这条 Lean 命题是否忠实表达了原问题」**没有任何编译器能检查**，只能靠人。形式化验证消灭的是「证明有没有漏洞」这一类噪声，不是全部噪声。**（4）它和 Deep Think 的自然语言金牌是两条路线，各有代价。**Deep Think 通用但没有机器可验证的正确性保证；AlphaProof Nexus 有绝对保证但受限于「能被形式化的问题」。**Google 同时押两条，本身就是对「形式化 vs 自然语言」这个未决问题的对冲。**





## 五、★水位最低的那一侧：GDPval 与 Vending-Bench 2


  上一版这一节叫「**验证器弱的那一侧**」。**这个标题是错的**，而且错得很典型：GDPval 确实判决昂贵（人类专家盲评，评委间一致率约 71%），但 **Vending-Bench 2 的评分器是全章最便宜的之一**——读一次模拟器算出的年末银行余额，成本几乎为零[@src-0f9e547608]。把这两个 benchmark 放进同一个「验证器弱」的筐里，正是第一节拆掉的那个错误。

  **本节改用一个纯描述性的标题：水位最低的那一侧。**「为什么低」是第一节留下的开放问题，不是这个标题的前提。



### 5.1 先分清两套 GDPval，它们不是同一个评测


  **GDPval（原版）**：OpenAI，arXiv:2510.04374（2025-09）。1,320 个任务、44 个职业、美国 GDP 前 9 大行业；评分是**人类专家盲测两两对比**（每题 3 次采样 × 3 位专家 = 9 个判决）。OpenAI 报告其最强模型在 **47.6%** 的对比中「优于或持平于人类专家」[@src-fcfad95390]。**截至 2026-07-25，OpenAI 已下线托管 leaderboard，只剩厂商自报值**（GPT-5.2 Pro 60.0% clear win / 74.1% win-or-tie）[@src-5d24e84404]。

  **GDPval-AA**：Artificial Analysis 自建版本。自建 agent harness 叫 **Stirrup**（6 个工具、250 轮预算、单任务 2 小时上限），评委是**三个模型组成的评审团**，人类原始交付物锚定在 **Elo = 1000**[@src-5d24e84404][@src-fcfad95390]。

  **这两套评测禁止互换、禁止合并、禁止跨榜比名次。**而且 GDPval-AA 自身还有 v1 / v2 两套锚定，数值差异巨大——**Gemini 3.1 Pro 在 v1 是 1317 Elo，在 v2 是 965**[@src-564638136e][41]。市面上大量二级汇总正在跨版本比较，那些结论全部无效。



### 5.2 Gemini 在这一格输得有多难看

先看 Google 自己发布的那张表。Gemini 3.1 Pro 官方模型卡的 GDPval-AA 一行（v1 锚定）：**Gemini 3.1 Pro 1317**、Gemini 3 Pro 1195、GPT-5.2 1462、Claude Opus 4.6 1606、**Claude Sonnet 4.6 1633**[@src-564638136e]。**在 Google 自己这张对照表上，这是少见的一格：被一个「中杯」竞品甩开 300 分以上。**

再看统一到 v2 锚定后的最新快照：

| | 模型 | GDPval-AA v2 (Elo) | 来源与日期

| | Claude Opus 5 Max | 1861 | Artificial Analysis 榜单快照 2026-07-25^[7]

| | Claude Opus 5 xhigh | 1827 | 同上^[7]

| | GPT-5.6 Sol max | 1735 | 同上^[7]

| | Kimi K3 | 1668 | Google 3.6 Flash 模型卡对照^[6]

| | Claude Opus 4.8 | 1638 | 同上^[6]

| | Claude Sonnet 5 | 1607 | 同上^[6]

| | GPT-5.6 Luna max | 1584 | 同上^[6]

| | Gemini 3.6 Flash（Gemini 全线最好） | 1421（Google 07-21 模型卡） 1423±18（AA 07-25 动态榜） | Google 3.6 Flash 模型卡，2026-07-21^[6]；Artificial Analysis 动态榜快照 2026-07-25^[7]

| | Gemini 3.5 Flash | 1349 | Google 模型卡^[6]

| | Gemini 3.5 Flash-Lite | 1140 | Google 模型卡^[6]

| | Gemini 3.1 Pro | 965 | v2 重锚定值[41]

| | 人类专家交付物（锚点） | 1000 | AA 的 v2 锚定定义^[7]

    表 8.7 · GDPval-AA **v2** 快照，冻结 **2026-07-25**。harness = Stirrup（含 shell + web），评委 = 三个前沿模型组成的评审团，**不是** base-model-only 设置，**不是**人类盲评。v1 数值与本表不可混用。**两类来源不要混：**标「Google 模型卡」的是**发布当日的静态快照**，标「AA 动态榜」的会随重跑漂移并带区间（3.6 Flash 在 07-25 的动态榜上是 **1423±18**，与模型卡的 1421 在误差内一致）。**因此本节所有 Elo 差值都写成「约多少」，不写精确差。**




算一下差值：Gemini 全线在 v2 上能查到的最好成绩是 **3.6 Flash 的 1421**（Google 07-21 模型卡）／**1423±18**（AA 07-25 动态榜），与榜首 Claude Opus 5 Max（1861，AA 07-25 动态榜）**落后约 440 Elo**，与 GPT-5.6 Sol max（1735）**落后约 310 Elo**。**这两个「约」是必须的**：动态榜的数值带 ±18 量级的区间且会随重跑漂移，写成「440」这种无误差的精确差值是把不确定性抹掉了。按 Bradley–Terry / Elo 的定义 \(P(A\succ B)=1/(1+10^{(R_B-R_A)/400})\)，440 分差对应的期望胜率约 **7%**；把 ±18 代进去是 **6.8%–8.2%**——**在盲测两两对比里，大致十二到十五次才赢一次。**


  外界常见的说法是「Gemini 在 GDPval-AA 上落后 Claude 约 300 Elo」。按本项目档案逐格核对，**这个说法低估了差距**：在同一 v2 口径下，差距**约 310–440 Elo**，取决于跟谁比；「约 300」只在拿 Gemini 最好值对 GPT-5.6 Sol max 时才勉强成立。另外必须说清：**Gemini 3.6 Flash 是 Flash 档**，Gemini 的旗舰 Pro 线（3.1 Pro）在 v2 上是 965，**低于人类锚点 1000**——但 3.1 Pro 是 2026-02 的模型，用它对比 2026-07 的榜首并不公平。**公平的对比对象（Gemini 3.5 Pro）截至冻结日仍在 partner testing，没有任何公开分数**[@src-09b59cb95c]。**这个空格本身就是本节最有信息量的一格。**




  **但 GDPval-AA 这把尺子自己也有大问题，必须一起说。**

  **（a）人类评委之间的一致率只有约 71%**——原版 GDPval 的量尺自己对同一件事有三成的时候意见不合[@src-fcfad95390]。**（b）GDPval-AA 把这些人类专家换成了三个模型评委**，而其中一个评委就是 Gemini 3.1 Pro Preview。Ethan Mollick 在公开批评中直指这是**循环评估**：用 Gemini 3.1 去评判其他模型在公开 GDPval 题目上的输出，「什么都说明不了」[@src-fcfad95390]。**（c）GDPval-AA v2 是 AA Intelligence Index v4.1 里权重最高的一项**——整个行业最常引用的那个「智能指数」，其最大权重项是一个模型评模型的 Elo[41]。

  还有一个更刺眼的对照：**换掉评委，「人类」的位置就整个变了。**在人类专家盲评的原版 GDPval 上，2025-09 时 OpenAI 最强模型只在 47.6% 的对比中优于或持平人类[@src-fcfad95390]；而在模型评委的 GDPval-AA v2 上，榜首 1861 Elo 相对人类锚点 1000 对应的期望胜率是 **99.3%**。这两个数字相隔 10 个月、模型也不同，不能直接相减，**但 47.6% 到 99.3% 这个鸿沟大到无法只用「模型进步了」来解释**。评委换成模型这件事本身，至少贡献了其中很大一部分。



### 5.3 Vending-Bench 2：一个直接以美元计价、没有分数上限的榜




    **图 8.3** Gemini 3 Pro 发布时的 Vending-Bench 2 净资产对比。关键读法：**Y 轴是美元，没有上限，也没有「正确答案」**——模型自主运营一家虚拟自动售货机公司 365 个模拟日，起始 $500、每天 $2 场地费，连续 10 天付不出即破产；唯一指标是年末银行余额，取 5 次运行均值，单次运行消耗 6,000 万–1 亿 token[@src-0f9e547608]。**这类无上限指标最难被算力刷，也最难被合并进一个「智能指数」。**
    [@src-0f9e547608]出处：A new era of intelligence with Gemini 3, Google, 2025-11-18



这条曲线值得完整抄一遍，因为它是本章少数几个**以美元为单位、量纲本身就可解释**的指标（**注意：它并不自带人类对照——下一段会说明那个 $63,000 分母是推算的；本章唯一保留了实测人类柱子的图是 SIMA 2 那张**）：Gemini 2.5 Pro **$573.64** → GPT-5.1 $1,473.43 → Grok 4 $1,999.46 → Gemini 3 Flash $3,634.72 → Claude Sonnet 4.5 $3,838.74 → GPT-5.2 $3,952.01 → Claude Opus 4.5 $4,967.06 → **Gemini 3 Pro $5,478.16**（发布时登顶，比 GPT-5.1 高 272%）→ Claude Fable 5 (high) $5,680.26 → GPT-5.5 $7,523.84 → Claude Opus 4.6 $8,017.59 → GLM-5.2 $8,313.78 → **Claude Opus 4.7 $10,936.76（当前最高）**[@src-0f9e547608]。

Andon Labs 估计一个厉害的人类操盘手一年能做到约 **$63,000**。**⚠ 这个分母不是测量值：它是 Andon Labs 用「$206/天 × 302 天」推出来的一个假设性 good strategy，官方页面用的词是 estimate / assuming / calculate——没有任何人类真的跑过这个 benchmark。**所以下面这个比值只能读成「相对一个纸面推算的比例」，不能读成「离真人还有多远」：**当前最好的 $10,936 是那个推算值的 17%。**Andon 的定性观察也很有信息量：Gemini 系列把异常大比例的钱花在「友好供应商」的订单上，而不去跟会谈判的供应商砍价[@src-0f9e547608]。**这更像一种可测量的策略偏好，而不是能力缺陷——但公开材料不足以把两者分开**：一个不会砍价的 agent 与一个「被 RLHF 训得不愿意对抗性谈判」的 agent，在这个指标上长得一模一样。



    评分函数的可脚本化程度 × 前沿分数增速（用于反证，不用于回归）
    X 轴是作者构造的主观刻度，且本轮按第一节的口径重打过分；悬停看每个点的两个锚点、模型、harness、effort 与版本





    **★本轮 X 轴被重新定义并重打分，这是本节最重要的改动，先说清楚。**上一版的 X 轴叫「验证器成本 / 可靠性」，而它实际上混装了两件事——**评分函数有多便宜**与**拿到一条可评分轨迹有多贵**。按第一节的拆分，本图的 X 轴**只保留前者**：它衡量的是**把一条已经跑完的轨迹变成一个分数**有多便宜、多确定、多可复现，**完全不包含跑出这条轨迹的成本**。

    **⚠ X 轴（评分函数的可脚本化程度，0–10）是作者的主观刻度，不是任何机构的官方指标。**打分依据（四条，等权）：①判分是否可脚本化且零人工；②单次判分的边际成本；③题库自身已知错误率（越低越高分）；④判分结果是否可被第三方复现。举例：ARC-AGI-2 = 9.5（像素精确匹配、脚本判分、pass@2 锁死采样、ARC Prize 独立验证）；GDPval 原版 = 1.5（人类专家盲评、评委间一致率仅约 71%、贵到无法规模化重跑）。

    **★两个点因此被移动，移动方向对我不利，必须写出来：**Vending-Bench 2 从 **2.0 移到 8.5**（它的评分函数就是读一次模拟器余额，确定、零人工、可复现——按新定义它属于最便宜的一档），ARC-AGI-3 从 **6.0 移到 8.5**（RHAE 是一条确定的程序化公式）。**这两个点原来是「低 X」一侧的主要人口，移走之后，「评分器便宜的一侧水位高」这个图形叙事在本图上就不再成立了——Vending-Bench 2 现在坐在高 X 一侧，而它的水位是全章最低的。**这正是第一节判定二分死亡的图形版本。

    **Y 轴**是各榜「前沿最好公开成绩」在两个有据可查的时点之间的提升（百分点）。**这些 Y 值的用途只有一个：反证「评分器越便宜可靠、涨得越快」。**它们**不能**用来做回归、拟合斜率或推断因果——九个点的窗口长度从 3 个月到 16 个月不等，模型、harness、effort 档位、题集 revision 全都不同，起点与终点也不是同一家机构在同一套条件下测的；把这样一组异质端点做最小二乘，得到的斜率没有意义。**每个点的完整设置（起止日期、模型、版本、harness、effort、是否跨 revision）写在悬停提示与下方折叠表里，两处一致。**跨 benchmark 版本的点已标注 ⚠。

    **象限线只是读图辅助**：竖线在 X=6（主观刻度中点），横线在 Y=26.5（图中九个点 Δ 的中位数；表 8.8 的 IMO 行因两端评分主体不同而不给 Δ，未入图也未参与中位数）。**四个象限仍然全部有点**；GDPval 原版恰好坐在 Y 中位线上（它就是那个中位数）。**⚠ 2026-07-24 的快照更新把 ARC-AGI-3 的 Y 从 7.3 抬到 29.65，本轮的口径修正又把它的 X 从 6.0 移到 8.5——同一个点在两轮里被改了两次，详见下方正文。**





  散点图的逐点锚点、设置、窗口与出处（含两个仍成立的反例、一个被快照更新翻转的点，与本轮两处 X 轴重打分）

| | Benchmark | X（主观 · 本轮重打） | 起点（日期 · 模型 · 设置） | 终点（日期 · 模型 · 设置） | Δ（pp） | 窗口 | pp/月 | 是否跨 revision · 备注

| | ARC-AGI-2 | 9.5 | 2025-03 发布时前沿 约 4%；pass@2、像素精确匹配、无工具、无 scaffold；具体模型与 effort 档未逐项登记 待核 | 2026-07-09 GPT-5.6 Sol，Max effort，semi-private，pass@2 → 92.5% | +88.5 | 16 个月 | 5.5 | 否（同一 v2 题集）。同一模型 Low 档只有 42.5%，effort 一栏不写就无意义[41]

| | AIME 2025 | 9.8 | 2025-06 Gemini 2.5 Pro，single attempt（非 maj@k）→ 88.0% | 2026-03 GPT-5.4（xhigh）→ 100% | +12.0 | 9 个月 | 1.3 | 否。已封顶；15 题，1 题 = 6.67 点，天花板效应主导[41]

| | IMO（/42 折百分比） | 8.5 | 2024-07 AlphaProof + AlphaGeometry 2，需人工形式化，最长 2–3 天，Gowers / Myers 独立专家评审 → 28/42 = 66.7% | 2026-07 多家报 42/42 = 100% | 不可比 | 24 个月 | — | ⚠ 本行不给 Δ，也已从上方散点图中移除。两端的评分主体不同：2024 是 Gowers / Myers 的独立专家评审；2026 的「42/42」根本不是一个数，而是三个验证层级共六个满分——官方 IMO 阅卷 2 家（华为 Celia、小红书 dots-note-3.0，这两家确实是 IMO 官方认证的）／自办 harness 3 家（Claude agent 阅卷，其中 2 家经 repair）／Lean 4 机器验证 1 家（AxiomProver）；另有 NVIDIA Nemotron 3 Ultra 30/42 由 IMO 团队阅卷。把这五种强度完全不同的证据混成一个「100%」，本身就是本表要反对的做法（拆分见 第 9 章 §4.9；整体 C 级——IMO 官网没有 AI 成绩页）。相减得到的数字不是对同一件事的测量，因此本章拒绝计算它——这正是本表表头那条「是否跨 revision」纪律的极端情形。保留本行只为记录两个端点各自的事实

| | SWE-bench Verified | 7.5 | 2025-05 Claude Sonnet 4，Anthropic 自家 scaffold，厂商自报 → 72.7% | 2026-06 Claude Fable 5，Anthropic 自家 scaffold，厂商自报 → 93.9% | +21.2 | 13 个月 | 1.6 | 名义上否，实质存疑：题库被 OpenAI 以「≥59.4% 仍有损坏或过严测试」为由弃用，两端很可能不是同一有效题集^[14]

| | Terminal-Bench 2.x | 7.0 | 2025-11 Gemini 3 Pro，TB 2.0，Google 开发者博客 → 54.2%（同一模型在 3.1 Pro 对照页写 56.9%） | 2026-07 GPT-5.6 Sol，TB 2.1 → 88.8% | +34.6 ⚠ | 8 个月 | 4.3 | ⚠ 是：2.0 → 2.1，2.1 修了 89 题中的 28 题；且两端 harness 不同^[37]

| | OSWorld-Verified | 5.5 | 2026-01 Gemini 3 Flash → 65.1% | 2026-06 Claude Fable 5 → 85% | +19.9 | 5 个月 | 4.0 | 名义上否，实质是：环境随互联网漂移，同名 benchmark 在两个日期跑的不是同一个世界[39]

| | HLE（无工具） | 4.0 | 2025-06 Gemini 2.5 Pro，no tools → 21.6% | 2026-06 Claude Fable 5，no tools，厂商自报 → 59.0% | +37.4 ⚠ | 12 个月 | 3.1 | ⚠ 反例（仍成立）：评分器弱（LLM 抽取答案）却涨得快。复审后题库仅 26.7% 原样通过，两端多半不是同一有效题集^[14]

| | ARC-AGI-3（RHAE） | 8.5 上一版 6.0 | 2026-03 发布时前沿 0.51%；ARC-AGI-3 首发题集（2026-03-25）；模型与 effort 档未逐项登记 待核 | 2026-07-24 · Claude Opus 5 · 30.16%（ARC Prize 结果页快照）。历史点：2026-07-09 GPT-5.6 Sol，semi-private 均值 7.78%，同日 public 13.33%。30.16% 的 effort 档与 public / semi-private 分组以 ARC Prize 结果页为准，本项目基线未逐项登记 待核 | +29.65 （59.1×） | 4 个月 | 7.4 | 否（两端同为首发题集）。★本轮唯一被翻转的点：上一版用 7.78% 把它当作「强验证器却涨得慢」的反例；换成冻结日当前值 30.16% 之后，它变成按月涨幅第二快的点，反过来支持原假设。详见下方正文^[2][41]

| | GDPval（原版，win-or-tie） | 1.5 | 2025-09 OpenAI 最强模型，人类专家盲测两两对比（3 次采样 × 3 位专家）→ 47.6% | 2025-12 GPT-5.2 Pro，厂商自报 → 74.1% | +26.5 ⚠ | 3 个月 | 8.8 | ⚠ 反例（仍成立，且是全图按月最快的点）：评分器最贵（人类专家盲评）却涨得最快。终点为厂商自报、leaderboard 已下线，无法独立核^[7]

| | Vending-Bench 2（占 $63k 推算值的比例） | **8.5** 上一版 2.0 | **Gemini 2.5 Pro**，$573.64 → 0.9%；5 次运行均值 | Claude Opus 4.7，$10,936.76 → **17.4$63,000 是 Andon Labs 的纸面推算（$206/天 × 302 天），不是实测人类基线。★本轮 X 从 2.0 改到 8.5：它的评分函数是读一次模拟器余额，属于全表最便宜的一档。改完之后它成了「评分器最便宜、涨得最慢、水位最低」的那个点^[1]

      表 8.8 · 散点图数据源，快照 **2026-07-25**。**Δ 由本项目从两个已发表锚点相减得到，不是任何机构公布的「增速」指标；「pp/月」是 Δ 除以窗口月数，同样是本项目的算术，不是任何机构的指标。**这十行的窗口从 3 个月到 24 个月不等，harness / effort / 题集 revision 全不相同——**它们只能一起用来反驳一个全称命题，不能拿来拟合任何东西。**

**★本轮 X 列按第一节的口径重打：它现在只衡量「把一条已跑完的轨迹变成一个分数」有多便宜，不含跑出这条轨迹的成本。**两处改动已在行内标出（Vending-Bench 2 2.0→8.5、ARC-AGI-3 6.0→8.5），改动方向对本章原假设不利，这正是保留旧值标签的原因。

  我原本预期这张散点会呈现一条干净的正相关：判分越便宜可靠，涨得越快。**把上表可比的九个点的两个锚点真的相减之后，它没有。**而本轮又发生了第二件事：**连 X 轴的定义都被证明是混装的。**两次改动都对我不利，两次都记在下面。

  **★第一次改动（上一版，快照更新）。**本章上一版列了三个反例，其中一个是 **ARC-AGI-3**：当时用的当前值是 **7.78%**（2026-07-09，GPT-5.6 Sol，semi-private 均值），据此写「判分不弱却只涨了 7.3 个点」，把它当作「强判分 ≠ 快涨」的证据。**把快照更新到冻结日之后，这个点翻了。**ARC Prize 在 **2026-07-24** 公布 **Claude Opus 5 的 30.16%**：同一个起点 0.51%，Δ 从 +7.27pp 变成 **+29.65pp**，倍数从 15.3× 变成 **59.1×**，按月涨幅 **7.4 pp/月**——从「全图最慢的点之一」变成「按月第二快的点」。**也就是说，它当时反过来支持了我最初的假设。**

  **★第二次改动（本轮，口径修正）：X 轴被拆开重打分，而这一次的方向对我不利。**按第一节的区分，本图的 X 只能衡量**评分函数**的便宜程度，不能顺带把「跑出一条轨迹有多贵」算进去。重打之后，**Vending-Bench 2 从 2.0 移到 8.5、ARC-AGI-3 从 6.0 移到 8.5**。这一移动的后果很直接：**「低 X」一侧原来的三个人口只剩下两个（GDPval 原版 1.5、HLE 4.0，加上中间的 OSWorld-Verified 5.5），而水位最低的那个点（Vending-Bench 2，17.4%）现在坐在高 X 一侧。**换句话说，**用「评分器便不便宜」这一个轴，既解释不了涨速，也解释不了水位。**

  **剩下两个反例仍然成立，形式是「评分器弱也能快涨」：**HLE 的评分器很弱（LLM 抽取答案 + 题库复审后仅 26.7% 原样通过），12 个月涨 **37.4 个点**（3.1 pp/月）；GDPval 原版的评分最贵（人类专家盲测，评委间一致率约 71%），3 个月涨 **26.5 个点**（**8.8 pp/月，全图最快**，且终点是厂商自报）。

  **因此结论要比上一版再往下收窄两层。**不是「强判分涨得慢」——那被 30.16% 推翻了；也不是「强判分涨得快」——按月涨幅排下来，最快的两个点一个在最左端（GDPval 原版，X=1.5，8.8 pp/月），一个在最右端（ARC-AGI-3，X=8.5，7.4 pp/月）；**最慢的三个点全部落在高 X 一侧**（Vending-Bench 2 X=8.5 的 1.1 pp/月、AIME X=9.8 的 1.3 pp/月、SWE-bench Verified X=7.5 的 1.6 pp/月）。**最快与最慢同时出现在同一端，这正是「没有区分力」的样子。**（再说一次：这是对九个异质端点的**描述**，不是回归结果，也不能反过来证明「评分器成本与涨速无关」这个更强的否定命题——它只证明了现有公开数据支持不了那个正命题。）

  **水位那一侧的观察还在，但它现在缺一个解释变量。**观察本身不受影响，**但支撑它的人类对照要换一批**：判决紧贴单次输出的一侧，前沿已经越过**有人类对照线的那几个项目**——AIME **100%**（人类竞赛，满分即高于绝大多数参赛者）、IMO 2025 的 **35/42** 达到当年金牌线（金牌线由人类选手分布定义）[@src-1f65760bea]；**★ARC-AGI-2 的 92.5% 不能再放进这个清单**——官方从未发布平均个体准确率，此前各章引用的「人类 60%」是第三方派生数，已停用（见表 8.6 caption）。**所以这一侧的正确表述是「越过了少数几条真实存在的人类对照线」，不是「普遍越过人类基线」。**判决落在数千条消息之后的一侧，前沿还趴在零头上（Vending-Bench 2 **17.4%**、研究级物理 CritPt 最好基础模型只有 **4%–10%**、AA-Omniscience 最高分只有 **4.8**，满分 +100，且是仅有的三个正分模型之一）[41]。**变的是解释：上一版把它归因于「有没有廉价验证器」，而 Vending-Bench 2 恰恰有一个几乎免费的评分器。**第一节给出的多轴框架能容纳这个观察，但它是**事后**容纳的——在它被预注册并做出一次事前预测之前，本章只把它当成一个待检验的框架，不当成已识别的原因。

  **★还有一个更简约的竞争解释，它必须和我的解释并排放，而不是被我的解释盖住。**METR 用一条完全不同的自变量——**人类完成同一任务所需的时长**——覆盖了同一批现象：50% 任务完成时长自 2019 年起**约每 7 个月翻一番**，2024 年后加速到约 **89 天**；换了任务集（170→228 题）、换了评测基础设施（自研 Vivaria → UK AISI 的 Inspect）之后，翻倍时间仍落在原置信区间内[66]。最关键的是它的跨领域对照：**视觉计算机操作（OSWorld、WebArena）的时长视界比软件与推理那一簇短 40–100 倍，增长率却相近**，而 METR 的原话是「**在我们检查的任何领域，进展都不是明显次指数的**」[66]。**GPQA（选择题，程序化判分）与 OSWorld（脚本化环境判分）的判决形态相当，水位却差两个数量级——这 40–100 倍，判决形态解释不了。**

  **两个解释的成立条件，以及为什么现在裁不出胜负：**

• **竞争解释 A（本章的框架）：**水位差来自有效反馈通道的几个轴。成立条件：这些轴能被预注册成连续变量并独立测量，且在控制任务时长之后仍有解释力。当前状态：两个条件一个都没满足。

• **竞争解释 B（METR 时长律）：**水位差来自人类任务时长。成立条件：任务分布不能只覆盖有自动判分的领域。METR 自己承认这一点没满足——它的任务集「主要限于软件工程、机器学习或网络安全」，8 小时以上的 31 个长任务里只有 5 个有真人基线[66]。

• **★两者在现实中高度共线：**长任务通常判决延迟大，判决延迟大通常意味着完整轨迹贵。**在有人专门构造对照（同一任务时长、判决方式一半程序化一半人工）之前，这两个假说在观测上不可区分。**而 B 现在有 R²、有置信区间、有九个领域的复现，A 只有一张定性表格——所以举证责任在 A 这一侧，也就是在本章这一侧。

  **顺带记下一条更该被降级的旧论断。**上一版从这里推出过一个「可推广的判据」：如果一个 benchmark 的分数随算力单调上升，它的寿命就等于算力翻倍到饱和所需的时间，**按当前节奏约 12 到 18 个月**。**这条现在降级为待验证假说，并且不再给固定月数。**三个理由：**①** 它是从少量异质样本外推出来的普遍规律，而上表刚刚证明这批样本的涨速本身就没有共同解释；**②** 它在档案里的原始论据之一是「ARC-AGI-3 把算力通路堵上了、前沿还在个位数」——**30.16% 已经证伪了这条论据**；**③** 「寿命」缺一个可操作定义（是饱和到 90%？还是前沿停止在发布会上报它？），不给定义就无法证伪。要把它变回一条判断，需要的是：一个明确的「寿命」阈值、一个预先登记的 benchmark 样本集，以及每个样本上固定 revision 的时间序列。**在那之前，本章不使用任何固定的月数。**

  六、test-time compute 与 Deep Think：官方说了什么，以及没说什么

  6.1 这条线几乎全是 Google 的，产品化却晚了三个月

  CoT、Self-Consistency、Least-to-Most 三篇奠基作全部出自 Google Brain，且都在 2022 年上半年^[41][42]。讽刺的是，在这两家之间先把它做成产品的是 OpenAI 的 o1（2024-09），Google 的 Gemini 2.0 Flash Thinking 晚了约三个月（2024-12-19）^[20]。

      **图 8.4** Chain-of-Thought 的标志性对照。关键读法：**右侧只多了一段「中间步骤」的示例**，模型参数一个没动。CoT 把 \(p(a\mid q)\) 改成了对推理路径的边缘化 \(\sum_z p(a\mid z,q)p(z\mid q)\)，但 greedy decoding 只取了一条 \(z\)。
      [@src-7d42a191f4]出处：Wei et al., Chain-of-Thought Prompting, arXiv:2201.11903, 2022
  
  
  
  
  
      **图 8.5** CoT 在 GSM8K 上的**四柱对照**（论文 Figure 2）。纵轴 Solve rate (%) 0–100，横轴只有一个类别 “Math Word Problems (GSM8K)”；四根柱按图例依次是 **Finetuned GPT-3 175B = 33**、**Prior best = 55**、**PaLM 540B 标准提示 = 18**、**PaLM 540B chain-of-thought 提示 = 57**（数值为柱顶印刷值）。关键读法：**同一个 PaLM 540B，只换提示方式，18 → 57，参数一个没动**，并且一举越过了当时需要专门微调才拿得到的 SOTA（55）——这是「能力已经在模型里，只是没被取出来」最干净的一张图。**⚠ 本图不含任何模型规模坐标、没有曲线、没有小模型**：「小模型加 CoT 反而更差、约 100B 量级才起作用」的涌现曲线是同一篇论文**另一张图**（Figure 4）的内容，上一版把两张图写混了，**已订正**；那条涌现论点本身仍然成立，只是不能引本图作证。
      [@src-7d42a191f4]出处：Wei et al., arXiv:2201.11903, 2022
  
  
  
  
  
      **图 8.6** Self-Consistency 的**上下两栏对照**（论文图 1，中间以虚线分隔）。**上栏**标 “Chain-of-thought prompting”：Prompt → Language model →（蓝字 **Greedy decode**）粉色推理框「…7 * $2 = $14 per day.」→ 「The answer is **$14**.」，**单路径贪心解码答错**。**下栏**标 “Self-consistency”：同一提示 → Language model → 蓝字 **Sample a diverse set of reasoning paths** 下三条采样（绿 $18 / 粉 $26 / 绿 $18）→ 蓝字 **Marginalize out reasoning paths to aggregate final answers** → 绿色终框「The answer is **$18**.」。**⚠ 图上印的是 “marginalize out … to aggregate”（边缘化聚合），并没有出现 “majority” 或 “plurality” 字样**——「取相对多数」是论文正文对该聚合方式的实现说明，不是读图所得。图底还残留一行被切断的论文题注 “Figure 1: The self-consistency method contains three steps: (1) prompt a language model…”。关键读法：**它是最早被广泛采用的 test-time scaling 方法之一**（「第一个」这类优先级宣称本材料不写）——它用推理时的采样数换准确率，不改模型一个参数。直觉是「通往正确答案的路很多，通往每个特定错误答案的路很少」。
      [@src-81253798e4]出处：Wang et al., Self-Consistency, arXiv:2203.11171, 2022
  
  
  
  
  
      **图 8.7** 四种范式：直接输出 / 思维链 / 思维链+自洽 / 思维树。关键读法：从左到右是**搜索结构的复杂度在增加**，而模型是同一个。ToT 在 Game of 24 上把 GPT-4 成功率从 4%（CoT）提到 74%。
      [@src-ba7b8013ee]出处：Yao et al., Tree of Thoughts, arXiv:2305.10601, 2023
  
  
  
  
  
      **图 8.8** ToT 在 Game of 24 上的具体流程：thought generator 提议候选，**state evaluator 用 LM 自己给状态打分**。关键读法：这里的「打分」就是本章说的验证器——而**后续研究发现 LLM 无法在没有外部反馈的情况下可靠自我纠错**，自我修正常常把对的改成错的[@src-d766fb8110]。
      [@src-ba7b8013ee]出处：Yao et al., arXiv:2305.10601, 2023
  
  
  
  
  
      **图 8.9** MCTS 的四步：选择 / 扩展 / 评估 / 回传（前史，2016）。关键读法：**记住这四个动词**——下一小节要用它们来判断「Deep Think 是不是 MCTS」。
      [@src-cbf4861d9b]出处：Silver et al., Mastering the game of Go, Nature 529:484, 2016

  6.2 Deep Think：官方原文，以及官方没有说的话

  Deep Think 是 Gemini 上 test-time compute 的最高档位。它不是一个新模型，而是加在 Gemini 主干上的一个思考模式。官方对机制的全部公开描述只有两段话：

  Deep Think pushes the frontier of thinking capabilities by using **parallel thinking techniques**. This approach lets Gemini **generate many ideas at once and consider them simultaneously, even revising or combining different ideas over time**, before arriving at the best answer... We've also developed **novel reinforcement learning techniques** that encourage the model to make use of these extended reasoning paths.
  
  
    Google 官方博客
    2025-08-01
    Gemini 2.5: Deep Think is now rolling out
    [@src-9ecb690728]原文
  
  
  
  
  
  [The system] incorporates some of our latest research techniques, including **parallel thinking**. This setup enables the model to **simultaneously explore and combine multiple possible solutions** before giving a final answer, rather than pursuing a single, linear chain of thought.
  
  
    Google DeepMind 官方博客
    2025-07-21
    IMO 2025 gold-medal standard 公告
    [@src-1f65760bea]原文
  
  
  
  
  
  **官方从来没有说过「MCTS」「树搜索」「PUCT」「verifier-guided search」这些词。**关于 Deep Think 的并行度、是否用过程奖励模型、是否有搜索树、thinking 与最终回答的算力配比、RL 算法细节——**一个字都没有披露**[@src-9ecb690728][@src-c8bba1a41d]。
  
  网上大量「Deep Think = LLM 上的 MCTS」的说法**没有任何官方依据**。可以说的只有三条间接观察，而且它们只能支持「不太像 MCTS」这个否定判断，不能支持任何肯定判断：**①** 官方反复用的动词是 generate / consider / revise / combine，**MCTS 的四步动词（select / expand / evaluate / backup）一个都没出现**；**②** 输出 token 上限从 2.5 Pro 的 65,536 提到 192,000（第三方汇总），这与「同一上下文里并存多条长链」相容，但**它同样与很多别的实现相容，不能当成拓扑证据**；**③** MCTS 的效力高度依赖能在叶节点便宜地估值，而自然语言证明的中间状态无法用一个标量可靠打分——AlphaProof 之所以能用 AlphaZero 范式，正是因为 **Lean 的 proof checking 提供了低边际成本、确定性的 verifier**（形式化本身仍有人工成本），自然语言证明没有这个东西。**这三条合起来只能支持一个否定判断：不像 MCTS。它们支持不了任何肯定判断。**
  
  Hassabis 在播客里表达过对 neuro-symbolic / 结合 MCTS 的混合系统的兴趣，但用的是 "could be possible" 这样的方向性措辞，**那是路线表述，不是对 Deep Think 的描述**转述 · 非原话[@src-4aebefed91]。**本材料对 Deep Think 的机制不做任何断言。**
  
  
  
  
  
  
  
      **图 8.10** MuZero 的**三面板全图**（前史，2019；图底残留题注首行 “Figure 1 | Planning, acting, and training with a learned model.”，右端被切断）。**(A) planning**（左半整幅）：在学到的隐状态上跑 MCTS——蓝色 \(h\) 把真实局面映成 \(s^0\)，洋红 \(f\) 给出 \(p^0,v^0\)；沿 \(a^1,a^2,a^3\) 由绿色 \(g\) 产生 \(r^1,r^2,r^3\) 与 \(s^1,s^2,s^3\)，灰色圆为未展开分支。**(B) acting**（右上）：真实对局序列，边上标观测奖励 \(u_{t+1},u_{t+2},u_{t+3}\) 与动作 \(a_{t+1},a_{t+2},a_{t+3}\)，每步上方一棵小搜索树给出 \(v_t,v_{t+1},v_{t+2}\)，下方是绿色策略直方图 \(\pi_t,\pi_{t+1},\pi_{t+2}\)。**(C) training**（右下）：把模型展开若干步，\(h\) 得 \(s^0\)、\(g\) 依次给出 \(r^1\to s^1\)、\(r^2\to s^2\)，每个 \(s^i\) 由 \(f\) 向上给出 \(p^i,v^i\)，底行是真实轨迹与动作。关键读法：**损失函数里没有任何一项要求隐状态能还原观测**——它只被要求让奖励、价值、策略三个量预测准。这就是「只建模对决策有用的东西」。**⚠ 这条损失函数性质出自论文正文，本图只画出了 \(p,v,r\) 三个被对齐的量，没有画损失函数本身。**
      [@src-9c26dd01c8]出处：Schrittwieser et al., MuZero, arXiv:1911.08265 / Nature 588:604, 2019/2020
  
  
  
  
  
      **图 8.11** MuZero 论文图 1 的 **(A) 栏单独裁切**（(B)(C) 两栏不在本文件内，底部残留被切断的题注首行）：在**学到的隐状态**上跑 MCTS，树节点写作 \(s^0,s^1,s^2,s^3\) 的抽象状态而非真实棋盘（只有最顶端那个进入 \(h\) 的才是真实局面），灰色圆为未展开分支。关键读法：**MCTS 的定义性特征是树的每个节点都被显式展开、并把统计量回传给祖先节点**——这一点在官方对 Deep Think 的两段描述里完全没有出现。**⚠ 但这条定义只有前半截能在本图上看到：本图所有箭头都是自上而下的展开方向，图里没有画任何回传箭头**；「回传」那一半要看上面图 8.9 的面板 (d) Backup，本图撑不起它。**⚠ 反过来也不能推出任何具体拓扑。****⚠ 但反过来也不能推出任何具体拓扑。**上一版在这里写了「并行采样的 K 条链在生成阶段互不影响、只在聚合阶段交互一次」——**该句已删除**：Deep Think 有几条链、链之间在生成期是否交换信息、聚合发生几次，**官方同样一个字都没披露**，写出来就跟「Deep Think = MCTS」犯的是同一类错误，只是方向相反。官方措辞只支持两件事：**parallel exploration / combination**，以及 **novel RL techniques**；树、PUCT、链数、链间交互一律 unknown。
      [@src-9c26dd01c8]出处：Schrittwieser et al., arXiv:1911.08265, 2019

  6.3 公式推导一：pass@k 的无偏估计量

    D-1
    pass@k 的组合数无偏估计量
    Chen et al., 2021 · arXiv:2107.03374（Codex 论文式 (1)）
  
  
  
  
  
      符号表

| | (p) | 单次采样答对的概率（即 pass@1），无量纲，([0,1])

| | (k) | 提交的候选数 / 采样次数，正整数

| | (n) | 用于估计的总采样数，正整数，(n\ge k)

| | (c) | (n) 次采样中正确的次数，整数，(0\le c\le n)

| | (\hat p) | 朴素点估计 (c/n)，无量纲

| | (g(\cdot)) | 映射 (p\mapsto 1-(1-p)^k)，无量纲

      定义。若对同一题独立采样 \(k\) 次，只要有一次正确就算解出，则失败要求 \(k\) 次全错：

      \[ \mathrm{pass@}k \;=\; 1-(1-p)^{k}. \]
      这已经蕴含了一个常被忽略的事实：\(\partial(\mathrm{pass@}k)/\partial k = -(1-p)^{k}\ln(1-p) > 0\)，**\(k\) 变大分数必涨，这是恒等式，不是能力**。\(p=0.1\) 时 pass@32 就有 96.6%。



      但 \(p\) 未知。朴素做法是采 \(n\) 次、数出 \(c\) 次正确、令 \(\hat p=c/n\)，代入 \(g\)。**这个估计量有偏，而且系统性偏低。**注意

      \[ g'(p)=k(1-p)^{k-1},\qquad g''(p)=-k(k-1)(1-p)^{k-2}\;5k\)）仍差 2.7%。

• (k) 次采样独立同分布。同 prompt、同温度的采样近似满足；beam search 或带记忆的顺序修订完全不满足。

• 「正确 / 错误」是二值且可自动判定的。开放式生成任务不满足。

• 题目固定；跨题聚合时还要再对题目求期望。

• **pass@k 只在有可靠验证器时才是诚实指标。**对 SWE-bench 这类有测试可跑的任务有实用意义；对 GPQA 这类多选题，pass@2 意味着「允许答两个选项」，完全脱离现实[41]。

• 它无法回答「从 (k) 个候选里挑哪一个」——这正是下一段 plurality@k（业界惯称 majority@k）要处理、也处理不好的问题。

• ARC-AGI 明确规定 pass@2（不是 pass@1 也不是 pass@k），就是为了承认「一次答不出但两次能中」这个中间地带，同时锁死厂商靠采样数刷分的通道[41]。

      **pass@1 / pass@k / plurality@k 在标题里长得一模一样（都是一个百分数），实际含义完全不同**：pass@1 = 我这次会不会对；pass@k = 我试 \(k\) 次里有没有一次对（**只在有外部验证器时有意义**）；plurality@k（业界惯称 maj@k）= 我票数最高的那个答案对不对（无需验证器，但要 \(k\) 倍算力，且**要求正确答案是唯一众数**）。

  6.4 公式推导二：majority@k 的饱和与 test-time compute 的经济学天花板

    D-2
    plurality@k（俗称 majority@k）的 Chernoff 收敛率，与「成本线性、收益对数」
    Wang et al. 2022 (arXiv:2203.11171) · Brown et al. 2024 (arXiv:2407.21787) · Snell et al. 2024 (arXiv:2408.03314)
  
  
  
  
  
      符号表

| | (p_1) | 正确答案被单次采样命中的概率，((0,1))

| | (p_2) | 最高频错误答案的概率，(p_20)

| | (C) | 幂律前因子，无量纲

| | (m) | 被采样到的不同错误答案的个数，正整数

| | (\varepsilon) | 跨题聚合后的失败率 (1-\overline{\mathrm{pass@}k})，([0,1])

      Self-consistency 取的是 \(k\) 个答案里**票数最高**的那个，**不要求它过半**——这在投票理论里叫 **plurality（相对多数）**，而 **majority（多数）指的是严格过半**。两者在两方对决时重合，在三方以上时不重合：\(p_1=0.4,\ p_2=0.35,\ p_3=0.25\) 时正确答案是 plurality 赢家，但没有任何答案拿到多数。**本节所有推导针对的都是 plurality。**下文在提到业界惯称时仍写 majority@k，但凡是精确陈述一律用 plurality。




      设答案空间上正确答案概率 \(p_1\)、最高频错误答案概率 \(p_2\)、其余 \(p_3=1-p_1-p_2\)。**先只处理「正确答案输给某一个特定错误答案」这一对**，事件是 \(\{X_2\ge X_1\}\)。用 Chernoff 界与多项分布的矩母函数：

      \[ \Pr(X_2-X_1\ge 0)\;\le\;\inf_{\lambda\ge 0}\big(p_1e^{-\lambda}+p_2e^{\lambda}+p_3\big)^{k}. \]



      对 \(\lambda\) 求驻点：\(-p_1e^{-\lambda}+p_2e^{\lambda}=0\Rightarrow e^{\lambda^{*}}=\sqrt{p_1/p_2}\)，即 \(\lambda^{*}=\tfrac12\ln(p_1/p_2)\)。

      **★这里必须加一个上一版漏掉的限定：驻点落在可行域 \(\lambda\ge0\) 内，当且仅当 \(p_1\ge p_2\)。**

      **情形 A（\(p_1\ge p_2\)，即正确答案是唯一众数）：**\(\lambda^{*}\ge0\) 可取，代回得 \(p_1e^{-\lambda^{*}}+p_2e^{\lambda^{*}}=2\sqrt{p_1p_2}\)，于是

      \[ \rho=2\sqrt{p_1p_2}+1-p_1-p_2=1-\big(\sqrt{p_1}-\sqrt{p_2}\big)^{2}, \]
      \[ \Pr(X_2\ge X_1)\;\le\;\rho^{k}=e^{-kD},\qquad D=-\ln\rho\;\ge\;\big(\sqrt{p_1}-\sqrt{p_2}\big)^{2}. \]
      **情形 B（\(p_1p_j\ \forall j\ne1\)，即「正确答案是唯一众数（unique correct mode）」。**

      多出来的 \(m\) 因子只是把指数衰减往右平移 \(\ln m/D\) 个采样，不改变衰减率——**但只有在唯一众数成立时才有衰减率可言**。开放式生成任务里 \(m\) 可以随 \(k\) 增长（每次采样都给出一个新答案），这时连 union bound 都失效，plurality 本身没有定义。



      **两条曲线的极限完全不同——这是全节最关键的对比。**

      \[ \lim_{k\to\infty}\mathrm{pass@}k=1\quad\text{只要 } p>0;\qquad
         \lim_{k\to\infty}\Pr(\mathrm{plurality@}k\ \text{对})=\mathbf{1}\big[\,p_1>\max_{j\ne1}p_j\,\big]. \]
      如果模型的众数答案是错的（\(p_1p_2]\) 提升到 1。**



      幂律与经济学天花板。设题目难度异质，\(p\sim\mathrm{Beta}(a,b)\)，用 Gamma 函数的渐近比可得

      \[ \varepsilon(k)\;=\;1-\overline{\mathrm{pass@}k}\;\sim\;\frac{\Gamma(a+b)}{\Gamma(b)}\,k^{-a}\;=\;Ck^{-a}\qquad(k\to\infty). \]
      把失败率压低到原来的 \(1/r\)，需要的采样倍数是

      \[ \frac{k_2}{k_1}\;=\;r^{1/a}. \]
      取 \(a=0.3\)，代两个具体的 \(r\)：

| | 目标 | 失败率之比 (r) | 所需采样倍数 (r^{1/0.3}) | 例子

| | 减半 | 2 | (2^{10/3}\approx\mathbf{10.1}) | 失败率 20% → 10%

| | 多一个 9 | 10 | (10^{10/3}\approx\mathbf{2154}) | 准确率 90% → 99%

| | 多两个 9 | 100 | (10^{20/3}\approx\mathbf{4.6\times10^{6}}) | 准确率 99% → 99.99%

          幂律外推的采样代价，\(a=0.3\)。\(10^{1/0.3}=10^{10/3}=10^{3.333\ldots}=\mathbf{2154.43}\)（本项目复算）。




      **★上一版这里算错了，而且错得很关键。**上一版写「每把错误率减半一次成本涨一个数量级；从 90% 到 99% 要十倍采样，从 99% 到 99.9% 又是十倍」。**前半句对（减半 ≈ 10.1×），后半句错**——从 90% 到 99% 不是「减半」，是把失败率压到十分之一，需要的是 **2154 倍**，不是 10 倍。差了两个多数量级。

      **这个更正让论点更强，不是更弱。**成本正比于 \(k\)，收益按 \(\log\) 走：在 \(a=0.3\) 这个量级下，**每多要一个 9，采样量要乘三个数量级**。这正是 test-time compute 经济学天花板的来源——不是「贵一点」，而是「指数上不去」。它也解释了为什么在 ARC-AGI-2 这类榜上，成本轴的离散度已经远大于分数轴：3.1 Pro 的 77.1% 是 **$0.962/题**，3.1 Deep Think 的 84.6% 是 **$13.62/题**，第三方推到 95.1% 的两个方案分别是 **$8.71** 与 **$31/题**[41]——**这四个点来自四套不同的系统，不构成一条 scaling 曲线**，但它们共同说明「再多要几个点」的代价已经不是线性的。这也是为什么厂商宁可去提高单次成功率 \(p\)（它进入指数），也不愿意在 \(k\) 上加码（它只进入对数）。

• A1 · 唯一正确众数（unique correct mode）：(p_1>p_j\ \forall j\ne1)。这是整个指数收敛结论的前提，不是技术细节——(p_1\max_{j\ne1}p_j])——众数错了就永远错，让模型想得更久只会让它更自信地犯同一个错。这就是为什么数学和代码率先突破：它们碰巧自带 oracle verifier。② 就算有了 oracle verifier，跨题聚合后的失败率按 (Ck^{-a}) 衰减，在 (a=0.3) 这一档下每多一个 9 要 2154 倍采样。第一条决定「能不能对」，第二条决定「值不值得对」——test-time compute 的经济学天花板来自第二条，而它比线性成本直觉给出的那个天花板低得多。

    pass@k 与 majority@k：拖滑杆看两条曲线的形状差
    调单次正确率 \(p_1\)、最高频错误答案概率 \(p_2\)、以及采样数 \(k\)
  
  
  
  
  
    蓝线 \(\mathrm{pass@}k=1-(1-p_1)^k\)（需要 oracle verifier 才能兑现）；紫色虚线是 **plurality@k**（业界惯称 majority@k，见 D-2 的正名说明）的正态近似 \(\Phi\!\big(\sqrt{k}(p_1-p_2)/\sqrt{p_1+p_2-(p_1-p_2)^2}\big)\)，用来直观展示饱和方向，**不是精确多项分布计算**，也只画了「正确答案 vs 最强错误答案」这一对。**把 \(p_2\) 拖到大于 \(p_1\)（即违反 D-2 的唯一正确众数前提），会看到 plurality 曲线掉向 0 而 pass 曲线仍升向 1**——这就是验证器的价值，也是 D-2 情形 B 的图形版本。曲线为教学用的理论模型，不含任何模型的实测数据。
  
  
  
  
  
  交互曲线的文字替代（默认参数 \(p_1=0.30\)、\(p_2=0.18\) 下的取值）

| | k | pass@k | plurality@k（正态近似） | 相对单次采样的算力

| | 1 | 30.0% | 57.0% | 1×

| | 2 | 51.0% | 59.8% | 2×

| | 4 | 76.0% | 63.7% | 4×

| | 8 | 94.2% | 69.1% | 8×

| | 16 | 99.7% | 75.9% | 16×

| | 32 | 100.0% | 84.0% | 32×

| | 64 | 100.0% | 92.0% | 64×

| | 256 | 100.0% | 99.8% | 256×

      表 8.12 · 由 \(1-(1-p_1)^k\) 与 \(\Phi\!\big(\sqrt{k}(p_1-p_2)/\sqrt{p_1+p_2-(p_1-p_2)^2}\big)\) 直接计算，**不是任何模型的实测值**。把 \(p_2\) 调到 0.35（大于 \(p_1\)，即违反唯一正确众数前提）时，plurality 一列会随 k 增大单调趋向 0，而 pass 一列不变——这就是 D-2 情形 B 的数值版本。







  把 D-1 与 D-2 合起来看，会得到一个对 Gemini 产品线的解释：**在当前的成本结构与 Ultra / select access 分发方式下，Deep Think 级别的算力档位短期内不太可能成为默认。**ARC Prize 已经把账算给你看了——84.6% 对应 **$13.62/题**[@src-c8bba1a41d]。**但要说清这个论据的边界：**$13.62 是 ARC-AGI-2 这种「刻意抗采样、题题都要长推理」的题上的单价，把它外推到 Gemini app 的全部请求是不成立的——真实流量里绝大多数请求根本用不到那个档位。这条判断真正依赖的不是那个数字，而是 D-2 的结构性结论：**成本正比于 \(k\)、收益按 \(\log\) 走**，因此「对所有请求默认开最高档」在任何单价下都是把钱花在边际收益最低的地方。**「永远不会」这种说法本材料不用**——它不可证伪，而且只要单位算力成本下降足够多，或者 Google 改成按需自动升档（那其实是另一件事），这条判断就该被推翻。

  真正的杠杆在提高单次成功率 \(p\)，不在提高 \(k\)——**因为 \(p\) 进入的是指数，\(k\) 进入的是对数**。这直接解释了 2026-07-21 那次发布的头条为什么不是任何能力指标，而是 **「3.6 Flash 相对 3.5 Flash 输出 token 少 17%」**，在 DeepSWE 上最高少 65%[@src-4b569e3e16]。**效率型进步的经济价值高于能力型进步**，这是 Google 用发布会头条位置做出的判断。

  同一个逻辑还解释了另一件事：Gemini 3 起把 `thinking_budget`（2.5 时代的连续 token 数）简化成 `thinking_level` 离散档位。**`thinking_level` 这个参数的存在本身，就是 overthinking 问题的产品级承认**——连 Google 也不知道每道题该想多久，所以做成了参数；而把连续旋钮换成档位，是为了降低误配置的成本。





## 七、★长上下文与 agent：1M 名义窗口 ≠ 1M 有效推理窗口


  「2M 上下文」是流传最广的那个名义数字，但它的准确归属是 **Gemini 1.5 Pro**：2024-05-14 的 I/O 更新宣布 2M，面向**开发者 waitlist / private preview**，并非所有用户默认可用[@src-79a8d5beef]。**截至 2026-07-25，Pro 线最新的 Gemini 3.1 Pro 与 Flash 线最新的 3.6 Flash，官方规格都是 1,048,576 输入 / 65,536 输出**[@src-564638136e][@src-4b569e3e16][@src-09b59cb95c]。**所以本节讨论的名义窗口是 1M，不是 2M**——上一版把本节标题写成「『2M』是名义值」，而紧接着举的例子全是 3.1 Pro 的 128k / 1M，属于口径错配，现已改正。2M 只保留在 1.5 Pro 的历史语境里。下文所有分析都基于官方的 **128k 与 1M** 两个档位。



### 7.1 三个正交问题：存得下 / 找得到 / 划得来




    **图 8.12** 讲师把「长上下文」从营销数字还原成三个可分解的工程问题：**存储**（KV cache 与注意力状态随序列长度增长，能不能高效持有）、**访问**（事后能不能检索到正确证据）、**产品**（能不能在可接受的延迟与成本下同时做到前两点）。关键读法：页面最后一条 bullet 是整份材料最锋利的一句——**「a million-token spec does not automatically mean a million-token useful experience」**。这是讲师的归纳，不是 Google 官方立场。




### 7.2 Google 自己披露的那个数字

Gemini 3.1 Pro 官方模型卡上有一行 MRCR v2（8 针）的成绩，它是本项目档案里**最诚实的一个数字**，而且是 Google 自己披露的[@src-564638136e]：

| | MRCR v2（8 针） | Gemini 3.1 Pro | Gemini 3 Pro | Claude Sonnet 4.6 | Claude Opus 4.6 | GPT-5.2

| | upto_128K（累计平均） | 84.9% | 77.0% | 84.9% | 84.0% | 83.8%

| | at_1M（逐点） | 26.3% | 26.3% | 该卡未报 | 该卡未报 | 该卡未报

    表 8.9 · 摘自 Gemini 3.1 Pro 官方模型卡的同一张对照表（2026-02-19，快照 2026-07-25）。评测设置：MRCR v2、8 针、**`upto_128K` 是累计平均（cumulative）、`at_1M` 是逐点（pointwise）**——这两栏**单位相同但统计对象不同**。评分用 `difflib.SequenceMatcher` 算字符串相似度，**所以分数是平均匹配率，不是通过率**[@src-6fa568a3d2]。**最后三列本轮已改：上一版写的是「不支持」，那已经过期**——见下文与[@src-ca5be40ee3]。




三件事必须一起读，而且**第一件事是「不能怎么读」**。

**第一，这两栏的差值没有意义，而且要把理由说准。**84.9% 与 26.3% **单位相同但统计对象不同**：前者是累计到 128K 的平均（含 4K–64K 那些简单档），后者是恰在 1M 的逐点值。**不能把它们的差解释为「128K 单点到 1M 单点的跌幅」**；而且在拿不到 128K pointwise 的情况下，**真实的点到点跌幅有多大，我们不知道**。上一版在这里写过「跌掉 58.6 个百分点」，**该数字已删除**。


  本项目此前的档案里，「两栏不能相减」被写成「Google 自己的 `eval_hub` README 明确警告过这种读法」。**这句话对结论、对来源错。**MRCR v2 的 README 只说明四件事：当前报告的是 **8-needle**；`upto_128K` 是 **cumulative**；`at_1M` 是 **pointwise**；以及**使用 code tools 会让这个任务明显更容易，所以报告必须披露工具开关，否则比较无意义**[@src-6fa568a3d2]。**README 里没有「累计均值与逐点值禁止相减」这一句。**「不能相减」是本项目的统计判断，不是官方警告——两者的证据地位完全不同，本章据此改写。



**第二，Pro 线的严格序列是「最近两代未动」，不是「三代零进步」。**限定在 Pro 线：**2.5 Pro 16.4 → 3 Pro 26.3 → 3.1 Pro 26.3**[@src-564638136e][@src-75cbdfdb08]。16.4 到 26.3 是一次真实的提升，真正持平的只有最后一次。**不要把 Flash 档的数（例如 2.0 Flash 的 10.2%）混进这条 Pro 线序列**——那正是本项目档案里「三代零进步」这个说法的来历，它不严谨。**3 Pro 与 3.1 Pro 的 1M 格来自同一张表、同一个 8 针 pointwise 口径，是本节最干净的一处对照。**

**第三，最后三列不能再写「不支持」。**那是 2026-02 那张卡的语境，**截至冻结日已经过期**：Anthropic 的 Claude Opus 4.6 1M 档已于 **2026-03-13** GA 并**自报** 1M MRCR **76%**，GPT-5.4 也在 2026-03 恢复了 1M[@src-ca5be40ee3]。**但这个 76% 不能直接和 26.3% 并排**：它是**厂商自报**、快照不同、**针数 / 工具开关 / harness 未完全披露**，而 README 已经说明工具开关会显著改变难度[@src-6fa568a3d2]。所以这一格现在只能写成「**各自模型卡在这张表的设置下未报数**」，而不是「它们跑不了」。


  **这条论断从来不需要一个「跌了多少」的差值，本轮干脆让它连比较都不要。**新论证只用 1M 那一格自己的数，减掉**同一份官方说明给出的、同一设置下的噪声地板**：


    \[ 26.3\%\;-\;15\%\;\approx\;11\ \text{个百分点} \]
    八针设置下的噪声地板约 **15%**[@src-6fa568a3d2]。**⚠ 这个 15% 的定义必须写准：它是「已经找到八个相关回答之后、在这些相关答案里随机选一个」的*条件*正确率，不是全空间盲猜**——若在全部 assistant 回复里均匀随机，约为 **1%**。所以扣除后剩下的约 11 个百分点，是**相对这个条件基线**的信号。
    **★这里还有一层限定，本项目认为审查意见给的口径略松：**既然 15% 是「*已经找到八个相关回答之后*」的条件值，
    那么它**只适用于已经完成检索那一步的模型**。一个只得 26.3% 的模型**未必已经定位到全部八根针**，
    它适用的噪声地板应当落在 **1%（全空间随机）到 15%（已完成检索后随机）之间的某处**，具体位置公开材料无法确定。
    **因此减去 15% 是减去了这个区间的上端，得到的不是「真实信号约等于 11pp」这个点估计，
    而是「真实信号*至少*约 11pp」这个保守下界。**
    本章按下界使用它——这个方向是安全的（它**低估**而不是高估模型），
    但把它当点估计引用就会重犯审查意见批评 L 的那个毛病：**在一个数被定义的条件之外使用它。**



  **这个算法的好处是完全不需要跨口径比较：它只用 1M 那一格自己的数。**26.3% 听起来像「勉强能用」，扣掉同一设置下的噪声地板之后，更接近「刚刚离开随机」。**据此保留的结论是任务限定版的：截至 2026-07-25，1M 的*名义长度*不等于「在 MRCR v2 八针任务上可靠使用 1M」。**

  **这条结论有两个不许越过的边界。****①** 它**不是**「这个模型只有多少有效窗口」——`L_eff` 是任务与阈值的函数，不是模型的固有属性（见 D-3）；**不得**把它写成模型唯一固有的「有效窗口」。**②** 它是对**冻结日已发布模型**在**一个刻意对抗的合成任务**上的描述，换任务族就要重测——同一批模型在 LongBench v2 这类长文档理解任务上的表现是另一幅画面。

  **★同一份材料里就有一个反例，必须写出来：**Flash 线在 1M pointwise 上从 3.5 Flash 的 **26.6%** 涨到 3.6 Flash 的 **54.0%**，**两个月翻了一倍**；3.6 Flash 的模型卡明确标注为 `GDM-MRCR v2 (8-needle)`[@src-4b569e3e16]（**本章上一版写「Flash 卡未标针数」，已过时，本轮全部改掉**）。扣掉同一个 15% 噪声地板，54.0% 还剩约 **39 个百分点**的信号。


    两个月翻一倍这件事说明：**把 26.3% 描述成「墙」「上限」「物理瓶颈」或「架构硬限制」都是错的**——那类词把一个可以被工程改动跨过去的差距写成了不可跨越的边界，而同一份材料里就有反例。**本章因此禁止对这一格使用这四类措辞。**

    **但反过来也要限定，这一步同样容易越界：54.0% 能反驳的只有「26.3% 是全部模型共有的物理硬上限」这一个命题；它*不能*证明原因必然是 Pro 线的资源分配。**Flash 与 Pro 是不同的模型、不同的训练配方、不同的服务成本结构，一条线动了不等于另一条线「本可以动而选择不动」。



  **★所以本节的收尾是一个问题，不是一个结论：Flash 线两个月能翻倍、Pro 线最近两代没动，这更像一个优先级 / 配方问题，而不是一个能力上限问题。**请把这句话读成**一个待识别的竞争解释**，不是已证因果——把它坐实需要的是本材料没有的东西：Pro 线长上下文后训练的配方与算力分配、以及一次控制了模型规模的对照。**「1M 名义 ≠ 在这个任务上可靠使用 1M」在今天成立，它的保质期取决于下一张 Pro 模型卡。**





    MRCR v2 长上下文召回：每条线自己的形状
    X 轴为对数上下文长度。两组数据来自两张不同的模型卡，不可跨组比较；两栏聚合方式也不同，不可相减——本图不主张「断崖」





    **口径警告（必须读）：**紫色与蓝色两条（3 Pro / 3.1 Pro）来自 **Gemini 3.1 Pro 官方模型卡的同一张表**，明确标注为 **MRCR v2、8 针**，`upto_128K` 为累计平均、`at_1M` 为逐点[@src-564638136e]；青色一条（3.6 Flash）来自 **2026-07-21 的 3.6 Flash 模型卡，同样明确标注 `GDM-MRCR v2 (8-needle)`**[@src-4b569e3e16]——**★本轮更正：上一版在这里写「Flash 模型卡没有标注针数」，该说法已过时**。黄色一条（3.5 Flash）来自 2026-05-19 的 3.5 Flash 模型卡，本项目**未核到该卡是否标注针数**待核[@src-669a69be0c]，因此涉及这条线的对照仍带一层口径风险。**两列不能相减**（累计平均 vs 逐点，统计对象不同）；**跨卡横比也要谨慎**——不同时点、不同对照组，只能作纵向参考。本图只用于展示**每条线自己的形状**。另外 MRCR v2 的 README 明确警告：开了 code tools 的模型会觉得这个任务「简单得多」（脚本可以直接索引对话），**tools-on 的数字与 no-tools 列完全不可比，报告必须披露工具开关**[@src-6fa568a3d2]。

上一版在这里写过一句跨卡结论（「紫线与黄虚线几乎重合，说明晚了半年的 3.5 Flash 在长上下文上并没有比一代前的 3 Pro 更好」）：该结论已删除——数值接近只能说明两张卡上的数字碰巧接近，不能支持任何「谁更好」的判断。

  折线图的数据表（多列一行 2.5 Pro 作为 Pro 线序列的起点，该行未入图）

| | 模型 | upto_128K（累计平均） | at_1M（逐点） | 扣掉 15% 噪声地板后的信号 | 两栏可否相减 | 口径

| | Gemini 2.5 Pro | 58.0% 待核 | 16.4% 待核 | 约 +1.4 | 否 | Pro 线序列的起点；本项目未回到一手核到这两个数，按 REVIEW-09 §4.2 F5 的口径采用^[21]

| | Gemini 3 Pro | 77.0% | 26.3% | 约 +11.3 | 否（cumulative vs pointwise） | MRCR v2，8 针，3.1 Pro 模型卡^[8]

| | Gemini 3.1 Pro | 84.9% | 26.3% | 约 +11.3 | 否（同上） | 同上（同一张表）——与上一行的 1M 格严格可比^[8]

| | Gemini 3.5 Flash | 77.3% | 26.6% | 约 +11.6 | 否（同上） | MRCR v2，1M 为 pointwise；本项目未核到该卡是否标注针数待核^[43]

| | Gemini 3.6 Flash | 91.8% | 54.0% | 约 +39.0 | 否（同上） | 模型卡明确标 GDM-MRCR v2 (8-needle)——上一版写「未标针数」已过时^[6]

      表 8.10 · MRCR v2 数据表，快照 2026-07-25，均为 **Google 官方报告值**（2.5 Pro 两格除外，见该行）。**上一版这张表有一列「掉幅」（−50.7 / −58.6 / −50.7 / −37.8），是把累计平均减逐点值得到的，统计对象不一致，整列已删除；本轮换成一列「扣掉噪声地板后的信号」，它只用同一格自己的数，不做任何跨口径比较。**噪声地板 15% 的定义见正文（**条件**噪声，非全空间盲猜）[@src-6fa568a3d2]。本表最干净的一对是 3 Pro 与 3.1 Pro 的 1M 格（同表、同 8 针、同 pointwise，都是 26.3%）。






### 7.3 公式推导三：有效上下文 vs 名义上下文



    D-3
    注意力稀释与有效上下文的 \(\ln n\) 律
    对应 第 6 章 · B17 · Liu et al. arXiv:2307.03172 · Hsieh et al. arXiv:2404.06654 · Veličković et al. arXiv:2410.01104





      符号表

| | (L_{\text{nom}}) | 名义上下文：API 文档上的最大 token 数，整数

| | (L_{\text{eff}}) | 有效上下文：准确率不低于阈值的最大长度，整数，(\le L_{\text{nom}})

| | (n) | 参与 softmax 的 key 个数（≈ 当前序列长度），整数

| | (\Delta) | 目标 key 相对干扰 key 的 logit 优势，实数（nats）

| | (\sigma^2) | 干扰 logit 的方差，(\ge 0)

| | (a_{\text{target}}) | 分配给目标 key 的注意力权重，([0,1])

| | (d) | 每头的表示维度，整数

| | (\epsilon) | 判定「还算能用」的准确率阈值，([0,1])

| | (m) | 需要同时取回的「针」数（MRCR 的 needle count），正整数

| | (B) | 假设 A4 引入的算子范数上界：(|W_Q|{\rm op},|W_K|{\rm op}\le B)，无量纲，(>0)

      定义。名义上下文是文档上那个数字；有效上下文定义为在任务族 \(\mathcal{T}\) 与阈值 \(\epsilon\) 下

      \[ L_{\text{eff}}(\mathcal{T},\epsilon)=\max\{\,L:\ \mathrm{Acc}_{\mathcal{T}}(L)\ \ge\ \epsilon\,\}. \]
      关键：**\(L_{\text{eff}}\) 是任务与阈值的函数，不是模型的固有属性。**RULER 的具体取法是 \(\epsilon=85.6\%\)（Llama-2-7B 在 4K 上的平均分），任务是 13 个合成任务的平均[@src-b802642c4c]。



      注意力稀释。设目标 key 的 logit 为 \(\mu+\Delta\)，\(n-1\) 个干扰 key 的 logit 独立同分布、均值 \(\mu\)、方差 \(\sigma^2\)。分子分母同除 \(e^{\mu}\) 并用大数定律：

      \[ a_{\text{target}}\;\approx\;\frac{e^{\Delta}}{e^{\Delta}+(n-1)\,\mathbb{E}\!\left[e^{s-\mu}\right]}. \]



      取干扰 logit 近似高斯 \(s-\mu\sim\mathcal{N}(0,\sigma^2)\)，用对数正态的矩母函数 \(\mathbb{E}[e^{s-\mu}]=e^{\sigma^2/2}\)：

      \[ a_{\text{target}}\;\approx\;\sigma_{\text{logistic}}\!\Big(\Delta-\ln(n-1)-\tfrac{\sigma^{2}}{2}\Big). \]
      这一步天然给出了逻辑斯蒂形式，也解释了为什么 NIAH 热力图的失败往往是**断崖式**而非渐进——逻辑斯蒂函数在过渡区很陡。



      要维持 \(a_{\text{target}}\ge p\)，直接读出：

      \[ \boxed{\;\Delta\;\ge\;\ln(n-1)+\frac{\sigma^{2}}{2}+\ln\frac{p}{1-p}\;} \]
      即 **\(\Delta\) 必须随 \(\ln n\) 线性增长**。代入本章的具体区间：从 **128k 到 1M** 需要额外 \(\ln(10^{6}/1.28\times10^{5})\approx 2.06\) nats；从 4k 到 1M 需要 \(\ln(250)\approx 5.52\) nats。




      **\(\Delta\) 能长到多大？——这一步只在一个*额外假设*下成立，上一版把这个假设漏了。**

      logit 是 \(q^{\top}k/\sqrt{d}\)，故 \(\Delta\le 2\|q\|\,\|k\|_{\max}/\sqrt{d}\)。**注意 LayerNorm / RMSNorm 归一化的是*输入隐状态* \(x\)，不是投影后的 \(q=W_Qx,\ k=W_Kx\)。**归一化只给出 \(\|x\|=\Theta(\sqrt d)\)，再往下必须用

      \[ \|q\|\le\|W_Q\|_{\rm op}\|x\|,\qquad \|k\|\le\|W_K\|_{\rm op}\|x\|, \]
      而 \(\|W_Q\|_{\rm op},\|W_K\|_{\rm op}\) **是学出来的，没有任何结构约束它们有界**。因此下面这个上界必须**显式加一条假设**：

      **假设 A4（固定范数 / 固定温度 toy model）：**存在常数 \(B\) 使 \(\|W_Q\|_{\rm op},\|W_K\|_{\rm op}\le B\)（等价的替代前提：使用 QK-normalization，或对 logit 做 clipping / 固定温度上限）。在 A4 下

      \[ \Delta_{\max}(B)\;\le\;\frac{2B^{2}\|x\|^{2}}{\sqrt d}\;=\;O\!\big(B^{2}\sqrt d\big),
         \qquad n_{\text{crit}}(B)\;\approx\;\exp\!\Big(\Delta_{\max}(B)-\frac{\sigma^{2}}{2}\Big). \]
      **★这里必须说清楚上一版错在哪。**上一版直接从「LayerNorm 后 \(\|q\|,\|k\|\) 被约束在 \(O(\sqrt d)\)」推出一个**与训练无关的通用上限** \(\Delta_{\max}=O(\sqrt d)\)，进而写出**通用的** \(n_{\rm crit}\)，并断言「超过它单头在数学上就不可能把权重集中到目标上，**无论训练多久**」。**这个推理是错的**，与第 6 章 · B17 有效上下文 vs 名义上下文是同一处错误：归一化只约束输入，训练完全可以把 \(\|W_Q\|_{\rm op}\) 推大，从而把 \(\Delta_{\max}\) 和 \(n_{\rm crit}\) 一起推高。**因此本节删除「通用 \(n_{\rm crit}\)」与「无论训练多久」两个说法**，只保留 A4 下的条件结论：**在算子范数（或温度）被封住的模型里**，存在一个由 \(B\) 决定的临界长度。这与 *Softmax is not enough* 的结论方向一致——softmax 的锐度随输入项数衰减，**除非引入随 \(n\) 增长的温度或对数级增长的 logit 预算**[@src-b347f72a06]；那篇的结论同样是「在固定温度下」，不是无条件的。



      为什么多针远难于单针。要同时精确取回 \(m\) 根针，至少需要 \(m\) 个头分别锁定不同位置且互不干扰；而头是**多义**的（同时承担语法、位置、内容等功能），实际可用于内容检索的头是个位数到几十。**单针只需要一个头赢，多针需要 \(m\) 个头同时赢，且概率不独立**（它们竞争同一批 logit 预算）。

      这就对上了本章的两个数字：Gemini 1.5 报告的**单针** NIAH 在 1M 上 99.7%、10M 上 99.2%[@src-79a8d5beef]；而 MRCR v2 的**八针**在 1M 上只有 26.3%[@src-564638136e]。**两个数字都是真的，它们在测两件完全不同的事：NIAH 测的是 \(\ln n\) 这一项，MRCR 测的是 \(\Delta\) 这一项。**

• A1 干扰 logit 独立同分布且近似高斯。真实注意力 logit 有强相关（相似 token 聚簇），这会让有效 (n) 小于名义 (n)——是一个乐观偏差。

• A2 用单层单头分析近似整个模型。多层多头会通过投票与逐层锐化提升有效斜率，所以实际退化比单头预测的更缓。

• A3 假定目标 key 与干扰 key 的语义可分。MRCR 故意让 key 与 query 在格式或主题上重叠（「重复关于企鹅的那首诗」vs 关于火烈鸟的诗），把 (\Delta) 压到接近 0——这时 (\ln n) 项就直接吃掉全部余量。

• A4（本节最强、也最容易被忽略的假设） (|W_Q|{\rm op},|W_K|{\rm op}\le B)，或等价地采用 QK-normalization / logit clipping / 固定温度上限。**没有 A4 就没有 (\Delta_{\max})，也就没有 (n_{\rm crit})。**真实模型是否满足 A4、(B) 是多少、训练过程中 (B) 怎么变——Gemini 一概未披露，公开的开源模型上也少有系统测量。所以 D-3 的临界长度是一个 toy model 的性质，不是任何真实模型的定理。

• L0（最重要的一条） 本推导给出的不是「有效上下文存在通用上限」这个定理，而是「在 A4 成立的 toy model 里，维持召回所需的 logit 预算随 (\ln n) 增长、而预算本身被 (B) 封顶」。把它读成对真实模型的硬界是错误用法，因为 (B) 会随训练变化，厂商也可以通过改注意力机制（多头协同、检索式稀疏、显式记忆）绕开单头的限制。

• L1 (\ln n) 律是一阶解释。位置编码外推（RoPE base 调整、YaRN、位置插值）会额外改变 (\Delta) 随位置的分布，模型可以专门训练来补偿——3.6 Flash 在 1M 档报 54.0%（模型卡明确标 GDM-MRCR v2 (8-needle)），两个月前的 3.5 Flash 是 26.6%^[6][43]（3.5 Flash 卡是否标注针数本项目未核到待核，因此这条 Flash 线内的对照仍带一层口径风险）。这从经验一侧说明「无论训练多久都不可能」是错的。

• L2 逻辑斯蒂召回模型是唯象的，斜率与偏置无第一性原理取值，只能拟合。

• L3 MRCR 的分数是字符串相似度的平均匹配率，不是通过率。同一份官方说明给出了噪声地板：一个模型即使找对了那组相关回答、却猜错是第几份，2 针上平均仍能拿约 51%、8 针约 15%^[9]——看到「MRCR 51%」不要以为是「一半对了」，那可能是「全错但字面像」。⚠ 这两个数是条件噪声（已定位到相关回答之后再随机选），不是全空间盲猜；在全部 assistant 回复里均匀随机约为 1%。

• L4 (L_{\text{eff}}) 的阈值是主观选择，换阈值会得到不同的排序。

• L5 这里没有使用任何未公开的 Gemini 架构细节。Google 从未披露 Gemini 的注意力实现；Ring Attention 是外部推测而非事实[55]。

      尺度错配（**限于 A4 成立的 toy model**）：上下文长度的增长是指数级的（4K→128K→1M→10M），而**维持召回所需的 logit 优势只随 \(\ln n\) 增长**——这一半是稳的，它只用到 softmax 的形状。**不稳的是另一半：单头能提供多少 logit 优势。**只有在算子范数或温度被封住（A4）时，这个预算才有一个与 \(n\) 无关的上限 \(\Delta_{\max}(B)\)，两条曲线才必然相交、交点才是 \(L_{\text{eff}}\)。**A4 一旦放开，交点会随训练右移，没有通用的临界长度。**所以这条推导能解释的是「为什么 8 针 1M 比 1 针 1M 难得多」这类**相对**现象，**不能**用来断言任何模型「无论训练多久都做不到」。
  
  
  
  
  
  
  
  按当前公开评测（RULER 一类的有效长度测量、以及上面这张 MRCR 表）读，「1M 上下文」更接近**「1M 的存储 + 十万量级的可靠多针检索」**——**这是对冻结日已发布模型在这类任务上的经验描述，不是对架构的断言，换一代模型、换一个任务族都要重测**。
  
  
    上一版写的是：「把整个代码库塞进窗口然后问一个需要**跨八处交叉引用**的问题，是 D-3 预测最容易失败的那类用法。」**这句话把「1M 档的八针检索」外推成了「跨多处引用的推理」这个任务族，作用域错了。**
  
    **反向的证据来自 Google 自己：**LOFT（arXiv:2406.13121）在 **128K** 上把整个语料塞进上下文，**在多跳数据集（HotpotQA、MuSiQue）上打赢了 Gecko + Gemini 的 RAG 管线**，理由是长上下文模型能在窗口内用思维链跨多个段落推理，而 RAG 管线通常没有这个能力；NVIDIA 的 Xu et al.（arXiv:2310.03025）同向，并给出机制解释——多跳任务需要「把所有中间跳都召回」，长上下文对此有利[@src-3304ba3ed7]。**所以「跨多处引用」是长上下文相对检索的优势项，不是失败项。**
  
    **但这条反向证据同样不能被外推，作用域必须写清：**LOFT 的那个结论限于 **128K 档、Gemini 1.5 Pro、那几个多跳问答数据集**；**LOFT 自己也报告：把语料放大到百万 token 量级时，表现掉下来**[@src-3304ba3ed7]——这一半与 MRCR 同向。**因此正确的收窄版本是：失败的是「1M 规模 + 八针精确取回」，不是「跨多处引用」这件事本身。**这个区分直接决定工程上怎么切分任务：把语料压到十万量级再做跨多处推理，是当前公开证据支持的做法；把百万量级语料整体塞进去再要求精确多针取回，不是。
  
  
  
  反过来，把 1M 塞进去然后问很多个简单的检索型问题，缓存的摊销才划算——但「划得来」这个问题有它自己的答案，见 7.4。
  
  这也解释了为什么长上下文与 test-time compute 常常是**抢同一块算力预算**的关系。当 Deep Think 能靠 84.6% 的 ARC-AGI-2 显示「思考」在某些任务上的边际收益更高时，把算力从「塞更多上下文」挪到「想更久」就成了合理选择。**Gemini 的上下文长度曲线（32K → 1M → 10M 研究 → 1M 生产）与其说是一条技术曲线，不如说更像一条成本曲线**——但要承认这只是一种解释：同样的曲线也可以用「10M 的有效召回一直没做到可用水平」来解释，而这两种解释在公开材料上无法区分，因为 Google 从未说明 10M 为什么没有进入生产。成本的具体台阶（KV cache、prefill 的 \(O(n^2)\)、TPU 8i 的 384MB 片上 SRAM）见 第 7 章 · 基础设施。

  7.4 那么该什么时候用长上下文、什么时候用检索？

| | 选原生长上下文，当…… | 选检索，当……

| | 任务依赖大工作集上的全局连贯性（通读整个代码库后做整体重构） | 真值频繁变化、必须保持新鲜（长上下文是快照，检索是活水）

| | 需要同时在很多依赖关系上推理（跨文件、跨章节的相互引用） | 语料太大或太贵，塞不进一个窗口

| | 内容已在内存中，你想减少检索跳数（降低延迟与失败点） | 需要引用级可追溯性（合规、审计场景必须能指到源文档）

    表 8.11 · 长上下文 vs 检索的六条选型判据。****——这是讲师的归纳，不是 Google 官方立场。讲师给出的结论是：**长上下文负责连贯性，检索负责选择性与新鲜度**，两者是分工而非替代。




相关公式与推导另见：第 6 章 · B17 有效上下文 vs 名义上下文、B7 test-time compute scaling（pass@k / majority@k）、B10 MCTS 的 PUCT。



## 八、世界模型线：Genie 1 → 3、SIMA 1 → 2、Veo 与机器人

### 8.1 Genie：从无标注视频里学出「动作」




    **图 8.13** Genie 初代的四模块架构（讲师复述论文）：视频分词器 → **潜在动作模型** → 动力学模型 → 交互式推演。关键读法：全部创新集中在第二个模块——**在没有动作标签的视频里无监督地推断出「类动作结构」**，这一步直接决定了数据规模的天花板。⚠ 讲师本人也提醒：**不能把这套四模块架构外推到 Genie 2/3**，后两代没有公开架构。**本项目的 `assets/img/papers/` 下没有 Genie 初代论文原图，因此这里用的是翻拍页；数值请以论文为准。**




Genie（ICML 2024 最佳论文，arXiv:2402.15391）的核心是**潜在动作模型（LAM）**：给定 \(x_{1:t}\) 与 \(x_{t+1}\)，无监督地推断出一个离散潜在动作 \(\tilde a_t\)，码本大小刻意压到 \(|\mathcal{A}|=8\)[@src-9abc4cf2e5]。训练目标是一个带信息瓶颈的重建：

\[ \max_{\theta}\ \mathbb{E}\Big[\log p_{\theta}\big(x_{t+1}\,\big|\,x_{1:t},\ \tilde a_t\big)\Big],\qquad \tilde a_t\in\mathcal{A},\ |\mathcal{A}|=8. \]


  因为 VQ 码本大小就是这个系统的**信息瓶颈旋钮**。码本越大，\(\tilde a_t\) 能编码的信息越多、重建损失越低——但代价是它会开始编码「和动作无关的帧间变化」（光照抖动、背景动画），退化成一个普通的视频预测器，**失去可控性**。码本压到 8，就是强迫模型只保留「智能体能施加的、离散的因果干预」。

  **Genie 用信息瓶颈把「因果」从「相关」里挤了出来**——这恰好是 MuZero 那条「只建模对决策有用的东西」路线在生成模型上的镜像。两者的区别在于筛子不同：MuZero 用「奖励可预测性」当筛子，Genie 用「码本容量」当筛子。





  **「Genie 3 参数量 110 亿」是错的。****110 亿是初代 Genie 的数字**（Genie 从 40M 扫到 2.7B 做 scaling 分析，最终 11B 参数，训练数据是筛过的约 3 万小时、数百款 2D 平台游戏的互联网游戏视频）[@src-9abc4cf2e5]。**Genie 3 的参数量 Google 官方从未公开**；Genie 2 与 Genie 3 都没有公开论文，只有官方博客[@src-aa1c051af9][@src-aa4f866653]。这个错误之所以值得单独写出来，是因为它有一个非常典型的传播机制：**初代有论文所以有数字，后代没论文所以没数字，于是二手汇总把有数字的那个往最新版本上贴。**凡是「新版本的技术参数恰好等于旧版本论文里的数字」，都值得回原文核一遍。







      **图 8.14** Genie 2（2024-12）生成的多样化**可动作控制** 3D 环境，画面上叠了键鼠输入标注。关键读法：Genie 2 换成了 **autoregressive latent diffusion**，单张提示图即可生成可用键鼠游玩的 3D 环境。**时长要按官方口径写：官方说的是「consistent worlds for up to a minute」（最长约一分钟），并注明「多数展示样例为 10–20 秒」**[@src-aa4f866653]——**10–20 秒是 demo 长度，不是能力上限**，上一版把它写成「一致性只维持 10–20 秒」是把展示样例误当成规格。
      [@src-aa4f866653]出处：Genie 2: A large-scale foundation world model, Google DeepMind, 2024-12





      **图 8.15** Genie 2 生成世界的**一帧静态样例**：绘画风格的地下石室，一名背对镜头的盔甲武士右手高举燃烧火把、左手持剑；三个石拱门分别通向长满绿色发光植被的洞窟、幽蓝的暗隧道、向上的蓝光石阶，暖色火光与冷蓝环境光形成对比。关键读法：Genie 2 只需**单张提示图**即可展开成可用键鼠游玩的 3D 环境，官方称其涌现出物体交互、复杂角色动画、物理以及**对其他 agent 行为的建模**——但这些都是「涌现」，没有任何显式约束保证它们物理正确。**⚠ 上述涌现能力在这张静态单帧里一项都看不到**：画面只有一个角色、没有第二个 agent、没有动作序列、也没有并排的提示原图；本图在这里只能作为**生成画质与场景一致性**的样例，涌现能力的依据是官方博客正文。
      [@src-aa4f866653]出处：Google DeepMind, 2024-12




### 8.2 Genie 3（2025-08-05）：分水岭，以及官方自陈的四条限制




    **图 8.16** Genie 3 官方主视觉。规格：**720p、24fps 实时导航**，一致性维持数分钟，视觉记忆可回溯**约 1 分钟**[@src-aa1c051af9]。[@src-aa1c051af9]出处：Genie 3, Google DeepMind, 2025-08-05



    **图 8.17** Genie 3 的**环境一致性（视觉记忆）三帧演示**。三帧上方分别印着时间戳 **0:00 / 0:20 / 0:40**，帧间以灰色虚线相连，取自同一次连续导航：镜头从希腊神庙遗址正面出发（0:00），移动到一段石墙前（0:20），最后逼近远处那两棵柏树（0:40）；**绿色虚线圆圈在三帧里标出的是同一处地标**——镜头移开 40 秒后回望，世界里的物体仍在原位、没有被重新想象。第 2、3 帧左下角可见方向键控件，**↑ 高亮为蓝色**（正在前进），其下的 ←↓→ 一行被画面下边缘切掉约一半。关键读法：**这张图证明的是「一致性 / 视觉记忆」，不是 promptable world events**——图上没有文本框、没有提示词、没有天气变化、没有新增物体或角色。用文本改天气、加物体、加角色确实是 Genie 3 相对前代最大的接口变化，官方也明确**这些干预不是 agent 自己做出的**[@src-aa1c051af9]，**但那一条本图并未展示**，上一版把两件事挂在了同一张图上，已订正。[@src-aa1c051af9]出处：Google DeepMind, 2025-08



    **图 8.18** 官方演示视频抽帧，**左下角可见方向键控件**——这是「可实时交互」最直观的证据，也是它与视频生成的分界线。[@src-aa1c051af9]出处：Genie 3 官方演示视频（ffmpeg 第 3 秒抽帧），Google DeepMind, 2025-08



技术上最值得记的一句是官方自己给的对照：**Genie 3 没有任何显式 3D 表示**（不像 NeRF 或 Gaussian Splatting），**一致性是涌现（emergent）的**，世界是逐帧根据世界描述 + 用户动作创造出来的[@src-aa1c051af9]。官方也特意强调：*"generating an environment auto-regressively is generally a harder technical problem than generating an entire video"*——因为整段视频可以全局规划，自回归不行[@src-aa1c051af9]。


  **官方自陈的限制必须写全，否则这一节就是宣传稿：**

• 交互时长有限：只能支持「几分钟」连续交互，而训练 agent 需要「数小时」^[10]。

• agent 可执行的动作范围有限：promptable world events 允许广泛的环境干预，但这些干预不是 agent 自己做出的^[10]。

• 多智能体交互困难：难以准确建模共享环境中多个独立 agent 的复杂交互^[10]。

• 真实世界地理位置的精确还原、长文本的清晰渲染仍不可靠^[10]。

  还有一条更根本的：**涌现式一致性没有内部可查的判据**。没有显式 3D 表示，就没有一个可以拿来对账的几何真值，自洽与否目前只能靠肉眼或另建外部探针来判断。**因此在生成世界里训出来的策略，其正确性不能在生成器内部被验证。**一个在 Genie 里学会「跳上箱子」的 agent，可能学到的其实是「Genie 的物理 bug」——这是经典的 sim-to-real gap，只不过现在的 sim 不再是手写的物理引擎，而是一个生成模型，**它的偏差难以枚举，也没有一个像「改一行物理参数」那样的定点修正手段**。（要给这条留余地：**这不等于「原则上不可验证」**——只要在生成世界之外接一个独立的物理探针或真机回归测试，就能对特定性质做检查；DeepMind 是否在做、做到什么程度，公开材料没有说。）

  **Project Genie（2026-01-29）是它的第一次产品化：Google Labs 的实验性 web app，技术栈是 Genie 3 + Nano Banana Pro + Gemini，向美国的 Google AI Ultra 订阅者（18+）**开放，支持创建 / 探索 / remix 世界，最多 60 秒交互世界，仍无公开 API^[32]。注意：Genie 3 本体仍是 2025-08 那个模型，Project Genie 是产品层的包装，不是新一代世界模型。截至 2026-07-25，未检索到任何 “Genie 4” 的官方发布信息。

  8.3 SIMA 2：agent 与世界模型的闭环

    **图 8.19** SIMA 2（2025-11-13 research preview）所处环境的**画面样例**：四条等宽竖幅游戏截图并排——① 科幻星球地表（宇航服角色背对镜头，紫蓝天空与行星，左上角 HUD 罗盘）；② 海上帆船船首 POV（橙白条纹风帆、绳索与桅杆）；③ **Minecraft**（近景绿脸僵尸村民，可见十字准星、红心生命值与底部快捷栏）；④ 科幻建造类第一人称（戴手套的手在前景，面前是带橙色屏幕的工作台与机械）。关键读法：**SIMA 的输入就是这些原始游戏画面，输出就是键鼠**——不接游戏 API、不读内部状态，四款画风与操作方式完全不同的游戏共用一个 agent。SIMA 1 只看屏幕、只用键鼠、完全靠人类游戏演示训练；SIMA 2 增加了高级推理（「去颜色和熟番茄一样的房子」→ 推理出红房子）、跨游戏概念迁移、自我改进[@src-73e1e385ee]。**⚠ 本图不是「总览」架构图：图上没有任何方框、箭头、模块名或 Gemini 标识**，「把 Gemini 装进去当大脑」这个系统结构见下面的自我改进闭环图（图 8.22），上一版的标题写法已订正。[@src-73e1e385ee]出处：SIMA 2, Google DeepMind, 2025-11-13
  
  
  
    **图 8.20** SIMA 1 / SIMA 2 / 人类的任务完成率。关键读法：官方称相对 SIMA 1 **翻倍**、「显著缩小了与人类表现的差距」——**但差距仍在**，人类那根柱子还是最高的。这张图的价值在于它**保留了人类基线**，而多数百分比榜一旦饱和就永久性地失去了这个能力。[@src-73e1e385ee]出处：Google DeepMind, 2025-11
  
  
  
    **图 8.21** held-out 游戏上的泛化。关键读法：这是 SIMA 路线的核心研究问题——**能否学到通用的「动作语义」而非过拟合单一环境**。「开门」「拾取」在不同游戏中按键映射完全不同，但语义层面可能同构。[@src-73e1e385ee]出处：Google DeepMind, 2025-11
  
  
  
    **图 8.22** 自我改进闭环：**Gemini 生成任务 + 另一个 Gemini 奖励模型打分 → agent 试错 → 自生成经验入库 → 训练下一代**。关键读法：**这个闭环的上限完全由那个「Gemini 奖励模型」的质量决定**——它就是本章反复说的验证器，只不过这次验证器本身也是一个 LLM，会放大模型自身的偏见。[@src-73e1e385ee]出处：Google DeepMind, 2025-11

  SIMA 2 论文里有一句话点破了整个战略：“This points to a virtuous cycle between increasingly advanced world models and increasingly capable agents.”——越来越先进的世界模型与越来越强的 agent 相互促进^[31]。第四个质变是：把 SIMA 2 丢进 Genie 3 现场生成的、从未见过的照片级世界，它能导航、遵循指令、朝目标推进^[31]。

  **「感知-动作接口通了」不等于「学到的东西是真的」。**SIMA 2 能在 Genie 3 世界里工作，只证明了前者。这个闭环的两端各有一个缺乏独立验证的环节：Genie 3 的物理是涌现的、没有内部可查的判据；奖励信号来自另一个 Gemini，而 LLM 当裁判的可靠性在本章第五节已经被量化过（MCP-Atlas 换三个不同 LLM 裁判，通过率差 2.1–4.6 个百分点[41]）。**DeepMind 同时在做 Gemini Robotics（真机、真数据）这条更笨但更实的路。**常见的读法是「两条路并存说明它内部也没把宝全押在世界模型上」——这个读法说得通，但**不是唯一解释**：一家有余粮的实验室同时押多条路线是常态，不必推出「对某一条没信心」。**能确定的只有一件事：截至冻结日，官方没有给出任何「主要在生成环境中训练、在真机上达到可用水平」的量化结果**，而这正是第十一节第 5 条判断的证伪口。

  8.4 机器人：VLA 范式与 Motion Transfer

    **图 8.23** Gemini Robotics 1.0（2025-03）：Gemini 长出手脚。关键工程数字是**云-端分离**——云端 backbone 延迟 <160ms，机载轻量解码器用滚动时域预测动作块藏住延迟，端到端约 **250ms**，有效控制频率 **50Hz**[@src-d0f5ca5d8a]。[@src-d0f5ca5d8a]出处：Gemini Robotics, Google DeepMind, 2025-03
  
  
  
    **图 8.24** Gemini Robotics-ER 的具身推理：物体检测、指点、对应点匹配、抓取轨迹预测。关键读法：**ER 是「理解与决策」，VLA 是「输出动作」**，两者是两个模型，不要混称。[@src-d0f5ca5d8a]出处：Google DeepMind, 2025-03
  
  
  
    **图 8.25** Gemini Robotics 1.5（2025-09-25）的双模型系统：**ER 1.5 做高层编排与 think-before-act，1.5 VLA 负责动作执行**。ER 1.5 能原生调用工具（Google Search 或第三方函数），典型工作流是「按当地规则分类垃圾」→ 查 Search → 逐步下指令[@src-b7aa038abb]。[@src-b7aa038abb]出处：Gemini Robotics 1.5, Google DeepMind, 2025-09
  
  
  
    **图 8.26** ER 1.5 在 15 个具身推理学术基准上的聚合表现。关键读法：**在 Gemini Robotics 家族内部，ER 1.5 是第一个向所有开发者广泛开放的成员**（API/AI Studio；这是家族内的先后，不是行业级的优先权宣称），输入上限 1,048,576 token[@src-b7aa038abb]。[@src-b7aa038abb]出处：Google DeepMind, 2025-09
  
  
  
    **图 8.27** 1.5 执行物理任务的三联实拍，配合 **Motion Transfer** 跨形体迁移叙事：一套架构与训练配方，让 VLA 从异构多本体数据中学到统一的「运动与物理交互后果」理解，从而把技能**零样本迁移**到完全不同的本体上[@src-b7aa038abb]。[@src-b7aa038abb]出处：Google DeepMind, 2025-09
  
  
  
    **图 8.28** DreamerV3 的 RSSM（对照组，2023）：另一支世界模型传统——学 latent 动力学，然后**完全在想象出来的轨迹上做策略优化**。关键读法：MuZero 用学到的模型做**决策时的在线树搜索**，Dreamer 用它做**离线策略学习**，而 **Genie 既不是为了搜索也不是为了想象训练，是为了「生成一个 agent 可以真的住进去的环境」**。[@src-2969433d69]出处：Hafner et al., DreamerV3, arXiv:2301.04104, 2023

  Gemini Robotics-ER 1.6（2026-04-14）基于 Gemini 3.0 Flash，主要提升在指点、计数、成功检测，并新增仪表读数（读复杂模拟表盘、压力指示器、视镜）——这个用例是与 Boston Dynamics 密切合作时发现的^[34]。它还引入 agentic vision：模型不做单次抽取，而是做多次视觉查询链（放大、指点、比对读数）来三角定位精确读数^[34]。

  **好处**：把动作当 token，就**免费继承了 LLM 的全部基础设施**——预训练、指令微调、思维链、工具调用、上下文学习，一样都不用重新发明。Gemini Robotics 1.5 的「思考后行动」本质上就是把 CoT 搬进了控制回路。
  
  **两个硬伤**：**① 时间尺度不匹配。**语言 token 的自然频率是每秒几十个，而灵巧操作需要 50Hz 以上闭环。250ms 端到端延迟足以做双臂折衣服，**不足以做需要毫秒级反应的任务**（接住掉落的物体、动态平衡）。**② 动作离散化损失精度。**把连续位姿逐维离散成 \(B\) 个 bin，天生带 \(\frac{a_i^{\max}-a_i^{\min}}{2(B-1)}\) 量级的量化误差，靠 chunk 内插值缓解，但精细装配仍吃力。
  
  而 Motion Transfer 想解决的，其实是**机器人版的「scaling law 缺数据」问题**：LLM 有近乎免费的万亿 token，机器人每一条轨迹都要真人真机遥操作采集，**而且换一个本体数据就作废**。如果 Motion Transfer 真的成立，它的意义相当于机器人领域的「跨语言迁移」——**过去为机器人 A 采的数据只对 A 有用，现在对所有机器人都有用**。但要诚实标出核查缺口：**官方到目前为止只给了定性描述和有限基准，没有公开跨本体迁移的系统性量化结果**（迁移了多少任务、成功率衰减多少）。

  九、世界模型三要件：为什么 Veo 不等于 Genie

    **图 8.29** 世界模型的**三要件操作性定义**：能① **模拟一个环境**、② **跨时间维持状态**、③ **让 agent 在其中行动**的系统。右侧三框构成递进：Simulation（**"Generate an environment, not only a clip."**）→ Interaction（用户或 agent 行动后**世界会响应**）→ Planning（模拟的未来可支撑决策）。⚠ 这个三要件定义是**讲师自拟的**，学界另有 Ha & Schmidhuber 的隐状态预测模型、LeCun 的 JEPA 等多种定义；此定义偏「可交互环境」一侧，不具普适性。

  拿这三条去切 Veo，答案立刻清楚：Veo 满足第①条的弱化版本（生成画面而非环境），不满足第②③条。Veo 生成的是一段视频——它可以全局规划，可以有很好的物理观感，但你不能在里面行动，世界也不会响应你。这不是贬低 Veo，而是说这两个东西在解不同的问题。

    **图 8.30** Veo 3 生成视频代表帧。**Veo 3（2025-05-20）是 Veo 家族首个带原生同步音频的版本**（对白、音效、环境声在生成时同步产生，不是后期叠加）[@src-9ddfa4fc60]。**⚠ 上一版写的是「首个主流视频模型带原生同步音频」——这是一个跨厂商的优先权宣称，本项目没有做过完整的同期横向核查，已收窄为「Veo 家族首个」。****⚠ 4K 属于 Veo 3.1 在 2026-01 的更新，不要归给 Veo 3**[@src-6ce33a536b]。[@src-9ddfa4fc60]出处：Veo — Google DeepMind 模型页 / Veo 3.1 发布, 2025
  
  
  
    **图 8.31** 另一帧。关键读法：**「能生成看起来对的物理」≠「建模了物理」**。第三方测评一致指出，复杂机械运动、精细手部动作、流体/烟雾/布料仿真仍然不稳定，模型「有时优先视觉戏剧性而非物理准确性」；**人手依然是重灾区**。[@src-9ddfa4fc60]出处：Google DeepMind 模型页, 2025
  
  
  
  
  **Veo 的物理一致性问题，是「视频模型 = 世界模型」这个论断的最大反例。**DeepMind 自己在 Genie 3 博客里说 Veo 2/3「展现了对直觉物理的深刻理解」[@src-aa1c051af9]，而第三方测评说复杂机械运动、流体、烟雾、布料仍然不稳。这两个说法之间存在明显张力，而**它们可以同时为真**——因为「深刻理解」是定性的，「仍然不稳」是定量的。这正是为什么本章坚持用三要件而不是用观感来划界。
  
  **还有一组规格边界要写清，而且必须按 surface 分开写——上一版把它们混成了一句「Veo 单条上限 8 秒、无相机控制」，两处都不准确：**

• API（Gemini API / Vertex）：8 秒是一次 base generation request 的输出长度，不是产品总长度。Veo 3.1 提供 Scene Extension，可以在已有片段上继续生成来做更长的成片^[28]；Veo 3.1 Lite 的档位是 4 / 6 / 8 秒^[33]。拼接处有可听见的切口、环境音与音乐可能在段落之间重置或漂移，这是「靠延长拼出长片」的代价，不是「只能拍 8 秒」。

• **Flow（Google 的 AI 影视工具）：**有相机控制（camera controls），不是只能靠 prompt 推断镜头行为^[28]。上一版写的「无相机控制」是把 API 的能力当成了整条产品线的能力。

• **Gemini app：**面向消费者的生成入口，长度与控制项由产品侧配置，官方未给出与 API 等价的规格表；本材料不为这一面写具体上限。

  把三个面分开之后，结论要改得更弱也更准：**Veo 缺的不是「长度」，而是「在生成过程中响应你的行动」**——延长和拼接解决的是成片时长，解决不了第②③条要件。

  9.1 一个对照观察：视频走家族化，图像走一体化

  讲师在 deck 第 88 页（“Why invest beyond one general model?”）与第 94 页（“Nano Banana brings the image story closer to the Gemini stack”）里给出了一个值得记住的对照框架[45]：视频这条线在做家族化——Veo 1 → Veo 2 → Veo 3（原生音频）→ Veo 3.1（2025-10-15）→ Veo 3.1 Lite（2026-03-31，4/6/8 秒、720p/1080p、paid preview）^[28][33]，一个专用模型族不断分档；而图像这条线在做一体化——Nano Banana（Gemini 2.5 Flash Image）与 Nano Banana Pro（Gemini 3 Pro Image）直接收进 Gemini 主干，成为原生多模态输出。

  上一版在这里写「Imagen 系列已宣布弃用、2026-08-17 关停」——**这是把一条 endpoint 级的弃用公告放大成了家族级退役**。可核的口径是：**Gemini API 的 Imagen 文档页给出的弃用公告是按 endpoint 列的，受影响的 `imagen-4.0-*` 端点（以及同批公告里的 Gemini 3 Image 端点）在 **2026-08-17** 停止服务，官方建议迁移到 Nano Banana[@src-26f718a49f]。**换句话说，08-17 是**这批端点**的 discontinuation date，**不是**「Imagen 这个模型家族在所有平台上退役」的日期——Vertex AI 侧的 Imagen endpoint 有各自的 lifecycle 页面与日期，本项目未逐条核到，待核。
  
  
  
  
  这个分叉不是随意的，它是**「编辑循环」这个需求决定的**。Imagen 那类管线式模型擅长「一个好 prompt 出一张好图」，但你要改「把右上角光源产生的阴影加上去」，它只能重新生成。Gemini 原生输出因为图像和文本共享同一个上下文，模型**真的持有场景的语义状态**，所以能做增量的、有记忆的编辑。**竞争维度已经从「单张图的质量」转移到「多轮编辑的连贯性」**——这与 LLM 从「单轮问答」转向「长上下文 agent」是同一个趋势的两个投影。
  
  而视频还没走到这一步：**Gemini Omni Flash（2026-05-19 consumer / 2026-06-30 API public preview）当前只做视频输出**，3–10 秒 720p/24fps，「any output」是官方明确的**未来路线**而不是当前事实[@src-abf7447528][@src-51316e8a2b]。Demis Hassabis 在 I/O 2026 的 Omni 环节里亲自把它定位为**世界模型**方向的一步[@src-7a1f2db4e7]——按本节的三要件看，**它目前一条都还没满足**。
  
  
  
  
  **反方主张：**「世界模型是通往 AGI 的必经之路」不是 Google 说过的话，也不是从它说过的话能推出来的结论。
  
  **反方证据：**官方在 Genie 3 的发布材料里用的原词是 **“a key stepping stone on the path to AGI”**[@src-aa1c051af9]。
    **“a key stepping stone” 是「一块重要的垫脚石」，是重要性/贡献度表述**；
    它**既不是「唯一路径」（必要性），也不是「走通了就到」（充分性）**。
    本章上一版把它写成了「必经之路」，那是**把 stepping stone 读成了 the only path**，
    在逻辑上是把一个弱断言升级成了两个强断言。
  
  **反方成立的条件：**只要官方没有另外给出「不经过世界模型就到不了 AGI」的表述，
    这条反方就成立——而截至冻结日没有。它**不需要**证明世界模型路线会失败，
    只需要指出「必经」这两个字没有出处。
  
  **我的再判断：****反方赢，本章已删除「必经之路」的表述。**
    但要注意这里的边界——**「必经之路」没有出处，不等于「世界模型路线不重要」，更不等于「它会失败」。**
    推翻一个过强的表述，不等于证明了它的反面。
    本章能站得住的版本只有官方那一句加上三要件的检验：**世界模型是 Google 押注的一块重要垫脚石；
    按模拟环境／跨时间维持状态／让 agent 在其中行动这三条检验，Genie 3 满足前两条并部分满足第三条，
    Veo 与 Omni Flash 目前一条都不满足。**
    至于它是不是必经，**这是一个尚未有任何一方给出证据的开放问题**，本章不站边。

  十、组织学视角：瓶颈是 model + harness + product + hardware

    **图 8.32** Agent 三层栈：**意图层**（自然语言成为顶层控制面）→ **环境层**（既有应用成为 agent 环境）→ **信任层**（验证与监督不可或缺）。关键读法：讲师把瓶颈定义为**信任**，并把它拆成三条可验收的属性——**grounded（有据）、reversible（可逆）、inspectable（可审查）**；用户只有在三条都满足时才会委托有分量的工作。⚠ 标题用的是 "may become"，是**预测而非事实**；三层栈是**讲师自造的框架，不是 Google 官方架构**。

  2026-05-21 的 I/O agent 圆桌上，Koray Kavukcuoglu、Jeff Dean 等人把 agent 质量的来源定义为 model + harness + tools + serving 的全栈协同，并把**「速度本身就是一种产品能力」**作为一条明确主张^[44]。概括 · 非逐字引语

  把第三节的 harness 敏感度和这条全栈论并排看，它们说的是同一件事的两面。**harness 是验证器的载体。**Terminal-Bench 上 Codex 比 Terminus-2 高 12.6 个点，多出来的那部分不是模型更聪明了——是那套脚手架更懂得**怎么把中间结果拿去验证、怎么在失败时回滚、怎么把错误信息喂回模型**。同理，Antigravity 的 Artifacts 之所以是产品创新，是因为它把「让人类能验证 agent 做了什么」变成了界面元素。
  
  所以「model + harness + product + hardware 全栈协同」这句话，翻译成本章的语言就是：**验证回路必须在四个层次上同时闭合**——模型要能自评，脚手架要能跑测试，产品要能让人审查与撤销，硬件要能扛住反复重试的算力。缺任何一层，agent 就退化成一个昂贵的自动补全。
  
  硬件那一层不是修辞。Google Cloud 在第八代 TPU 的技术博客里**点名 Genie 3**，说这代芯片被造出来是为了高效训练和服务这类世界模型，让**「数百万个 agent」在多样的模拟环境里练习和精炼它们的推理**[@src-7fcb28f154]。**可以这样读：博客里说什么很便宜，为某个 workload 设计芯片却要花几年和几十亿。**但这个读法要留一条退路——**技术博客点名一个 workload，也可能只是市场部挑了当时最好讲的那个例子**。真正能坐实「为世界模型而设计」的证据，是芯片的具体取舍（片上 SRAM 容量、ICI 拓扑、精度支持）与该 workload 的需求逐项对得上，而这类对照本材料只做到了规格罗列的程度。规格细节见 第 7 章 · 基础设施。

  十一、五条可证伪的判断

  本章的所有观点都应该能被后续的公开信息证伪。以下五条给出明确的证伪条件与截止日期。每条都写了「当前值」和快照日期——这是为了让读者能自己重算，也是为了让下一版能看出哪一条已经被时间推翻。

  上一版的第 1 条写的是「**RLVR 覆盖不到的领域，增长会继续慢一个档**」，证伪条件之一是「**ARC-AGI-3 的前沿 RHAE 超过 40%**」，并注明「当前值 7.78%」。**把快照更新到冻结日（2026-07-24，Claude Opus 5，30.16%）之后，这个阈值在设定后数日内就已经逼近触发。**
  
  这说明两件事，都得写出来：**①** 那条判断此前**过度锚定在一个陈旧快照上**——7.78% 是 2026-07-09 的值，写进材料时已经不是当前值；**②** 更根本的问题是**用单一 benchmark 的当前值去设阈值本身就是脆的**：一个交互式 benchmark 在发布后四个月内的分数曲线极陡，任何按当时前沿定的阈值都可能在下一次结果页更新时被越过。**因此下面第 1 条被整体重写**：命题换成 X05 的窄版，阈值改为跨多个 benchmark、且瞄准「绝对水位」而不是「某一个数」。

1. **验证器强度预测的是可达到的绝对水位，不是涨速。**这是两个可分别证伪的子命题。

• **（1a）水位命题：**在没有廉价可靠验证器的任务上，前沿的绝对水位会继续显著低于人类可达水位。证伪条件（★本轮改成不依赖任何未实测的人类分母）：如果在 2027-07-25 之前，Vending-Bench 2 前沿净资产绝对值超过 $31,500**，**且**研究级物理 CritPt 上最好的基础模型超过 **50$10,936.76（Claude Opus 4.7，5 次运行均值）与 4%–10%。 **★为什么不写成「人类基线的 50%」：**Vending-Bench 2 流传的「人类 $63,000」**不是实测对照组**，而是$206/天 × 302 天的「假设一个好策略能做到」的纸面推算^[1]。把一个纸面推算当分母会让证伪条件看上去可核、实际不可核，所以这里只留绝对值门槛（$31,500 恰好也是该推算的一半，数值不变，但它现在是一个作者显式选定的门槛，不冒充人类水平）。与 11 章的处置一致：该 benchmark 没有实测人类对照组。

• **（1b）涨速命题：**验证器强度对涨速没有区分力。证伪条件：如果有独立机构在固定 benchmark revision、固定 harness、固定 effort 档位的前提下，对不少于 15 个 benchmark 做出「验证器强度与单位时间涨幅显著相关」的统计检验并给出置信区间，则本子命题被证伪。当前：本章十个异质端点里，按月涨幅最快的两个是 GDPval 原版（验证器最弱，8.8 pp/月）与 ARC-AGI-3（验证器中位偏强，7.4 pp/月），最慢的三个里两个是验证器最强的（AIME、IMO）——强弱两端完全交错。

• Gemini 在 GDPval-AA 这类「真实专业工作」评测上的落后不是模型代际问题，是训练目标问题。证伪条件：如果尚未公开发布的 Gemini 3.5 Pro（截至 2026-07-25 仍在 partner testing）或仅披露已开始预训练的 Gemini 4 将来发布，并在同一 v2 锚定下把与榜首的差距缩到 100 Elo 以内，本判断被证伪。当前差距约 310–440 Elo（快照 2026-07-25；动态榜带 ±18 量级区间）。

• **1M 名义窗口下的多针召回不会靠工程微调解决。**证伪条件：如果某代 Gemini 在 MRCR v2、明确标注八针、1M pointwise 上超过 70%（不开代码执行），本判断被证伪。**当前值（快照 2026-07-25）：Pro 线 26.3%（3 Pro 与 3.1 Pro 同值，同一张卡、同为 8 针 pointwise）；Flash 线 3.6 Flash 报 54.0%，但 Flash 模型卡未标注针数，严格说不满足证伪条件的口径。**这一条是本章最容易被推翻的一条：只要 Google 在下一张 Pro 模型卡上标明八针并给出一个 70%+ 的数，它就倒了。

• 在当前成本结构与 Ultra / select access 分发方式下，Deep Think 级别的算力档位短期内不太可能成为默认。证伪条件：如果在 2027-07-25 之前，Google 把 Deep Think 级别的算力档位设为 Gemini app 或 API 的默认值（而非 Ultra 订阅、select access，也不是「按需自动升档」——后者是另一件事，不算证伪），本判断被证伪。**当前定价参照：ARC-AGI-2 上 3.1 Deep Think 为 $13.62/题（ARC Prize 公布，2026-02）；注意这是抗采样长推理题上的单价，不能外推为全部请求的平均成本，这条判断真正依赖的是 D-2「成本线性、收益对数」的结构。**上一版写的是「Deep Think 永远不会成为默认模式」——「永远」不可证伪，已改。

• **世界模型在 2027 年之前不会成为机器人训练的主力数据源。**证伪条件：如果 DeepMind 公布一个「主要在 Genie 生成环境中训练、在真实机器人上零样本或少样本达到可用水平」的系统，并给出量化的 sim-to-real 迁移数据，本判断被证伪。当前 Genie 3 官方自陈只能撑几分钟，而训练 agent 需要数小时。

  十二、单点数据脆弱性登记表

  本章有若干结论建立在单点或易漂移的数据上。脆弱不等于错误——但脆弱的结论必须知道自己脆在哪， 否则下次数据更新时没人知道该回头改哪里。本章已经因为没做这件事而翻过一次车： ARC-AGI-3 的 7.78% 是冻结前两周的快照，更新到 30.16% 之后，那个数据点从反例变成了支持证据， 本章的论证结构被迫重建（见第五节）。这张表就是为了不再重复那次教训。

| | # | 本章哪条结论 | 建立在什么数据上 | 脆在哪 | 什么变化会让它需要重估

| | V1 | 1M 名义窗口 ≠ 1M 有效推理窗口 | 3.1 Pro 模型卡 1M pointwise 26.3%，减去约 15% 的八针条件噪声地板 → 真实信号约 11pp | 单一厂商、单一评测、单一时点；噪声地板 15% 是按「八个相关答案里随机选」估的条件值，没有官方给出的标准误 | 下一张 Pro 模型卡在明确标注八针的 1M pointwise 上给出 70%+；或 Google 公布该任务的噪声地板官方估计

| | V2 | Pro 线在 1M 档「最近两代未动」 | 2.5 Pro 16.4 → 3 Pro 26.3 → 3.1 Pro 26.3 | 只有三个点，且第三个点与第二个点相同；上一版据此写成「三代零进步」已被证明是计数错误 | 出现第四个 Pro 线数据点（3.5 Pro 或 Gemini 4 的模型卡）

| | V3 | 验证器强度对涨速没有区分力 | 散点图九个可比点的两端相减 | 窗口长度 3–16 个月不等、模型/harness/effort 各不相同；只能反证、不能回归。ARC-AGI-3 那一点已经翻过一次面 | 任一点的终点快照被更新（这在四个月内已发生一次）；或出现固定 revision/harness/effort 的多 benchmark 统计检验

| | V4 | Gemini 在 GDPval-AA 上落后榜首约 440 Elo | 1421（Google 07-21 模型卡）/ 1423±18（AA 07-25 动态榜）vs 榜首 1861 | ★AA 是动态榜，1861 不是固定终点线；且两个 Gemini 数来自不同来源与快照 | 任何一次 AA 重跑或新模型上榜——检验时必须重测当时的榜首，不能拿 1861 当固定基准

| | V5 | Terminal-Bench 2.0 同模型双数（64.7% / 77.3%）是「换 harness 就换答案」的实例 | Google 模型卡 vs 第三方汇总各一个数 | 两个来源各只有一个数；第三方那个的 scaffold 身份未被基线直接支持 | 出现第三个独立复现，或任一方公布完整 harness 配置

| | V6 | Deep Think 短期内不会成为默认档 | ARC-AGI-2 上 $13.62/题（ARC Prize，2026-02） | 单一 benchmark 的单价，且是抗采样长推理题，不能外推为平均请求成本 | 该单价下降一个数量级；或 Google 公布 Deep Think 档的实际服务成本结构

    表 8.14 · 最后一列的措辞是「**什么变化会让它需要重估**」，不是「它可能是错的」——这两者在认识论上不同。





  逐条审计第十一节五条判断的证伪阈值**有没有锚定在会漂移的快照上**：

• 判断 1（水位命题）：阈值锚在 Vending-Bench 2 与 CritPt 的绝对水位上。相对安全——绝对水位是单调累积量，不会因为换榜首而变。

• 判断 2（GDPval-AA 差距缩到 100 Elo 以内）：★锚定在会漂移的快照上。440 Elo 这个差值里的 1861 是 AA 动态榜在 2026-07-25 的榜首值。正确检验方式：重测检验当日的榜首，再算差值；不得把 1861 当固定终点线。这与 ARC-AGI-3 的 7.78% 是同一种失效模式。

• 判断 3（1M 多针召回 70%）：阈值本身是固定的绝对值，但口径可漂移——它要求「明确标注八针 + 1M pointwise + 不开代码执行」，三个限定缺一个就不构成证伪。已在判断里写死这三条。

• 判断 4（Deep Think 默认档）：锚在事件上（是否被设为默认值），不漂移；但已排除「按需自动升档」这种边界情形，避免事后解释。

• 判断 5（世界模型成为机器人主力数据源）：锚在事件上，不漂移；但它缺一个可测定义——「主力数据源」没有给出比例阈值，这是本章已知的欠账。

  **结论：五条里两条完全安全（4、5）、一条口径已写死（3）、一条相对安全（1）、
    一条必须按动态榜重测（2）。**已知同型失效两例都在本章：ARC-AGI-3 的 7.78%（已翻面）与 GDPval-AA 的 440 Elo（待重测）。
  
  
  
  
  本章覆盖的是 2024Q4–2026Q3 这段主线。前史（2016 AlphaGo、2019 MuZero、2022 CoT、2023 ToT）已在文中标明为背景；2021Q1–2024Q3 的 agent 与世界模型线索并入 总览与前几章。
  
  
  
  
  来源
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
        跨领域对照（2025-07-14）——“Visual computer use (OSWorld, WebArena) time horizons are 40-100x shorter than the software and reasoning cluster but are increasing at similar rates”；“In no domain we examined is progress clearly sub-exponential.”
        reward hack 筛查环节见 time-horizons 方法说明页：“We flag runs for potential reward hacks both automatically (with LLMs and keyword search) and manually.”
  
      本页用它说明评测方自己已经在防御分数被刷，因此不能把「防御存在」当成「分数无偏」。
      TH1.1 公告 · 跨领域对照 · 方法与榜单 · 原论文 arXiv:2503.14499 B（评测机构自述其方法；上列引语均已逐字回溯，原先的 C 级「未回溯」标注已撤销）
  
  
  
  
  
  
  
    ← 总览
    上一章：基础设施
    下一章：AI for Science
  
  
  
    Gemini 认知体系全景 · 材料时间边界 2021.01 – 2026.07 · 事实冻结于 2026-07-25
  
  
  
    本章中，正文为有出处的事实陈述；**紫色「本质洞察」**与**橙色「批判 / 局限」**为作者判断。
    引语标「转述」者非原话，标「译文」者以英文原文为准。数字凡官方未披露的均标注为外部估算。