九场 invited talk 精读

A·1 九场 talk 逐场精读

PART A · 1逐场精读（含 slides 精华 + 无 slides 者的重构）

每场给出：讲者身份 → slides/重构来源 → 内容精华（分点）→ 我的洞见 → 🧭 评析。8 场 invited 全覆盖 + 闭幕；开场（Kataoka）作为框定性内容已放在 A·0，3 场无 slides 者标注了重构方法。 ⚠️ 本节不按日程顺序本节按”论点对 VGI 核心命题（视觉通向 AGI 该往何处去）的根本性”排序，而非会议时间顺序；真实时间顺序见 A·0 完整日程表。

排序理由：① Efros 提出最根本的框架性质问（surface vs deep data），且是全篇多处引用的判据，故置首；② Geirhos 内部张力最强——他既主张”视频模型是路”，又是 Physics-IQ（证明视频模型不懂物理）的作者之一；③ Grauman（非语言信号/具身数据）与 ④ Kendall（产业落地与反事实重仿真）、⑤ Deitke（真机交互缺口）构成”deep data 该怎么拿”的三级递进；⑥ Asano 与 LIMIT 主线咬合最紧；⑦ Vedaldi 的几何断言是可验证奖励的雏形（接 PART H 轴 2/9）；⑧ Raghunathan 偏语言侧的创造力，与视觉主线关联最间接，故置末。推断：排序为我的判断，非官方或学术定论。

1 · Alexei Efros：表层数据 vs 深层数据——自下而上学智能

  Alexei A. Efros 同名 talk 录像转录（Simons 6-11）UC Berkeley（BAIR）· [@web-people-eecs-berkeley-edu]
  Surface Data vs. Deep Data: learning intelligence from the bottom up


  材料来源（须严格区分）该 talk 在 VGI 官网无 slides、也无本会录像。本段所据材料是 Efros 同名 talk 在 Simons Institute 的录像（[@yt-vk6lgHjjGp8]）——已核实该场为 Simons Institute "Topics in Intelligence: World Models and Social Reasoning" workshop，2026-06-11，Calvin Lab Auditorium；而 VGI 是 2026-06-03，Denver，Colorado Convention Center Room 703，两者不是同一场会【有据】。我用 yt-dlp 抓其英文自动字幕（ASR）清洗成约 7500 词转录，据此重写本段（概括/解读，非逐字照抄）。推断：同题同讲者，内容应与 VGI 该时段高度重合，但不能等同于 VGI 现场——现场是否有增删无从核实。
  
    

• 先向 Sutton “Bitter Lesson” 开炮（两问）。其一”真的苦吗？“——生物学从 Linnaeus 编目到 Darwin 的极简元模型、物理学从”牛顿前的零散尝试”到牛顿，都是把复杂化简，那是科学的目标、并不苦。其二”这是对的教训吗？“——真正”哥白尼式”的谦卑其实是关于人类：我们 99% 的时间只是”最近邻机器 / 随机鹦鹉 / 行走的陈词滥调”，只偶尔才真正外推；这是人文学科要消化的，不是 AI 的教训。他还点出 Sutton 全文提 computation 21 次、data 仅 1 次且语带轻蔑——重心放错了。

• 反对”数据-算力可互换 / 从头模拟世界”。有人认为给足 GPU 就能”无输入地”从时间开端模拟出世界、以算力换数据。Efros 反驳：要模拟的是我们这个特定世界，而”小行星是否撞地球灭绝恐龙”之类的一长串掷硬币结果是不可约的熵，是本世界区别于其他一切可能世界的”签名”，无法从第一性原理推出，只能把这串数据注入模型。故数据为主、算力为辅（算力只是”用来触碰你已收集的每一份数据”）。

• 数据仍在赢，即便看起来像魔法。对文生图做数据归因（在 LAION-5B 上用”加一法 + 学习距离的最近邻”找出对某合成图最有”影响力”的真实图），惊讶发现是一批画作——生成”新图”其实更像把训练图的碎片拼起来。他力荐一篇理论论文：（卷积）扩散模型 ≈ patch 级纹理合成，其最近邻基线与真实扩散几乎重合（标题里就带 “creativity”）；又引 Isola 组”pre-training is all you need”：在大预训练模型的权重空间随机游走就能找到对编程/数学更强的邻近模型——post-training 更像”告诉模型它此刻在哪”（如宿醉后靠第一道题认出考的是哪门），没有新数据，一切早在 common crawl 里。

• “高维空间里的插值，足以与魔法难以区分。“（仿 Arthur C. Clarke）当前 AI 更像 Alison Gopnik 说的”文化技术”（百科全书/印刷术），而非智能体；生成模型 = 把”数据 + 调用方式”焊进一个模型（硬盘+代码合一），擅长插值已有，而非创造新物。

• 真 AI 的两味料。(a) 聚焦数据而非算法，但只靠 scraping 得到的仍是插值/模仿/拼贴——当前范式本质是把两千年人类知识蒸馏进模型，而蒸馏模型泛化与持续学习都更弱，长不出”下一个博尔赫斯或巴赫”；(b) 需要一个涌现的目标 / 内在动机 / 好奇心——他引朋友的话：“AI 不是计算机能写诗，而是它想写诗。”

• 核心区分：Surface Data vs Deep Data。表层数据 = 可被动 scrape 的（书页上的字、物体表面反射的光子、耳朵收到的音频）：便宜、可并行、样本高度相似冗余，本质是”读书/看电视”的被动获取（他还搬出苏格拉底反对书本”制造知识的假象”）。深层数据 = 必须主动去”挖”的：这把刀多重？杯里是茶还是蜜（看粘度）？这台 Mac 往哪掀开？——除了伸手交互别无他法。它昂贵、串行不可并行、样本价值方差极大（要像猎人一样搜寻好样本），且越挖越值钱。婴儿是顶级 deep-data miner（把东西塞进嘴——所以我们才能”想象”物体的味道）；灵感来自 Gopnik 的”摇篮里的科学家”。

• 为什么现在的机器人学不动。Moravec 悖论：象棋 30 年前就解决，却没有机器人能像人一样把棋子搬来搬去。VC 判据：“有海量数据就成”——文本✓、图像在追、机器人几乎为零，且是错的数据（teleop 无规模且被动、无负样本；仿真缺真实感；看视频是 surface 且缺具身，模仿远远不够——“看电视学不会跳 salsa”）。关键洞见：语言很”宽容”（最坏像 James Joyce），算术不那么宽容（需 RL），但物理世界会真的”反推”——你没法在物理上”耍后现代”，而当前仿真给不出真实反推，于是又绕回”需要注入 deep data”这个同一难题。

• Deep-data 飞轮 + 好奇心。数据→能力→采到更好的数据→…形成从易到难的自然课程。他 2017 年与 Deepak Pathak 的工作：无奖励、纯好奇心（好奇心=在一个用 inverse model 学到的特征空间里的预测误差，本质是”世界模型”雏形）学会玩 Mario——仿真里能持续通关，但真实机器人上”太难，从未成功”。口号：“别问数据能为你的机器人做什么，问你的机器人能为数据做什么。”

  本质Efros 给 VGI 提供了最尖锐的哲学底座与护栏：当前范式（含合成数据、视频生成、LLM）大多在"表层数据"上做插值/蒸馏，天花板是"人类已产出的东西"（"高维插值≈魔法，但魔法在数据里"）。要真正外推、走向 AGI，得靠主动交互挖到的深层数据 + 会演化的内在目标（好奇心）——而这恰恰是现在最缺、机器人上最难的部分。他在 Q&A 里补了两刀：表层数据能靠相关性走很远（"多半是茶不是蜜"），但那正是苏格拉底说的"知识的假象"；RL 只算"半程"——它确实在挖 deep data（故在 Go/编程等小而清晰的环境成功），但经典 RL 用固定目标，而真正需要的是会演化的目标（他怀念 GAN 那种"目标本身在进化"的味道）。
  与田永龙的对话拿到一手转录后，这场对田永龙的意义更清楚了：它既不是简单反对合成数据，也不是站台，而是给整条"生成/合成"路线划了一条信息论上的天花板——合成数据、扩散生成本质都是对"表层数据"的高维插值（Efros 甚至用"扩散≈纹理合成"来量化这点），因此能高效复制+放大人类已有能力，却无法凭空产生尾部/新颖模式。田永龙其实已内化了这条护栏：Scaling Laws of Synthetic Images 标题写 "…for now"、Self-Consuming Loops 证明"只吃自产数据会崩溃"。两人合起来给出一个更完整的判断：VGI 想靠"生成+自监督+合成"自立走向 AGI，但要突破插值上限，终究得接入 Efros 的"深层数据"——主动交互、具身、会反推的真实经验流。这也正是 Grauman（多模态传感）、Kendall（真车队真物理）同场出现的深层理由。
  🧭 评析 Efros：全篇被引 8 次的"判据"，也该被质疑
    

本文多处把 Efros 的 surface/deep 二分当作护栏与判据。为避免”不可质疑的权威”，这里给三条反驳线。

• (a) surface/deep 不是信息论上的干净切分。他把”可 scrape 的被动数据”一律划为 surface，但被动数据里同样含干预信息：自然实验、他人的试错记录、代码执行日志、失败报告、A/B 实验结果——这些都是”别人替你做的干预”。更准确的表述不是”主动 vs 被动”，而是”是否包含在线、on-policy、带反事实对照的信息”。按这个更严的标准，他的论点更站得住，但也就不再等同于”必须亲自动手”。

• (b) “表层数据只能插值”外推过头。他援引 Kamb–Ganguli 作机理证据，但该理论成立的条件是卷积、小规模、MNIST/CIFAR/CelebA；论文自报：一旦加上 self-attention，其 ELS 机器只能解释到 (r^2\approx0.77)（本文 上文已诚实写出）。把它当作 SD3/FLUX 级 transformer 扩散乃至大模型的普适插值上界，是把一个受限机理外推成了普遍定律。

• (c) RL / 自博弈是反例的一半。AlphaZero、以及近年 RLVR，在不引入新外部数据的条件下产出了训练分布外的强解。为什么可能？因为验证器 / 环境规则本身就是一条新的信息通道——它能对任意新样本给出”对/错”，等价于一个可无限查询的 oracle。这对 Efros”RL 只算半程”是一个限定而非附和：只要存在廉价可验证的判据，“不新增数据”也能产生新能力；他的论断在缺乏可验证判据的开放域（视觉、具身操作）才最有力。

结论：Efros 的框架作为方向性警告极有价值，但它是哲学论证 + 受限机理证据的组合，而非已证定律。本文引用它时应按此折扣——这也是我在 数据引擎 vs 插值上界里把”信息上界（DPI）“与”坍缩动力学”分开讲的原因。推断

📎 延伸阅读：Efros 在台上点名的两篇论文（已精读原文）

转录里 Efros 明确点了两篇论文来支撑”数据/预训练是主角、算法只是查表/插值”。我按口头简称检索定位到确切论文并读了原文——其中第 2 篇并非用户猜测的 PITI，详见下方判断依据。

① “扩散≈纹理合成”：An Analytic Theory of Creativity in Convolutional Diffusion Models

Mason Kamb, Surya Ganguli（Stanford）· ICML 2025 · ^[1]。推断/澄清：Efros 口述里的 “Sura” 即Surya Ganguli；这就是他说”扩散本质是 patch 级纹理合成”所引的那篇（论文正文明确把结论上溯到 Efros & Leung 1999 的非参数纹理合成——所以 Efros 特别偏爱它）。

• 核心问题：理想 score 只会记忆。若网络学到了完美的 score 函数，扩散的反向过程就精确逆转前向加噪，只能把高斯噪声变回训练集里的原图（经验分布是一堆 δ 函数）。可现实里扩散明显有”创造力”（生成远离训练集的新图）——这份创造力，恰恰来自它”没学到”理想 score。那它是怎样”聪明地失败”的？

• 关键机制：卷积网络的两个归纳偏置——局部性（locality，有限感受野）+ 平移等变性（equivariance，权重共享）——阻止模型学到理想 score，并解析地推导出 Local Score / Equivariant Local Score（LS/ELS）机器：无需训练，就能逐张预测真实 CNN 扩散（ResNet/UNet）的输出，中位 (r^2!\approx!0.90\text{–}0.96)（MNIST/FashionMNIST/CIFAR10/CelebA）。

• “局部一致的 patch 拼贴”：每个像素/局部窗口独立地朝训练集中最近的局部 patch 流动，而不同像素可选不同训练图的 patch——于是靠”到处取小块拼起来”组合出指数级多的新图。用一句话概括其生成本质：[ \phi_0(x);\approx;\varphi^\star(0),\qquad \varphi^\star=\operatorname*{arg,min}{\varphi,\in,\mathrm{patches}(\mathcal{D})}\big|,\phi{\Omega_x}-\varphi,\big|_2 ]即”每个位置做一次训练 patch 的最近邻”——正是 Efros–Leung 1999 纹理合成的思想。推断：此式为核心机制的简化写法，原文用的是贝叶斯”猜 patch 来源”的置信-力正反馈推导。

• 注意力的作用：带 self-attention 的 UNet 只能被部分预测（(r^2!\sim!0.77)）；注意力像是”从局部 patch 拼贴里抠出语义连贯的物体”——即 attention 负责全局语义，locality 负责生成”素材”。

② “pretraining is all you need”：Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights

Yulu Gan, Phillip Isola（MIT）· 2026 · ^[2] · ^[3]。 判断依据（重要澄清）用户猜测这是 PITI（“Pretraining is All You Need for Image-to-Image Translation”，Wang et al. 2022，arXiv:2205.12952）。但对照转录——Efros 说的是”Phil（=Phillip Isola）的工作、在大预训练模型的权重空间随机游走就能找到编程/数学更强的邻近模型、不用 RL/微调靠随机搜索做 post-training”，还把简称口误成”neural fickets”。这精确对应 Neural Thickets（Gan & Isola），并非 PITI（PITI 是”用预训练扩散做图到图翻译”，作者是 Tengfei Wang 等 HKUST/MSRA，与权重空间无关）。“pretraining is all you need” 只是 Efros 顺口的说法，恰与 PITI 标题撞名。已据转录内容 + 两篇原文核定。

• 核心问题/重构视角：把”预训练的产物”从一个点重新理解为一个参数分布，其支撑集里已经包含各种任务专家。

• 关键发现——“针尖” vs “灌木丛（thicket）“：小模型里好解只占权重邻域极小体积（needle in a haystack，必须靠梯度下降这类结构化搜索才找得到）；大而充分预训练的模型，其权重邻域密布着任务专家（thicket），随机高斯扰动就能撞上。用”解密度”刻画：[ \delta(m)=\Pr_{\epsilon\sim\mathcal{N}(0,\sigma^2 I)}\big[,s(\theta+\epsilon)\ge s(\theta)+m,\big],\qquad \delta(m)\ \text{随预训练规模单调上升} ]

• 方法 RandOpt（无梯度、全并行）：从预训练权重 (\theta) 采 (N) 个随机扰动 (\theta+\epsilon_i)，在小训练集上选 top-(K)，推理时对 (K) 个专家多数投票集成。即”随机猜 + 集成”，不做 RL/迭代微调，却能在 GSM8K/MATH500/代码等任务上媲美 PPO/GRPO/ES。

• 主要结论：能力其实已在预训练权重里，post-training 更像”在灌木丛里问对一个随机邻居”——重活都发生在预训练。正好对上 Efros 台上的比喻：“post-training 只是告诉模型它此刻在哪（宿醉后靠第一题认出考的是哪门）”。

  两篇如何支撑 Efros，又如何接到田永龙 ①（扩散=patch 拼贴）把 Efros “surface data 只够插值、不够外推”给了机理级证明：卷积扩散的”创造”本质是训练 patch 的最近邻重组，新颖只在局部、全局仍受训练素材约束。②（Neural Thickets）把 Efros “数据早已见过、post-training 只是定位”给了权重空间的证据：能力藏在预训练里，适配几乎零成本。

  接到田永龙主线：① 直接给”合成数据能否创造真正新信息”划了理论上界——若生成本质是训练 patch 的拼贴，则合成数据的信息量不可能超过生成器的训练分布，这正是田永龙 Scaling Laws…for Now 与 Self-Consuming Loops 会崩溃 的机理注脚，也强化了他”超越 FID、用表征度量生成”的主张（FID 抓不到”是否只是 patch 重组”）；② 与他”a good embedding is all you need、表征质量优先”同构——能力/知识沉淀在表征与权重里，下游只是低成本读取。推断：两篇都在为”生成即高维插值”这一立场加码，恰是 VGI 那条”合成/生成”路线最该正视的护栏。

  ❓深问：合成数据既是”插值”、不创造新信息，为何还能当”数据引擎”？

核心命题：两者不矛盾——“数据引擎”≠“信息来源”。关键是把两件事分开：香农信息量（上界） vs 对下游学习器”可用/被组织好”的信息。合成数据能提升后者，但改变不了前者。

\[ I(\text{world};\,\mathcal{D}_{\text{syn}})\;\le\; I(\text{world};\,\mathcal{D}_{\text{gen}}). \]

即合成数据关于真实世界的信息量，不可能超过生成器的训练集。Kamb–Ganguli”扩散≈patch 拼贴、是插值”、Efros”高维插值≈魔法但魔法在数据里”正对应这个上界——摇不出支撑集（support）之外的新”原子”。【有据：DPI 是信息论定理；扩散=patch 重组见 ^[1]】→ “凭空创造世界新知识”，合成数据做不到。

② 引擎价值 = 搬运 + 重组 + 提纯，而非创造。Stable Diffusion 本身训练在 LAION-2B-en（约 20 亿真实图文对）上（本文全篇统一采用此口径）；StableRep/SynCLR 用它造数据，本质是把已沉淀在生成器参数里的真实信息重新解码 / 提纯 / 再投喂，更接近知识蒸馏 / 数据放大。→ StableRep”2000 万合成 > 5000 万真实 CLIP”的正确读法是”2000 万（从 20 亿里提纯） > 5000 万（未提纯）“，而非”合成凭空赢真实”。推断：把 ① 的上界与”提纯>原始”联立成这套统一叙事，是我的综合。

③ 真正解决的瓶颈 = 结构 / 覆盖 / 配比 / 监督信号（都不需要新信息）。在上界之内，合成能把信息重排成更好学的形态：可控配对监督（同 prompt 多图 → 多正样本对比，SupCon 收益）、可控分布（平衡长尾、去偏、condition）、组合式覆盖（latent 插值补真实集缺席的组合，如”宇航员骑马”）。→ 降低数据的表层性（surface-ness）、提升可学习性与样本效率，但仍锁在生成器支撑集内。

④ 恰好解释田永龙两处”刹车”——但要把两个机制严格拆开。这是本文公式解说里最容易含混的一处，特此分列：

• (i) 信息上界（DPI）——解释”天花板在哪”。DPI 只保证 (I(\text{world};\mathcal D_{\text{syn}})) 不增。注意：它推不出方差收缩——信息不增而方差扩大完全可能（例如生成器加大采样温度，样本更散、信息却更少）。所以 DPI 能说明”为什么合成数据造不出世界新知识”，不能说明”为什么会坍缩”。

• (ii) 坍缩动力学——解释”为什么会掉下来”。model collapse 的真正机理是与 DPI 独立的第二个机制：每一代都用有限样本重新估计分布 → 低概率尾部先被采丢（尾部截断） → 下一代拟合到一个更窄的分布 → 误差逐代放大，方差单调收缩直至退化（Shumailov 等的分析）。它是有限样本估计误差 + 尾部截断的复利效应，即便信息量守恒也会发生。

合起来：(i) 说明上限，(ii) 说明为何还会跌破下限。对应田永龙的两处刹车——“Scaling Laws of Synthetic Images …for Now”（撞天花板）与 Self-Consuming Loops 崩溃（掉下来，且需 self-correcting 才止跌）。【有据：for Now 见 ^[4]；自消耗崩溃见 ^[5]；DPI 为信息论定理】推断：把二者明确分层是我的整理——不少流行论述把它们混为一谈，误以为”DPI 直接蕴含坍缩”。

⑤ 一句话收束：“生成即插值 / 不创造世界新信息”（讲信息上界）与”生成模型是可扩展数据引擎”（讲上界之内把信息重组成更好学的形态）是一枚硬币两面；引擎替代不了 Efros 的”deep data”——真正的新信息只能靠与世界的新交互获得。（本命题在 PART D·bet① 有呼应入口）

2 · Robert Geirhos：生成式视频模型，是解决视觉智能的路吗？

  Robert Geirhos Slides✅Google DeepMind · [@web-robertgeirhos-com]
  Are generative video models the path towards solving visual intelligence?


  

基于论文 “Video models are zero-shot learners and reasoners”（项目页 ^[6]），以 Veo 2 / Veo 3 为主角。

• 核心类比：当前是”分工”——LLM 管语言、视频模型只管”生成好看的视频”。未来应是视频模型 = 通用视觉理解引擎，正如 LLM 成了通用语言理解引擎；两者靠 interaction 相连，共同指向 AGI。

• 方法：完全不微调、不加 head，只用文本 prompt 让”冻结的”Veo 3 完成任务，量化其涌现的 zero-shot 能力。

• 能力横跨视觉栈：① 感知（超分、暗光增强、关键点定位、Dalmatian 错觉、形状 vs 纹理、边缘检测、实例分割）；② 建模（材质光学、浮力、记忆、部件解析——直觉物理）；③ 操作（图像编辑、重摆姿势、新视角合成、灵巧操作）；④ 推理（机器人导航、图遍历、工具使用、规则外推、视觉类比 KIVA、对称、走迷宫）。

• 关键概念——Chain-of-Frames（CoF）：视频模型逐帧生成中间步骤，等价于 LLM 的 chain-of-thought，只不过”思维链”发生在时空像素上而非符号上。

• eval 解剖：区分 ability（能否做到）与 reliability（多次尝试成功率），Veo 3 相对 Veo 2 在 ~6 个月内显著进步。

• 失败案例诚实展示：不合理物体交互、深度/法向图这类”复杂密集预测”、拼图类。

• 结论：视频模型正处于”LLM 革命早期”的位置；一旦足够便宜可靠，将像 LLM 取代 task-specific NLP 那样，取代大多数专用 CV 模型——“prompt 即解题”。

  我的洞见这场是 VGI"生成即理解"押注最强的代言。它与田永龙"生成与理解终将统一且互为增益"的 bet 完全同频，但也暴露软肋：把感知/分割/深度当"prompt 视频模型"来做，成本与可靠性是硬约束（Geirhos 自己反复说 "once they become cheap and reliable"），而密集几何预测恰恰是失败区——这正是 Vedaldi 那场"专门的 3D transformer"要补的位。两场放一起看，就是 VGI 内部"通才生成模型 vs 专用几何模型"的张力。
  🧭 评析：视频模型真是"视觉基座"吗？——证据强度与三处松动
    
      

• 证据多为定性、且靠重度 prompt 工程：几乎每个 demo 都堆”static camera, no pan, no zoom, no dolly”来压住视频模型的”手抖”，并以 ability（best-of-N 能否做到）而非 reliability（一次成功率）来展示——pass@k 会系统性夸大”涌现”。他自己也诚实地把失败案例（深度/法向密集预测、拼图、复杂物体交互）单列。【有据：slides 明确区分 ability/reliability 并展示 FAIL 章节】

• “zero-shot”可能掺了数据泄漏：Veo3 训练语料含海量教程/编辑/转场视频，“边缘检测/实例分割/超分”等能力也许是见过相近视觉风格的检索式复现，而非真正的涌现推理。缺”训练分布归因”实验就下”通用视觉理解”结论，偏强。【推断】

• 成本护栏被一句 “once cheap and reliable” 轻轻带过：Veo3 单次推理成本比专用分割/深度模型高数个量级，而密集几何恰是其失败区——与 Vedaldi”专用 3D transformer + 明确几何监督”构成正面张力；也印证 Efros：“CoF 的’推理’仍是训练分布内的时空插值”（走迷宫/滑块类需真实搜索的任务不稳定）。

• Frontier 对照：这与”视频模型即世界模型”之争（Genie-3、GAIA、本会 DeltaWorld）同频，但”生成漂亮视频 ≠ 内部有可用世界模型”；IntPhys/VideoPhy/Physics-IQ 等基准显示直觉物理仍系统性不过关。结论适用范围：作为”视觉版 GPT-2→3 早期”的趋势判断成立；作为”已可替代专用 CV 模型”的现状判断，证据尚不足。

3 · Kristen Grauman：超越文字——捕捉视频中人类活动的”物理本性”（无 slides · 重构）

  Kristen Grauman 无 slides · 已重构University of Texas, Austin / Meta · [@web-www-cs-utexas-edu]
  Beyond Words: Capturing the Physical Nature of Human Activity in Video


  重构方法该 talk 无 slides。我据其代表数据集/论文（Ego4D、Ego-Exo4D）、项目主页 [@web-ego-exo4d-data-org]、CVPR 2024 oral 论文，以及本 workshop 内与她相关的 poster "Seeing without Pixels"（她是作者之一）重构技术脉络。标题"Beyond Words"的题旨可高置信推断。
  
    

• 题旨（高置信）：人类活动中真正体现”技能/物理执行”的细节——手的角度、发力、时机、身体姿态——大多无法被语言 narration 表达。若视觉智能只对齐到文字，就会丢掉这层”beyond words”的物理本性。这与 VGI”减少对语言中心监督的依赖”的主题严丝合缝。

• Ego-Exo4D（CVPR 2024 oral；官方口径：740 位参与者、13 城、123 个场景、5,035 个 take、1,286.3 小时；早期宣传曾作 “800+ 参与者 / 1,422 小时”，以论文/官网为准）：同步的第一人称（ego）+ 第三人称（exo）视频，覆盖足球/篮球/舞蹈/攀岩/音乐/烹饪/修车/医护等技能活动。多模态：多通道音频、眼动、3D 点云、相机位姿、IMU、多种语言标注（尤其专家点评 expert commentary，由教练/老师给出非专家看不见的执行细节）。

• ego/exo 互补：ego 抓近距离手-物交互与注意力，exo 抓全身姿态与环境上下文——“how-to”教学视频天然在两者间切换。基准含细粒度活动理解、熟练度评估（proficiency）、跨视角翻译、3D 手/身姿态。

• 本会关联 poster：Seeing without Pixels（arXiv:2511.21681）——只用相机轨迹（不看像素）就能推断视频内容：“你怎么动”泄露了”你在做/看什么”，用对比学习把相机位姿轨迹对齐到语言。这正是”物理运动本身即信号”的极端例证。

  我的洞见Grauman 代表 VGI 里"身体/具身/多模态传感"这一极：她不押生成，而押"更丰富的非语言信号"。这与田永龙"用最经济的信号学表征"是同一硬币两面——他问"信号能多经济"，她问"信号能多丰富、多超越文字"。二者都拒绝"语言标注是视觉的天花板"。
  🧭 评析："beyond words"更具体是什么？瓶颈、用法与上界
    
      

• 把空泛表述落到实处——“更丰富的非语言信号”到底指什么、解决什么瓶颈？① 信号：手-物接触点、发力/时机、身体姿态、注视点（gaze）、IMU 惯性——这些是 narration/caption 系统性缺失的 skill 细节；② 怎么用：ego/exo 跨视角翻译、proficiency（熟练度）估计、细粒度动作解析、多模态对齐；③ 对应瓶颈：VLM 只学”能被文字描述的部分”，学不到”如何做好一件事”的执行知识。

• 批判：核心主张目前更像”数据集设计信念”而非因果证据。“语言是天花板”要证伪需要一个对照——同规模纯语言监督 vs 多模态非语言监督在 skill 任务上的因果差；而且 Ego-Exo4D 引以为傲的专家点评本身还是语言，说明它并未摆脱语言，而是”用更专业的语言 + 多模态信号”。

• 规模与成本的硬伤：1,286 小时相对视频 SSL 的 web 级仍小，采集昂贵、场景受限（特定 skilled activities），proficiency 标注主观且有跨文化偏差——正是 Efros 说的”深层数据贵、串行、难 scale”。

• 上界/失败模式：Ego-Exo 本质是观察式（passive）数据、无干预/负样本，按 Efros 框架仍偏 surface；要真正学”物理本性”，还缺”世界会反推”的交互闭环（这点 Kendall 的真车队反而更接近）。

4 · Alex Kendall：把通用驾驶 AI 送进千万辆车的前沿挑战

  Alex Kendall Slides✅Founder/CEO, Wayve · [@web-alexgkendall-com]
  Frontier challenges to bring general purpose driving AI to 10M cars（现场副题：Bringing AI to 1B Robots）


  

从”已部署机器人”数据切入（Mobileye ADAS 2 亿、Roomba 5000 万、工业机器人 500 万、Tesla FSD 100 万…），核心两问：自动驾驶 work 吗？能泛化吗？目标是”跨异构平台的可泛化、低成本自主”。

• 泛化即一切：泛化=安全、=部署规模、=授权（licensing）商业模式、=超越驾驶的影响力。已展示欧美亚 500+ 城零样本驾驶。

• AV2.0：端到端 AI 取代 AV1.0 高度工程化的感知-预测-规划-控制堆栈。“安全性随 AI 智能提升而 scaling”，而非靠规则/地图/冗余。

• RL + 世界模型 + 仿真：数百万小时驾驶、大车队 on/off-policy 数据飞轮、数十亿参数 critic 与世界模型、大规模多节点 RL 为默认。“四天闭环”：周四想法→周五实现→周末多节点训练→周一路测。

• GAIA 世界模型系列（GAIA-1→2→3，2023→2025）：生成多样未来、动作条件、多视角、地理多样、可控生成 OOD/撞车场景用于”在仿真里学风险”；反事实重仿真（counterfactual resimulation）修复 NCAP/伦敦/湾区/日本的失败。“端到端学习不仅适合驾驶，也适合安全与仿真”。

• 反主流信念（多条）：#1 泛化优先于一切；#2 端到端也最适合安全/仿真；#3 平台模式规模 > 垂直整合自动驾驶；#4 成本至关重要——“监督式’推理’方法是不是太吃标注和数据了？“目标 $1000/车硬件达 L5、世界模型嵌入式实时运行、追求”物理 AI 的 MuZero 时刻”；#5 落地顺序：消费车→robotaxi→物流→通用移动→操作。

  我的洞见Kendall 把 VGI 从"实验室表征"拉回"物理世界、真钱、真安全、真成本"。他与田永龙罕见地在一句话上重合——"成本/性价比才是主约束"：田永龙问"用最经济的信号"，Kendall 问"$1000 硬件能否 L5"。他的世界模型（GAIA）造 OOD 数据训风险，是"合成数据造血"在安全攸关场景的落地版；但他也隐含 Efros 的警告——真正的长尾要靠真实大车队的深层数据，仿真只是杠杆。
  ▸ 落到实处：自动驾驶的"合成数据造血"具体是什么、上界在哪？
    
      

• 具体指什么：Wayve 的”合成”= GAIA-1/2/3 视频世界模型生成的驾驶片段（多视角、动作条件、地理多样、可控生成 OOD/撞车场景）+ 仿真里的反事实重仿真（counterfactual resimulation）——把真实失败片段改写重放，检验”改了之后模型会不会过”。

• 怎么合成：扩散/自回归的视频世界模型（GAIA 系）+ 神经/程序仿真；用真实车队 on/off-policy 数据训世界模型，再用世界模型反哺 RL/验证（数据飞轮）。

• 解决什么瓶颈：安全关键长尾不可实采（不能真去制造撞车）、真实里程采集贵且慢、验证需海量里程（目标”1 小时虚拟跑千万英里”）。

• 上界/失败模式：世界模型只能重组训练分布（见 插值上界）——真正没见过的长尾既生成不出也评不到；仿真的接触/摩擦物理最难真实（sim2real gap）；“OOD 场景”若也由同一世界模型生成，则 OOD 性受限于其支撑集。

• 前沿对照 + 直接冲突：与 Efros”世界会反推、需 deep data”直接冲突——Kendall 的仿真反推不够真；与 Geirhos”视频模型即基座”部分同源（GAIA 就是视频世界模型）。路线上与 Waymo（robotaxi-first、真车队）、Tesla（海量真实车队）形成”合成/世界模型 vs 真实规模”的赌注分歧。

  🧭 评析：端到端/世界模型/成本三条"反主流信念"的证据与利益相关
    
      

• 利益相关须标注：这是 CEO 的愿景+招聘演讲（末尾即 Wayve Labs 招人），slides 标 “Confidential”，多为 demo/路线图而非可复核的 benchmark，需做去公关化阅读。【有据：现场性质】

• “安全性随 AI 智能提升而 scaling”是最强也最脆的断言：端到端学习提升平均能力，但安全的关键是长尾与最坏情况；“更聪明的 AI 更安全”缺乏形式化保证，去掉规则/冗余在监管与责任认定上仍有巨大争议。反例：AV1.0 的规则冗余正是为可验证性存在。

• GAIA 造 OOD/撞车场景训风险——正是 Efros 警告的靶心：世界模型生成的”危险场景”仍是训练分布内的重组（呼应 Kamb–Ganguli），对真正没见过的长尾可能既生成不出、也评估不到；“反事实重仿真”的有效性取决于仿真器的物理/视觉真实度，而 Efros 明确指出当前仿真器物理不过关。

• 成本 bet 与田永龙同源、但 Kendall 更硬：$1000 硬件 L5、嵌入式实时世界模型是可证伪的工程目标（好），但”消费车→robotaxi→物流…”的落地顺序是战略判断，与 Waymo 的 robotaxi-first 路线正相反——谁对要看未来数年。frontier：VLA（视觉-语言-动作）/世界模型驱动的自动驾驶仍在早期，端到端 vs 混合栈未有定论。

5 · Matt Deitke：从 Molmo 到 Muse 的”数据造模型”路线（无 slides · 重构）

  Matt Deitke 无 slides · 已重构Meta Superintelligence Lab（TBD Labs，领导 data pod）· [@web-mattdeitke-com]
  （官网未给题目；下为据其代表作与近况的重构）


  重构方法官网无题目、无 slides。我据其个人主页、Google Scholar、LinkedIn、公开报道重构其"最可能讲什么"。无法保证与现场一致，故以其研究纲领呈现，不虚构具体 slide 内容。
  
    

• 身份：前 Allen Institute for AI（Ai2）研究员、Vercept 联合创始人（做 computer-use agent），2025-07 加入 Meta Superintelligence Lab，现领导 TBD Labs 的数据 pod，目标 superintelligence。

• 代表作一：Molmo & PixMo（CVPR 2025 最佳论文荣誉提名）——完全从零开源的 SOTA 视觉-语言模型家族；关键创新是 PixMo 数据集（细粒度 caption、Q&A、以及 2D 指点/pointing 数据），让”感知→可执行动作（counting/grounding/pointing）“打通；72B 版在学术基准与人评上媲美/超越多数闭源模型。无 RLHF。

• 代表作二：Objaverse / Objaverse-XL——80 万→1000 万+ 标注 3D 物体的大规模开放数据集，训出 Zero123-XL 这一 3D 基础模型（image-to-3D / text-to-3D）。以及 ProcTHOR、AI2-THOR 具身环境。

• 近况：Muse Spark（Meta SI Lab 的首个里程碑）——原生多模态推理模型，能从一张棋盘图用 Python 工具生成可玩的数独网页；“从零搭建让我重新内化了基本功”。

  我的洞见Deitke 是"数据/pointing/3D 资产才是解锁能力的杠杆"这一派的旗手，与田永龙"合成数据是一等公民、从模型学而非从数据学"相互印证但侧重不同：Deitke 强调造高质量真实标注（PixMo pointing、Objaverse 3D），田永龙强调用生成模型造合成数据。两者共同点是把"CV 的核心竞争力从模型结构转移到数据工程"。他被邀请，本身就是 VGI 对"数据/具身/pointing"路线的背书。
  ▸ 落到实处：机器人/具身"数据不足"具体缺什么、怎么补？
    
      

• 具体缺什么：① 动作-观测配对轨迹（带 proprioception、力/触觉）；② 3D 资产（可交互、带部件/关节标注）；③ pointing/grounding 这类”把语言落到像素坐标”的监督。

• Deitke 的补法（偏真实标注）：PixMo——人工采集2D pointing 等细粒度标注；Objaverse/-XL——众筹/收集 80 万→1000 万 3D 资产；ProcTHOR——程序化生成（PCG）可交互 3D 房屋做具身训练环境。

• 与”纯合成”的分工：物理引擎（MuJoCo/Isaac/Genesis）能造动力学轨迹但视觉/资产假；文生图扩散能造逼真图但无动作/物理；Deitke 走的是”真实标注 + 程序化资产”这条更贵但信息更真的路。

• 上界/失败模式：程序化/CAD 资产的多样性与真实度受规则库与生成器约束；pointing 标注贵、难 scale；真机交互数据仍是最大缺口（Efros：“robotics 数据几乎为零”）。

• 直接冲突：与 田永龙/Asano”用生成器造合成数据”路线互补但侧重不同——详见下方评析末条”与田永龙的张力”。

  🧭 评析："数据工程 > 模型结构"这条强主张的边界
    
      

• 先声明：本场无一手 slides，评析基于其代表作纲领而非现场，结论按【推断】处理。

• Molmo/PixMo 的 pointing 确实解锁 grounding/counting/动作，但”感知→动作”仍是人工监督标注驱动，规模化成本高；Objaverse 的 3D 资产多为 CAD/合成模型，真实世界长尾覆盖有限——恰是 Efros”robotics 数据几乎为零、且是错的数据”所指。

• “数据 > 结构”过强：近两年反例不少——DINOv2 的训练配方/掩码目标/蒸馏本身带来质变，SigLIP 的 loss 改动、掩码建模范式亦然。更准确的说法是数据与方法强耦合，把胜负全记在数据上会低估目标函数与归纳偏置的作用。

• 与田永龙的张力：Deitke 造真实高质量标注、田永龙造合成——若 Kamb–Ganguli”生成=训练 patch 拼贴”的上界成立，则纯合成的信息量受生成器训练分布约束，真实 pointing/3D 反而不可被完全替代。二者更像互补而非替代。

6 · Yuki M. Asano：从”运动”中学习，从”语言”中泛化

  Yuki M. Asano Slides✅University of Technology Nuremberg（Fundamental AI Lab）· [@web-yukimasano-github-io]
  Learning from moving, Generalising from speaking（官网题；括号内为 slides 题：…Generalising from language）


  

立场鲜明：把智能看成”学习过程”的度量——同时看①任务表现②所需监督/反馈量③泛化/适应能力。监督越少越好：sup. ≪ weak sup. ≪ raw。互联网 >90% 流量是视频，自监督视频是天然富矿。

• 从运动中学（自监督）：经典图像 SSL（SimCLR/MoCo/SwAV）靠”视图不变性”，但对视频强迫跨帧不变是错的（帧间变化巨大）。解法：不做”每帧一个向量”的图像级不变，而做patch 级（每 patch 一个向量）的密集不变，跟踪 patch 并对齐其聚类特征。→ TimeTuning（ICCV 2023），无监督视频/图像分割 SOTA；升级版 MoSiC（用最优传输对齐点轨迹，ICCV 2025 / ICML 2026）。

• 极端实验：一个视频够不够？“Is ImageNet worth 1 video?”（ICLR 2024）：用 10 段 4K”城市漫步（Walking Tours）“长视频、DoRA 方法从零训编码器，Dora(1 视频) ≈ DINO(ImageNet)，Dora(10 视频) > DINO(ImageNet)；训练中多物体跟踪能力自发涌现（用 Sinkhorn-Knopp 让多头高熵地关注不同物体）。

• 视频→可扩展 3D：真实 3D 数据其实很少（SOTA 3D 表征论文 Sonata 仅 ~1.5 万真实场景）。3D sans 3D Scans（CVPR 2026，本会 poster，作者含 Asano 与组织者 Yamada/Ide/Fukuhara/Kataoka）：从 web 级 ego 视频生成视频-生成点云 VGPC，配 noise-aware SSL，0 真实扫描即达 SOTA。

• 从语言中泛化：CLIP 大多是”域内”评测。提出 ShareLock（Shared Vision-Language-Locked Tuning，几乎全用冻结表征）+ 一个”互斥类别划分”的真·零样本评测：发现解码器/LLM 表征其实很好，且”文本更强的 LLM，其对视觉世界的表征也更好”（ShareLock 性能与纯文本 MMLU 相关）；<15 GPU 小时拿到 IN-1k 51% 零样本。

• Steerable Visual Representations（arXiv:2604.02327，本会 poster）：“逆 MLLM/早融合”：把文本注入 ViT 各层（gated cross-attention，仅 21M 可训参数），让表征可被语言引导（steerable）——CORE 检索 96.0 vs DINOv2 43.7，且不掉下游性能，成为新 Pareto 前沿。

  我的洞见Asano 是全场与田永龙纲领最接近的人：都信"raw/自监督 ≫ 弱监督 ≫ 监督"、都做"从单一来源榨取表征（他 1 视频、田永龙 Divide&Contrast / 1 图合成）"、都用最优传输/聚类做无监督对齐。差别在他更信"运动/时间"是核心廉价信号，田永龙更信"生成模型造数据"。而 ShareLock"更强文本 LLM→更好视觉表征"是个反直觉且重要的结论：它给"语言仍是泛化枢纽"提供了新证据，与 VGI"去语言中心"形成有益的对冲。
  ▸ 落到实处：Asano 的"合成/受限数据"具体合成什么、补哪个瓶颈？
    
      

• 3D sans 3D Scans（VGPC）：完整的”合成什么 / 怎么合成 / 补什么瓶颈 / 上界”四问见下方评析；一句话——用视频估计出的点云替代真实 3D 扫描，代价是几何精度被估计器锁死。

• “1 视频学表征”（DoRA/Walking Tours）：不是合成而是高效采集——用 1 段 4K 长视频里天然的多视角当”免费增强”；补什么=省掉 ImageNet 级标注；上界=依赖”高信息密度视频”的选择，非任意视频可复现。

• 与田永龙的分工：田永龙用生成器造图（StableRep/SynCLR），Asano 用运动/时间当廉价监督——两者都在”上界之内”降低数据表层性、提样本效率，但都受信息上界约束。

• 前沿对照 + 冲突：ShareLock 的”更强文本 LLM→更好视觉表征”与 VGI”去语言中心”直接张力（详见下方评析）；也与 DINOv2/SigLIP2”纯视觉/弱语言”路线形成对照。

  🧭 评析："1 视频 ≈ ImageNet"有多强？以及一个内部矛盾
    
      

• “Is ImageNet worth 1 video?”的读法要小心：Dora(1 Walking Tour) ≈ DINO(IN-1k) 是在特定下游（分割/检测等密集任务）上成立；且”1 个视频”是4K、长、语义丰富、精心挑选的城市漫步——本质是”1 段高信息密度视频”而非”任意 1 个视频”，可复现性依赖数据选择。公平对照应控制”总帧数/总计算量/信息量”，否则”1 video”的说法有营销成分。【有据：其消融显示需 10 WT 才稳定 > DINO】

• 把”合成什么/怎么合成/解决什么”落实（3D sans 3D Scans）：合成什么=室内外场景的点云（VGPC）；怎么合成=从 web 级 ego 视频经几何估计生成点云 + noise-aware SSL 预训练；解决什么瓶颈=真实 3D 扫描稀缺（SOTA 仅 ~1.5 万场景）；上界/失败模式=点云由单目/视频几何估计而来，会继承深度/尺度歧义与动态物体误差，几何精度上限受估计器约束——“0 真实扫描达 SOTA”更多说明下游基准对几何噪声不敏感，而非合成几何已达真值级。

• 内部矛盾（也是最有价值的张力）：他前半场力证”去语言、从运动学”，后半场 ShareLock 却发现”更强的纯文本 LLM → 更好的视觉表征”。这对 VGI”去语言中心”的主线是反证——说明语言承载的世界知识仍是强泛化来源。他用”cross-modal 对冲”来调和，但两条结论的相对权重并未给出定量刻画。

7 · Andrea Vedaldi：为空间 AI 打造 3D 基座（VGGT → VGGT-Ω → Articraft）

  Andrea Vedaldi Slides✅University of Oxford / Meta · [@web-www-robots-ox-ac-uk]
  Building a 3D Foundation for Spatial AI


  

主张：物理智能（在物理世界解决问题）需要 3D；3D 能”解释掉”相机运动、把局部观测放进更大世界。路线是用 transformer 统一取代传统 SfM/MVS/BA 流水线。

• VGGT（CVPR 2025）：DINO 特征 + 全局/帧注意力交替 ×24，一个前馈 transformer 同时出相机位姿、深度图、点图、2D 跟踪——“transformer 能像 SfM/BA 一样做 3D”。

• VGGT-Ω（CVPR 2026，本会 poster arXiv:2605.15195）：证明 3D transformer 的质量随模型/数据规模可预测地 scaling。三招提效（scene tokens/registers 让 25% 全局注意力只走寄存器，省 13–20% 显存；单个密集 head 多任务监督；更少卷积的 DPT 解码用 pixel-shuffle）→ 整体省 70% 显存；数据从 25 万→~400 万标注→1800 万自标注（DINO 式自蒸馏）；静/动态场景全面 SOTA。

• 3D 预训练的威力：LagerNVS（CVPR 2026，实时神经新视角合成）里，用 VGGT(3D 预训练) 远超 DINOv2(2D 预训练) 与从零训；VGGT-Ω(冻结)+OpenVLA 还提升机器人 LIBERO 成功率——3D 表征能迁移到具身。

• 3D 生成需要”结构”：把物体当”3D 图像/视频”建模不够（机械结构无法这样表达）。Articraft（与 Shangzhe Wu）：用现成 coding agent（Codex/Claude/Gemini）走”编辑-编译-测试循环”，靠领域 SDK + 几何测试（expect_contact/within）而非视觉反馈，从一句 prompt ~$1 生成带关节的 3D 资产——“用代码紧凑地构造机械/拓扑结构”。

  我的洞见这场是对 Geirhos"通才视频模型包打天下"的最有力反例与补充：几何/3D 这类密集精确预测，专用 3D transformer + 明确几何监督 + 规模化，比"prompt 视频模型"稳得多。同时它又复用了田永龙式打法：DINO 式自蒸馏做 1800 万自标注（合成/自造监督）、单 head 多任务、寄存器省算力——"高效表征"的工程学。Articraft 的"代码即 3D + 编译测试闭环"，则与田永龙 OpenAI 时代"视觉推理 + 工具"的方向遥相呼应。
  🧭 评析：3D transformer 的 scaling、自标注的隐患、Articraft 的适用域
    
      

• “质量随规模可预测 scaling”很有力，但要读细：VGGT-Ω 的规模化很大程度来自1800 万自标注（DINO 式自蒸馏）——而作者自己承认”自标注主要提升泛化、对基准分数影响不大”。这意味着 scaling 曲线里真值标注部分（COLMAP/BA 打的标签）仍是精度主力，自标注更像”覆盖度补充”。把它当”纯自监督即可无限 scale”会过度乐观。【有据：slides 明确此 limitation】

• 自标注的 confound：教师标签来自 COLMAP/VGGT/BA，本身有系统误差；学生蒸馏教师，可能继承并固化几何偏差（类似合成数据的自消耗风险，只是发生在标注侧）。

• Articraft 的适用域被低估地窄：靠”编译-测试 + 几何断言（expect_contact/within）“生成带关节的 3D，前提是目标可被形式化几何测试——对机械/家具类有效，对有机形态、软体、纹理美学类几乎无从写”测试”。$1/asset 的漂亮数字建立在”可验证子域”上，别外推成通用 3D 生成已解决。

• 与 Geirhos 的正面张力（有益）：这场恰是”通才生成模型能否包打几何”的反方证据——但反过来，若视频/世界模型未来把几何也吃进去，专用 3D 栈的边界也会被侵蚀。frontier：VGGT/DUSt3R 一系 vs 视频世界模型，谁更早成为”空间基座”仍未定。

8 · Aditi Raghunathan：怎样让 AI 拥有创造力（A(V)GI）

  Aditi Raghunathan Slides✅Carnegie Mellon University · [@web-www-cs-cmu-edu] · ar-forum.github.io
  How to get creative A(V)GI?


  

问题：模型在”良定义任务”上已惊人，但在开放式任务上生成的东西”正确、连贯，却无聊——不够多样、不够原创”。她借认知科学家 Boden 的创造力三分法（组合式 / 探索式 / 变革式）设计最小化、可量化的算法任务来测创造力。

• 创造力度量：生成结果中”unique（唯一）× unseen（未见）× coherent（连贯）“的比例。

• 诊断病灶一：next-token 学习。用”兄弟发现/文字游戏”等任务证明：teacher-forcing 的逐 token 监督会让模型学到一个”平凡捷径”（直接查表输出共同邻居），无法规划，结果高记忆、低创造。引 Bachmann & Nagarajan (2024)。

• 解法一：多 token / 无 teacher 训练。Teacherless training（把中间 token 换成占位符 $）与扩散语言模型都是”多 token 学习”，显著比 next-token 更有创造力——因为创造性输出来自”一次未被观测的思维跃迁（leap of thought）”。（论文 “Roll the dice & look before you leap”, ICML 2025 杰出论文）

• 诊断病灶二：靠 temperature 采样求多样性。温度↑多样性↑但连贯性↓，是个此消彼长的旋钮。

• 解法二：seed-conditioning。训练与推理时给每个样本前缀一段随机种子串，不同种子→不同输出，且”专注一个念头”故不掉连贯性；贪心解码即可媲美温度采样，有时更强。

• 规模化收益：“Mode-conditioning” 从训练数据里用梯度特征聚类出”模式标签”再平衡采样，在 MATH500 上拿到 4–8× 的推理采样效率，且是更好的 RL 起点（ICLR 2026）。

• 面向视觉的开放问题：视觉创造力如何做基准？什么学习目标组合适合视觉创造力？是否应”锚定于语言之外（anchor beyond language）”？

  我的洞见这场把田永龙的两条老命题接到了"创造力"这个新话头上：① "超越 next-token、拥抱扩散/多 token" —— 与 MAR/Fluid"视觉该用连续 token+扩散损失、别照搬语言 next-token"完全同构；② "多样性该从范式而非温度旋钮里来" —— 呼应他对"生成机理"的偏爱。她那句"是否应 anchor beyond language"，几乎就是 VGI 的会议口号。推断：这也是为什么她被排在视觉会议里讲一个偏语言的题目——组织者要的正是这个跨接。
  🧭 评析：这些"创造力"结论能外推吗？——度量与生态效度
    
      

• 任务是”最小化算法任务”（兄弟发现/文字游戏/图算法），好处是可量化、能干净地隔离机制；代价是生态效度存疑：在这些玩具任务上”更有创造力”，能否外推到真实科研/艺术级创造，缺证据。【推断】

• 度量本身可被质疑：创造力 = unique×unseen×coherent，其中 “unseen” 依赖训练集划分、“coherent” 常用小模型/规则判定，都可能高估创造性；且她自陈”we tune sampling hyperparams”，温度/采样调参会左右结论强度。

• seed-conditioning 会不会只是”换了个旋钮”？把多样性来源从温度换成随机种子，其”不掉连贯性”的机制是”一次只铺开一个念头”——在长文本/多步推理上是否仍成立，待核。

• 与主流路线的张力 + Frontier：工业界更多靠 RLVR / 大规模 RL 提升多样性与探索，她主张”范式（多 token / 扩散 LM）更根本”；但两条路线的大规模实证对比尚不充分。扩散语言模型（如 LLaDA 一系）确有多样性观察优势，却在通用能力/效率上仍逊自回归——“更创造”是否以牺牲能力为代价，是未解问题。

闭幕（Fukuhara）：致谢与”VGI 白皮书”预告

闭幕 slides 除致谢受邀讲者、18 位 poster 作者、组织团队（含 Yonglong Tian / OpenAI）与赞助方（SB Intuitions、ASPIRE/JST）外，最重要的一条是预告：正在组织一份”视觉智能 / VGI 白皮书”（Upcoming: The VGI White Paper），并继续邀请特约作者。 信号白皮书 = 这群人想把”视觉通用智能”从一场 workshop 沉淀为一份纲领性文件/研究议程。谁署名、押哪几条路线，会是接下来一年 CV 方向的风向标。田永龙作为组织者 + OpenAI 代表，是白皮书里”生成/合成数据/表征”一路的天然代言。