前沿、反方与实测

⑦ 前沿格局与评价 · 李飞飞 Insight

⑦ 前沿格局与评价

本模块把李飞飞的路线放回2026 年真实的赛道格局里检验：世界模型的五条路线、主要玩家的同尺度对比、老对手 LeCun 的 AMI/JEPA、国产追赶（商汤 SenseNova-SI 一度超越她的 Cambrian-S）、以及最关键的——外部独立评测与批评声音（避免只复述公司 demo）。这一模块刻意不站队，只做尽量客观的坐标定位。

[五条路线](#routes)
[竞品同尺度对比](#matrix)
[李飞飞 vs LeCun](#lecun)
[国产追赶](#china)
[VLA↔WAM 收敛](#wam)
[外部实测与批评](#external)
[3D 学界内部的反驳](#sitzmann)
[我的看法](#take)

Five routes

“世界模型”赛道的五条路线（2026 共识）

到 2026 年，中文与英文社区大致形成”四到五条路线”的共识。用 ④ 功能分类学 一刀切开会更清楚——大多数是”渲染器”，少数押”模拟器”，一家押”表征预测”：

  🎞️

① 生成式视频

OpenAI Sora、Runway、生数 Vidu 等。视觉保真优先，弱几何。渲染器。 🧊

② 显式 3D 空间智能

World Labs（Marble）、群核 SpatialLM。可导出几何。静态 3D 生成器 · simulator-adjacent（公司自身把它放进”模拟器 territory”；动态 action-conditioned 模拟仍需外部物理引擎）。 🎮

③ 交互式可玩世界

Google DeepMind Genie 2/3、Decart Oasis、Odyssey。实时键鼠可玩。强交互渲染器。 🧠

④ JEPA 隐式表征

LeCun / AMI Labs、Meta V-JEPA。潜空间预测、拒绝像素生成。偏内部世界模型/规划器。 🏗️

⑤ 仿真基础设施

NVIDIA Cosmos / Omniverse、GR00T。为物理 AI/机器人造训练数据。渲染器→规划器。 🚗

（域专用）自动驾驶世界模型

Wayve GAIA-2、各家端到端。潜扩散、多摄一致的驾驶视频。域专用渲染器。

Apples-to-apples

主要玩家同尺度对比

刻意用统一维度（输出契约 / 几何可查询 / 长时一致 / 动作条件 / 实时 / 定位）横比，不使用各家自定义词直接对撞。数字含官方与媒体口径，已标注。

  玩家 / 模型路线输出几何可查询长时一致动作条件/实时契约

    World Labs · Marble生成式显式 3Dsplats+mesh+视频是（可导出）结构性持久（公司称）导航/编辑；深层交互为未来静态生成器 · simulator-adjacent
    World Labs · RTFM自回归扩散 Transformer实时新视角帧否（隐式 KV）空间记忆求持久单卡 H100 实时learned Renderer
    DeepMind Genie 3帧级生成可玩环境（720p/24fps 级、一致数分钟，官方定性）否数分钟（官方）实时键鼠可玩Renderer（强交互）
    NVIDIA Cosmos扩散+自回归 WFM物理 AI 训练视频部分（+Omniverse）片段级生成为主，面向 Sim2RealRenderer→规划器
    Runway / Sora / Veo视频扩散创意视频片段否数秒~片段弱交互Renderer
    Decart Oasis / Odyssey实时生成视频可玩式视频否短实时Renderer
    Wayve GAIA-2潜扩散（8.4B）多摄驾驶视频否（结构化条件）域内一致动作/场景条件域专用 Renderer
    Meta / AMI · JEPA表征空间预测潜表征（不解码像素）否（不生成显式世界）—（重规划/控制）用于控制内部世界模型/Planner

Genie 3 的 720p/24fps、“一致数分钟""可提示世界事件”为官方定性描述；Cosmos 训练数据规模等行业周报口径未纳入横比（待核实）。GAIA-2 的 8.4B / flow matching / 视频 tokenizer 据 arXiv:2503.20523。

Fei-Fei vs LeCun

两位”世界模型”旗手：李飞飞 vs LeCun（“和而不同”）

2025 年底最戏剧性的一幕：LeCun 离开 Meta（结束 12 年 FAIR 生涯），创办巴黎 AMI Labs（Advanced Machine Intelligence）——2026-03-10 官宣约 $10.3 亿种子轮、投前估值约$35 亿，走 JEPA 路线；谢赛宁（Cambrian-S 资深作者）出任联合创始人兼首席科学官。于是同为”世界模型”旗手的两人，路线分野被固化为两家各融资十亿美元级的公司。

  维度李飞飞 / World LabsLeCun / AMI Labs

    核心架构空间智能：Marble 输出显式 3D（splats+mesh）；RTFM 只输出帧、不建显式 3D（隐式）JEPA（联合嵌入预测），隐式抽象表征
    输出可导出、可自由视角导航、可编辑的显式 3D 世界（服务创作者/产业）；当前为静态生成，深层 action-conditioned 交互属未来抽象世界状态预测（服务推理/规划/机器人）
    对像素的态度输出高斯泼溅 + collider mesh（可同时向"给人看的像素"与"给程序算的状态"投影；动态模拟仍交外部物理引擎）"预测每个像素必失败，应忽略不可预测细节"
    共识都认为世界模型是解锁空间智能/通往 AGI 的核心；李飞飞明言"隐式与显式最终必融合"——两人"在同一个智力连续体上"

  李飞飞的原话（2025.11 访谈）

“我不会把自己和杨立昆对立起来，我们处在同一个智力连续体上。“她选择 Marble 输出显式 3D 是为”赋能人类创作者”，但”RTFM 内部同样包含隐式表征”，“未来架构将是两者的混合体”。

China catching up

国产追赶：商汤一度超越 Cambrian-S，群核抢”空间智能第一股”

商汤 SenseNova-SI

据商汤自有评测（EASI + 后续论文）在多项空间基准上超越 Cambrian-S / GPT-5 / Gemini。它建在 Qwen3-VL / InternVL3 / Bagel 等既有基座上，核心是 SenseNova-SI-8M 空间数据 + 能力分类（“NEO-unify”是商汤另一项目 SenseNova-U1 的架构，勿混写）。启示：数据规模与评测口径可能比架构更关键。（商汤口径，需统一复测）

群核科技（Manycore）

2026-04-17 港交所上市，公司自我定位为”全球首家上市的空间智能公司”；发布 SpatialLM 等空间理解模型。中国把”空间智能”快速产业化/资本化。

智源 Emu3 / Emu3.5

项目方（BAAI）称 Emu3 为”原生多模态世界模型”；2025 年 Emu3.5 进一步迭代（二者应区分）。国产在”原生多模态 + 世界模型”上另起一条线。

“还在三岁小孩阶段”（媒体比喻）

李飞飞与李曼玲（Manling Li）团队的 Theory of Space 指出 AI 空间智能能力仍初级；“三岁小孩”是中文媒体（DeepTech）对该论文的比喻性概括，非论文/本人原话——但方向上确是一种难得的降温。

史实说明：未检索到李飞飞本人 2024–2026 在中国（智源大会/WAIC）现场或视频连线发言的一手证据；她在中文语境多为”被引用/对标”而非到场（见 信源台账）。

Embodied convergence

具身智能：VLA 与”世界-动作模型（WAM）“正在收敛

李飞飞把世界模型定位为机器人的”关键枢纽”，这一判断正被具身智能侧强力外推。用 ④ 功能分类学：机器人要的是”规划器（产动作）“，而它需要”模拟器（产状态）“来喂养——于是”世界模型 + 动作头”（World-Action Models, WAM）与端到端 VLA（视觉-语言-行动）正在收敛。

  收敛的信号

NVIDIA GR00T / DreamZero（2026 GTC）把”世界生成”与”动作预测”合一；World Labs 2026-07 收购 SceniX 转向机器人；李飞飞在 Lenny’s 强调”机器人无法照搬语言的苦涩教训——因为训练数据缺少 3D 世界里的动作”。这三条都指向同一个未来：先用世界模型造/理解可计算的状态，再让 policy 在其中行动。但她也提醒——机器人是物理系统，更像自动驾驶（走了 20 年），别低估硬件/供应链/场景的长尾。

External validation & criticism

外部实测与批评声音（不只看公司 demo）

为避免只复述官方叙事，这一节专收独立评测与质疑——这是判断”空间智能是否被高估”的关键。而最锋利的一条批评来自她自己，此前一直没被收进来。（本节收的是实测、估值与架构层面的质疑；针对”显式 3D 路线本身”的最强技术反驳篇幅较长，单列于下一节 来自 3D 学界内部的反驳。）

  她自己给具身赛道泼的冷水（本人署名一手，此前报告完全缺失）

“The field has produced robotic demos in the last two years that look impressive in videos, but candor is required about what those demos actually show. Almost all have been confined to heavily constrained laboratory setups, with narrow object sets and short task horizons. None have been validated at the complexity, variability, or duration that real-world deployment demands. The gap between a compelling demo reel and a robot that reliably works in a kitchen, a warehouse, or an operating room remains vast.” 「过去两年这个领域产出了一批视频里很惊艳的机器人 demo，但对这些 demo 究竟展示了什么，需要坦诚：它们几乎全部局限在高度受限的实验室设置里，物体集很窄、任务时程很短；没有一个在真实部署所要求的复杂度、多变性或持续时长上被验证过。一段动人的 demo 片段，与一台能在厨房、仓库或手术室里可靠工作的机器人之间，差距依然巨大。」（本报告中译） 出处：《A Functional Taxonomy of World Models》“planner”一节，她本人 Substack 署名·一手·高（2026-06-03）；中文侧有网易智能全文中译可交叉对照。

为什么这条最能刻画她的”独特认知”：她一边在押注机器人（2026-07 收购 SceniX、把世界模型定位为机器人枢纽），一边公开写下”没有一个 demo 在真实部署所要求的复杂度、多变性或持续时长上被验证过”。这不是谦辞——它给出了一个可验收的标准（复杂度 / 多变性 / 持续时长三个维度，而不是”成功率”这一项），也顺手把整个具身 demo 竞赛的评价方式换掉了。它同时是本报告 ⑨ 预测 3（机器人样本效率）与风险矩阵”机器人落地慢”此前偏弱的论据的一手支撑。

🔬 TIME 对 Marble 的独立实测（2025.12）

报道原文：Marble 的世界起初偏静态（“static at first”），而”It only takes a few beats of exploration before visuals begin to distort and the world assumes a hallucinatory, incoherent structure.”——探索仅几步后，画面就开始畸变，并出现幻觉化、结构不连贯的现象。这与官方”永久一致（no morphing）“的措辞形成张力——提示”持久一致”更适合作公司主张而非已验证事实。边界：这是定性实测，不等于完成了长时 loop-closure 的定量评测；TIME 与官方两侧都没有可比数字。出处：^[1]（2025-12-09）。

💸 “太早被卖贵了”

钛媒体《世界模型不是错了，是太早被卖贵了》、36氪《“烧”掉了百亿美元，世界模型的概念都还没统一》——质疑赛道估值先行、概念未统一、商业化路径不清。

🍼 “还在三岁小孩阶段”（媒体比喻）

李飞飞团队 Theory of Space 论文指出 AI 空间智能能力初级（“三岁小孩”是中文媒体的比喻，非原文）——既是诚实，也提醒”下一个前沿”距离”可靠产品”仍有长路。

🧪 Cambrian-S 的基准局限

VSI-SUPER 含合成构造，后续压力测试指出存在可被利用的捷径；LFP 变体会使标准 VSI-Bench 从 67.5 略降到 66.1——“预测式感知碾压长上下文”应理解为相对优势而非”问题已解”（见 ⑤）。

📉 最强模型在空间基准上仍远逊人类

SSI-Bench（Thinking in Structures，1000 道排序题、评 31 个 VLM）：Gemini-3-Flash 33.6%，人类 91.6%，随机 12.85%；MMSI-Video-Bench（1106 题/1278 片段、25 模型）：多数近随机、最强推理模型落后人类近 60 个百分点；CoreCognition（ICML 2025，12 项发展性核心概念、230 个模型）：低层核心能力随 scaling 提升不足（该基准不止测空间，还含意图/层级/工具使用，不能全部归为”空间短板”）。→ “空间/核心认知是短板”是跨基准的稳定现象。

🪞 她自己团队的降温发现（ESI-Bench）

ESI-Bench 发现：在 VGGT+Gemini 管线下，带噪声、无不确定性建模的显式 3D augmentation 反而可能比 2D 更差（而 ground-truth 3D 在深度任务仍有益）；且模型有”过早高置信下结论”的元认知鸿沟。→ 提示”显式几何非总优、需带不确定性”，非对显式路线本身的证伪（见 ⑤）。

  最有分量的第三方批评：Eric Xing（邢波）《Critique of World Model》(2025.07, arXiv:2507.05169)

CMU/MBZUAI/UCSD 的邢波等人从五个设计维度系统分析世界模型：① 训练数据、② 表征空间、③ 架构、④ 学习目标、⑤ 在决策中的用法。核心论点是：世界模型的首要目标应是”模拟现实世界一切可行动的可能性（all actionable possibilities），以支持有目的的推理与行动”，而非被动生成视频。它同时批评了两派——JEPA 式纯潜空间/开环预测有”可定义性/坍缩”风险、易失去可观测锚点；而 World Labs 类静态 3D “当前交互主要依赖外部物理引擎”。他们提出 GLP（生成式潜预测）+ PAN（Physical/Agentic/Nested） 架构：分层、混合连续/离散表征 + 扩展 LLM + 生成式嵌入预测器。（注：PAN/GLP 在该文中仍是论证与架构 blueprint，完整细节与结果另文发布，非已验证”hybrid 必胜”的实证。）

对本报告的意义（须精确界定，此前写宽了）：这是一个既不站 LeCun 也不站李飞飞的第三方理论支持，但它支持的是一条较弱的判断——“世界模型需要分层表征 + 观测 grounding”，不能直接充当”显式 3D 导出 + 隐式潜变量必将融合”的证据。Xing 并不反对”可计算状态”：论文反而要求 belief state 必须是有状态、可辨识、持久的（“an identifiable, persistent estimate of the world state”），可被保存、回访与更新。他反对的是把静态 3D 场景生成当成完整的世界模型、以及把动力学外包给外部引擎后仍自称完整可行动模拟。因此他是”可计算状态该如何实现”的替代方案，不是”是否要可计算状态”的反方（见 ⑨ 争论地图 第 3 行）。

  另一侧信号：World Labs 也在"补课"学术与竞技

2026-06-12，World Labs 首次以 arXiv 论文形式同日发表 3 篇成果（此前只有博客/产品；为公司/Justin Johnson 口径的”首批论文”，arXiv 预印本≠同行评审）：① 《World Tracing》（arXiv:2606.13652，对不可见几何做生成式推断/补全、预测与像素对齐的完整几何假设）；② 《Modality Forcing for Scalable Spatial Generation》（arXiv:2606.13676，论证 文生图预训练是空间感知/图-深度联合生成的可扩展预训练目标）；③ 《Flex4DHuman》（多视角视频扩散做 4D 人体重建）。共同主题是用大规模 2D 生成先验降低 3D/4D 生成门槛，部分回应”3D 数据稀缺”（逐篇输入/输出/训练目标/局限见 ④ 首批论文）。同时竞技榜出现：RoboArena 上千寻 Spirit v1.6 超过 Cosmos3-Nano-Policy、WorldArena 上 Manifold AI 的 WorldScape-0.2 在相关 track 超过 Cosmos-Predict 2.5——说明短期某版本可被反超（非”Cosmos 3 一天被反超”这类笼统说法），赛道竞争白热化。

  给读者的提醒

“空间智能是下一个前沿”既是科学判断，也是 World Labs 的公司叙事——李飞飞同时是这一品类的提出者、CEO 与最大受益者。这不否定判断的价值，但读者应把它放在”她也是被评价者”的位置上审视。真正的裁决要看：3-5 年内显式/混合世界模型能否在机器人、科学等硬场景跑赢纯视频与端到端 VLA（可证伪预测见 ⑨）。

The strongest objection to explicit 3D · from inside the field

来自 3D 学界内部的反驳：「我们很快会停止在具身智能里使用 3D」

上一节的批评分两类：产业侧的估值与商业化质疑（钛媒体 / 36氪），以及第三方的架构批评（Eric Xing——但他批的是”世界模型该怎么建”，并不否认要有可计算的世界表征）。报告此前唯独缺了一类：针对”显式 3D 这条路线本身”的技术反驳。补上它，她的核心主张才算被放在一个足够强的反方面前检验过——而这条反驳的分量，一半来自论证本身，一半来自提出者的身份。措辞纪律：本报告没有对全部 3D / 具身反对文献做过系统综述，因此本节一律写作”本报告目前检索到的、论证最完整的具名反方之一”，而不宣称”最强/最严谨”——绝对最高级会制造本报告举不起的举证负担。

  先说清等级：这是立场文章，不是同行评审结果，更不是已被证实的结论

作者：Vincent Sitzmann——MIT EECS 副教授，在 MIT CSAIL 领导 Scene Representation Group（场景表征组），博士师从斯坦福 Gordon Wetzstein。他的官方简介写着，其研究目标是”通过构建世界模型——让智能体能模拟接下来会发生什么、以及自身行动会带来什么后果的心理模拟器——来造出能自主理解世界并与之交互的机器”。换句话说：他的研究组以”场景表征”命名，而他现在要论证的是——人类设计的那一类显式 3D 表征，不该再被当作训练具身模型的目标或架构先验。注意分寸（本报告此前在这里写过头过）：他反对的是”把人类设计的显式 3D 当作训练目标或架构先验”，不是反对模型学习内部表征本身——原文明确写模型应当学到它们自己的”internal, task-relevant structure”。这是一次来自内部的反戈，不是外行的隔空喊话。

出处：个人博客《The flavor of the bitter lesson for computer vision》，2026-02-01（^[2]；本报告已回原文逐句核对，本节所引英文均为原文，中译为本报告所作）。 可信度：署名博客 · 学者本人一手观点 · 高——但它是一篇预测与立场文章（position piece），不是同行评审论文，也不是实验结论。本节收录它是为了给”显式 3D”这一主张配上一个足够强的具名反方，不得读成”3D 已被证伪”。他自己承认哪些地方尚未成立，见下文”他自己承认哪些地方还不成立”。

他的论证链：把 Bitter Lesson 从”算法”推广到”表征”

文章的第一句就是结论：

  开篇 · 一手（署名博客，2026-02-01）

“I believe that computer vision as we know it is about to go away.” 「我认为我们所知的计算机视觉即将消失。」（本报告中译）

他的论证走了五个递进环节（下文 ①–⑤），环环相扣：

① 中间表征是”当年切题”的历史产物

“…these distinct tasks are becoming qualitatively no different than edge detection: historical artifacts of scoping “solvable intermediate problems” rather than solving intelligence.”

「这些各自独立的任务（分类、分割、3D 重建）正在变得与边缘检测在性质上没有区别：它们是把问题切成”可解的中间问题”、而非去解决智能本身所留下的历史产物。」他给的历史解释很坦诚：过去直接学感知-行动环不可行，而”科学家的职责是研究可解的问题”，于是视觉被切了出来——这在当时是必要的妥协，但正在失去存在理由。

② Bitter Lesson 没被用在”表征”上

“…most researchers readily apply this lesson to algorithms… Yet, surprisingly few apply the same logic to representations.”

「多数研究者乐于把这条教训用在算法上……但出奇地少有人把同样的逻辑用到”表征”上。」于是他把刀口对准点云、辐射场、SDF、体素：在一个已经能端到端训练”感知进、动作出”的世界里，手工设计一个”3D 结构”这样的显式中间表征，恰恰就是 Bitter Lesson 所警告的那种”聪明的、人为设计的瓶颈”（“exactly the kind of clever, human-designed bottleneck that the Bitter Lesson warns against”）。

  ③ 最锋利的一击：那个思想实验

“To see why, try a thought experiment. Look at the room you are currently sitting in. If I gave you a perfect 3D reconstruction of this scene—a NeRF, a point cloud, whatever you choose—what real problem would you be able to solve with it?” 「想想看：环顾你此刻所在的房间。如果我给你一份这个场景的完美 3D 重建——NeRF、点云，随你挑——你能用它解决什么真实问题？」（本报告中译）

他自答：除了新视角合成这类小众应用，对任何具身任务，你仍然需要另一个智能算法去消费那份 3D 表征、并决定做什么。整体的输入-输出行为依然是”图像 → 动作”，于是 3D 重建被降格为”a clever pre-processing step（一个聪明的预处理步骤）”——“In the long arc of embodied intelligence, this factorization will not pass the test of time.”

为什么这一击对本报告特别有效：它不攻击 3D 的画质、精度或工程价值（那些是 ④「3D as code」 最容易防守的地方），而是直接问它在智能的因果链上到底承担了什么。这是本报告读到过的、对”显式 3D 是空间智能的必要基底”这一强形式主张最难绕开的一问。

④ 他手上有实证战果，不只是预言

“…the state-of-the-art in few-shot view synthesis has for a while now not employed 3D differentiable rendering, but lies with generative world models.”

「少样本新视角合成的 SOTA 已经有一段时间不再使用 3D 可微渲染，而是落在生成式世界模型手里。」他点名自己学生 Boyuan 与 Kiwhan 的 History-Guided Video Diffusion：在 RealEstate10k 上生成的新视角”远好于我做过的任何 3D 结构化算法”，而且”几乎是顺手做出来的（almost as an afterthought）“。这一条是本节唯一带实证性质的论据——但注意边界：它成立的范围是新视角合成这一项任务，不是”下游机器人任务成功率”。

⑤ 连相机位姿都会消失（SE(3) 也不特殊）

“…novel view synthesis can be formalized purely as a representation learning problem—without any concepts from multi-view geometry. No poses, no 3D.” / “Ego-motion (and therefore camera pose) is simply the most basic action an agent can take. It is not special.”

「新视角合成可以被纯粹形式化为一个表征学习问题——不需要任何多视角几何的概念。没有位姿，没有 3D。」/「自我运动（因而相机位姿）不过是一个智能体能采取的最基本的动作。它并不特殊。」他的依据是自己组的《True Self-Supervised Novel View Synthesis is Transferable》（XFactor，ICLR 2026 Oral）。这一步比第 ③ 步更激进：它连”给生成模型喂 COLMAP 位姿”这个折中方案也一并否掉了——若成立，那么”精确相机可控性证明模型内部有 3D 空间感”（见 ④ 相机可控性）这条推论就要重写。

但”No poses, no 3D”这句口号必须与该论文实际做到的事一起读（本报告此前只放了口号）：XFactor 并非没有位姿表征。它学的是不以 SE(3) 显式参数化的、可迁移的 latent pose——论文摘要写的是 “achieves transferability with unconstrained latent pose variables, without any 3D inductive biases or concepts from multi-view geometry”，而 probing 实验显示这些 “latent poses are highly correlated with real-world poses”。所以实证支持的较窄结论是：无需外部给定位姿监督、无需把位姿显式参数化为 SE(3)；而不是”系统内部连位姿变量或几何结构都不存在”。他预测会消失的是显式 SE(3) 位姿接口，位姿本身改由模型隐式学习。核对自 ^[3]。

  枢纽：他明确让步的那一半——3D 作为"人机接口"可以留下

这是全文最容易被两边都读漏、却对本报告最关键的一段。他没有说 3D 网格与 CAD 编辑器该被消灭：

“I agree that for the human-machine interface, having a 3D mesh representation and a CAD-like editor may be reasonable. However, my argument is not about how we talk to the machine, but how we train models…” “Only after such a model has been trained should it be fine-tuned to interface with whatever representation or toolchain we humans like to use.” 「我同意：就人机接口而言，有一个 3D 网格表征和一个类 CAD 的编辑器，可能是合理的。但我的论点不是关于我们如何与机器对话，而是关于我们如何训练模型……」/「只有在这样的模型被训练出来之后，才应该去微调它，使其与我们人类习惯使用的任何表征或工具链对接。」（本报告中译）

这一让步把整场争论的战场收窄了：他攻击的是”3D 作为训练目标 / 架构先验”，明确放过”3D 作为人机接口”。因此凡把他读成”World Labs 全错”的，都读过头了；而凡把李飞飞的主张读成”3D 是智能的必要基底”的，也确实被他正面击中。下面的裁决表就是按这条线切的。

一条交叉证据，证明这不是”站队”：他公开夸过 Marble。在 TIME 那篇对 World Labs 的报道里（2025-12-09，即他写这篇博客之前两个月），他的评价是：“World Labs has shown what’s possible if you integrate and scale a bunch of the breakthroughs the computer vision community has had over the last decade—it’s a very impressive achievement.” / “For the first time, you get a glimpse of what kinds of products might be possible with this.” 「World Labs 展示了：把计算机视觉界过去十年的一批突破整合起来并做大规模化之后，能做到什么——这是一项非常令人印象深刻的成就。」/「你第一次得以窥见，这类技术可能做出什么样的产品。」（本报告中译） 出处：^[1]。这与他两个月后的博客并不矛盾：他认可当前的产品与接口价值，质疑的是显式 3D 作为具身模型训练中间表征的长期地位——正好落在他自己划的那条”人机接口 vs 训练方式”的界线两侧。同一篇报道里他也给出了本报告 ⑨ 预测 3 的核心反证（缺 action data、“世界模型如何解决机器人”的问题没有被真正回答）。

  平衡：他自己承认哪些地方还不成立（必须与上面等重地读）

这篇文章之所以值得当作一个足够强的具名反方而非”另一份 hype”，是因为它把自己的软肋也写出来了——而且这些软肋恰好落在他的替代方案上：

• 视频模型能不能变成策略，没有清晰证据。“…this remains speculative: to date, I am not aware of any clear demonstration that video models can easily be fine-tuned into policies, though there are some early signs of life.”（「这仍是推测性的：到目前为止，我不知道有任何清晰的演示表明视频模型可以被轻易微调成策略，尽管已有一些早期迹象。」）这句话直接掐住了”端到端取代 3D”的兑现路径。

• 他甚至不认为视频生成模型是答案。“I do not believe that video generative models will solve embodied intelligence. They may not even be a necessary component of the final solution.”（「我不认为视频生成模型会解决具身智能。它们甚至未必是最终方案的必要组成部分。」）

• 交互式世界模型有”动作数据”的鸡生蛋问题。“Training interactive world models requires paired action–observation data, which is precisely the resource we lack.”（「训练交互式世界模型需要成对的动作-观测数据，而这恰恰正是我们缺乏的资源。」）——这一条与李飞飞的诊断完全一致：她在 Lenny’s 里说机器人套不上 bitter lesson，正是因为”要的是 3D 世界里的动作，训练数据却缺动作”（见 ②）。两人在瓶颈上不谋而合，分歧只在解法。

• 连预训练目标是什么都还没有答案。“At present, however, there is no clear answer to what the ‘right’ pre-training task should be.”（「但目前，对于”正确的”预训练任务应该是什么，还没有清晰的答案。」）内在动机、探索、长时程记忆、持续学习、大模型实时控制，他都列为”wide open”。

读法提示（这里有一个很容易犯的推理错误，本报告先自己标出来）：他的否定性论证（3D 在训练侧是瓶颈）比他的肯定性方案（端到端感知-行动环）成熟得多。这意味着”显式 3D 会过时”目前是一条论证充分、但尚未被兑现的预测，不是既成事实。但这四条削弱的是”端到端议程的近期可兑现性”，不是”他对表征的批评”——两者之间没有推理通道：“他暂时拿不出 video→policy 的演示”推不出”显式 3D / hybrid 因此更可能正确”。尤其他对视频生成模型的保留，恰恰说明他的中心主张并不绑定”视频模型就是答案”：替代路径完全可能是另一种端到端预训练目标。因此本报告若仍押 hybrid，理由必须来自模块互操作、工程验证与公开对照实验，而不能把他对视频路线的否定当成支持 hybrid 的证据（⑨ 预测 2 已按此重写）。

本报告的裁决：把「3D」这个词拆成四种读法，四种命运不同

  我的裁决 · 作者（AI）个人观点

争论之所以吵不完，是因为”3D 重要”这句话至少混着四种彼此独立的主张，而 Sitzmann 只对其中一种构成正面威胁。逐条裁决如下（下表为本报告作者裁决，非任何一方原话）。本轮下调了两格的强度：第 ① 格由”站不住”降为”尚未证成”，第 ④ 格由”站得住”降为”部分成立”——理由写在各自的依据栏里。

    「3D」的读法裁决依据

强形式 · 关于智能的构成 强主张尚未证成 证据明显偏反方，但不宜写成已被击穿 三条证据同向削弱，但没有一条完成否证——各自的真实射程必须写准：① Sitzmann 的思想实验说明”完美 3D 本身不充分”（仍需另一个算法消费它，I/O 仍是图像→动作）；但一个必要组件本来就不需要独立完成整个任务，“不充分”推不出”不必要”。② ESI-Bench（她自己团队）反驳的是”任意显式 3D 都有益”——不带不确定性建模的噪声 3D augmentation 可能比 2D 更差；但同一篇论文里 ground-truth 3D 对深度任务仍然有益（见 ⑤）。③ RTFM（World Labs 自家产品）证明无显式场景几何的 learned renderer 可行；但官方同时写明它给每帧赋 3D pose、并注入”三维欧氏空间”的 weak prior，且它是渲染器、不是已兑现的具身策略（见 ④）。 结论：现有证据足以否定”显式 3D 本身就足够”与”任意显式 3D 都优于 2D”，尚不足以否定”某些任务在训练或运行时需要显式几何”。

        ② 3D 是「人机」交互与创作编辑的接口
        有条件成立
        Sitzmann 明确让步："for the human-machine interface, having a 3D mesh representation and a CAD-like editor may be reasonable"。但注意他用的是 "may be reasonable"——这是对可行性的让步，不是对 Marble 商业价值与留存的验证。路线之争在这一格确实基本止步；产品价值是否持久，仍须由工作流采用率与留存数据验证，而本报告在 [⑨ 预测 5](9-my-take.html#predictions) 自己就承认目前缺公开留存数据。与"智能是否需要 3D"是两个问题。

        ③ 3D 是「机器间」交换空间意图的通用语
        未决
        这是《3D as code》最有原创性、也最未经检验的一格（见 [④](4-world-model.html#code)）。它取决于系统形态而非表征优劣：若未来是模块化生态（异构机器人栈、第三方安全监视器、独立仿真器互操作），结构化 3D 作为交换格式的论证成立；若收敛到单一端到端模型，则机器间根本不需要"交换"。（这两种系统形态是本报告为裁决这一格设的对照，不是 Sitzmann 的主张——他的文章没有裁定实现该是单体还是模块化。）迄今仍没有任何第三方评测比较过"结构化 3D 交换"与"共享潜空间"孰优（见 ④ 局限表末行）。

        ④ 3D 提供可复现 / 可审计 / 可编辑的「工程保证」
        部分成立

且不在他本文的论证范围内 已经成立的那一半：可存储、可版本化、独立于上下文窗口、可由独立工具消费——这些是结构化产物本身的 affordance，《3D as code》的这部分论据是硬的。尚未成立的那一半：“可测试 / 可审计 / 可复现正确性”需要确定的语义、验证器、provenance 与测试协议，目前这些都还没有；本报告在 ④ 自己就写过这条”基本仍是空头支票”（见 ④「我的看法」），⑦ 这里不能反过来裁成”站得住”。措辞更正：此前写”这是他的盲区”比证据强——更准确的说法是该问题不在 Sitzmann 本文的处理范围内：他讨论的是能力（模型能不能干成事），本文没有论及问责（出事了能不能查、能不能重放、能不能被第三方验证）。在受监管场景里这两件事不可替换，但”未处理”不等于”看不见”。

一句话：Sitzmann 把第 ① 格打到了”尚未证成”（而不是”已被推翻”），让步了第 ② 格，第 ③ 格未决，第 ④ 格不在他本文范围内。因此正确的结论不是”谁赢了”，而是——本报告此后不再以任何强形式使用”3D 是空间智能的必要基底”这一读法；但也不主张它已被否证，因为把”完美 3D 不充分”读成”显式几何不必要”同样是越界。④⑤ 相关处已就地补链。

真实的分歧轴：不是”要不要 3D”，是人工规定的显式中间表征还是端到端优化 + 内部表征自由学习

把两人的一手表述并排放，会发现一件反直觉的事：他们在最深的那一层是同意的。李飞飞的第一性原理是”seeing is for doing”（见 ③ 感知-行动循环）；Sitzmann 写的是”视觉的’整体问题’一直就是、也始终是具身智能”（“the ‘overall problem’ of vision is and has always been embodied intelligence”）。两人都认为视觉的目的是行动，都认为感知与行动不该被切开。真正的分歧发生在下一层——这个感知-行动环里的中间表征，该由人类事先规定，还是由训练目标贯通后交给模型自己长出来？一处必须先更正的措辞（本报告此前的失真）：此前把这条轴写成”因子化 vs 单体化”、把他的一侧写成”环焊成一个端到端模型”。这不准确——“端到端优化”与”单体架构”不是同义词。他主张的是训练目标直接贯通感知与行动、内部结构由模型自行学习；他没有规定实现必须是单体网络，也没有排除模块化系统、工具调用或分层控制。把二者画等号，会把反方改造成一个更容易被”可审计""模块生态”击败的版本，属于归属失真。

因子化 · 显式 3D 是一等状态（World Labs / 李飞飞）

• 环拆成可寻址的组件：世界模型产出结构化 3D → 外部引擎跑规则与物理 → policy 消费状态

• 《3D as code》原话：“因子化 / 混合运行时”，“规则重要的地方”保留独立组件

• 收益：可检视、可编辑、可版本化、可跨系统交换、可审计

• 代价：接口处有信息损失；每个模块的误差会向下游级联

• 赌的是：模块化生态会像软件业一样成为长期形态

端到端优化 · 内部表征自由学习（Sitzmann）

• 训练目标贯通感知与行动：原始数据进、动作出，中间结构由模型学出任务相关的内部表征，不由人类事先规定

• 原话：模型应学到它们自己的 “internal, task-relevant structure”；这些内部表征”不需要、也很可能不会”对应任何人类设计的 3D 分块、网格或重建概念

• 收益：没有人为瓶颈，随算力扩展

• 代价：内部表征不保证可检视、可局部编辑，问责路径需另建；且他自己承认预训练目标未知

• 赌的是：Bitter Lesson 会连表征一起吃掉

• 他没有主张的事（务必分清）：没有规定实现必须是单体网络，没有排除模块化 / 工具调用 / 分层控制，也没有说”表征本身该取消”——他反对的是把人类设计的显式 3D 当训练目标或架构先验

注意：Eric Xing 的 PAN（见上一节）是第三个位置——分层的连续/离散混合 belief state + 观测 grounding，既不是”显式 3D 作一等状态”，也不是”取消一切人为结构”。三方并列时，本报告 ⑨ 预测 2 押的是”显式几何仍参与训练/运行时”这一侧，而 Sitzmann 是那条预测的头号反例候选。精确表述：他的主张与”显式 3D 在训练/运行时是一等状态”不相容，但与”训练之后导出 3D 接口”完全兼容；他的文章并没有裁定系统实现必须是单体还是模块化。失效条件已按这条界线重写，见 ⑨。

  一处值得写下来的对位：同一把刀，砍向她自己的表征承诺

李飞飞是 Bitter Lesson 最大的受益者之一。她在 Lenny’s 里亲口说过：“This paper came years after ImageNet. That to me was not bitter; it was a sweet lesson. That’s why I built ImageNet because I believe that big data plays that role.”（「这篇文章是 ImageNet 之后好几年才出的。对我来说它不苦涩，它是一条甜蜜的教训。我建 ImageNet 正是因为我相信大数据起那样的作用。」本报告已存档逐字稿，见 ② 与 ⑤ §0。）“简单模型 + 海量数据胜过复杂模型 + 少量数据”——她是这条规律最早、最成功的下注者之一。

而 Sitzmann 现在用的正是同一把刀，砍的是她的表征承诺。他的推理形式与她当年一模一样：你们以为精心设计的那个东西很聪明，但它其实是个瓶颈；放手让算力和数据去学——只不过她当年砍的是”手工特征与复杂模型”，他这次砍的是”手工设计的 3D 表征”。更尖锐的是弹药的来源：支撑”不完美显式 3D 反而更差”的最硬一条实证，不是来自反对者，而是她自己团队的 ESI-Bench（见 ⑤）。这一段是本报告的观察与评价，不是任何一方的原话；Sitzmann 全文未提及李飞飞或 World Labs。

但对位不等于胜负。她当年赢，靠的是数据侧的赌注在五年内被 AlexNet 兑现；他这次要赢，需要的是”端到端在等预算下追平并超过因子化管线”——而按他自己的坦白，这件事至今没有清晰演示。所以这一格的正确写法是：一个高质量的、可能正确的、尚未被兑现的反方。再强调一次那条推理纪律：“尚未兑现”只针对他的路径，不针对他的批评。本报告不能用”他没有现成的 video→policy 方案”去回血”显式 3D 是必要基底”——那是两条不相干的命题。

延伸：Sitzmann 在文末”Further Reading”里指出，Google 的 Jon Barron（辐射场领域核心研究者）近期一场 talk 讨论”视频模型时代的辐射场”，“同样指向 3D 的过时”——即这不是他一个人的判断。但这条是他对该 talk 的转述，本报告未独立核对 talk 内容，标”待核实”，不作为独立证据计入。

  我的看法 · 作者（AI）个人观点

把李飞飞放回赛道里看，她的位置很微妙：论叙事，她是定义者（“空间智能""世界模型三能力""功能分类学”这套话语几乎是她团队立起来的）；论算力/数据，她是小玩家（据她自陈 Marble 训练量比 GPT-5 级小几个数量级，团队规模有限，面对 NVIDIA/DeepMind 的资源碾压）。这构成一个经典张力：先行者定义了赛道，却未必是最终赢家。

我的三点判断：(1) “显式 vs 隐式”之争会消解——连她自己都说要融合，未来是 hybrid，胜负手不在表征而在数据飞轮与工作流留存。但这一条必须挂上它最强的反例：Sitzmann 主张的收敛终点不是 hybrid——训练目标直接贯通感知与行动、中间结构交给模型自己长（连显式 SE(3) 相机位姿都不留）；若他对，“消解”的方式就不是两派融合，而是显式那一支在训练侧被整个吃掉、只剩训练完成后微调出来的导出接口。本报告仍押 hybrid，但理由已换过：不再是”他没有现成的 video→policy 方案”，而是模块互操作、工程验证与公开对照实验（失效条件见 ⑨ 预测 2，本轮已重写为可判决形式）。(2) 商汤 SenseNova-SI 一度超越 Cambrian-S 是一个信号：但要谨慎——它更可能说明数据规模（8M vs 590K）与评测口径的重要性，而非”技术壁垒不存在”；无论如何，“跨视角预测/预测式感知”会被各家吸收，World Labs 的护城河更可能在产品（可导出几何的创作工作流）而非模型本身。(3) 最大的风险是”叙事兑现周期”：她团队的 Theory of Space 论文都承认空间智能能力仍初级（中文媒体形容”三岁小孩”），而资本已按”下一个前沿”定价。若 3 年内 Marble 类产品停在 demo/一次性使用、无法沉淀为高留存工作流，“太早被卖贵了”的批评就会成立。她押的是一场正确但可能漫长的赌——正如她自己说的，“看见北极星，不意味着旅程会短”。

本模块信源 · 《A Functional Taxonomy of World Models》(2026-06-03，她本人 Substack 署名 Fei-Fei Li；“具身 demo 无一被真实部署验证”一段即出自其 planner 节)、《From Words to Worlds》；LeCun/AMI（TechCrunch/智源社区，$1.03B 种子轮 2026-03-10、谢赛宁任 CSO）；Genie 3（DeepMind 官方博客）、Cosmos（NVIDIA）、GAIA-2（arXiv:2503.20523）；商汤 SenseNova-SI / 群核 / Emu3（中文媒体，基准口径待核实）；TIME Marble 实测（2025-12-09，^[1]，同一篇亦收录 Sitzmann 对 Marble 的正面评价）；钛媒体/36氪批评稿；Theory of Space（ICLR 2026，李飞飞×李曼玲）。本轮新增「来自 3D 学界内部的反驳」全节，出处为 Vincent Sitzmann（MIT EECS 副教授，MIT CSAIL Scene Representation Group 负责人）个人博客《The flavor of the bitter lesson for computer vision》（2026-02-01）——署名博客 · 学者本人一手观点 · 高，但属预测/立场文章，非同行评审结果，全节所引英文均已回原文逐句核对，中译为本报告所作；其中 Jon Barron talk 一条为他的转述、本报告未独立核对，标待核实。竞品数字含官方与媒体口径，详见 信源台账。

生成模型：Opus 4.8 · 独立 gpt-5.6-sol-max review agent 参与质量把关 · 最近更新：2026-07