世界模型与 World Labs 路线

④ 世界模型三大能力 · 李飞飞 Insight

④ 世界模型三大能力

如果说 ③ 空间智能 是”为什么”，那么世界模型（World Model）就是李飞飞给出的”是什么/怎么做”。本模块拆解：她给世界模型下的三条定义性能力、她与 World Labs 团队2026 年提出的渲染器/模拟器/规划器功能分类学（含其 POMDP 地基与”统一世界模型”终局判断）与「3D as code」接口范式（后者为团队署名、非她个人）、旗舰产品 Marble（当前是静态 3D 世界生成器，因输出可导出的 splats + collider mesh 而触及模拟器契约（simulator-adjacent）；action-conditioned 动态模拟仍需外部物理引擎、属未来）、以及 RTFM 实时帧模型。与 JEPA/Genie/Cosmos 的赛道对比见 ⑦ 前沿。

[三大能力](#three)
[功能分类学](#taxonomy)
[统一世界模型](#unified)
[3D as code](#code)
[Marble](#marble)
[RTFM](#rtfm)
[首批论文](#papers)
[路线对照](#vs)
[我的看法](#take)

Three essential capabilities

世界模型的三条定义性能力

在《From Words to Worlds》中，李飞飞用三条”essential capabilities”给”世界模型”下了操作性定义。这不是泛泛而谈，而是刻意区别于 LLM 与视频扩散的判定标准。

  一个开放的路线分水岭

在”生成性”里，李飞飞留了一个关键开放问题：世界应隐式（latent）还是显式（explicit geometry）表示？她的立场是：除强大潜表征外，通用世界模型的输出”必须也能生成一个显式、可观测的世界状态”。这一句，正是 World Labs 与 LeCun 的 JEPA（只在表征空间预测、拒绝显式生成）的路线分水岭（见 路线对照 与 ⑤ JEPA）。

A Functional Taxonomy (2026.06)

渲染器 / 模拟器 / 规划器：一把切开全行业的尺子

2026-06-03，李飞飞与 World Labs 团队发表《A Functional Taxonomy of World Models》，把被用滥的”世界模型”一词按”输出契约”切成三类。这是理解整个赛道（也理解 Marble 差异化）的最佳骨架。

  署名（请先读：与《3D as code》不是同一种情况）

这篇算她本人的主张，三条证据同向：① 它发在她本人 Substack（drfeifei.substack.com，作者署名 Fei-Fei Li，2026-06-03；公司博客同日镜像）；② 正文自述”the World Labs team and I want to go one level deeper”；③ 她在 Bloomberg Tech 2026-06-04（与 Emily Chang）亲口复述其核心主张——三类世界模型中”simulator 是三者的枢纽""simulator 可以变成 renderer、也可以变成 planner”。因此本报告按”她与 World Labs 团队共同署名”处理：主体很可能由团队执笔，但她署名、并以第一人称公开复述，属可归给她本人的观点。 务必与《3D as code》区分开：那一篇（2026-03-03）是 World Labs team 署名、非她个人署名、未收入其 Substack，她只在 LinkedIn 转发背书——两者的证据等级不同，不可混为一谈（见 3D as code · 署名与文体）。Bloomberg Tech 场次与视频已核实存在（2026-06-04, SF），但逐字措辞取自第三方 newsletter 摘录与自动字幕，待回官方视频校对；本节所引分类学原文均出自她本人署名长文（一手·高）。

先看地基：三分法不是拍脑袋，它被锚回了 POMDP

这一节是报告此前完全漏掉的一块，而它恰恰是三分法之所以站得住的原因。文章并不是先切三类，而是先把”世界模型”这个被用滥的词重新学术化：她用一整节（The loop beneath the taxonomy）把它锚回强化学习教科书里那张agent–action–state–observation 循环图——点名 Sutton & Barto，并写明”它的正式名称是部分可观测马尔可夫决策过程（POMDP），而 ‘world model’ 一词的原始定义就属于那个传统”。

随后她专门花一段厘清最容易被误用的那个词——state（不是化学里的”物态”，而是物理学家 / 机器人学家说的 state）：

state · 世界的底层实在

• “对某一时刻世界正在发生什么的完备描述”——每个物体、每个位置、每个速度、每个属性
• 原则上完备
• 但对任何身处其中的 agent 都永不可直接见

observation · agent 的局部视角

• 是”agent 对那个实在的局部视角”

• 永远是部分的、带噪的、有视角的

• 模型能直接拿到的只有它

  这个区分为什么值钱

有了 state / observation 之别，三分法就不是三个并列的产品品类，而是同一个循环的三种投影——她的原话是：现在被叫作”世界模型”的各种东西，“其实是同一个循环的不同投影，每一种输出循环里的不同一块”。渲染器投影到 observation（(o=R(s,a))）、模拟器投影到 state 转移（(s_{t+1}=\mathcal F(s_t,a_t))）、规划器投影到 action（(a=\pi(o,g))）。这也直接解释了为什么她认为模拟器是枢纽：只有它握着那个”原则上完备”的量。形式化对应见 ⑤ §4 的潜状态空间写法（(z_t=E_\phi(o_{\le t})) 正是”从 observation 反推 state”这件事的工程版）。

  开篇的另一处维特根斯坦（与 ③ 引的不是同一句）

全文以《逻辑哲学论》起手——“The world is everything that is the case.”（世界是一切发生的事情）——紧接一句她自己的转折：“The world is not made of words.”（世界不是由词构成的。） 注意与 ③ 哲学锚点 已引的”语言的界限即我世界的界限”（Tractatus 5.6）分属两处不同引用：③ 那句被她用来说”语言有边界”，这一句被她用来说”世界的构成材料根本不是语言”——后者更硬。可信度：本人署名长文·一手·高。

再看那把尺子本身：按”输出契约”切三类

Where the boundaries collapse · 2026.06

她写下的逻辑终点：统一世界模型，与”美观 vs 精度”这个第一号开放问题

同一篇长文的最后一节（Where the boundaries are collapsing and what comes next）是报告此前降格最严重的一块——它此前只作为 Marble「官方愿景」清单 里的一行 bullet（“统一 renderer/simulator/planner”）存在。但这不是产品 roadmap 的一条，而是她对整个领域终局的判断，而且她给了机制、也点名了拦路的那个问题。

  终点 · 一手（本人署名长文，2026-06-03）

“The logical endpoint is a unified world model: one foundation model that can render photorealistic views, produce physically accurate structure, and plan action sequences, switching between output modalities depending on what the downstream consumer needs.” 「逻辑终点是一个统一的世界模型：单一基础模型既能渲染照片级视图、又能产出物理上精确的结构、还能规划动作序列，并根据下游消费者的需要在各种输出模态之间切换。」（本报告中译）

她给的机制不玄：三类之所以能合，是因为它们共享同一套关于几何、物理与动力学的知识（这正是”模拟器是枢纽”的推论）。她并列了两条已经在发生的坍缩证据：

① 渲染器 ↔ 规划器已被架桥

已有机器人实验室的工作显示：预训练的视频渲染器可以直接充当”世界-动作联合预测”的骨干——也就是说，一个本来只用来产像素的模型，被拿去当规划器的底座。（她的转述；本报告未独立取证具体是哪些工作，故不点名、不引用其数字，待核实。）

② 渲染器 ↔ 模拟器已在同一个模型里

她直接拿自家产品举证：Marble 已经在一个模型里同时输出高斯泼溅与碰撞网格，“溶解了渲染器与模拟器之间的边界”。（公司/本人称；这与本报告对 Marble 的严口径不冲突——它解释了 Marble 为何被记为 simulator-adjacent，而非”已是完整模拟器”，见 Marble。）

她还给了一句方向性总结：每一层都在从被动输出走向交互系统——渲染器变成动作条件的、模拟器生成更可控可编辑的世界、规划器从”反应（reacting）“走向”审慎（deliberating）”。

  最强反方：统一之后，"输出显式几何"这一模态可能根本不该存在（双向链接）

她的”统一世界模型”预设了一件事必然保留：这个统一模型仍会产出物理上精确的显式结构，只是按下游需要切换模态。Sitzmann 反对的正是这个预设。他主张 Bitter Lesson 会把表征也一并吃掉：端到端模型学到的内部结构”不需要、也很可能不会对应任何人类设计的 3D 分块、网格或重建概念”，显式 3D 只应在训练完之后作为微调出来的对接层出现。两种”统一”因此形状完全不同——她的统一是多模态输出的单一基础模型（显式几何在训练与运行时都是一等公民）；他的统一是训练目标上的统一（感知到行动直接贯通、中间结构由模型自学），显式几何退化为训练完成后微调出来的导出层。归属纪律：“端到端优化”不等于”单体架构”——他并未规定实现必须是单一网络，也没有排除模块化、工具调用或分层控制；他反对的是把人类设计的显式 3D 当作训练目标或架构先验。本报告此前把这一侧写成”单一端到端策略”，是把反方改造成了更容易被驳倒的版本，本轮更正。这一分歧就是 ⑨ 预测 2 的头号可证伪点；完整论证与本报告裁决见 ⑦ 来自 3D 学界内部的反驳。注意：他没有反驳她那条”美观 vs 精度”的开放问题——他压根不认为该在同一架构里显式地追求”精度”这一输出。这是问题被取消，而不是问题被解决。

  她亲口指认的"第一号开放问题"（这是本节最该被读到的一句）

“Optimizing for visual beauty can sacrifice the precision a robot or a high-fidelity simulation needs. Reconciling these tensions inside a single architecture is the defining open problem in world model research today, and this is what World Labs sets out to do as we continue to evolve Marble.” 「为视觉美观做优化，会牺牲机器人或高保真仿真所需的精度。在单一架构内调和这组张力，是当今世界模型研究的定义性开放问题——这正是 World Labs 在持续演进 Marble 时要做的事。」（本报告中译） 这句话的分量在于：它是”统一世界模型”这个终点的代价条款——不是”再多训一点就统一了”，而是”两个目标彼此相斥、要在同一个架构里被调和”。本报告此前最接近的表述分散在 ④「我的看法」与 ⑨ 预测 2，等级都只到”本报告推断 / 同向论据”，现按她本人一手回填。

她自己列的开放问题：不只”三座大山”，还有四条更工程化的

报告 ③ 三大研究议程 取自 2025-11 纲领（任务函数 / 数据 / 架构），偏战略。2026-06 这篇给了一组更工程、更可验收的开放问题——尤其第 2 条，几乎是本报告在 3D as code「我的看法」 里那条判断的她本人版本：

  #开放问题（她的口径）为什么难报告此前的状态

    13D 数据稀缺：带显式几何、材料属性与物理标注的 3D 数据，比渲染器所训练的互联网视频稀缺几个数量级没有"互联网规模"的现成语料，采集与标注都贵已充分覆盖（③④⑦⑨ 多处）
    2生成式模拟器引入的新风险：AI 生成的几何"可以看起来正确，却包含自相交（self-intersections）或错误尺度（wrong scale）"，从而产生毫无意义的物理光度 / 观感上的"对"与可仿真意义上的"对"是两件事——错误不表现为画面难看，而表现为物理仿真结果无意义此前缺失；且本报告在 [「3D as code」我的看法](#code) 里的同类判断（"3DGS 被训练成看起来对而非就是对"）此前标为"推断（本报告）"，现可升级为"与她本人表述一致"
    3sim-to-real gap 依然存在：仿真里学到的东西迁移到真实世界仍会掉建模误差、感知差异、长尾接触动力学此前缺失
    4规模化的多物理场仿真：刚体、可变形体、流体、布料同时交互，比单域仿真贵几个数量级耦合求解的算力成本随物理场数量非线性上升此前缺失

出处：《A Functional Taxonomy of World Models》(2026-06-03)，她本人 Substack 署名·一手·高；中文侧另有网易智能全文中译与量子位摘要可交叉对照（中译·中）。第 1 条与她 2025-11 纲领的”数据”议程重合，故不重复计入”新增”。

  我的看法 · 作者（AI）个人观点

把这一节补回来，会改变读者对她的判断在”独创性”上的归属。本报告 ⑨ 预测 2（显隐终将收敛为 hybrid）此前把她的立场只记作”同向论据”，其实她已经把”统一世界模型是逻辑终点”写下来了——诚实地说，那条预测在很大程度上是复述她的判断，本报告的增量只在”给出了可验收的指标与失效条件”。这一处已在 ⑨ 就地更正。

但我认为”美观 vs 精度”这条张力，比她写得更棘手。她把它描述成”在单一架构内调和”，即一个架构问题；我倾向于认为它首先是一个监督信号问题：光度损失（让画面像）与几何/物理正确性（让仿真对）在数据层面就不同源——前者有互联网规模的视频，后者只有稀缺的带标注 3D。若如此，“统一”更可能先在输出层用因子化实现（同一骨干、多个头 + 多套监督），而不是先在表征层实现。可观察判据：若 World Labs 后续把精度提升主要靠”加带物理标注的数据与新监督头”（而非换主干架构），那就是我这一读法成立的信号；反之若他们公布一个新主干并声称同时改善两端，则她的读法更接近。

3D as code · 2026.03.03

「3D as code」：把世界”外化”成程序可读写的结构化产物

一句话定义：文本成了软件的通用接口，3D 正在成为空间的通用接口——世界模型不应只吐像素，而应像 LLM”写代码”那样，产出可检视、可编辑、可版本化、可组合、可被其他系统消费的结构化 3D 产物，再交给下游引擎去”执行”。

  读这一节前，请先知道它的最强反方（双向链接）

本节整节都建立在一个前提上：3D 值得被当作接口。这个前提有一个高质量的反对者。MIT 副教授 Vincent Sitzmann（Scene Representation Group 负责人，即 3D 表征领域内部的学者）2026-02 主张：手工设计的 3D 表征正是 Bitter Lesson 所警告的”聪明的人为瓶颈”，“我们很快会停止在具身智能里使用 3D”。他的思想实验直指要害——给你一份完美的 3D 重建，你到底能解决什么真实问题？整体 I/O 仍是”图像 → 动作”，3D 因此被降为”一个聪明的预处理步骤”。 但他明确让步了本节最相关的一半：“就人机接口而言，有一个 3D 网格表征和一个类 CAD 的编辑器可能是合理的；我的论点不是关于我们如何与机器对话，而是关于我们如何训练模型。“——也就是说，他攻击的是”3D 作为训练目标”，不是”3D 作为接口”。 完整论证、他自己承认的软肋、以及本报告对”3D 的四种读法”的逐条裁决（必要基底＝强主张尚未证成／人机接口＝有条件成立／机器间通用语＝未决／工程保证＝部分成立），见 ⑦ 来自 3D 学界内部的反驳。归属精度：他反对的是把人类设计的显式 3D 当作训练目标或架构先验，主张端到端优化 + 内部表征自由学习；他没有规定实现必须是单体网络，也没有说表征本身该取消。

  署名与文体（请先读）

该文 2026-03-03 发表于 World Labs 官方博客，署名 World Labs team——非李飞飞个人署名，也未收入她本人 Substack（截至 2026-07，其 Substack 仅 3 篇：2025-10 自我介绍、2025-11《From Words to Worlds》、2026-06《功能分类学》）。但她同日在 LinkedIn 转发并背书：“Love this essay from World Labs team! Just like codes, 3D is a universal interface for machines and people.”（一手·本人社媒；X 端未检索到对应帖，待核实）。 因此它的准确定位是：公司级的”接口范式”定位长文（positioning essay）——不是论文，不含新算法、新基准、新实验、无独立第三方验证，但由创始人明确认可。下文凡属公司愿景的表述均标”公司称”。

核心主张：3D 与代码共享的是”接口结构”，不是形态

原文的论证不是”3D 看起来像代码”，而是两者作为接口的结构性相似——它把这一点拆成两个方向：

① 人 ↔ 机：可被人接手的中间产物

AI 写出代码后，人可以检查、修改、调试、并入更大系统，于是”程序员 + AI coding agent 迭代协作”的复合工作流成立。原文称 3D 可扮演同一角色：世界模型生成场景后，人能”在熟悉的工具里打开它、编辑几何、调整约束、重跑仿真、纠正错误”——设计师与工程师因此可以和生成式世界模型协作。

② 机 ↔ 机：能插进现有流水线的交换格式

代码之所以能被编译器、运行时、API 消费，是因为它遵循既定抽象。同理，3D 输出可对接渲染引擎、仿真系统、物理求解器、机器人软件栈、CAD 工具。原文的判断句是：当世界模型产出的是结构化 3D 而非像素时，它才”可以参与到现有流水线中”。

  全文的题眼（一句）

“In both cases, the key property is externalization of state into structured artifacts that other systems can consume.” 两种情形下，关键属性都是把状态外化为其他系统可消费的结构化产物。（本报告中译）——这句话可以当作整篇文章、乃至 World Labs 整个产品契约的压缩表达。

最锋利的一段论证：“让 LLM 去当那个程序”

原文用一个反例把主张钉死。它设想：与其让 LLM 写一个排序程序，不如直接命令它”把下面这一百万个数排好序”——模型确实能尝试在 token 流里完整模拟这个行为。但我们几乎从不这么用，也不指望它完美完成。为什么？

  原文 · 为什么要"写程序"而不是"当程序"

“Because code execution provides guarantees that raw inference does not, such as reproducible execution, human readability, and modular composability. Code can be stored, versioned, tested, and run independently of the models’ transient context window. It separates reasoning, representation, and execution.” 因为代码执行提供了裸推理给不了的保证：可复现执行、人类可读、模块化可组合；代码可存储、可版本化、可测试，且独立于模型转瞬即逝的上下文窗口运行——它把推理、表征、执行三者分开。（本报告中译）

然后是那一刀：空间侧的”让 LLM 当程序”，就是丢掉结构化世界表征与仿真引擎，纯靠逐帧查询的 action-conditioned 像素/状态生成——原文称其为”状态与观测纠缠在一起的黑箱”。这类模型”可能在核心任务上非常出色”，但缺少可操作的结构：输出无法被检视、无法被编辑、难以共享（多人协同体验、机器人之间共享意图与状态），也无法接入既有仿真与控制系统。

  推论：把栈压平，会让"编辑"和"执行"变成同一件事

原文承认端到端 （历史 + 动作）→ 下一帧 是”有吸引力的研究方向”，但指出一个根本性取舍：当记忆、动力学、渲染被塞进同一张网络，“创作与消费就糊在一起了”——运行时的物理交互（踢一个球）和非物理的编辑（拆掉一堵墙）会变成同一类输入；用它自己的类比说，就是”编辑代码与执行代码变得无法区分”。这会削弱物理一致性、可重放性、确定性三项保证。这段是全文对”pixels all the way”路线最具体、也最难反驳的批评。

在 World Labs 技术栈里的位置：它是”事后追认”的接口范式

《3D as code》没有发布任何新东西——它把 2024-12 到 2026-04 已经陆续放出的组件，用一条接口逻辑重新串起来。这也是判断它性质的关键证据：它是接口范式与定位宣言，不是产品能力发布，也不是研究主张。

  栈的层原文赋予的角色对应 World Labs 组件首次公开证据等级

      结构化世界

（“代码”） 世界模型产出可外化、可导出、可接管的 3D Marble：多模态输入 → splats + collider mesh + 语义尺度，可编辑/扩展/导出；World API 把这一能力变成 REST 端点（marble-1.1 / marble-1.1-plus） Marble GA 2025-11-12 World API 2026-01-21 官方（产品行为可测）

      粗粒度控制层
      "3D 作为粗控层"：布局与风格解耦，给人显式的构图控制权
      Chisel：用墙面、平面、体块、导入资产搭骨架，再交给模型生成细节
      随 Marble
      官方（原文自称 experimental feature）

      表达

（“语言”） 神经图形做描述与生成空间结构的表达介质 RTFM（learned rendering，从简单结构输入产出反射/阴影等复杂效果）· Spark（THREE.js + WebGL2 的开源 3DGS 渲染器，MIT） RTFM 2025-10-16 Spark 开源 2025-05；Spark 2.0 2026-04-14 官方 + 开源可独立核验

      执行

（“芯片”） 仿真引擎跑规则与物理：状态管理 / 更新规则 / 观测 未自建——主张”因子化 / 混合运行时”，有针对性调用外部引擎组件（Unity / Unreal / 物理求解器） — 主张，非能力（原文未宣称自建引擎）

  一处必须点出的口径差

《3D as code》把 Marble 描述为”a multimodal world model designed to reconstruct, generate and simulate 3D worlds”（公司称）。本报告沿用更严的口径：Marble 当前是静态 3D 世界生成器，以可导出的碰撞网格触及 simulator 契约（simulator-adjacent）——完整的 action-conditioned 动态模拟 (p(s_{t+1}\mid s_t,a_t)) 仍需外部物理引擎（见 Marble · 公开信息边界）。有意思的是，这篇文章自己的”因子化运行时”主张恰恰支持这个更严的读法：既然规则与物理要交给外部引擎，那 “simulate” 一词在此处更接近”为仿真供料”而非”自己做仿真”。

为什么重要：它锁定的是”像素路线”最难补的三个洞

  ✏️

① 一次编辑，全帧传播

原文的对照极其具体：2D 动画每一帧都要重画，等于”每秒把世界重建几十次”；3D 里世界只建一次，之后是移动相机、改灯光、让物体动起来——一次空间编辑会自动传播到每一个渲染帧。这正对应”改一次源码再重跑，而不是从头重写每一个输出”。这是创作者工作流的成本结构差异，不是画质差异。 🤝

② 机器之间的”空间通用语”

规划智能体要标目标区域、安全监视器要标禁区、感知模块要标注不确定的几何、渲染模块要请求新视角——这些全是空间概念。若把空间推理全部塞进一个巨模型，机器间就只能共享潜向量，而这”要求共享模型、或至少共享潜空间”，在异构、模块化的现实系统里不成立。原文的判断很硬：“即便是语言，对几何与约束也是低效的交换格式”，结构化 3D 才是更自然的 lingua franca。 🏭

③ 数字孪生：从”手工模型”到”持续更新的镜像”

原文认为，过去数字孪生受限于严格的内存/算力预算，只能是简化、手工更新的 mockup；机器学习硬件的扩张解除了这一约束，使 NeRF / 3DGS 这类”吃内存吃算力”的技术可用，流水线可以从静态资产转为（部分或完全）生成式。由此数字孪生可走向”持续更新的高精度镜像”，支撑监控、控制与安全关键工作流（公司称——这句正是它被外部质疑最狠的地方，见下）。

与她整体思想的关系：这是”输出可观测状态”的接口化续写

  三条思想线在这里合流

  ② 对"渲染器/模拟器/规划器"分类学：分类学说"模拟器产可计算的状态"，《3D as code》则往前推了一步——光"可计算"还不够，状态还必须被"外化"成可检视、可版本化、可组合、可跨系统交换的产物。若把分类学看作"按输出契约分类"，这篇就是"论证为什么该契约必须是结构化产物"。时间上它早于分类学三个月，因此更像是分类学的前置动机而非注脚。

  ③ 对她本人的路线立场：她的公开立场是内部显隐混合、但输出层必须能产出显式可观测的世界状态（见 [三大能力](#three) 与 [⑤ JEPA](5-formulas.html)）。《3D as code》主张的"因子化 / 混合运行时"与之同构：学出来的模型负责感知、生成与推理，"规则重要的地方"（rules matter）仍保留独立组件。换句话说，这篇文章把她"显隐融合"的技术立场翻译成了一条接口契约。

局限与开放问题

  质疑具体内容证据 / 可信度

      整个前提被质疑

（最强的一条） Vincent Sitzmann（MIT 副教授、Scene Representation Group 负责人）主张：3D 表征本身就是 Bitter Lesson 所警告的”聪明的人为瓶颈”，“我们很快会停止在具身智能里使用 3D”；给你完美 3D 重建，你仍需另一个算法去消费它，整体 I/O 仍是”图像 → 动作”。他明确让步”3D 作为人机接口可能是合理的”，故本节的第 ① 张卡（人 ↔ 机）不受影响，受冲击的是”3D 是训练模型的正确目标”这一读法。逐条裁决见 ⑦。 署名博客 · 学者本人一手 · 高（2026-02-01，已回原文核对）；但属预测/立场文章、非同行评审，且他自承”至今不知有任何清晰演示表明视频模型可被轻易微调成策略”

      类比本身有断点
      代码有确定性语义与编译器：同一段源码在任何机器上语义一致。3DGS 却是用光度损失拟合出来的外观表征——它被训练成"看起来对"，而非"就是对"。二者的"可执行性"不是同一种东西。
      与她本人表述一致（非仅本报告推断）：她在《功能分类学》(2026-06-03) 亲自把这条列为生成式模拟器的开放问题——AI 生成的几何"可以看起来正确，却包含自相交或错误尺度"，从而产生毫无意义的物理（见 [统一世界模型 · 四条开放问题](#unified)）。"类比在此被拉伸"这一评价仍是本报告推断

      "安全关键"是无证之诺
      原文写数字孪生可支撑"monitoring, control and safety-critical workflows"，但全文未给出任何认证路径、标准框架或验证证据。在航空、汽车、核能、医疗器械，"安全关键"是有可审计证据要求的法规门槛，不是趋势线上的一个点。
      外部个人评论（Kaipability, M. Verma, 2026-03；原文引述已回溯核对属实——低权威、但指认精确）

      "可交换"在标准层

尚未闭合 （本轮按 2026 年新进展下调了反方强度） SIGGRAPH 2025 时：3DGS 的互操作仍是未完成的标准化议题——显示算法差异、高阶球谐的紧凑性、新表征（稀疏体素、mesh splats）不断涌现，甚至”编辑格式 / 交换格式 / 发布格式”都还没有分清，转换器与校验器缺位；业界共识是应把 3DGS 标准整合进 glTF 与 USD。 但到 2026-02，情况已经变了，必须如实更新：Khronos 于 2026-02-03 发布 KHR_gaussian_splatting 的 glTF 2.0 扩展 release candidate，提供标准化的 splat import/export 基线（位置/朝向/缩放、颜色与不透明度、按 splat 而非三角形解释的渲染规则，并对不支持的查看器降级为点云），已列出 CesiumJS、Esri ArcGIS、Niantic Scaniverse、XGRIDS 等计划采用方，贡献方包括 Autodesk、Cesium/Bentley、Esri、Huawei、Niantic、NVIDIA、XGRIDS。 因此正确的表述是：交换基线已从”根本没有”推进到”候选标准”，但尚未完成 ratification（Khronos 称批准预期在 2026 Q2；本报告于 2026-07 复核 glTF 扩展 registry，KHR_gaussian_splatting 仍列为 Release Candidate）。仍未闭合的部分：编辑语义、验证器、压缩方案（SPZ / L-GSC 等多套并行提案）与跨工具一致性。 净判断：互操作不再是空白，但仍不足以证明 3D 已经是成熟的通用接口——“3D 是通用接口”依然更像纲领而非既成事实，只是理由从”连格式都没有”换成了”标准刚进入候选、语义与验证尚未收口”。 行业标准组织（Khronos / Metaverse Standards Forum，^[1]；World Labs 的 Christoph Lassner 本人亦是与会者）

• Khronos 官方新闻稿 ^[2] 与 glTF 扩展 registry（2026-07 复核，均已回一手页面核对）

      可编程性的边界
      splats 是数百万半透明粒子，不天然具备物体级的可选中性、拓扑、材质与可重光照；下游生产链路目前普遍把它当"3D 概念稿"用来对齐创作方向，最终仍需回到干净的网格资产。"可编辑"在宏观（扩展/合成/文本改材质）与微观（改一条边、绑一根骨骼）之间存在明显落差。
      行业实践/厂商博客 + Khronos 材料（中低权威，指向一致）
  
      是否只是产品化包装
      公允地说：部分是。它没有新算法、新基准、新实验，发布时点紧随 World API（2026-01-21） 与 约 $10 亿融资（2026-02-18），功能上是把已有组件重新叙事为"接口层"。但"让 LLM 当程序"那一段论证具有独立的智识价值，不能只当营销读。
      推断（本报告；时间线为官方事实）
  
      无独立验证
      迄今未见针对"3D 作为机器间交换格式"的第三方评测（例如：异构机器人栈之间用结构化 3D 交换意图，是否真优于共享潜空间或语言）。这是一个可做而未做的实验。
      检索未见（截至 2026-07，待核实）
  
  我的看法 · 作者（AI）个人观点

这篇文章的真正贡献，是给”世界模型该输出什么”提供了一个非美学、非玄学的判据。此前这场争论总是滑向”谁的画面更真、更久”，而”3D as code”把问题换成了一个软件工程师熟悉的形式：你的模型产出的东西，能不能被存下来、被版本化、被别的进程读、被人接手改？这个判据的好处是可操作——它不需要你先赞同任何关于智能本质的形而上学。我认为这是 World Labs 继”渲染器/模拟器/规划器”之后第二次成功的概念供给。

但我认为这个类比在一个关键处被悄悄拉伸了（推断）。代码之所以是好接口，靠的是语义的确定性：源码在语法与语义上是离散、无歧义、可静态检查的。3DGS 恰恰相反——它是连续、过参数化、由光度损失拟合出来的，不同实现渲染出的结果都可能不一致。它更像”编译产物”而不是”源码”：可以被加载、被渲染、被搬运，但难以被有意义地 diff、review 或做单元测试。这条判断本轮不再只是本报告的推断——她在《功能分类学》里把同一件事写成了生成式模拟器的开放问题：“AI 生成的几何可以看起来正确，却包含自相交或错误尺度”，从而产生毫无意义的物理（见 四条开放问题 · 第 2 条）；本报告的增量只在于把它接到”3D ≠ 源码”这个接口论证上。原文列举的”可版本化、可测试”里，“可存储”和”可版本化”已经成立，“可测试”和”可 review”基本还是空头支票。真正配得上”空间源码”这个位置的，也许是 Chisel 那一层的粗结构 + 约束（离散、可读、意图明确），而 splats 只是它的渲染产物——若真如此，那 World Labs 后续最该加码的其实是 Chisel，而不是 splats 的保真度。这是一个可观察的预测。

第三点，也是我认为最容易被读漏的：这篇文章其实在给 RTFM 划边界。RTFM 是 World Labs 自己的”pixels all the way”路线（KV cache 里存世界、不建显式 3D），而《3D as code》花了整整一节论证这条路线”会让编辑与执行无法区分”。同一家公司同时押两边并不矛盾——分类学早就说了 RTFM 是学出来的渲染器——但这篇文章明确了谁是主谁是辅：神经渲染是”语言层”，结构化 3D 才是”代码层”。如果哪天 World Labs 让 RTFM 直接吃动作、输出可交互世界而不落地成结构化 3D，那就是这套接口范式被自己放弃的信号——这也是我给出的可证伪判据之一（其余见 ⑨）。

Marble · 2025.11.12 GA

Marble：静态 3D 世界生成器 · simulator-adjacent（而非”像素模拟器”）

澄清定位：按 World Labs 自己的功能分类学，Marble 被放在”模拟器 territory”，因为它输出可计算的几何状态（splats+碰撞网格）；但更准确地说，Marble 目前是一个静态 3D 世界生成器/渲染器，以碰撞网格触及模拟器契约——完整的 action-conditioned 动态模拟 (p(s_{t+1}\mid s_t,a_t)) 仍需外部物理引擎、属未来（详见下方”公开信息边界”）。

Marble 是 World Labs 首个产品（2025-11-12 全面开放），公司称其为”first-in-class generative multimodal world model”。它与 Sora/Veo 的可见区别不在画质，而在”输出什么”：Marble 的输出是可导出的显式 3D 资产（高斯泼溅 + 网格），而非一段视频。

  公开信息边界（重要 · 请先读）

已知的只是 Marble 的输入/输出契约与产品行为：能吃文本/图/视频/粗略 3D、能导出 splats/mesh/视频、能自由视角导航与编辑。未公开的包括：训练数据构成、核心网络与 tokenization、损失函数、参数规模、以及它到底以何种方式建模几何/物理。因此——

输入（多模态）

文本 / 单图 / 多图（可指定前后左右方位或 360° 全景）/ 视频 / 粗略 3D 结构（用 Chisel 工具以方块、平面搭骨架，结构与风格解耦）。

输出（显式·持久·可导航·可编辑）

3D 高斯泼溅（Gaussian Splats）作为最高保真表征 + 三角网格 Mesh（低模 collider 供物理碰撞 + 高模视觉对齐）+ 全景/视频 + 语义尺度元数据。可导入 Unity/Unreal/Blender。

Marble 能力的「三层」：已实现 / 官方愿景 / 未公开

为避免把远期愿景写成当前能力，明确区分三层：

✅ 已实现（可测行为）

• 多模态输入→生成 3D 世界
• 导出 splats / mesh / 视频
• 生成后可本地/浏览器实时渲染、自由视角导航（无需逐视角重生成，但仍有渲染成本）
• 世界编辑 / 扩展 / 合成（Chisel）
• 碰撞网格交给外部物理引擎

🎯 官方愿景（未兑现）

• 更深的 agent 交互性（action→next state）
• 动态世界（marble-1.1 起探索）
• 统一 renderer/simulator/planner —— 注意这不只是产品 roadmap：她把”统一世界模型”写成了整个领域的逻辑终点，并点名”美观 vs 精度”是第一号开放问题（见 统一世界模型）
• 世界模型级 Scaling Law 爆发

❓ 未公开

• 训练数据构成
• 核心网络 / tokenization
• 损失函数 / 参数规模
• 内部如何建模几何 / 物理

Marble vs 视频扩散（“像素模拟器”）—— 核心对比

  维度视频扩散（Sora / Runway / Genie…）Marble（World Labs）

    输出一段像素帧序列（2D 投影）显式 3D 世界（Gaussian splats + mesh + 语义尺度）
    表征隐式，藏在像素统计里显式几何：splats（可渲染的辐射表征）+ collider mesh（供外部引擎碰撞）→ 可测量/可编辑/可导出
    一致性涌现且统计性，长时会漂移/形变结构性持久（公司称）："no time limits, no morphing, no inconsistency"（TIME 独立实测：探索仅几步后（"a few beats of exploration"）画面即开始畸变、并出现幻觉化不连贯结构，见 [⑦](7-frontier.html#external)）
    自由视角受限（本质是重放生成的像素）生成后可自由视角导航（本地渲染），能"look behind and beyond"输入视角
    相机可控性

（唯一二元、可当场测试的一项）只能用文本模糊描述镜头运动（“缓慢推近”）——无法接受”向北平移 63 度”这类指令精确的相机放置控制（给定位姿即渲染该视角） 契约Renderer（产像素）产可计算状态（simulator-adjacent；当前静态生成，动态模拟仍靠外部引擎）

  第三种论证："精确相机控制"是 3D 感的「自然推论」（她的原话是 natural consequence；也是最容易当场验证的一条）

前两种论证（输出契约：splats/mesh vs 帧；一致性：结构性持久 vs 统计涌现）都需要读者先接受一些技术前提。她在 Latent Space 给了第三种，而这条不需要任何关于智能本质的形而上学，只需要打开产品试一次：

“You cannot say ‘pan 63 degrees to the north’” [to a video model]. “You just don’t have that control. Whereas in Marble, you have precise control in terms of placing a camera.” “The ability to record means a very precise control of camera placement. In order to have precise camera placement, it means you have to have a sense of 3D space. Otherwise you don’t know how to orient your camera and how to move your camera. So that is a natural consequence of this kind of model.” 「你没法对一个视频模型说’向北平移 63 度’——你就是没有那种控制权；而在 Marble 里，你对相机放在哪有精确控制。」「能’录制’就意味着对相机位置的极精确控制；而要能精确放置相机，就必须先有一种 3D 空间感，否则你根本不知道怎么定向、怎么移动它。所以这是这类模型的自然推论。」（本报告中译） 可信度：一手场次（Latent Space 2025-11-25，与 Justin Johnson）+ 第三方逐字稿（pod.wave.co，措辞待与官方音频校对）。

为什么这条比”画质 / 一致性”更硬：它是二元的——一个系统要么能接受”把相机放在坐标 ((x,y,z))、朝向 ((\theta,\phi))“，要么不能；不存在”部分能”。而能接受，就等于承认内部有一个可被外部寻址的空间坐标系。这与「3D as code」的”可存储 / 可版本化”判据是同一类判据（见 3D as code）：不比谁更美，只问接口存不存在。配套的工程约束（归 Justin Johnson，非她）：他解释团队要求场景在手机与 VR 头显上干净渲染——想让 splat 文件在四年前的 iPhone 上跑 1080p/30–60fps，splat 数量就受限；放宽设备要求就能换更高分辨率。这也是”相机可精确放置”能被产品化的前提。

最强反方（就地并置，不要只在 ⑦ 看到）：这条推论的关键词是”必然”，而 Sitzmann 正是冲着这个词来的。他预测连相机位姿本身都会消失：“新视角合成可以被纯粹形式化为一个表征学习问题——不需要任何多视角几何的概念。没有位姿，没有 3D。“理由是”自我运动（因而相机位姿）不过是一个智能体能采取的最基本的动作，它并不特殊”。若他对，那么”能精确放置相机 ⇒ 内部必有 3D 空间感”就不再是必然推论——一个把位姿当作普通动作 token 的端到端模型，同样可以接受精确视角指令，却没有任何人类意义上的 3D 表征。本报告的处理：保留这条论证的产品层价值（接口存不存在，仍是可当场测试的二元判据），但撤回它的”必然性”读法——它证明的是”存在一个可被外部寻址的坐标系”，不足以证明”内部表征必须是 3D 的”。但这句口号也必须按其论文的实际结果收窄（本轮补上）：他所依据的 XFactor（arXiv:2510.13063，ICLR 2026 Oral）并非没有位姿表征——它学的是 “unconstrained latent pose variables”，即不以 SE(3) 显式参数化的可迁移潜位姿，且 probing 显示 “latent poses are highly correlated with real-world poses”。所以实证支持的是”无需外部位姿监督、无需显式 SE(3) 参数化”，不是”内部连位姿变量都不存在”。

  官方点睛

“Getting persistent 3D geometry at scale is a really really hard problem. Having a model that just focuses on that will be central to a lot of workflows.” 把”可持久的 3D 几何”做到规模化，正是 World Labs 与像素路线的分野。参考耗时：文/图→全景 ~30s；完整世界 ~5min；高质量 mesh 导出 ~1hr。

Lenny’s 里她举了落地用例：与 Sony 合作的虚拟制片把制作周期”缩短 40 倍”（合作方/受访者口径，样本是一个一个月工期的项目，宜谨慎）、用户把导出的 mesh 放进 VR / 自制游戏、已有研究者主动联系、想用 Marble 生成机器人训练所需的多样化合成环境、以及一支心理学团队想用它快速生成精神科研究的实验场景。两处更正：① 这段逐字稿只说”researchers reaching out”，未点名 NVIDIA 或任何高校为使用方——若要写具体工具链，应写”研究者把 Marble 场景接入 NVIDIA Isaac Sim 等仿真栈”，且需另有出处；② 心理学团队要的是研究用实验环境，“恐高暴露治疗”是主持人推想 + 一位朋友的问询，属潜在用途、非已落地临床应用（见 ② Lenny’s）。定价四档：Free / Standard $20 / Pro$35 / Max $95 每月。

RTFM · 2025.10.16

RTFM：把”渲染器”学出来 + 用”空间记忆”求持久

Marble 走”显式几何”，但 World Labs 同时押注另一条隐式路线——RTFM（Real-Time Frame Model）：一个自回归扩散 Transformer，输入 1 张或多张图，在用户导航时实时生成新视角的 2D 帧，不构建任何显式 3D，单张 H100 即可交互式运行。两条路线用功能分类学统一：Marble 偏模拟器方向（simulator-adjacent，当前仍是静态生成器），RTFM 偏学出来的渲染器，且可协同（“combining RTFM with Marble”）。

机制① · World Model as a Learned Renderer

输入帧转成神经网络激活（KV cache），隐式表示整个世界；生成新帧时靠 attention 读取该表示。反射、阴影、镜面、镜头光晕等复杂效果都从数据里自然学到，无需手工建模。它模糊了”重建 vs 生成”：输入视角多→偏重建，视角少→被迫想象。

机制② · Posed Frames as Spatial Memory

难点：纯自回归帧模型里，每生成一新帧都比上一帧更贵，记忆被算力”卡死”。RTFM 的解法：给每一帧赋一个 3D 位姿，用”目标帧位姿”去查询——于是记忆具有空间结构。生成新帧时只检索邻近位姿的帧拼成上下文（“context juggling”），实现无界持久。

  为什么这很重要（本质）

RTFM 是李飞飞在纲领里亲自点名的”3D/4D-aware memory”范例——它用”空间记忆”取代”时间序列记忆”，正是对”1D/2D tokenization 不适配空间任务”的直接工程回应。背景动机也很硬核：朴素套用视频架构做”4K@60fps 交互流”需 >10 万 token/秒、持续 1 小时要 attend >1 亿 token 上下文——“既不可行也不经济”。RTFM 靠架构 + 蒸馏 + 空间记忆把它拉回单卡可跑。

First arXiv papers · 2026-06-12

World Labs 首批三篇论文：用 2D 生成先验降低 3D/4D 门槛

2026-06-12，World Labs 首次以 arXiv 论文形式同日发表三篇成果（此前只有博客 / 产品；为公司 / Justin Johnson 口径的”首批论文”，arXiv 预印本 ≠ 同行评审）。三篇共同的方法论母题是——把大规模 2D 生成模型学到的先验，迁移去降低 3D/4D 生成与感知的门槛，正面回应”3D 数据比互联网图像 / 视频稀缺几个数量级”这一瓶颈（见 Marble 与 ⑤）。作者均为 World Labs 团队（团队署名，非李飞飞个人）。

  论文（arXiv）输入 → 输出训练目标（原论文口径）局限 / 口径边界

      World Tracing

Generative Pixel-Aligned Geometry Beyond the Visible · 2606.13652 单 / 多视角图像 → 与输入像素对齐的完整几何假设（含被遮挡 / 不可见处） 对”看不见的几何”做生成式推断 / 补全，把可见约束外推到完整场景 是生成式推断、不是”恢复唯一真实的隐藏 3D”；多解处本质是”合理假设”而非真值

      Modality Forcing

for Scalable Spatial Generation · 2606.13676 文本 / 图像 → 图-深度联合生成 论证文生图（T2I）预训练是”空间感知 / 图-深度联合生成”的可扩展预训练目标 原论文口径较窄（限于空间感知 / 图-深度联合生成）；“可扩展 3D 推理预训练”是公司概括

      Flex4DHuman

Flexible Multi-view Video Diffusion for 4D Human Reconstruction 多视角视频 → 4D（3D+时间）人体重建 用多视角视频扩散做灵活的 4D 人体重建 限定”4D 人体”这一较窄任务；非通用 4D 场景 / 动态世界

  读法与边界（诚实标注）

Route comparison

三条世界模型技术流派

用功能分类学一刀切开，全行业其实分三派（详细竞品对比与 2026 最新进展见 ⑦ 前沿）：

  🧊

① 显式 3D / 神经渲染流

World Labs（Marble）。从 NeRF→3DGS 谱系出发，坚持”可观测、可导出、可编辑、可持久”的几何状态。强项：创作/仿真/机器人训练场；难点：3D 数据比互联网视频稀缺几个数量级。 🎞️

② 隐式视频 / 帧生成流

Genie / Cosmos / Runway / GAIA / Decart（RTFM 是”带空间记忆”的特例）。强项：能吃互联网视频、实时/交互、光影涌现；难点：长时一致性、几何可计算性先天弱。 🧠

③ 表征预测流

JEPA / V-JEPA（LeCun）。拒绝像素生成，只在潜空间预测。强项：表征/规划高效；与李飞飞”必须能产出显式可观测世界”的主张正面分歧（见 ⑤ JEPA）。

  一句话对比结论

业界主流在比拼”谁的像素更真、更久、更能玩”（渲染器竞赛）；李飞飞把赌注押在被忽视但更关键的”谁能产出人和程序都能计算的世界状态”（模拟器枢纽）——这既是 World Labs 的差异化，也是其数据最稀缺、最难啃的地方。

  我的看法 · 作者（AI）个人观点

“渲染器/模拟器/规划器”这把尺子，是我认为李飞飞团队最被低估的一次概念贡献——它一举把”世界模型”这个被 Sora、Genie、Cosmos、JEPA 各自定义得一团乱的词，变得可讨论、可比较。而”模拟器是枢纽”这个主张，逻辑上确实优雅：如果你真有一个能吐出可计算状态的模型，它同时具备了”给人看”和”给机器人用”的潜力。

需要澄清一个常见误读：李飞飞并不是”显式几何原教旨主义者”。她在 2025-11 的访谈里明确说过——“我不会把自己和 LeCun 对立，我们在同一个智力连续体上""RTFM 内部同样包含隐式表征""未来的架构将是两者的混合体”。也就是说，“隐式与显式终将融合”本就是她的观点，不是我强加给她的反驳。Marble 之所以选择输出显式 3D，她给的理由是产品的——“为了赋能人类创作者”（可编辑、可导出、可组合），而非”内部必须是显式几何”。

所以真正值得追问的不是”显式 vs 隐式”（这题她已给出”融合”答案），而是：当显隐融合后，World Labs 的差异化护城河还剩什么？我的判断是：护城河从”表征选择”转移到”可导出、可计算、可编辑的产品契约”与”3D 数据飞轮”上——前者是 Marble 主打的工作流价值（目前仍主要是公司案例，缺独立留存/生产数据），后者是最稀缺、最难啃、也最可能被大厂（NVIDIA Cosmos、DeepMind Genie）用算力碾过去的地方。我在 ⑨ 给出具体的可证伪预测（含”3D 可导出资产是否形成真实工作流留存 vs 一次性 demo”）。

本模块信源 · World Labs 官方博客（Marble 2025-11-12 / RTFM 2025-10-16 / 3D as code 2026-03-03 / Spark 2.0 2026-04-14，均为 World Labs team 署名）、《A Functional Taxonomy of World Models》2026-06-03（她本人 Substack 署名 Fei-Fei Li、正文自述”the World Labs team and I”、公司博客同日镜像；本报告按”她与团队共同署名”处理）、Marble API 文档（World API 2026-01-21）、李飞飞 LinkedIn 转发背书（2026-03-03）、《From Words to Worlds》(一手·高)、Lenny’s Podcast（Marble 落地用例）；「3D as code」外部质疑取自 Khronos / Metaverse Standards Forum（SIGGRAPH 2025 workshop，并已按 2026-02-03 KHR_gaussian_splatting glTF release candidate更新——交换基线已从”没有”推进到”候选标准”，但 2026-07 复核仍未 ratified）与个人评论（已标可信度）。技术表征（3DGS / KV cache / 自回归扩散）交叉验证自论文，见 ⑤。竞品对比数字见 ⑦ 与 信源台账；“40 倍提速”等合作方口径已标注谨慎。#code、#unified 与”相机可控性”三处就地并置了显式 3D 路线的具名反方——Vincent Sitzmann（MIT EECS 副教授、MIT CSAIL Scene Representation Group 负责人）个人博客《The flavor of the bitter lesson for computer vision》(2026-02-01)，署名博客·学者本人一手·高，但属预测/立场文章、非同行评审结果；完整论证与本报告裁决见 ⑦。本轮（Phase 10）更正三处归属：① 他主张的是端到端优化 + 内部表征自由学习，不是”单体架构”（未规定实现须为单一网络，也未排除模块化）；② “No poses, no 3D”须与 XFactor（ICLR 2026 Oral）实际学到的 unconstrained latent pose 并置；③ TIME 实测为”探索仅几步后”畸变，非”远距离探索后”。

生成模型：Opus 4.8 · 独立 gpt-5.6-sol-max review agent 参与质量把关 · 最近更新：2026-07