核心公式与能力分解

⑤ 核心技术与公式推导 · 李飞飞 Insight

⑤ 核心技术与公式推导

全站最硬核的一页。李飞飞的空间智能路线不是空想——它站在一条清晰的技术谱系上：ImageNet/CNN（她本人）→ NeRF（联创 Mildenhall）→ 3D Gaussian Splatting → Diffusion → 世界模型任务函数 → JEPA（对照）→ Cambrian-S（2025 重要合著论文）→ ESI-Bench（2026）。本模块逐个给出 LaTeX 公式 + 推导来源 + 关键假设 + 局限，并点明它们如何服务于”从 2D 像素反解 3D 世界”这一核心目标。公式取自各 arXiv 原文并交叉验证；本轮起，公式旁的工程数字（训练 / 渲染耗时、基准分数）也一并回原文核对——此前 NeRF 的耗时曾被低估 10–50 倍，已按 arXiv:2003.08934 原文改正（见 §1 局限）。

[0 · ImageNet/CNN](#cnn)
[1 · NeRF 体渲染](#nerf)
[2 · 3D Gaussian Splatting](#3dgs)
[3 · Diffusion](#diff)
[4 · 世界模型任务函数](#task)
[4.5 · 拟合模式 vs 因果律](#causal)
[5 · JEPA 对照](#jepa)
[6 · Cambrian-S](#cambrian)
[7 · ESI-Bench](#esi)
[我的看法](#take)

本页导读

NeRF 与 3DGS 用的是同一套 alpha 合成 (\sum \mathbf c_i\alpha_i\prod(1-\alpha_j))，只是”(\alpha_i) 从哪来”不同——这是理解”可导航 3D 世界”为何能实时的关键。
视频扩散是”渲染器”：目标停在像素空间、无显式状态，所以长时漂移——这是它与 Marble 的分野。
世界模型的”圣杯任务函数”把 LLM 的 (\max\sum\log p(x_t\mid x_{<t})) 推广为 (\max\mathbb E[\log p(s_{t+1}\mid s_t,a_t)])，难在输出是高维连续、多模态、物理受约束、长时持久。
Cambrian-S 的 surprise (=1-\cos(\hat f_t,f_t))，把认知科学的”违反预期”做成可训练信号——这是李飞飞纲领的一次工程落地。
ESI-Bench（2026）把”观察者”改写为”行动者”：在其 30 视角随机 passive baseline 下”主动探索 > 无选择堆视角”，并点出模型的元认知鸿沟（不会”知道自己不知道”）。
她本人给出的一条硬界限（§4.5）：把天体观测数据喂进模型，“轨迹大概能预测得很准，但 F=ma 是完全不同的抽象层级”——拟合模式 ≠ 发现因果律，这是全报告最可证伪的一段材料。

0 · The origin

0 · 谱系起点：ImageNet 与监督学习目标

李飞飞的技术根在这里。ImageNet 的意义不是某个公式，而是把大规模标注数据塞进一个极简的监督学习目标，让深度网络得以”涌现”出视觉表征。分类的交叉熵目标： [ \mathcal L_{\text{CE}}=-\frac1N\sum_{n=1}^{N}\sum_{k=1}^{K} y_{n,k},\log \frac{e^{z_{n,k}}}{\sum_{j}e^{z_{n,j}}} ](K\approx1000)（ILSVRC 类别），softmax + 交叉熵。AlexNet(2012) 在此目标上用两块 GPU 把 top-5 错误率从 ~26% 降到 ~15.3%。

  这条谱系的"元信息"

ImageNet 证明的不是某个架构，而是一条方法论：“简单模型 + 海量数据往往胜过复杂模型 + 少量数据”（后来被 Sutton 概括为 The Bitter Lesson）。李飞飞在 Lenny’s 里说：“对我这不是苦涩教训，而是甜蜜教训——这正是我建 ImageNet 的原因。“她今天做空间智能，本质是问：3D 世界的”ImageNet 时刻”需要什么样的数据与目标函数？（见 §4）

1 · NeRF (Mildenhall 2020, 联创一作)

1 · NeRF：从 2D 图学出 3D 的体渲染积分

World Labs 联创 Ben Mildenhall 是 NeRF 一作。NeRF 证明了”可微渲染 + 隐式表征”能从一组 2D 图反解出连续 3D 场——这是”从 RGB 抽取空间结构”（李飞飞第 2 条研究议程）的奠基性存在性证明。

表征：一个 MLP 把 5D 坐标（位置 + 视角方向）映射到颜色与密度： [ F_\Theta:\ (\mathbf x,\mathbf d)\ \longmapsto\ (\mathbf c,\sigma),\qquad \mathbf x=(x,y,z),\ \mathbf d=(\theta,\phi) ]

核心公式 · 体渲染积分（连续形式）： [ C(\mathbf r)=\int_{t_n}^{t_f} T(t),\sigma\big(\mathbf r(t)\big),\mathbf c\big(\mathbf r(t),\mathbf d\big),dt,\qquad T(t)=\exp!\Big(-!\int_{t_n}^{t}\sigma(\mathbf r(s)),ds\Big) ](\mathbf r(t)=\mathbf o+t\mathbf d) 是相机光线；(T(t)) = 光线走到 (t) 未被遮挡的累计透过率。

  推导 · 从连续到可训练（离散化）

把 ([t_n,t_f]) 分成 (N) 段分层采样，令 (\delta_i=t_{i+1}-t_i)，定义每点不透明度 (\alpha_i=1-e^{-\sigma_i\delta_i})： [ \hat C(\mathbf r)=\sum_{i=1}^{N} T_i,\alpha_i,\mathbf c_i,\qquad T_i=\prod_{j<i}(1-\alpha_j) ]这就是前到后的 alpha 合成。记住这一步——§2 的 3DGS 用的是完全相同的合成公式。

训练目标是渲染像素与真值的平方误差（coarse+fine 两网络）： [ \mathcal L=\sum_{\mathbf r}\big[|\hat C_c(\mathbf r)-C_{\text{gt}}|2^2+|\hat C_f(\mathbf r)-C{\text{gt}}|_2^2\big] ]

并用位置编码 (\gamma(p)=(\sin 2^0\pi p,\cos 2^0\pi p,\dots)) 把低维坐标升到高频，缓解 MLP 的低频偏置。

  关键假设 & 局限

假设：① 静态场景；② 相机位姿已知（COLMAP/SfM）；③ 发射-吸收、无多次散射；④ per-scene 逐场景过拟合。局限：训练极慢——原论文 implementation details 写的是单张 NVIDIA V100 上 100–300k 次迭代才收敛，约 1–2 天/场景（原文并称当时所有对比的单场景方法”每个场景至少要训练 12 小时”）；渲染极慢——每像素每采样点都要查 MLP，一张图约 1.5–2 亿次网络查询，单帧约 30 秒；此外不跨场景泛化、只处理静态。→ 这几条局限直接催生了 §2 的 3DGS，以及”前馈/可泛化”的神经渲染（RTFM 是其极端形态）。数字校订（本轮）：本页早前版本把训练耗时写成”数小时”量级、把单帧渲染写成”数秒”量级，比 arXiv:2003.08934 原文口径低估 10–50 倍，已按原文改正——改正后与下一节 3DGS 的”训练几分钟、1080p 实时渲染”对比反而更强。

2 · 3D Gaussian Splatting (Kerbl 2023)

2 · 3D 高斯泼溅：为何取代 NeRF 成为实时 3D 基础

Marble 的最高保真表征就建立在 3DGS 之上。它把场景表示为一堆各向异性 3D 高斯（半透明椭球粒子）：

\[ G(\mathbf x)=\exp\!\Big(-\tfrac12(\mathbf x-\boldsymbol\mu)^\top\Sigma^{-1}(\mathbf x-\boldsymbol\mu)\Big) \]一个"椭球软粒子"，中心 \(\boldsymbol\mu\)、形状/朝向由协方差 \(\Sigma\) 决定。

  推导 · 协方差分解（工程关键）

协方差 (\Sigma) 必须半正定（PSD）才有物理意义；若直接对 (\Sigma) 做梯度下降，极易更新出非法矩阵。解法是重参数化为旋转 (R)（由四元数 (q)）× 尺度 (S)： [ \Sigma=R,S,S^\top R^\top ]任何 (A^\top A) 形式恒半正定（令 (A=S^\top R^\top)）——从参数化上保证 (\Sigma) 永远合法。再用 sigmoid 约束 (\alpha\in[0,1])、exp 约束尺度为正。

投影到 2D（EWA splatting）：给定视图变换 (W) 与投影仿射近似雅可比 (J)，相机坐标下 2D 协方差 (\ \Sigma’=J,W,\Sigma,W^\top J^\top)。

渲染 · alpha 合成（与 NeRF 同构！）：把落在某像素上的高斯按深度排序后前到后合成： [ C=\sum_{i\in\mathcal N}\mathbf c_i,\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j) ]与 §1 离散 NeRF 完全一致！区别只在 (\alpha_i) 从哪来：NeRF 靠”沿光线查 MLP 得 (\sigma_i)“，3DGS 靠”解析地把椭球泼溅到屏幕直接算 (\alpha_i)“。同一套辐射场合成，换了表征与光栅化。

  为何取代 NeRF 成为"可导航 3D 世界"的基础

3 · Diffusion (Ho 2020)

3 · 扩散 / 视频扩散：为何它是”像素模拟器”

理解 Marble 与 Sora 的分野，必须理解视频扩散在做什么。DDPM 用一条固定的前向加噪链和一条学习的反向去噪链：

前向加噪 + 闭式（令 (\alpha_t=1-\beta_t,\ \bar\alpha_t=\prod_{s\le t}\alpha_s)）： [ q(\mathbf x_t\mid\mathbf x_{t-1})=\mathcal N\big(\mathbf x_t;\sqrt{1-\beta_t},\mathbf x_{t-1},\beta_t\mathbf I\big),\qquad \mathbf x_t=\sqrt{\bar\alpha_t},\mathbf x_0+\sqrt{1-\bar\alpha_t},\boldsymbol\epsilon ]

简化训练目标（预测噪声）与 score matching 的联系： [ \mathcal L_{\text{simple}}=\mathbb E_{t,\mathbf x_0,\boldsymbol\epsilon}\big|\boldsymbol\epsilon-\boldsymbol\epsilon_\theta(\mathbf x_t,t)\big|2^2,\qquad \boldsymbol\epsilon\theta(\mathbf x_t,t)\approx-\sqrt{1-\bar\alpha_t},\nabla_{\mathbf x_t}\log q(\mathbf x_t) ]去噪 = 在多噪声尺度上做 denoising score matching。DDPM 的祖先采样（ancestral sampling）是逆时 SDE 的一种离散化；另有一个确定性的概率流 ODE（probability-flow ODE）与之共享边缘分布但不是同一过程——两者不可画等号。 ELBO 推导：变分下界 → 高斯后验闭式 (q(\mathbf x_{t-1}\mid \mathbf x_t,\mathbf x_0)) → (\boldsymbol\epsilon)-prediction（含关键假设）+ flow matching

含义：正文的 (\mathcal L_{\text{simple}}) 看似”凭空”，其实是从最大化数据似然 (\log p_\theta(\mathbf x_0)) 的变分下界（ELBO）一路简化来的。这条链解释了”为什么去噪目标可以写成预测噪声”。

  \[ \log p_\theta(\mathbf x_0)\ \ge\ \mathbb E_{q}\!\Big[\log\frac{p_\theta(\mathbf x_{0:T})}{q(\mathbf x_{1:T}\mid \mathbf x_0)}\Big]\ =:\ -\,\mathcal L_{\text{VLB}} \]

② 拆成逐步 KL。利用前向链马尔可夫性 + 贝叶斯规则重排（Sohl-Dickstein 2015 / Ho 2020）： [ \mathcal L_{\text{VLB}}=\mathbb E_{q}!\Big[\underbrace{D_{\mathrm{KL}}!\big(q(\mathbf x_T\mid \mathbf x_0),|,p(\mathbf x_T)\big)}{L_T\ (\text{与},\theta,\text{无关})}+\sum{t>1}\underbrace{D_{\mathrm{KL}}!\big(q(\mathbf x_{t-1}\mid \mathbf x_t,\mathbf x_0),|,p_\theta(\mathbf x_{t-1}\mid \mathbf x_t)\big)}{L{t-1}}+\underbrace{-\log p_\theta(\mathbf x_0\mid \mathbf x_1)}{L_0}\Big] ]务必带外层 (\mathbb E_q[\cdot])：各 KL 项依赖随机的 (\mathbf x_0,\mathbf x_t)，需对前向链 (q) 采样求期望才等于标量目标 (\mathcal L{\text{VLB}})。(L_T) 与 (\theta) 无关；末端噪声日程使 (q(\mathbf x_T\mid\mathbf x_0)\approx\mathcal N(0,\mathbf I)) 时通常很小。

③ 关键：后验有高斯闭式。反向 (q(\mathbf x_{t-1}\mid \mathbf x_t)) 本身不可解，但再条件上 (\mathbf x_0) 后是高斯： [ q(\mathbf x_{t-1}\mid \mathbf x_t,\mathbf x_0)=\mathcal N!\big(\mathbf x_{t-1};\ \tilde{\boldsymbol\mu}t,\ \tilde\beta_t\mathbf I\big),\qquad \tilde{\boldsymbol\mu}t=\frac{\sqrt{\bar\alpha{t-1}},\beta_t}{1-\bar\alpha_t}\mathbf x_0+\frac{\sqrt{\alpha_t},(1-\bar\alpha{t-1})}{1-\bar\alpha_t}\mathbf x_t,\quad \tilde\beta_t=\frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\beta_t ]

④ KL 退化为”配均值”，再改写成”配噪声”。把 (p_\theta(\mathbf x_{t-1}\mid\mathbf x_t)) 也设成同方差高斯，两高斯的 KL 只剩均值平方差；再用前向闭式 [ \mathbf x_0=\tfrac{1}{\sqrt{\bar\alpha_t}}\big(\mathbf x_t-\sqrt{1-\bar\alpha_t},\boldsymbol\epsilon\big) ]

把”配均值”变成”配噪声”： [ L_{t-1}-C=\mathbb E_{\mathbf x_0,\boldsymbol\epsilon}\Big[\tfrac{\beta_t^2}{2\sigma_t^2\alpha_t(1-\bar\alpha_t)},\big|\boldsymbol\epsilon-\boldsymbol\epsilon_\theta(\mathbf x_t,t)\big|_2^2\Big] ]

Ho et al. 发现丢掉前面与 (t) 有关的权重（令其 =1）反而训练更稳、样本更好——这就得到正文的 (\mathcal L_{\text{simple}})。“ELBO → 预测噪声”至此闭合。关键假设

现代替代 · flow matching。不走”加噪-去噪”的离散链，而是学一个速度场 (v_\theta(\mathbf x_t,t))，沿一条把噪声连续输运到数据的概率路径（rectified flow 取近乎直线的路径）；训练即把速度场回归到条件目标速度（直线路径下 (\mathbf u_t=\mathbf x_1-\mathbf x_0)）： [ \mathcal L_{\text{FM}}=\mathbb E\big|v_\theta(\mathbf x_t,t)-\mathbf u_t\big|_2^2 ]

推理用确定性 ODE、步数更少。它与扩散共享”噪声↔数据”的思想，但目标与采样更简更稳，已成为 2025+ 多数前沿图像 / 视频生成（含自动驾驶 GAIA-2 采用的 flow matching）的主流选择。

  为何称"像素模拟器" & 局限

它建模的是 (p(\text{video})) 或 (p(o_{t+1}\mid o_{\le t},a_t))——输出停在（潜）像素空间，没有显式几何/状态。一致性是统计涌现的：短时惊艳、长时漂移。用功能分类学：视频扩散是”渲染器”（产像素），不是”模拟器”（产状态）。这就是它与 Marble 的分野（见 ④）。Sora、Runway、NVIDIA Cosmos-Predict、Wayve GAIA-2 都属此族。

4 · The holy grail task function

4 · 世界模型的”通用任务函数”：next-state vs next-token

这是李飞飞纲领里明说的”圣杯”——她要为世界模型找一个”像 next-token 一样简洁优雅”的通用训练目标。先看对照锚点： [ \text{LLM：}\quad \max_\theta\ \sum_t\log p_\theta(x_t\mid x_{<t}),\qquad x_t\in\mathcal V\ (\text{有限词表}) ]“优雅”来自：输出空间是有限离散词表，softmax 天然归一化，采样/评估都简单。

世界模型的”下一状态预测”（她设想、目前尚无公认形式）： [ \boxed{\ \max_\theta\ \mathbb E\big[\log p_\theta(s_{t+1}\mid s_t,a_t)\big]\ }\qquad\text{含目标时可反解策略 } a_{t+1}\sim\pi_\theta(\cdot\mid s_{t+1},g) ]

  为什么比 next-token 难得多（四条硬骨头）

输出空间：高维连续 3D/4D，而非离散 token。 (s_{t+1}) 是连续几何/外观场（含时间维）。没有天然 softmax 归一化，逐 token 交叉熵失效。
未来是多模态/随机的。给定 ((s_t,a_t))，合理的 (s_{t+1}) 常有多个（岔路左转/右转）→ 需隐变量/分布建模（扩散、latent variable），不能贪心 argmax。
强约束一致性。 (p_\theta) 必须尊重几何与物理，且跨长时程持久一致——LLM 无此约束。

“状态 (s) 用什么表示”本身未解。隐式潜表征（JEPA/RTFM）还是显式几何（Marble）？选择表征 = 选择路线。

用功能分类学重写（便于对比业界）
\[ \underbrace{p(o\mid s,a)}_{\text{渲染器}}\quad\Big|\quad \underbrace{s_{t+1}=\mathcal F(s_t,a_t)}_{\text{模拟器}}\quad\Big|\quad \underbrace{p(a\mid o,g)}_{\text{规划器}} \]

视频扩散只解了左式；World Labs 押注中式（模拟器：直接产可计算状态 (s)），认为它是能同时投影出左右两式的枢纽；具身/VLA 攻右式。报告金句：next-token 是”一维离散信号的极大似然”；世界模型要的是”高维连续、物理受约束、可多模态、跨时程持久的状态转移的极大似然”——难度不在一个量级。

更完整的形式化：从单步预测到「部分可观测 + 潜动力学」（POMDP 视角）

上面的 (p(s_{t+1}\mid s_t,a_t)) 只是最简写法。真实世界是部分可观测的（你看不到全部状态），学术界（控制/RL 传统）通常把世界模型写成一组潜状态空间（latent state-space）组件： [ \begin{aligned} &\text{观测编码：} && z_t = E_\phi(o_{\le t}) && \text{（把历史观测压成潜信念状态）}\ &\text{动作条件转移：} && p_\theta(z_{t+1}\mid z_t, a_t) && \text{（潜空间里的动力学）}\ &\text{观测/几何解码：} && p_\theta(o_t, g_t \mid z_t) && \text{（可选：解码回像素/几何）}\ &\text{奖励/目标：} && r(z_t, a_t, g) && \text{（规划所需）}\ &\text{策略/规划：} && \pi(a_t\mid z_t, g) && \text{（在想象中 rollout 择优）} \end{aligned} ]

三种学术传统对”世界模型”一词的不同用法（务必区分。一处口径更正：本页早前把李飞飞的”渲染器/模拟器/规划器”写成”只是公司提出的一种分类、非学界唯一标准”——这等于在纠正一个她并没犯的错。她本人就是从 POMDP 传统里推出这套分法的：《功能分类学》专门用一节把三分法锚回强化学习教科书（点名 Sutton & Barto）的 agent–action–state–observation 循环，并写明”其正式名称是部分可观测马尔可夫决策过程（POMDP），而 ‘world model’ 一词的原始定义就属于那个传统”，结论是三类世界模型”其实是同一个循环的不同投影”。所以它与下面的控制/RL 传统同源，而不是与之并列的第四种私有用法；准确的限定只是”它按输出契约切分，是一种视角，不是唯一分类法”。详见 ④ 分类学之下的循环）：

控制/RL 传统（Ha & Schmidhuber 2018、PlaNet、Dreamer、MuZero）：世界模型 = 潜动力学 + 想象中规划，重点在 (p(z_{t+1}\mid z_t,a_t)) 与多步 rollout；不一定解码像素。
表征预测传统（JEPA / V-JEPA，见 §5）：只学 (z) 的可预测性，刻意不解码。
生成式视觉/3D 传统（视频扩散、NeRF/3DGS、Marble）：重点在 (p(o\mid z)) 的高保真解码与显式几何。

为何”多步”是魔鬼：单步预测准 ≠ 长时 rollout 准。误差会累积（compounding error），其增长取决于系统的敏感度/Lipschitz 常数 (L)： [ \lVert e_H\rVert\ \lesssim\ \sum_{k=0}^{H-1} L^{k},\varepsilon_{\text{step}} \quad\Rightarrow\quad \begin{cases} \text{有界} & L<1\ \sim H\varepsilon & L=1\ \text{几何/指数放大} & L>1 \end{cases} ](H) 为时域长度。所以”长时是否失稳”不是普适定律，而取决于动力学是收缩还是发散——这正是”AI 视频数秒后失稳”的数学刻画，也是 Marble 追求”结构性持久几何”、Cambrian-S 追求”surprise 选择性记忆”的共同动机。

还差的一块：因果。以上全部是相关性预测。要真正”理解世界”，还需在干预/反事实（do-calculus）下也成立——即 (p(s_{t+1}\mid s_t, do(a_t))) 而非仅 (p(s_{t+1}\mid s_t, a_t))。李飞飞自己也说 AI 目前”更接近推出 DNA 双螺旋（空间几何）、而非狭义相对论（因果抽象）“。这是世界模型最深的未解难题（她本人对这条界限最锋利的表述与她提的判决实验见下方 §4.5；预测指标见 ⑨ 预测 6）。

4.5 · Fitting patterns vs a causal law

4.5 · 「拟合模式 vs 因果律」：她本人给出的判决实验

上一节末尾那段”还差的一块是因果”，形式化是本报告写的。但这件事她本人讲过一次比本报告的形式化更锋利的版本，而且附带一个任何人都能跑的实验设计——这是全报告最稀缺的”可证伪材料”，故单列一节。它也是她”空间智能必要但不充分”的本人版本（对照 ⑨ 追问一）。

  她的判断 · Latent Space《After LLMs》(2025-11-25)

“But there’s no indication that those latent modeling will get you to a causal law of space and dynamics. … That’s where today’s deep learning and human intelligence actually start to bifurcate. Because fundamentally, the deep learning is still fitting patterns.” 「但没有任何迹象表明这类潜变量建模能把你带到空间与动力学的因果律……这正是今天的深度学习与人类智能开始分岔的地方，因为归根结底，深度学习还是在拟合模式。」（本报告中译）可信度：一手场次 + 第三方逐字稿（pod.wave.co；措辞待与官方音频 / YouTube 60iW8FZ7MJU 逐句校对）。触发这段话的是主持人提到的一篇”喂大量轨道数据给 LLM、模型能画出轨道却画不对力矢量”的研究，本报告未独立取证该论文标识，故不引用其结论、仅记为对话背景（待核实）。

判决实验：把天体观测数据喂进去，看牛顿定律会不会涌现

她给的实验设计很朴素，却正好卡在”相关性”与”定律”的接缝上：

  两个场次的同一实验（其中一条出自本报告已存档的逐字稿）

「把连牛顿都没有的现代仪器天体观测数据全给 AI，然后请它写出17 世纪那套关于物体运动定律的方程组——今天的 AI 做不到。」（本报告中译；出处 research/src-lennys-podcast-transcript.txt，一手发言 + 第三方转录）

② Latent Space（2025-11-25）·把它明确说成”可以去跑的实验”：“One experiment I wonder if people could run is that we have plenty of astrophysical data now on celestial body movements. Just feed the data into a model and see if Newtonian law emerges.” 以及：“…giving enough celestial movement data, an LLM would actually predict pretty accurate movement trajectories… But F equals MA, or action equals reaction, that’s just a whole different abstraction level that’s beyond just today’s LLM.” 「有个实验我一直希望有人去跑：我们现在有大量天体运动的观测数据，把数据喂进模型，看牛顿定律会不会涌现。」「……给足够多的天体运动数据，LLM 大概真能把轨迹预测得相当准……但 F=ma、作用力等于反作用力，那是完全不同的抽象层级，超出今天的 LLM。」（本报告中译）可信度：一手场次 + 第三方逐字稿·待官方音频校对。

  把这条界限写成两个不同的优化问题（形式化 · 本报告）

她的话可以被相当干净地形式化——注意被优化的对象与约束都换了： [ \underbrace{\min_\theta\ \mathbb E_{(s_{\le t},,s_{t+1})\sim\mathcal D}\big\lVert s_{t+1}-f_\theta(s_{\le t})\big\rVert^2}{\text{层级 1：拟合模式（在数据分布 }\mathcal D\text{ 上把误差压小）}} \qquad\Bigg|\qquad \underbrace{\min{\mathbf F\in\mathbb F}\ \Omega(\mathbf F)\quad \text{s.t.}\ \ m\ddot{\mathbf x}=\mathbf F(\mathbf x)\ \ \forall,\text{初值},\ \forall,\text{坐标系},\ \forall,N}_{\text{层级 2：发现定律（在最小描述复杂度下求跨情境不变的定律）}} ](\mathbf F\in\mathbb F) 是候选的力律（(\mathbb F) 为假设空间），(\Omega(\cdot)) 是描述复杂度（奥卡姆项），(N) 是物体数目。关键差异：层级 1 的约束是”在 (\mathcal D) 上小误差”，层级 2 的约束是”对一切情境成立”——后者是全称量化，无法靠在 (\mathcal D) 上继续降损失得到。这也解释了她为什么说”抽象层级不同”，而不是说”数据还不够多”。

与本页其它部分的接口：层级 2 的”对一切情境成立”在因果语言里就是要求 (p(s_{t+1}\mid s_t,do(a_t))) 在未见干预下仍正确（见 §4 折叠块末段）；在误差累积那条不等式里，它对应”把系统的敏感度 (L) 从数据里估出来”与”把支配这个系统的定律本身写下来”的区别——前者只在采样过的动力学邻域可靠，后者才谈得上外推。

  这条判断的边界：它成立到什么程度（本报告的诚实标注）

  ② 它是"必要但不充分"的另一种说法。她在这里其实承认了空间智能本身也不足以带来因果——空间几何是 3D 推理的地基（她用 DNA 双螺旋作例），但"力 / 质量 / 加速度"那种抽象是再上一层。这一点值得读者注意：它同时削弱了"补上空间智能就通向通用智能"的强读法（见 [⑨ 追问一](9-my-take.html)）。

  ③ 引语等级不齐。Lenny's 那条出自本报告已存档的逐字稿；Latent Space 两条出自第三方转写站，措辞待与官方音频校对——两者结论一致，但等级不同，本节已就地区分。

5 · JEPA (LeCun) — the contrast axis

5 · JEPA：在表征空间预测——与”显式几何生成”的对照

LeCun 的 JEPA 是李飞飞路线最重要的对照轴：它不预测像素，只在潜（表征）空间预测。 [ \underbrace{E(x,y,z)=D\big(s_y,\ \text{Pred}(s_x,z)\big)}{\text{① LeCun 2022 概念 JEPA（含显式隐变量 }z\text{）}} \qquad\quad \underbrace{\mathcal L{\text{I-JEPA}}=D\big(\hat s_y,\ \text{sg}(s_y)\big),\ \ \hat s_y=\text{Pred}(s_x)}_{\text{② I-JEPA 实例（stop-grad + EMA teacher，无显式随机 }z\text{）}} ]务必区分两层：① 是 LeCun《A Path Towards AMI》的概念框架，含显式隐变量 (z)（吸收”(s_x) 不含但预测 (s_y) 所需”的信息）；② 是 I-JEPA(2023) 的具体实现——目标编码器用 EMA teacher、(\text{sg}) 停梯度防坍缩，标准目标里并没有①式那样的显式随机 (z)。V-JEPA / V-JEPA 2 把它推广到视频/动作。

  为什么在潜空间预测（LeCun 的论点）

编码器 (\text{Enc}_y) 可丢弃不可预测的表面细节（像素噪声、光照抖动、纹理），把容量集中在”支持规划的结构性语义”。LeCun 认为在观测空间做生成式预测是错的目标——会把容量浪费在无关像素上。防坍缩四要素：最大化 (s_x,s_y) 信息、让 (s_y) 可由 (s_x) 预测、最小化 (z) 信息（否则 (z) 抄 (s_y) 使能量恒零=平坦坍缩）。

I-JEPA / V-JEPA / V-JEPA 2：同一框架的三级递进（训练差异）

I-JEPA（图像，2023）：在单张图像内做掩码预测——用若干可见 context 块预测多个被遮 target 块的表征（而非像素）；目标编码器是 context 编码器的 EMA teacher，配 stop-gradient 防坍缩；纯图像、无动作、无时间维。

V-JEPA（视频，2024）：把掩码预测搬到时空——对视频做时空 / tube 掩码，预测被遮时空块的表征，从”无标注视频”里学到运动与动态先验；仍是被动观看、无动作条件。

V-JEPA 2（2025）：两阶段——先在海量视频上自监督预训练，再用少量机器人交互数据训一个动作条件的潜预测器 (p(z_{t+1}\mid z_t,a_t))（即 V-JEPA 2-AC），从而能在潜空间”想象动作后果”、做零样本规划 / 控制。这一步正是从”表征学习”迈向 ④ 定义的”交互性”，也是 JEPA 与具身智能的接口——它与李飞飞的分歧不在”要不要潜预测”（她也用，见 §6 LFP），而在输出层是否要解码一个显式、可观测的世界。

JEPA（LeCun）

预测潜表征，不解码像素/几何
哲学：“别预测不可预测的细节”
强项：表征学习、规划、控制
世界模型 = “为了行动的内部模型”

World Labs（李飞飞）

必须能产出显式、可观测几何
哲学：“创造/仿真/讲故事需要可观测世界”
强项：生成、编辑、导航、仿真
世界模型 = “人和程序共同观测/计算的世界”
```
有意思的交叉点
```

这两条”对立”路线在 Cambrian-S（§6）里同台——作者含李飞飞（Stanford）与 LeCun（NYU）。它用 JEPA 式的”潜空间预测下一帧特征”来产生 surprise，却服务于空间感知/记忆。这是两派方法论的一次罕见融合，也是我判断”显式 vs 隐式终将收敛”的重要证据（见 ⑨）。

但这条判断有一个必须并置的最强反例：MIT 副教授 Vincent Sitzmann 主张的收敛终点不是 hybrid——他把 Bitter Lesson 推广到表征本身：训练目标应直接贯通感知与行动，中间结构由模型自学，显式 3D 在训练侧被整个吃掉，连显式 SE(3) 相机位姿也不留（“No poses, no 3D”）。归属精度：这是”端到端优化 + 内部表征自由学习”，不是”单体架构”——他没有规定实现必须是单一网络，也没有排除模块化与工具调用；他反对的是把人类设计的显式 3D 当训练目标或架构先验，不是反对模型学习内部表征。注意他与 LeCun 不是同一个立场：LeCun 反对的是预测像素（应在潜空间预测）；Sitzmann 反对的是人为设计的中间表征，而且他连”视频生成模型是答案”也不认同（“I do not believe that video generative models will solve embodied intelligence”）。三方并列见 ⑦ 来自 3D 学界内部的反驳与 ⑨ 争论地图第 2 行。

6 · Cambrian-S (李飞飞+LeCun+谢赛宁, 2025.11)

6 · Cambrian-S：潜帧预测、惊奇与空间超感知

这是李飞飞署名的一篇 2025 年重要合著论文（arXiv:2511.04670，NYU + Stanford，资深作者谢赛宁；她更新的空间成果见下文 §7 ESI-Bench）。它把纲领里”数椅子/记住一小时前的房间”两个反例做成基准，并给出一个把认知科学”违反预期”做成可训练信号的原型。

空间”超感知”的四个阶段

核心机制 · Latent Frame Prediction (LFP) + Surprise

在 MLLM 语言头旁并联一个两层 MLP 的 LFP head，联合自监督预测下一帧的潜特征 (\hat f_{t+1})；推理时定义 surprise 为预测特征与真实特征的余弦距离： [ \text{surprise}_t\ =\ 1-\cos(\hat f_t,,f_t)\ =\ 1-\frac{\hat f_t\cdot f_t}{\lVert\hat f_t\rVert,\lVert f_t\rVert} ]辅助损失 = MSE + 余弦距离；LFP 训练取 VSI-590K 的 290K 子集、1 FPS 采样。

  surprise 的两大用途（把"被动扩上下文"换成"主动预测-惊奇-取舍"）

关键数字：7B 小模型在空间基准上大幅超越大模型（但归因需谨慎）

  局限与降温（诚实标注）

论文自陈这只是”玩具级预测世界模型”、benchmark/model 在质量与泛化上仍有限、原型仅为 proof of concept；且 LFP 变体会使标准 VSI-Bench 从 67.5 略降到 66.1（默认损失系数 0.1）。因此”预测式感知碾压长上下文”应理解为相对优势而非”问题已解”。

  还要再退一步：外部效度——基准分数与"真实空间能力"之间还隔着一道坎（本轮新增）

上面那条讲的是内部效度（非受控对比、消融不干净）。更要紧的是外部效度：VSI-Bench 上高 16 个点，能推出”在真实世界里更会空间推理”吗？本报告认为目前推不出，理由有四条，且其中两条来自她自己这边：

基准含合成构造、存在可被利用的捷径。VSI-SUPER 的构造方式使后续压力测试发现了 shortcut（见 ⑦）——分数可能部分来自”对上了题型”。
她自己团队的 ESI-Bench 给出了最直接的反例。在给定 oracle 轨迹时，最强模型已接近人类（遮挡 88.4% vs 87.4%）；一旦要它自己选动作与视角，就塌了（见 §7）。这正是外部效度失效的教科书形态：静态基准测得很好的能力，换到闭环里不成立。
她自己写下的验收标准比任何基准都严。她在《功能分类学》里说具身 demo”没有一个在真实部署所要求的复杂度、多变性或持续时长上被验证过”——按这个标准，任何离线基准分数都不构成部署证据（见 ⑦）。
更激进的反方：中间任务基准本身可能被取消。MIT 副教授 Vincent Sitzmann 主张，分类 / 分割 / 3D 重建这类中间任务是”把问题切成可解的中间问题、而非解决智能”留下的历史产物；若视觉的评价标准整体迁移到具身任务成功率，VSI-Bench 类基准会重演 ImageNet 分类的命运——先被刷爆，再被边缘化（见 ⑦）。这一条是预测 / 立场文章，不是已发生的事实，本报告仅作为反方论证收录。

本报告的处理：⑤ 中所有基准数字一律读作”在该基准的分布与协议下的相对表现”，不外推为”空间能力”本身；凡涉及”是否解决了问题”，一律回到 ESI-Bench 的闭环结论与她本人的三维验收标准。

  为什么 Cambrian-S 是纲领的一次落地

它把《From Words to Worlds》里两个反例做成了正面回击：VSC 就是”数椅子”，VSR 就是”记住一小时前的房间”。而它的解法（潜帧预测 + surprise + 空间记忆）与 RTFM 的”空间记忆”、JEPA 的”潜空间预测”在思想上同源，构成一张自洽的技术版图——这正是李飞飞路线的技术闭环。

7 · ESI-Bench (Yining Hong · 李飞飞 等, 2026.05)

7 · ESI-Bench：把”感知-行动循环”做成基准，且给自己泼了盆冷水

作为 §6 空间成果的最新延伸，2026 年 5 月，李飞飞团队（一作 Yining Hong，共同作者含李飞飞、吴佳俊、Yejin Choi）发布 ESI-Bench（Embodied Spatial Intelligence Benchmark，arXiv:2605.18746）——被量子位称为”具身空间智能的 ImageNet”。作者将其定位为把”观察者 recast 为行动者”的综合基准（首批系统闭合感知-行动回路的空间基准之一；其 related work 亦列出其他 active perception / embodied 基准，故不宜绝对写”第一个”）：过去的空间基准默认给模型 oracle 视角，而 ESI-Bench 要求智能体主动探索去发现被遮挡/看不见的东西。

设定

10 个任务类别、29 个子类、3081 个实例，建在 OmniGibson（BEHAVIOR-1K 场景），理论根基是发展心理学家 Spelke 的核心知识系统（呼应 ③）。测了 GPT-5、Gemini 系列 + 人类基线。

最重要的发现：主动探索 > 无选择堆视角

在本文「30 视角随机 passive baseline」下，“active exploration substantially outperforms passive”，被动多视角”增加的是噪声而非信号”。准确解读：这证明”无选择地堆视角”不能替代主动取证，并不证明所有 passive/multi-view 方法都更差（论文附录明确提醒 learned view selection / cross-view alignment 可能更强）。它支持 ③ 感知-行动循环的重要性。

  四条硬核发现（含义与边界）

失败源于”行动盲（action blindness）“而非”感知弱”：坏动作→坏视角→更坏动作，级联失败。→ 印证”没有行动闭环，感知再强也不够”。
噪声显式 3D augmentation 可能有害：论文测的是 VGGT + Gemini 的重建/场景图管线——在若干任务上，缺乏不确定性建模的噪声 3D 图误导了 LLM，比 2D 基线更差；而 ground-truth 3D 在深度敏感任务上反而明显有益。→ 这说明”不带不确定性的噪声重建有害”，不是对 Marble / 3DGS / 显式几何路线本身的证伪（措辞见 ⑨）。
元认知鸿沟（metacognitive gap）：人类会主动寻找”能证伪自己”的视角并在矛盾时修正信念；模型却无论证据好坏都过早高置信地下结论。“更强感知或更多具身交互，单独都补不上这道鸿沟。”
在 oracle 轨迹下最强模型已接近人类：在给定 ground-truth / oracle 轨迹观测（模型没有自己选动作与视角）时，Gemini 部分遮挡 88.4%（人类 87.4%）、GPT-5 材质透明度 96.3%（人类 97.2%）——差距不在单点感知，而在”主动选择诊断性动作 + 元认知”（这正是论文要揭示的 action-selection gap）。
```
我的看法 · 作者（AI）个人观点
```

ESI-Bench 是本报告读到的最”诚实”的一份李飞飞团队成果：它用硬数据支持”seeing is for doing”（在需要主动取证的隐状态任务上，能否选出诊断性动作成为主瓶颈），同时又提醒”不带不确定性的噪声显式重建反而可能有害”。要注意分寸——这不是”她亲手证伪显式路线”，而是证明”显式 augmentation 必须带不确定性建模”。它仍支持我在 ④ 的判断——胜负手在”主动策略/元认知”而非”表征形式”。而”元认知鸿沟”点出了一个比”缺空间智能”更深的病根：当前模型不会”知道自己不知道”、不会主动去证伪自己。

  我的看法 · 作者（AI）个人观点

把这条技术谱系（从 CNN 到 ESI-Bench）串起来看，李飞飞路线的技术自洽性是真实的：NeRF→3DGS 给了”显式可导航几何”的存在性证明，Diffusion 界定了”像素模拟器”的边界，任务函数点出了圣杯，JEPA 给了对照轴，Cambrian-S 给了工程闭环，ESI-Bench 又给了诚实的冷水。这不是 PPT 愿景，是有论文、有代码、有基准的路线。

但我要给三条冷静的技术判断：(1) NeRF/3DGS 仍是 per-scene 的——它们证明了”能从图重建 3D”，但”一个前馈模型直接生成任意新场景的一致 3D”仍是难题，Marble 的”持久一致”到底能撑多久的连续导航（几何漂移的定量指标）尚缺公开证据。(2) surprise=1−cos 很优雅，但它可能只是”场景变化检测器”的代理——若它无法泛化到非空间任务，“世界模型”叙事就会被降级为”视频压缩 trick”。(3) 最本质的是：“下一状态预测”的圣杯任务函数至今没有公认解——这意味着空间智能还没有它的”Transformer 时刻”。李飞飞赌的是这个时刻会来，且主张输出层需要显式、可观测的世界状态、而内部可显隐混合（她本人明确支持融合）；我进一步判断这种”显式几何 + 隐式潜变量”的混合会成为行业主流（见 ⑨）。

本模块信源 · 公式取自各 arXiv 原文并交叉验证：NeRF(2003.08934)、3D Gaussian Splatting(2308.04079)、DDPM(2006.11239)、I-JEPA(2301.08243)、Cambrian-S(2511.04670)。NeRF 管线图、3DGS 题图、Cambrian-S 题图与 LFP 架构图为论文/项目页原图（学术引用）；扩散链、感知四阶段、VSI-Bench 条形图为本报告原创 SVG。世界模型任务函数为标准形式化 + 李飞飞纲领论述。数字（Cambrian-S-7B 67.5% / Gemini-2.5-Flash 60min VSR 41.5 与 VSC 10.9 / Cambrian-S 60min VSR 6.0）据论文与项目页；NeRF 的”100–300k 迭代、单 V100 约 1–2 天、单帧约 30 秒”据 arXiv:2003.08934 implementation details。§4.5 的两段她本人表述：Lenny’s 一条出自本报告已存档逐字稿（research/src-lennys-podcast-transcript.txt，00:29:22），Latent Space 两条出自第三方转写站 pod.wave.co、措辞待与官方音频 / YouTube 60iW8FZ7MJU 校对；“两个抽象层级”图与两个优化问题的形式化为本报告原创。详见信源台账。

生成模型：Opus 4.8 · 独立 gpt-5.6-sol-max review agent 参与质量把关 · 最近更新：2026-07