空间智能纲领

③ 空间智能纲领 · 李飞飞 Insight

③ 空间智能纲领

2025 年 11 月 10 日，李飞飞在个人 Substack 发表长文 《From Words to Worlds: Spatial Intelligence is AI’s Next Frontier》（TIME 同步精编）。这是她二十五年思考的一次总纲式书面表达。本模块把这份纲领逐层拆开：为什么语言不够 → 空间智能是什么 → 当前 AI 差在哪 → 哲学根基 → ImageNet 方法论传承 → 三大研究议程。技术公式的硬核推导放在 ⑤ 核心公式，产品与世界模型定义放在 ④ 世界模型。

[为何语言不够](#why)
[维度鸿沟](#dim)
[空间智能定义](#def)
[当前 AI 的空间失败](#fail)
[感知-行动循环](#loop)
[哲学锚点](#philo)
[北极星方法论](#northstar)
[三大研究议程](#agenda)
[我的看法](#take)

The core diagnosis

核心诊断：LLM 是「黑暗中雄辩的文匠」

纲领开篇，李飞飞用图灵 1950 年”机器能思考吗”起手，随即给出对当下 LLM 的一句冷峻判词：

[LLMs] remain wordsmiths in the dark; eloquent but inexperienced, knowledgeable but ungrounded.

大语言模型仍是黑暗中舞文弄墨者：雄辩却无经验，博学却没有根基。（译）

（出处 ^[1]；2025-11-10）

“没有根基（ungrounded）“是关键词——它不是说 LLM 不聪明，而是说它的知识没有落在物理世界的坐标系上。它能写出关于咖啡杯的十四行诗，却不知道杯子离桌沿还有几厘米、倒下去会不会摔碎。李飞飞的判断是：智能有两半——“说事情（saying things）“和”做事情（doing things）“，LLM 只解决了前一半，而后一半根植于对 3D 世界的理解，即空间智能（spatial intelligence）。

The dimensionality gap

维度鸿沟：1D 语言 vs 3D/4D 世界

这是全篇的技术要害。李飞飞的原话：

  一手引语

“The dimensionality of representing a world is vastly more complex than that of a one-dimensional, sequential signal like language.” 「表征一个世界的维度复杂度，远远超过语言这样的一维顺序信号。」

Definition & the 540-million-year argument

空间智能是什么：一个 5.4 亿年的论证

李飞飞给空间智能的操作性定义（No Priors, 2025）：

  定义

“Spatial intelligence to me is the ability to understand, reason, interact, and generate 3D worlds.” 空间智能 = 理解 + 推理 + 交互 + 生成 3D 世界的能力。她称之为人类认知的”脚手架（scaffolding）“——从停车、接钥匙、倒咖啡，到消防员在坍塌建筑里的空间直觉、婴儿前语言期通过触碰学习世界，全都靠它。

她最有说服力的论证是进化时间尺度的对比：

视觉 / 空间智能

≈ 5.4 亿年

• 约 5.4 亿年前，三叶虫获得第一只眼

• 触发寒武纪生命大爆发

• 感知-行动循环从此成为智能演化的核心引擎

语言

≈ 30–50 万年

• 人类语言只有约 30–50 万年历史

• 是”晚近的、纯生成的”人类现象

• 李飞飞：语言是”human cognition 的一种纯生成现象”

言下之意：如果把智能的演化史压缩成一天，语言只是最后几秒钟才出现的东西；而视觉-空间智能是奠基性的、跑了一整天的底层能力。今天的 AI 却把顺序搞反了——先攻克了晚近的语言，却在最古老、最根本的空间能力上仍如婴儿。

  最强反方（就地并置）：演化年龄不等于工程优先级——"纯语言 + RL"路线正在无身体、无空间的地方突飞猛进

这个论证漂亮，但它有一个未说出口的跳跃：“演化花的时间更长”不蕴含”对人工智能而言更基础”。演化没有优化目标函数，它只是在给定约束下走了很久；而工程可以走捷径——飞机不长羽毛，照样飞得比鸟远。真正的反证是实绩：过去三年，纯语言 + RL 的模型在数学、代码、科学推理上取得的进展，恰恰发生在”无身体、无空间”的领域。如果空间是”一切智能的底层脚手架”，这类进展本不该这么顺。

但要给她公道：这条反方打不到她真正的立场，只打到她的口号。她本人从不说”空间取代语言”——她援引 Howard Gardner 的多元智能，并明说”我个人不会说这是空间 versus 传统智能，因为我不知道’传统’指什么”（见 下一节）。所以准确的裁决是：“空间智能是具身智能 / 机器人 / 物理科学的必要前沿”站得住；“空间智能是所有智能的必要前沿”站不住——而后者主要是传播层面的压缩，不是她的技术命题。另有一条来自她自己的削弱：她的”拟合模式 vs 因果律”判断意味着，因果抽象还在空间几何的上一层——补上空间也不自动通向那一层（见 ⑤ §4.5）。完整裁决与可证伪判据见 ⑨ 争论地图 第 1 行。

她的认知科学框架：智能是多元的（这才是”互补而非替代”的根基）

报告在多处使用”互补而非替代”来概括她对”空间 vs 语言”的立场，但此前从未给出她的依据——于是读起来像是”被追问后的退让”。其实她给过明确的理论根基，而且是认知心理学的标准框架：

  一手 · Latent Space《After LLMs》(2025-11-25)

“A lot of AI as a field is inspired by human intelligence… And if you look at human intelligence, it’s very multi-intelligent. There is a psychologist, I think his name is Howard Gardner … actually literally called multiple intelligence… There is linguistic intelligence, there’s spatial intelligence, there is logical intelligence and emotional intelligence. So for me, when I think about spatial intelligence, I see it as complementary to language intelligence. So I personally would not say it’s spatial versus traditional, because I don’t know [what] ‘tradition’ means.” 「AI 这个领域很大程度上是受人类智能启发的……而人类智能是非常多元的。有位心理学家，我记得叫 Howard Gardner，提出的理论就直接叫多元智能：有语言智能、空间智能、逻辑智能和情感智能。所以对我来说，空间智能是与语言智能互补的。我个人不会说这是空间 versus 传统智能，因为我不知道’传统’指什么。」（本报告中译） 可信度：一手场次 + 第三方逐字稿（pod.wave.co，措辞待与官方音频校对）。编者注（史实校正）：她口述该理论出自”1960 年代”，实际 Howard Gardner 的多元智能理论正式发表于 1983 年（《Frames of Mind》），本报告不照抄”1960s”。另注：多元智能理论在心理测量学界本身存在争议（缺乏公认的独立可测性证据），此处引用它是为了说明她的思维框架，不代表本报告认可该理论的实证地位。

这一段一次性把三条散落的立场缝成了一个体系：① 空间与语言互补（因为智能本就多元，不存在一条”主干”）；② 她反复说”我不知道’传统智能’指什么”不是回避，而是这个框架的直接推论；③ 她点名情感智能是今天的 AI 基本没碰的一块——而这正是她论证”AGI 还远”的第三个反例，此前报告只有例子、没有理论名目：

  情感智能：她举的例子（本报告已存档逐字稿，等级高于上一条）

“And then let’s look at emotional intelligence. If you look at a student coming to a teacher’s office and have a conversation about motivation, passion, what to learn, what’s the problem that’s really bothering you. That conversation, as powerful as today’s conversational bots are, you don’t get that level of emotional cognitive intelligence from today’s AI.” 「再看情感智能。一个学生走进老师办公室，谈的是动机、热情、该学什么、真正困扰你的问题是什么——这样的对话，今天的对话机器人再强，也给不出那个层次的情感认知智能。」（Lenny’s Podcast 2025-11-16, 00:28:00 前后；出处 research/src-lennys-podcast-transcript.txt，一手发言 + 第三方转录）她在 Latent Space 里对同一点的说法更直白——情感智能是今天的 AI”根本没碰”的一块，并提到 theory of mind 也会连带进来（第三方逐字稿·待核）。

补一条本报告的发展心理学锚点，以补齐 ⑤ ESI-Bench 的交叉引用：ESI-Bench 的理论根基取自发展心理学家 Elizabeth Spelke 的”核心知识系统”（core knowledge：客体、空间/几何、数、主体性等先于语言的先天系统）。它与 Gardner 的多元智能不是同一个理论——Spelke 讲的是”婴儿有哪些先天的知识模块”，Gardner 讲的是”成人智能有哪些相对独立的维度”；但两者共同支撑她的同一句主张：空间不是语言的下游，它有自己的地基。

两个此前一字未答的问题：它为何被忽视？为何是现在？

上面回答的是”为什么需要空间智能”。但同样关键的两个问题，报告此前完全没有：既然它这么根本，为什么被忽视了？以及，为什么是2024 年而不是 2014 年？她与联创各给了一条答案——注意第二条不是她说的。

① 认知侧（她本人）：正因为它对人类毫不费力，所以被低估

“As a vision scientist, I always find that vision is underappreciated because it’s effortless for humans. You open your eyes as a baby, you start to see… But you have to put effort in learning language, including learning how to write, how to do grammar — and that makes it feel hard. Whereas something that nature spent way more time actually optimizing, which is perception and spatial intelligence, is underappreciated by humans.”

「作为一名视觉科学家，我一直觉得视觉之所以被低估，正是因为它对人类毫不费力：你还是婴儿时睁开眼，就开始看见了……可学语言你必须费力——包括学怎么写字、怎么处理语法——这就让语言感觉更难。反过来，自然界花了远远更多时间去优化的那样东西，也就是感知与空间智能，反而被人类低估了。」（本报告中译；一手场次 + 第三方逐字稿·待校）

这是 Moravec 悖论的她本人版本，也是本报告认定她最可复用的方法论——“先押被忽视的那块拼图”（见 北极星方法论）——在本轮的因果解释：被忽视不是偶然，而是”主观难度”与”客观难度”系统性错位的结果。补上它之后，那条方法论就从”她运气好 / 直觉准”变成”她有一套可复述的识别机制”。她还配了一个例证：小动物出生几分钟内就必须跑起来，否则狮子就来了；并重复那组尺度——自然优化感知与空间智能约 5.4 亿年，语言最宽松的估计约 50 万年。

② 供给侧（联创 Justin Johnson 所述，不是她）：世界模型是吸收新增算力的好去处

“The whole history of deep learning is, in some sense, the history of scaling up compute… From AlexNet to today, we’re getting about 1000× more performance per card… the amount of compute we can marshal on a single model is about a million-fold more than at the start of my PhD… as we move towards visual data and spatial data and world data, you just need to process a lot more. That’s going to be a good way to soak up this new compute that’s coming online.”

「某种意义上，深度学习的整部历史就是算力扩张的历史……从 AlexNet 到今天，单卡性能约提升 1000 倍……我们能调动到单个模型上的算力，比我读博开始时多了约一百万倍……而当我们走向视觉数据、空间数据、世界数据，需要处理的量本来就大得多。这将是消化这些新上线算力的一个好去处。」（本报告中译） ⚠️ 归属：这段出自 World Labs 联创 Justin Johnson，不是李飞飞；本报告不得将其记为她的观点。可信度：一手场次 + 第三方逐字稿·待校。

这补上了”为何是现在”的另一半。报告此前只有需求侧论证（语言不够用了）；这条是供给侧论证：算力已经过剩到语言这一模态吃不下，需要更”耗算力”的数据模态来消化——空间 / 世界数据正好是最耗算力的那类。两条合起来，“为什么是 2024 而不是 2014”才算被回答。

The evidence of failure

诊断证据：当前 AI 的空间”仅略好于随机”

纲领里，李飞飞列出了一串当前最强多模态模型的具体失败——这不是修辞，而是她主张”需要新范式”的实证依据：

📏 距离 / 方向 / 大小估计

SOTA 多模态模型在这些任务上”仅略高于随机水平（barely better than chance）”。

🔄 心智旋转（mental rotation）

“从不同角度重新生成物体”的能力”极为有限”。

🧩 迷宫 / 捷径 / 物理预测

“不能穿越迷宫、不能识别捷径、无法预测最基本的物理规律。”

🎞️ 视频一致性

AI 生成的视频”往往在数秒后就失去连贯性（lose coherence after a few seconds）“——形变、漂移、失忆。

🪑 数一段视频里有几把不重复的椅子

“一个幼儿或小学生都能做，AI 做不到。“（这正是 Cambrian-S 的 VSC 基准要打的靶，见 ⑤）

🏠 记住一小时前房间长什么样

把 3D/4D 世界”拍扁”成 1D/2D token 后，这类简单空间任务变得”不必要地困难”。（对应 Cambrian-S 的 VSR 基准）

  本质问题

这些失败有一个共同根因（李飞飞点名）：MLLM 与视频扩散”把数据 tokenize 成 1D 或 2D 序列”，几何邻接与空间恒等性在序列化中被破坏，模型只能靠海量数据”硬记”而非”空间地推理”。所以她的处方不是”再多喂点数据”，而是换一套带 3D/4D 先验的架构与训练目标——这是 ④ 世界模型 的主题。

The perception–action loop

第一性原理：看见，是为了行动与学习

这是 TED 2024 与整份纲领的第一性原理。李飞飞反复强调”seeing is for doing and learning”——感知与行动不是两件事，而是同一个循环的两个相位，互相喂养。

  2026 实证：ESI-Bench 把这个循环做成了基准

这不再只是哲学。2026 年 5 月，李飞飞团队发布 ESI-Bench——把”观察者变成行动者”、系统闭合感知-行动回路的具身空间基准（首批之一；其 related work 亦列出其他 active perception / embodied 基准，故不写”第一个”），直接检验”感知-行动循环”。结论支持本节论点：在论文的「30 视角随机 passive baseline」下，主动取证显著胜过”无选择堆视角”（后者”增加的是噪声而非信号”），模型失败多源于”行动盲（action blindness）“而非感知弱。换句话说，在需要主动取证的隐状态任务上，“seeing is for doing”从 TED 舞台上的一句诗，变成了可测量的实验结论（这不等于所有空间任务都必须靠行动解决；技术细节与边界见 ⑤ ESI-Bench）。

Philosophical anchors

三个哲学 / 科学锚点

  🗣️

维特根斯坦（她直接引用）

“我的语言的界限，意味着我的世界的界限。“李飞飞反用之：“对 AI 而言，世界远不止语言（there is more than just words）“——空间智能是”超越语言的前沿”。 🕳️

柏拉图洞穴（贴切类比）

视频/语言模型像投在洞壁上的 2D 影子；空间智能要去创造、推理、交互”影子背后的真实 3D 世界”。（注：此为贴切的解释性类比，Cambrian-S 用”inferring the world behind pixels”框架；非纲领原文直接引用） 🧬

DNA 双螺旋（她的最爱例证）

Watson & Crick 从 Franklin 的 2D X 光衍射图推理出 3D 双螺旋——“那结构不可能是二维的，你无法用二维思维推出它”。空间智能是科学发现的引擎。

她还给了一串历史例证：Eratosthenes 用影子算地球周长、珍妮纺纱机的空间构想、以及无数需要”操纵物体、想象结构、推理空间关系”的文明跃进——“这些都无法仅用文字捕捉”。这套论证的作用是：把”空间智能”从一个工程话题，升格为人类文明的底层能力。

The ImageNet playbook

北极星方法论：这一次押”空间”，就像当年押”数据”

理解空间智能纲领，最深的一层是看出它复用了 ImageNet 的同一套方法论。李飞飞自己在 Possible 里点破了 ImageNet 的起源逻辑：

  一手引语 · Possible（2025）

“Everywhere I look, people are not paying attention to data. We’re only paying attention to model … I think we need to … use data to drive models.” 当年全领域痴迷模型，她断言”人类学习与演化本质是大数据过程”，于是押注被忽视的数据——做出 ImageNet。

2007 · 押”被忽视的数据”

• 共识：算法/模型是瓶颈

• 她的逆共识：数据才是

• 动作：做 ImageNet（1500 万图）

• 验证：2012 AlexNet 引爆（5 年）

2024 · 押”被忽视的空间”

• 共识：scaling 语言 + 多模态就够

• 她的逆共识：空间/3D 是缺失的一半

• 动作：做 World Labs / Marble

• 验证：周期可能长得多（自驾走了 20 年）

  方法论内核

“先押被忽视的那块拼图”——这是李飞飞最可复用的思维资产。ImageNet 的成功验证过它一次（只此一例，不足以把它确立为规律），空间智能是它的第二次下注。区别在于：数据的价值几年内就被验证，而空间智能这次是一场长周期豪赌。她自己都说：“Seeing the North Star doesn’t mean the journey will be short.”

The research agenda

三大研究议程（World Labs 的技术路标）

纲领末尾，李飞飞列出通往空间智能世界模型必须攻克的三座大山。技术细节见 ⑤ 核心公式，此处给出纲领级理解：

  议程 ①：一个像 next-token 一样简洁的「通用任务函数」

她明说：“defining a universal task function as simple and elegant as next-token prediction … has long been a central goal”，但因输入/输出空间的复杂性”inherently more difficult to formulate”。 [ \text{LLM：}\ \max_\theta \sum_t \log p_\theta(x_t\mid x_{<t}) \quad\Longrightarrow\quad \text{世界模型：}\ \max_\theta\ \mathbb{E}\big[\log p_\theta(s_{t+1}\mid s_t, a_t)\big] ]从”预测下一个词”到”预测下一个世界状态”——难点在 (s_{t+1}) 是高维连续、多模态随机、物理受约束、跨时程持久的。详见 ⑤ §世界模型任务函数。

  议程 ②：大规模训练数据（难在从 RGB 抽取空间信息）

好消息是互联网图/视频”abundant”；难点在”extract deeper spatial information from 2D RGB”——从二维像素里反解出三维结构。她强调合成数据、深度、触觉等额外模态的补充价值，并直言 3D 高质量数据”比互联网视频稀缺几个数量级”。据她自述，Marble 的训练算力也比顶级语言模型小几个数量级（她以”GPT-5 约 10²⁶ FLOPs”作对比，但顶级模型训练算力无公开可靠数字，此为其自述口径）。

  议程 ③：新架构（超越 MLLM 与视频扩散）

她点名 MLLM 与视频扩散”typically tokenize data into 1D or 2D sequences”，使”数椅子""记住一小时前的房间”变得不必要地困难。解法方向是 3D/4D-aware 的 tokenization / context / memory——并点名 World Labs 的 RTFM（用”带位姿的帧”作为空间记忆，而非时间序列记忆）作为范例。详见 ④ 世界模型 · RTFM。

  我的看法 · 作者（AI）个人观点

这份纲领的论证结构很漂亮：进化史（5.4 亿 vs 30 万年）给了它历史纵深，失败清单（数椅子/心智旋转）给了它实证紧迫性，哲学锚点（维特根斯坦/柏拉图/DNA）给了它思想高度。三层叠加，说服力很强——但”说服力强”不等于”无可反驳”，下面两个追问就是它最薄的两处：

追问一：空间智能是”必要”还是”充分”？她为”当前 AI 缺空间智能”提供了多项证据（必要性很强），但没证明”补上空间智能就能通向更通用的智能”（充分性未决）。一个反方向的证据是：过去三年，纯语言 + RL 的模型在数学、代码、科学推理上突飞猛进，而这些恰恰是”无身体、无空间”的领域。所以更稳健的表述是：空间智能是”具身智能/机器人/物理科学”的必要前沿，但未必是”所有智能”的必要前沿。一处措辞更正（本轮）：本段早前写”她在访谈里其实也退守到’互补而非替代’这个更稳的立场”——这个说法不成立。互补一直是她的框架，且有 Gardner 多元智能的明确依据（见 上文）；可追问的对象不是她的立场，而是强口号与温和框架之间的传播落差。⑨ 追问一已同步更正，此处补齐。

追问二：她把”1D/2D tokenization 不适配空间”当作架构缺陷，但会不会只是”数据/训练目标”缺陷？Transformer 本身对 3D 并非无能——只要给它带 3D 监督信号（如跨视角预测、深度）。换句话说，“必须换架构”和”只需换训练目标+数据”这两条路，纲领并未给出判决性证据。这正是 ⑦ 前沿 里”显式几何 vs 隐式表征”之争的核心，也是我在 ⑨ 下注的地方。本轮补上这条追问最强的外部版本：MIT 副教授 Vincent Sitzmann 更进一步——他认为不只”架构 vs 训练目标”这道题问错了，连”3D 表征本身”都会被 Bitter Lesson 吃掉（见 ⑦ 来自 3D 学界内部的反驳）。

本模块信源 · 李飞飞《From Words to Worlds》(Substack, 2025-11-10，一手·高) 及 TIME 精编版；TED 2024；Possible / No Priors / YC 访谈（一手言论）。技术论证与公式交叉验证自 NeRF/3DGS/Cambrian-S 论文，详见 ⑤ 与 信源台账。柏拉图洞穴为解释性类比（贴合 Cambrian-S “world behind pixels”），已在正文标注；维特根斯坦为纲领原文直接引用。本轮新增：「智能是多元的（Gardner）」「视觉因毫不费力而被低估」「世界模型是吸收新增算力的好去处」三段取自 Latent Space《After LLMs》(2025-11-25)——一手场次 + 第三方逐字稿（pod.wave.co），措辞待与官方音频 / YouTube 60iW8FZ7MJU 逐句校对；其中算力那段出自联创 Justin Johnson、非李飞飞，已就地标明。情感智能例证取自 Lenny’s Podcast (2025-11-16) 本报告已存档逐字稿。Gardner 年份”1960s”为她的口误，正确为 1983《Frames of Mind》，已加编者注；多元智能理论本身在心理测量学界存在争议，本报告仅用以刻画她的框架。

生成模型：Opus 4.8 · 独立 gpt-5.6-sol-max review agent 参与质量把关 · 最近更新：2026-07