愿景与路线:从世界模型到自主机器智能
所属专题:Yann LeCun(杨立昆) · 第 3 章引语索引信源台账
专题章节
可核实的路线起点
LeCun 在 Lex Fridman Podcast #416 中把物理世界理解、持久记忆、推理和规划列为智能系统的四项关键能力,并认为当时的 LLM 只能以很初级的方式处理这些能力 [1]。
Those are four essential characteristics of intelligent systems or entities, humans, animals.
这些是智能系统或智能实体——人类和动物——的四项关键特征。(译)
同一段访谈也明确表示自回归 LLM 很有用,并可能形成庞大的应用生态 [1]。所以争点不是“LLM 有没有价值”,而是 next-token prediction 是否足以构成完整自主智能。
证据边界
2022 年《A Path Towards Autonomous Machine Intelligence》是原型本章的核心材料,但 lecun.com 未提供公开副本,负责人已决定放弃。按证据规则,本版不陈述六模块、Mode-1/Mode-2、潜变量、配置器、成本模块、短期记忆、H-JEPA 与复杂度公式;这些内容不能由其他来源完整替代。
从可访问材料能确认什么
Meta 2021 年联合署名文章主张从数据自身构造监督信号,并讨论从已观察部分预测隐藏部分、联合嵌入和潜变量架构 [2]。Lex 访谈则把“接地”扩展到可交互的模拟环境,而不只指实体机器人 [1]。
I'm clearly in the camp that yes, intelligence cannot appear without some grounding in some reality.
我的立场很明确:智能不可能在完全不接地于某种现实的情况下出现。(译)
I-JEPA 在图像表征空间预测遮蔽区域 [3];V-JEPA 把特征预测扩展到视频 [4];V-JEPA 2 再加入动作条件预测器,并以 Model Predictive Control 在有限机器人任务中规划 [5]。这些材料共同支持“观察学习—表征预测—有限规划”的研究方向,但不足以证明原型所写的完整 AMI 模块体系。
编者重构:规划闭环的最小问题集
V-JEPA 2 的可核实闭环是:冻结视频编码器,以机器人视频、状态和动作训练动作条件预测器;给定当前观测与目标图像,在 latent 空间搜索动作;执行后重新观察并规划 [5]。证据边界是短程、给定目标和受控机器人操控,不能外推到开放世界长程自主。
尚未解决的问题
当前结论
| 命题 | 当前依据 | 结论 |
|---|---|---|
| 当前 LLM 的物理理解、记忆、推理和规划仍有限 | Lex #416 [1] | 人物观点可核实 |
| 自监督可从观察数据学习背景知识 | Meta 联合署名文章 [2] | 研究主张可核实 |
| 表征预测可用于图像和视频学习 | I-JEPA、V-JEPA [3] [4] | 部件级实证 |
| 动作条件表征预测可进入短程 MPC | V-JEPA 2 [5] | 局部实证 |
| 原型所述 AMI 六模块、Mode-1/2、H-JEPA 等细节 | lecun.com 无公开副本,负责人决定放弃 | 不作事实使用 |
参考来源
- [1]Yann LeCun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI(在新窗口打开)一手采访 · 本人原话↩
- [2]Self-supervised learning: The dark matter of intelligence(在新窗口打开)官方 · 部分原话↩
- [3]Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture(在新窗口打开)官方 · 部分原话↩
- [4]Revisiting Feature Prediction for Learning Visual Representations from Video(在新窗口打开)官方 · 部分原话↩
- [5]V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(在新窗口打开)官方 · 部分原话↩