行业对照与前沿印证
所属专题:Yann LeCun(杨立昆) · 第 6 章引语索引信源台账
专题章节
先把“印证”拆成三层
原型用“预言记分卡”评估 LeCun。迁移版把每项拆成:
- 问题是否存在:例如当前系统的物理规划不可靠;
- 原因诊断是否正确:是否因为 token 自回归或重建目标;
- 处方是否有效:JEPA、成本优化和分层能否解决问题。
问题存在不等于原因唯一,原因正确也不等于处方有效。
得到较强支持的部分
不重建像素也能学到视觉表征
I-JEPA 在图像表征空间预测遮蔽区域,说明通用视觉表示不必以像素重建为目标 [1]。V-JEPA 又把特征预测扩展到视频 [2]。
这支持“表征预测是一条可规模化的自监督路线”,但不能单独证明它在所有任务、预算和数据下优于生成式预训练。
表征预测可以进入动作规划
V-JEPA 2 先以视频和图像做自监督预训练,再用机器人视频、状态和动作训练动作条件预测器;规划器在 latent 中搜索动作并滚动执行 [3]。这是从“学表示”到“闭环决策”的关键推进。
其证据边界同样明确:实验是短程、给定目标、受控相机与动作空间中的抓取和放置,不是开放世界长程自主。
重建与感知目标可能错配
ICML 2024 论文分析了一个明确机制:重建优先解释高方差子空间,而这些方向未必包含最有用的感知信息 [4]。
这使“为何不重建全部输入”从直觉变成可检验机制。它仍不排除 latent 生成、多任务目标或生成与判别混合训练。
推理模型:印证诊断,挑战药方
原型把 2024 年后测试时计算的兴起视为一项双向证据。
印证的一面:固定一次前馈往往不足以完成复杂推理,系统需要更多计算、验证、回退或搜索。这与“复杂问题需要按需计算”的诊断一致。
挑战的一面:这些能力可以在 token 生成框架中通过长思维链、强化学习、采样与验证获得明显提升,并不要求先建成 JEPA 世界模型。
世界模型不是 JEPA 独占
把路线按“预测什么”和“怎样决策”区分,比按公司或人物区分更清楚:
| 路线 | 预测对象 | 决策方式 | 优势 | 主要疑问 |
|---|---|---|---|---|
| 生成式视频 | 可见观测的分布 | 采样、策略学习或外部规划 | 可视、可生成多未来 | 是否为任务无关细节花费过多容量 |
| Dreamer 类 | 潜状态并可重建观测 | 想象中的 actor-critic | 模型与策略联合优化 | 奖励与表征耦合、外推可靠性 |
| MuZero 类 | 奖励、价值、策略所需 latent | MCTS | 非重建 latent 与搜索已验证 | 依赖任务奖励,迁移范围 |
| JEPA-WM | 自监督目标表征 | MPC、采样或梯度优化 | 无奖励预训练,避免完整重建 | 表征可识别性与长程 rollout |
JEPA 路线的五个硬问题
1. 表征目标由谁定义
目标编码器也是学习系统的一部分。低预测损失不保证状态对控制充分,也不保证不同训练运行得到等价坐标。I-JEPA 和 V-JEPA 的下游结果说明目标能学到有用信息,但不是一般可识别性定理 [1] [2]。
2. 坍塌与训练技巧
联合嵌入存在常数表示的平凡解,需要目标编码器、stop-gradient、EMA、方差/协方差正则或分布正则避免。多种方案并存说明坍塌可被工程控制,也说明目前没有唯一原则。
3. 多未来
现实未来通常多峰。当前 JEPA 实现主要是确定性 predictor;原型设想的潜变量分布、采样覆盖和风险敏感规划尚无本专题已核实的完整实现证据。
4. 长程误差
多步 rollout 会累积状态与模型误差。滚动 MPC 通过新观测校正短程误差,但长程任务仍需子目标、记忆、层级状态和异常恢复。
5. planner 会利用模型
优化器不是被动读取模型,而会主动搜索低成本区域。若世界模型在分布外产生虚假低成本谷,规划会精确找到它。模型平均精度高不等于经优化后的决策安全。
2025–2026:路线在扩展什么
语言与视觉语言
LLM-JEPA 把联合嵌入预测目标用于语言模型,VL-JEPA 探索视觉语言联合表征 [5] [6]。这两项工作削弱“JEPA 必须反语言”的简单叙事:核心区别是训练目标和表征空间,不是数据模态禁令。
更稠密的视频特征
V-JEPA 2.1 探索多层自监督与稠密特征 [7]。这也暴露一个长期权衡:为了语义预测主动丢细节,可能伤害定位与操控;恢复稠密目标又需要人为决定哪些细节保留。
规模与结构不是二选一
JEPA 家族同样使用大模型和大数据,因此编者把路线差异概括为:规模之外,还要比较训练目标与架构归纳偏置 [1] [2] [3]。这是一项编者归纳,不作为 LeCun 的已核实原话。
生成式路线的反证压力
现代生成模型对 JEPA 的强命题提出三类压力:
- latent diffusion 已经不在原始 RGB 空间直接做确定性回归;
- 随机采样可表示多峰未来,不必输出条件均值;
- 可见生成结果容易由人和外部模型检查,也可直接构造模拟数据。
反过来,生成式系统仍需证明:视觉连贯是否对应可控状态,动作条件 rollout 是否稳定,以及生成质量是否转化为规划收益。
混合路线
原型最终从二选一转向混合体。一个可能系统包含:
- 语言模型承载人类知识、任务描述和工具接口;
- 感知编码器形成连续、多尺度状态;
- 生成式模型表示可见多未来并提供仿真;
- JEPA 式 predictor 提供紧凑、任务相关的 latent 动力学;
- planner 在动作与目标上投入测试时计算;
- 运行时约束、权限和监控负责部署边界。
AMI Labs:组织选择不是技术证明
ACM 档案记载 LeCun 自 2025 年起进入 Advanced Machine Intelligence Labs [8]。这说明研究判断已经转化为组织选择,但公司成立、融资或团队规模不能证明技术路线正确。
本次迁移删除原型中的融资额、估值、团队人数、投资方和具体产品时间表:当前台账没有亲自打开并交叉核对的公开来源。保留的评价框架是:
- 是否产出可复现的动作条件世界模型;
- 是否从短程给定目标扩展到自动子目标和长程规划;
- 是否在统一数据、算力与任务下优于生成式或混合基线;
- 是否证明成本与护栏在模型误差下仍可靠。
可证伪账本
| 观察结果 | 对路线的影响 |
|---|---|
| 纯自回归系统不借助显式世界模型,稳定完成新颖物理长程任务 | 严重削弱“必须换架构” |
| JEPA-WM 长期停留在短程受控任务,生成式/混合系统持续扩大闭环优势 | 削弱 JEPA 核心赌注 |
| 在统一预算下,JEPA 状态显著提高样本效率、长程稳定性和跨任务迁移 | 强化表征预测处方 |
| 潜变量多未来、分层和记忆形成完整可复现闭环 | 从局部部件迈向系统级验证 |
| 目标驱动护栏在 model exploitation 与规格游戏下仍稳定 | 强化安全架构主张 |
记分卡
| 命题 | 问题存在 | 原因诊断 | 处方有效 |
|---|---|---|---|
| 固定前馈不足以完成复杂推理 | 较强支持 | 多种原因并存 | token 与 latent 路线都在推进 |
| 重建与感知可能错配 | 较强支持 [4] | 高方差机制有证据 | JEPA 是可行处方之一 |
| 观察可学通用世界模型 | 图像/视频表征支持 | 开放世界状态仍不清楚 | 短程规划局部支持 |
| 抽象表征可支撑长程层级规划 | 需求明确 | 单尺度确有局限 | 尚未证明 |
| 显式成本可让高级 AI 更安全 | 风险可被显式分析 | 规格与模型误差仍在 | 尚未系统验证 |
参考来源
- [1]Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture(在新窗口打开)官方 · 部分原话↩
- [2]Revisiting Feature Prediction for Learning Visual Representations from Video(在新窗口打开)官方 · 部分原话↩
- [3]V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(在新窗口打开)官方 · 部分原话↩
- [4]How Learning by Reconstruction Produces Uninformative Features For Perception(在新窗口打开)官方 · 部分原话↩
- [5]LLM-JEPA — Large Language Models Meet Joint-Embedding Predictive Architectures(在新窗口打开)官方 · 部分原话↩
- [6]VL-JEPA — Joint-Embedding Predictive Architectures for Vision-Language(在新窗口打开)官方 · 部分原话↩
- [7]V-JEPA 2.1 — Unlocking Dense Features in Video Self-Supervised Learning(在新窗口打开)官方 · 部分原话↩
- [8]Yann LeCun — A.M. Turing Award Laureate(在新窗口打开)官方 · 非本人原话↩