• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

行业对照与前沿印证

阅读约 7 分钟AI 生成已核查 · 已审核审核人 负责人

专题章节

先把“印证”拆成三层

原型用“预言记分卡”评估 LeCun。迁移版把每项拆成:

  1. 问题是否存在:例如当前系统的物理规划不可靠;
  2. 原因诊断是否正确:是否因为 token 自回归或重建目标;
  3. 处方是否有效:JEPA、成本优化和分层能否解决问题。

问题存在不等于原因唯一,原因正确也不等于处方有效。

得到较强支持的部分

不重建像素也能学到视觉表征

I-JEPA 在图像表征空间预测遮蔽区域,说明通用视觉表示不必以像素重建为目标 [1]。V-JEPA 又把特征预测扩展到视频 [2]。

这支持“表征预测是一条可规模化的自监督路线”,但不能单独证明它在所有任务、预算和数据下优于生成式预训练。

表征预测可以进入动作规划

V-JEPA 2 先以视频和图像做自监督预训练,再用机器人视频、状态和动作训练动作条件预测器;规划器在 latent 中搜索动作并滚动执行 [3]。这是从“学表示”到“闭环决策”的关键推进。

其证据边界同样明确:实验是短程、给定目标、受控相机与动作空间中的抓取和放置,不是开放世界长程自主。

重建与感知目标可能错配

ICML 2024 论文分析了一个明确机制:重建优先解释高方差子空间,而这些方向未必包含最有用的感知信息 [4]。

这使“为何不重建全部输入”从直觉变成可检验机制。它仍不排除 latent 生成、多任务目标或生成与判别混合训练。

推理模型:印证诊断,挑战药方

原型把 2024 年后测试时计算的兴起视为一项双向证据。

印证的一面:固定一次前馈往往不足以完成复杂推理,系统需要更多计算、验证、回退或搜索。这与“复杂问题需要按需计算”的诊断一致。

挑战的一面:这些能力可以在 token 生成框架中通过长思维链、强化学习、采样与验证获得明显提升,并不要求先建成 JEPA 世界模型。

世界模型不是 JEPA 独占

把路线按“预测什么”和“怎样决策”区分,比按公司或人物区分更清楚:

路线预测对象决策方式优势主要疑问
生成式视频可见观测的分布采样、策略学习或外部规划可视、可生成多未来是否为任务无关细节花费过多容量
Dreamer 类潜状态并可重建观测想象中的 actor-critic模型与策略联合优化奖励与表征耦合、外推可靠性
MuZero 类奖励、价值、策略所需 latentMCTS非重建 latent 与搜索已验证依赖任务奖励,迁移范围
JEPA-WM自监督目标表征MPC、采样或梯度优化无奖励预训练,避免完整重建表征可识别性与长程 rollout

JEPA 路线的五个硬问题

1. 表征目标由谁定义

目标编码器也是学习系统的一部分。低预测损失不保证状态对控制充分,也不保证不同训练运行得到等价坐标。I-JEPA 和 V-JEPA 的下游结果说明目标能学到有用信息,但不是一般可识别性定理 [1] [2]。

2. 坍塌与训练技巧

联合嵌入存在常数表示的平凡解,需要目标编码器、stop-gradient、EMA、方差/协方差正则或分布正则避免。多种方案并存说明坍塌可被工程控制,也说明目前没有唯一原则。

3. 多未来

现实未来通常多峰。当前 JEPA 实现主要是确定性 predictor;原型设想的潜变量分布、采样覆盖和风险敏感规划尚无本专题已核实的完整实现证据。

4. 长程误差

多步 rollout 会累积状态与模型误差。滚动 MPC 通过新观测校正短程误差,但长程任务仍需子目标、记忆、层级状态和异常恢复。

5. planner 会利用模型

优化器不是被动读取模型,而会主动搜索低成本区域。若世界模型在分布外产生虚假低成本谷,规划会精确找到它。模型平均精度高不等于经优化后的决策安全。

2025–2026:路线在扩展什么

语言与视觉语言

LLM-JEPA 把联合嵌入预测目标用于语言模型,VL-JEPA 探索视觉语言联合表征 [5] [6]。这两项工作削弱“JEPA 必须反语言”的简单叙事:核心区别是训练目标和表征空间,不是数据模态禁令。

更稠密的视频特征

V-JEPA 2.1 探索多层自监督与稠密特征 [7]。这也暴露一个长期权衡:为了语义预测主动丢细节,可能伤害定位与操控;恢复稠密目标又需要人为决定哪些细节保留。

规模与结构不是二选一

JEPA 家族同样使用大模型和大数据,因此编者把路线差异概括为:规模之外,还要比较训练目标与架构归纳偏置 [1] [2] [3]。这是一项编者归纳,不作为 LeCun 的已核实原话。

生成式路线的反证压力

现代生成模型对 JEPA 的强命题提出三类压力:

  1. latent diffusion 已经不在原始 RGB 空间直接做确定性回归;
  2. 随机采样可表示多峰未来,不必输出条件均值;
  3. 可见生成结果容易由人和外部模型检查,也可直接构造模拟数据。

反过来,生成式系统仍需证明:视觉连贯是否对应可控状态,动作条件 rollout 是否稳定,以及生成质量是否转化为规划收益。

混合路线

原型最终从二选一转向混合体。一个可能系统包含:

  1. 语言模型承载人类知识、任务描述和工具接口;
  2. 感知编码器形成连续、多尺度状态;
  3. 生成式模型表示可见多未来并提供仿真;
  4. JEPA 式 predictor 提供紧凑、任务相关的 latent 动力学;
  5. planner 在动作与目标上投入测试时计算;
  6. 运行时约束、权限和监控负责部署边界。

AMI Labs:组织选择不是技术证明

ACM 档案记载 LeCun 自 2025 年起进入 Advanced Machine Intelligence Labs [8]。这说明研究判断已经转化为组织选择,但公司成立、融资或团队规模不能证明技术路线正确。

本次迁移删除原型中的融资额、估值、团队人数、投资方和具体产品时间表:当前台账没有亲自打开并交叉核对的公开来源。保留的评价框架是:

  • 是否产出可复现的动作条件世界模型;
  • 是否从短程给定目标扩展到自动子目标和长程规划;
  • 是否在统一数据、算力与任务下优于生成式或混合基线;
  • 是否证明成本与护栏在模型误差下仍可靠。

可证伪账本

观察结果对路线的影响
纯自回归系统不借助显式世界模型,稳定完成新颖物理长程任务严重削弱“必须换架构”
JEPA-WM 长期停留在短程受控任务,生成式/混合系统持续扩大闭环优势削弱 JEPA 核心赌注
在统一预算下,JEPA 状态显著提高样本效率、长程稳定性和跨任务迁移强化表征预测处方
潜变量多未来、分层和记忆形成完整可复现闭环从局部部件迈向系统级验证
目标驱动护栏在 model exploitation 与规格游戏下仍稳定强化安全架构主张

记分卡

命题问题存在原因诊断处方有效
固定前馈不足以完成复杂推理较强支持多种原因并存token 与 latent 路线都在推进
重建与感知可能错配较强支持 [4]高方差机制有证据JEPA 是可行处方之一
观察可学通用世界模型图像/视频表征支持开放世界状态仍不清楚短程规划局部支持
抽象表征可支撑长程层级规划需求明确单尺度确有局限尚未证明
显式成本可让高级 AI 更安全风险可被显式分析规格与模型误差仍在尚未系统验证

参考来源

  1. [1]Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture(在新窗口打开)arXiv · 2023-01-19 · Abstract、Figure 3 与 Loss 段 · 访问于 2026-10-17官方 · 部分原话↩
  2. [2]Revisiting Feature Prediction for Learning Visual Representations from Video(在新窗口打开)arXiv · 2024-04-12 · Abstract、第 2–4 节 · 访问于 2026-10-18官方 · 部分原话↩
  3. [3]V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(在新窗口打开)arXiv · 2025-06-11 · Abstract、第 1 节、第 3–4 节 · 访问于 2026-10-17官方 · 部分原话↩
  4. [4]How Learning by Reconstruction Produces Uninformative Features For Perception(在新窗口打开)PMLR · 2024-07-21 · Abstract · 访问于 2026-10-17官方 · 部分原话↩
  5. [5]LLM-JEPA — Large Language Models Meet Joint-Embedding Predictive Architectures(在新窗口打开)arXiv · 2025-09-17 · Abstract · 访问于 2026-10-18官方 · 部分原话↩
  6. [6]VL-JEPA — Joint-Embedding Predictive Architectures for Vision-Language(在新窗口打开)arXiv · 2025-12-11 · Abstract · 访问于 2026-10-18官方 · 部分原话↩
  7. [7]V-JEPA 2.1 — Unlocking Dense Features in Video Self-Supervised Learning(在新窗口打开)arXiv · 2026-03-16 · Abstract · 访问于 2026-10-18官方 · 部分原话↩
  8. [8]Yann LeCun — A.M. Turing Award Laureate(在新窗口打开)Association for Computing Machinery · Biography、Experience 与 Honors and Awards · 访问于 2026-10-17官方 · 非本人原话↩