技术谱系：从卷积、能量模型到 JEPA

一条主线之外，还有多条支线

LeCun 的技术谱系常被压缩为“卷积网络 → 能量模型 → JEPA”。这条线确实存在：用结构先验减少自由度，以标量能量表达相容性，再把预测搬到抽象表征空间。但完整历史还包括剪枝、文档结构化预测、机器人、图网络、检测、语义分割、语言分类、视频预测与生成对抗网络。它们不是 JEPA 的注脚，也不是同一理论的必然产物。

反向传播、卷积与 LeNet

反向传播负责信用分配

多层网络把输入依次映射为

[ a^{(\ell)}=\sigma!\left(W^{(\ell)}a^{(\ell-1)}+b^{(\ell)}\right). ]

反向传播利用链式法则，从输出误差开始逐层计算每个中间量和参数的梯度。其计算量与前向计算量同阶，通常只是常数倍；在卷积和循环网络中，同一参数会在许多位置重复使用，因此不能把复杂度简单写成“参数量的线性函数”。

ACM 档案把反向传播、卷积网络及文档识别系统列为 LeCun 的核心贡献 ^[1]。这里的历史归属需要克制：反向传播有多条独立发展线，LeCun 的贡献是早期形式化、实验推进及其与视觉结构的结合，不是单人发明。

卷积把平移先验写进结构

二维卷积层可写为

[ h_{k,i,j}=\sigma!\left( b_k+\sum_{c}\sum_{u,v}W_{k,c,u,v},x_{c,i+u,j+v} \right). ]

局部连接让每个单元只看邻域；权值共享让同一组核在不同位置复用；下采样提供有限的形变容忍。与全连接层相比，卷积不是“让数据自己发现一切”，而是明确押注自然图像具有局部性与近似平移对称性。

ACM 档案把 LeCun 的早期手写识别、卷积网络与 Graph Transformer Networks 列为代表工作 ^[1]。本轮已从 lecun.com 取得 1998 论文；本稿仍只保留系统概述，不恢复未经逐项定位的架构与实验数字 ^[2]。

Optimal Brain Damage：用曲率决定删什么

OBD 在局部极小值和对角 Hessian 近似下，以

[ S_q=\frac{h_{qq}u_q^2}{2} ]

估计删除权重 (u_q) 造成的目标函数增量，并优先剪除低显著性连接 ^[3]。符号与原文 §2 Eq. (3)–(5) 一致，剪枝排序见 §3。

能量模型：把学习、推断与损失分开

EBM 为变量配置 ((Y,X)) 分配标量能量。固定观测 (X) 时，原文 Eq. (1) 将推断写为

[ Y^*=\arg\min_Y E(Y,X). ]

学习压低正确配置、抬高错误配置的能量；只有需要概率解释时，§1.3 Eq. (2) 才引入 Gibbs 分布和 partition function，因此概率归一化不是 EBM 定义本身 ^[4]。

DrLIM §2.1 令 (Y=0) 表示相似、(Y=1) 表示不相似，其 Eq. (4) 为

[ L(W,Y,X_1,X_2) =\frac{1-Y}{2}D_W^2 +\frac{Y}{2}\max(0,m-D_W)^2. ]

该损失拉近相似对，并只把距离小于 margin (m) 的不相似对推远，从而避免常数映射坍塌 ^[5]。

生成与对抗支线：不是“一直反生成”

多尺度视频预测工作从低分辨率到高分辨率逐级预测，并结合图像梯度差与对抗损失，缓解均方误差在多种可能未来上取平均而产生的模糊 ^[6]。EBGAN 则把判别器写成能量函数，以自编码器重建误差作为能量，并用 margin 分开真实样本和生成样本 ^[7]。

这段历史很重要：LeCun 后来的立场不是“所有生成研究都无价值”，而是反对把重建全部可见细节作为感知、世界理解与规划的核心目标。

现代扩散模型通常在压缩 latent 空间中采样，最终再解码为可见观测，并不等于逐 RGB 像素做确定性回归；采样也不必输出多峰分布的模糊均值。因而“像素预测必然模糊”的批评只直接命中确定性回归，不足以否定全部生成式世界模型。

被主线压扁的应用版图

场景标注、检测与图结构

Farabet 等用共享权重的多尺度卷积网络从原始像素提取逐像素稠密特征，再结合 superpixel、CRF 或多层 optimal cover 完成场景标注 ^[8]。OverFeat 共享一个卷积骨干完成分类、定位与检测 ^[9]。Spectral Networks 以图 Laplacian 的谱基定义图上的滤波，把卷积推广到非规则结构，同时面临依附具体图、跨图迁移困难和计算代价等局限 ^[10]。

DAVE 与 LAGR 的边界

DAVE 从双目图像直接回归人类驾驶者的转向指令，是端到端监督或模仿学习 ^[11]。LAGR 则以近处立体视觉自动产生的标签监督远处可通行性预测。二者都面向越野机器人，但输入监督来源和输出目标不同，不能合写成“同一个自监督驾驶实验”。

字符级语言建模

字符级 ConvNet 把字符序列当作一维信号，直接做文本分类 ^[12]。这足以反驳“LeCun 从未认真研究语言”的绝对说法；他的后续分歧针对的是自回归生成能否构成完整智能架构，而不是语言任务本身。

自监督学习：三种防坍塌路径

Barlow Twins：让互相关接近单位阵

Barlow Twins 对两种增强视图的嵌入计算互相关矩阵 (C)，优化

[ \mathcal L_{\mathrm{BT}} =\sum_i(1-C_{ii})^2 +\lambda\sum_{i\neq j}C_{ij}^2. ]

对角项保持两视图表示一致，非对角项减少维度冗余；标准化与完整的 identity-matching 目标共同避免坍塌 ^[13]。线性去相关不等于统计独立。

VICReg：方差、不变性、协方差

VICReg 的结构是

[ \mathcal L =\lambda,s(Z,Z’) +\mu,[v(Z)+v(Z’)] +\nu,[c(Z)+c(Z’)], ]

其中 (s) 拉近两视图，(v) 为每个维度维持最低方差，(c) 惩罚批内协方差 ^[14]。它不依赖显式负样本；同样不能据此宣称各维统计独立或表征必然保留所有下游所需信息。

JEPA：预测表征，而非完整重建

I-JEPA 的基本结构

I-JEPA 包含上下文编码器、目标编码器和预测器。上下文分支看到未遮蔽图像块；目标分支编码被遮蔽区域；预测器根据上下文表示和目标位置，预测目标表示：

[ \mathcal{L}=\frac{1}{M}\sum_{i=1}^{M} \left|g_\phi!\left(f_\theta(x_{\mathrm{ctx}}),p_i\right) -f_{\bar\theta}(x_{\mathrm{target},i})\right|_2^2. ]

目标编码器参数通过上下文编码器参数的指数移动平均更新，不由该目标直接反向传播 ^[15]。遮挡策略迫使预测器利用较大尺度语义上下文，而不是只复制局部纹理。

JEPA 不自动等于因果模型

“只预测表征”省去了重建全部观测的要求，但目标表征本身也是学习出来的。这带来两个基本问题：

1. 坍塌：若两边都输出常数，预测损失也可很低，必须靠目标编码器、遮挡、正则等机制排除。
2. 可识别性：许多不同表征都可能同样可预测；可预测不等于因果，也不保证对所有下游任务有用。

因此，JEPA 的严谨卖点是“在学习到的表征空间预测并主动忽略部分细节”，不是“保证只学到真正的物理变量”。

图像、视频与多模态扩展

I-JEPA 在图像中预测遮蔽区域表征 ^[15]；V-JEPA 把特征预测扩展到视频 ^[16]。2025 年的 LLM-JEPA 与 VL-JEPA 分别探索语言和视觉语言场景，说明 JEPA 与语言并非架构上二选一 ^{[17] [18]}。2026 年 V-JEPA 2.1 又探索更稠密的视频自监督特征 ^[19]。

V-JEPA 2：从视频表征进入规划闭环

V-JEPA 2 先以视频和图像做掩码表征预测，再冻结视频编码器，以机器人视频、末端状态和动作训练动作条件预测器 ^[20]。规划时，给定当前观测与目标图像，系统在动作序列上搜索，使预测的未来表征接近目标表征。

可把有限时域目标概括为

[ a_{0:H-1}^{\star} =\arg\min_{a_{0:H-1}} \sum_{t=1}^{H} d!\left(\hat z_t(a_{0:t-1}),z_{\mathrm{goal}}\right) +\Omega(a_{0:H-1}). ]

系统只执行当前规划的第一步，再观察环境并重新规划。这是滚动时域 Model Predictive Control；它能用新观测不断校正模型误差，但不消除长程预测误差。

论文的意义是证明“自监督视频表征 + 少量动作条件数据 + latent 目标 + MPC”能够形成闭环。它没有证明开放世界常识、自动子目标发现、长程层级规划或通用机器人控制已经解决。

重建目标与感知目标为何可能错配

Balestriero 与 LeCun 的 ICML 2024 论文分析输入重建的归纳偏置：在容量受限时，重建优先保留能解释输入方差的方向；高方差方向却未必最利于感知任务。论文还讨论特定去噪设置如何改变这一取舍 ^[21]。

这一结果支持的是“重建目标与感知目标可能错配”，不是“所有生成模型注定失败”。生成质量、表征可迁移性、控制可用性是不同指标；latent 生成、条件采样和混合目标也不等同于原始像素上的确定性重建。