技术遗产与现代方法

反向传播：直接延续的训练地基

现代自动微分、AdamW、混合精度和并行训练改变了工程外壳，但参数梯度仍主要由反向模式自动微分计算 ^[1]。这是最直接的延续。

与此同时，Forward-Forward 代表对全局反向传播的少数派探索；截至原型写作时，它未在前沿规模取代反向传播 ^[2]。

玻尔兹曼机与现代能量方法

玻尔兹曼机的直接训练算法受平衡采样限制 ^[3]。现代 EBM 保留能量表达；对比学习保留“正例拉近、负例推远”的结构；分数匹配与扩散学习对数密度梯度。

逐层预训练与现代自监督

DBN 展示了先用无标签数据学习表示、再微调的路径 ^[4]。现代掩码建模和自回归预训练也从无标签数据构造目标，但训练目标、结构和端到端方式均不同。

准确说法是：DBN 是预训练范式的重要思想先声之一，具体 RBM 逐层算法没有延续为现代大模型训练流程。

Dropout：从核心正则到可选工具

Dropout 在中小规模监督学习中有效减少共适应 ^[5]。现代大模型是否使用 Dropout，取决于数据重复、训练轮数、归一化和其他正则。不能写成“彻底淘汰”，也不能默认仍是所有训练的必需品。

MoE：门控思想的直接后继

1991 年 MoE 以软门控组合专家 ^[6]。现代稀疏 MoE 改成 Top-(k) 路由，使总参数与每 token 激活参数分离。直接继承的是“门控分工”，关键变化是稀疏路由、负载均衡和分布式通信。

本章不列未独立核查的具体模型专家数或参数规模。

蒸馏：从软概率到生成轨迹

经典蒸馏以温度化软分布传递类别关系 ^[7]。DeepSeek-R1 使用强模型生成的数据迁移推理行为 ^[8]。载体从一个概率分布扩展为较长轨迹，但仍属于从教师向学生迁移行为结构。

Fast Weights 与注意力

Fast Weights 用快速变化的矩阵存储近期状态 ^[9]。点积注意力显式缓存 key/value 并按相似度检索。两者功能相似，但 Fast Weights 不是现代注意力的直接历史源头。

分布式表示、嵌入与可解释性

1986 年论文强调隐藏层可学习分布式表示 ^[1]；自编码器与 t-SNE 分别提供学习压缩表示和观察高维邻域的工具 ^{[10] [11]}。

现代嵌入与 Transformer 隐状态同样是连续向量表示，但具体谱系经过大量独立工作。本专题只保留结构相似性，不把后来的检索、RAG 或跨模态模型写成 Hinton 工作的直接后代。

分布式表示的代价是特征叠加和难以直接解释。现代稀疏自编码器与归因图试图分解内部特征 ^[12]；这可视为自编码工具与可解释性问题的汇合，但不是 2006 年论文预言的结果。

继承、扬弃与悬而未决

类型	路线	迁移后的判断
直接延续	反向传播、MoE 门控、知识蒸馏、分布式表示	核心机制仍可辨认，但工程实现已扩大
留下思想	玻尔兹曼机、DBN 预训练、Fast Weights	结构或问题意识保留，具体算法被替代
规模化受限	胶囊、GLOM、Forward-Forward	研究问题仍有价值，尚未成为前沿主线
开放路线	Mortal Computation	能效与可迁移性取舍仍待硬件和算法证据

遗产的共同问题

Hinton 的工作并非都由他独创，也不是都成功。更稳定的共同问题是：

1. 知识如何以分布式方式表示；
2. 计算如何分解给多个模块；
3. 学习结果如何在模型之间传递；
4. 能效、可复制性和可解释性如何取舍。

这些问题把早期技术与后来的安全担忧连接起来；连接本身是专题的分析框架，不应被误读成所有现代方法的单一发明史。