技术遗产与今日边界

可直接追溯的技术血缘

神经概率语言模型把离散词汇转为可学习向量，并用神经网络参数共享改善泛化；原始模型的规模、架构和训练语料与现代 LLM 不同 ^[1]。

Bahdanau 注意力提供可微软对齐；它不是 Transformer self-attention 本身 ^[2]。

长期依赖分析定义了序列学习的重要困难 ^[3]。

GAN 开启深度生成建模的重要阶段；与奖励模型只能作结构类比，不是严格谱系 ^[4]。

GFlowNet 把“寻找单个最优对象”改为“按奖励比例采样多样对象”，在科学发现与组合生成中形成独特方向；其适用性依赖奖励、构造图与探索覆盖 ^[5]。

从认知议程到安全议程

意识先验的低维选择、Scientist AI 的世界模型与 Bayesian Oracle 的后验风险界，都强调在多个解释之间保留不确定性 ^{[6] [7] [8]}。

LawZero 白皮书把这一方向写成“生成器由中立估计器问责”的架构。它与 GAN 的“一造一验”在叙事上相似，但目标、训练信号和理论对象不同，不应写成直接继承 ^[9]。

可训练性谱系

长期依赖：定义问题，而非独占答案

1994 年论文用雅可比连乘解释普通循环网络学习长期依赖的困难 ^[3]。正确的归属是“早期分析定义了中心困难”，不是“所有后续序列模型都由 Bengio 发明”。

逐层预训练：早期训练路径

逐层贪心训练和堆叠去噪自编码器在当时提供了深网训练路径，二者采用“无监督预训练—有监督微调”流程 ^{[10] [11]}。

《Learning Deep Architectures for AI》提供了深度组合复用的表达能力理由 ^[12]；2012 年预印本、2013 年期刊版的表示学习综述又把分布式表示、流形与解释因子统一为研究语言 ^[13]。这些理论直觉影响深远，却不能直接推出某个现代架构的性能。

神经语言模型的连续表示接口

神经概率语言模型留下的稳定接口是：

1. 离散 token 通过查表变成连续向量；
2. 相似上下文通过共享网络参数迁移统计强度；
3. 以条件概率训练向量和预测器 ^[1]。

GRU 与注意力

RNN Encoder–Decoder／GRU 先建立使用固定长度上下文向量的 seq2seq 骨架 ^[14]。后续 Bahdanau 工作将这一设计指出为性能瓶颈，并把每一步的上下文改为源注释的动态加权和 ^[2]。

阶段	保留	改变
Encoder–Decoder／GRU	条件序列生成	固定上下文向量
Bahdanau attention	可微内容寻址	每个输出步动态 cross-attention

把推理时算力称为注意力从“看哪里”扩展到“想多久”，只能作为编者类比；test-time compute 并不是由 2014 注意力公式直接推导出来。

去噪自编码器的边界

去噪自编码器通过“污染输入—重构干净样本”学习鲁棒表示 ^[15]。2008 年论文支持这一训练准则，但没有给出高斯 Tweedie 等式，也没有建立现代 score-based diffusion 的数学血缘。

因此，本专题只把 DAE 归入去噪表示学习与逐层预训练历史；若要讨论分数估计或扩散谱系，需要另引后续原始理论来源。

课程学习：数据顺序可设计

课程学习把样本顺序、难度和训练分布本身视为优化变量 ^[16]。它支持的结论是“数据顺序值得设计”，不能据此把后来的各种多阶段训练配方都归为这项工作的后代。

GAN：生成建模与弱类比

GAN 开启深度生成建模的关键阶段 ^[4]。RLHF 的奖励模型、Scientist AI 的生成器—估计器有“一方提出、一方评价”的表面结构，但目标函数、对抗关系和理论对象不同，只能称叙事类比。

GFlowNet：从单一最优到多样高价值集合

原始 GFlowNet 要求终态边缘概率与奖励成比例 ^[17]；Foundations 系统化流守恒与 detailed balance ^[5]；Trajectory Balance 则改进整条轨迹的信用分配 ^[18]。

其直接适用场景具有共同结构：对象可以逐步构造、奖励可计算、同一终态可能有多条路径，而且任务需要一批高质量候选。药物、分子、生物序列和结构学习符合这种图景；开放域语言建模是否适合，需要另行定义状态图和奖励。

认知议程到安全议程

意识先验从高维状态选择少量低维成分 ^[6]；System 2 议程强调高层变量、组合和慢速推理 ^[19]；因果表示学习强调跨环境稳定机制 ^[20]。Scientist AI 把这些方向重新组织为世界模型、概率预测与非智能体护栏 ^[7]。

《Towards Guaranteed Safe AI》补充世界模型、安全规范与验证器的框架 ^[21]；Bayesian Oracle 和 Disinterested Predictor 分别推进概率护栏和条件性形式界 ^{[8] [22]}；CoT 论文则提醒表面推理文本不能替代内部机制验证 ^[23]。

技术遗产之外：制度端的“刹车”

Bengio 的晚年遗产还包括制度建设。国际 AI 安全报告建立跨国科学评估基线 ^[24]；IDAIS 推动科学家对话 ^[25]；《Global Call for AI Red Lines》提出具有约束力的红线诉求 ^[26]。

这些工作不是技术论文的“后代”，而是同一风险判断在制度层面的不同工具。它们的影响应按是否形成持续评估、可核验标准、正式政策与执行机制衡量，而不能只按签署人数或传播度判断。

一张压缩谱系表

下表是编者的压缩归纳：“今日回响”与“血缘强度”两列为编者判断，没有逐项引证后续文献，引用只对应左列的奠基工作。

奠基／议程	今日回响	血缘强度	主要边界
长期依赖分析 [3]	门控、残差、注意力	问题定义强	后续解法来自多团队
NPLM [1]	token embedding、向量检索	接口血缘强	RAG 不是直接后代
DAE [15]	去噪表示学习与逐层预训练	直接方法血缘	分数估计与扩散需另引后续理论
课程学习 [16]	数据配比、多阶段训练	原则血缘中等	不一定由易到难
Bahdanau attention [2]	Transformer／LLM	技术原语强	不等于发明 Transformer
GAN [4]	深度生成成为主流	历史影响强	对奖励模型仅弱类比
GFlowNet [5]	多样科学候选生成	直接研究方向	依赖 DAG、奖励与探索
System 2／因果 [19] [20]	推理模型、世界模型	问题意识中等	现有实现未必满足机制
Scientist AI [7]	概率护栏、诚实预测器	进行中的路线	尚缺规模化独立验证

学术遗产的评价原则

1. 按论文作者和具体贡献归属，不用实验室声望吞并学生与合作者。
2. 区分问题定义、技术原语、完整架构和后续规模化工程。
3. 区分直接数学血缘、共享训练接口、历史影响与编者类比。
4. 对安全方案区分设计目标、条件性理论、原型实验和真实部署证据。
5. 对治理工作区分公开诉求、科学共识、正式承诺和可执行约束。