技术谱系：表示、注意力与生成

分布式表示

神经概率语言模型以词向量和前馈网络表示条件概率，核心形式可写为：

$$P(w_t=i\mid w_{t-1},\ldots,w_{t-n+1}) =\frac{\exp(y_i)}{\sum_j\exp(y_j)}.$$

连续表示使相似上下文共享统计强度，但原始模型仍受固定窗口和全词表 softmax 成本限制 ^[1]。

长期依赖与注意力

循环网络的早期状态对后期损失的影响需要经过逐步雅可比的连乘：

$$\frac{\partial h_T}{\partial h_t} =\prod_{k=t+1}^{T}\frac{\partial h_k}{\partial h_{k-1}}.$$

连乘可能使梯度快速衰减或放大。该分析解释了为什么门控、残差路径与注意力等短路径机制重要，但并不意味着长期依赖“不可能学习” ^[2]。

Bahdanau 注意力在每个解码步计算对齐分数、softmax 权重和上下文向量：

$$e_{ij}=v^\top\tanh(Ws_{i-1}+Uh_j),\qquad \alpha_{ij}=\operatorname{softmax}_j(e_{ij}),\qquad c_i=\sum_j\alpha_{ij}h_j.$$

它是可微软对齐和 cross-attention 的重要先驱，但不是 Transformer self-attention 本身 ^[3]。

生成建模的两条线

GAN 把生成建模写成生成器与判别器之间的极小极大问题：

$$\min_G\max_D\ \mathbb E_{x\sim p_{\mathrm{data}}}\log D(x) +\mathbb E_{z\sim p_z}\log(1-D(G(z))).$$

该框架开启了深度生成模型的重要阶段，也暴露出训练不稳与模式坍塌等问题 ^[4]。

GFlowNet 的目标不同：终态采样概率与非负奖励成比例，

$$P_T(x)=\frac{R(x)}{Z}.$$

《GFlowNet Foundations》讨论了 flow matching、detailed balance 等训练目标及其条件；它适合需要多样高价值候选的组合空间，但要求可构造的状态图与可计算奖励 ^[5]。

从技术到认知

《The Consciousness Prior》提出，用低维选择器从高维状态抽取少量、可被后续处理的成分。这是研究提案而不是关于人类意识的等价定理 ^[6]。

深度表示学习：为什么“更深”曾经难以训练

逐层贪心预训练

2006 年的逐层贪心训练先优化第 $\ell$ 层的无监督准则，冻结已经训练的下层，再继续向上堆叠；最后对所有层做有监督微调。其过程可抽象写为：

$$\theta^{(\ell)} =\arg\min_\theta \mathcal L_{\mathrm{unsup}} \bigl(\theta;h^{(\ell-1)}\bigr), \qquad h^{(\ell)}=f_{\theta^{(\ell)}}(h^{(\ell-1)}).$$

它的历史价值不在于今天仍必须逐层训练，而在于展示“模块可换”的两阶段结构：先从无标签数据获得较好的初始化，并在实验中改善优化与泛化，再适配下游任务 ^[7]。《Learning Deep Architectures for AI》进一步用组合复用解释深度的表达效率：某些函数族在浅层表示下需要指数级单元，在更深结构中可以通过复用中间结果紧凑表示。须注意，这是存在性与表达能力论证，不保证真实任务都满足，也不保证优化器能找到该表示 ^[8]。

去噪自编码器与堆叠 DAE

去噪自编码器先按 $q(\tilde x\mid x)$ 污染输入，再要求从 $\tilde x$ 重构干净的 $x$：

$$\mathcal L_{\mathrm{DAE}} = \mathbb E_{p_{\mathrm{data}}(x)q(\tilde x\mid x)} \left[-\log p_\theta(x\mid \tilde x)\right].$$

2008 年论文以这一污染—重构准则说明去噪训练如何促使模型学习对输入扰动更鲁棒的表示 ^[9]。该论文没有给出高斯 Tweedie 等式，也未建立现代 score-based diffusion 的数学血缘；本专题因此不以它支撑相关公式或谱系判断。

堆叠去噪自编码器把每层表示继续作为下一层的输入，形成“无监督预训练—有监督微调”流程。它与现代预训练—适配范式有结构相似性，但不能仅由 2010 年论文证明后续历史影响 ^[10]。

Xavier／Glorot 初始化

若线性层 $y=\sum_{i=1}^{n_{\mathrm{in}}}W_i x_i$ 的权重独立、零均值，则近似有：

$$\operatorname{Var}(y) =n_{\mathrm{in}}\operatorname{Var}(W)\operatorname{Var}(x).$$

前向方差守恒希望 $\operatorname{Var}(W)=1/n_{\mathrm{in}}$，反向守恒希望 $\operatorname{Var}(W)=1/n_{\mathrm{out}}$。折中得到：

$$\operatorname{Var}(W)=\frac{2}{n_{\mathrm{in}}+n_{\mathrm{out}}},$$

均匀分布实现为

$$W\sim\mathcal U\left[ -\sqrt{\frac{6}{n_{\mathrm{in}}+n_{\mathrm{out}}}}, \sqrt{\frac{6}{n_{\mathrm{in}}+n_{\mathrm{out}}}} \right].$$

该推导依赖独立性与近线性激活假设；ReLU 对负半轴截断后需要不同尺度。它解决的是训练起点的信号传播，不替代训练中的归一化与残差路径 ^[11]。

课程学习

课程学习用难度相关权重 $W_\lambda(z)$ 改变训练分布：

$$Q_\lambda(z) =\frac{W_\lambda(z)P(z)} {\int W_\lambda(u)P(u)\,\mathrm du}, \qquad Q_1=P.$$

“由易到难”可类比延拓法：先优化更平滑的替代目标，再逐步接近原目标。但课程并不自动保证更平滑，也不保证落入更好极小值；难度定义错误时反而可能伤害泛化。其持久影响是把数据顺序与配比变成可设计变量 ^[12]。

表示学习纲领

2012 年预印本、2013 年期刊版的综述把多项方法收束为两个核心观点：分布式表示用可复用因子的组合编码大量区域；流形假设认为高维数据集中在较低维结构附近。用 $k$ 个二值特征最多可编码 $2^k$ 种组合，但这是编码容量直觉，不是“只需 $O(k)$ 参数或样本”的定理 ^[13]。

无监督“解耦解释性因子”同样不是自动可得。缺少监督、干预、多环境或其他结构假设时，潜在变量一般不可唯一辨识。因而表示学习纲领提供研究目标，而不是已完成的保证。

Encoder–Decoder、GRU 与注意力

固定向量瓶颈

RNN Encoder–Decoder 把源序列压缩为上下文向量 $c$，再自回归生成目标序列：

$$c=h_{T_x}, \qquad p(y_{1:T_y}\mid x) =\prod_{t=1}^{T_y}p(y_t\mid y_{<t},c).$$

同一工作提出 GRU，用更新门和重置门控制旧状态保留与新信息写入：

$$z_t=\sigma(W_zx_t+U_zh_{t-1}),\qquad r_t=\sigma(W_rx_t+U_rh_{t-1}),$$ $$\tilde h_t=\tanh(Wx_t+U(r_t\odot h_{t-1})), \qquad h_t=z_t\odot h_{t-1}+(1-z_t)\odot\tilde h_t.$$

门控建立近似加性的记忆通道，但该模型仍使用单个固定长度上下文向量 $c$。后续 Bahdanau 工作将这一设计指出为性能瓶颈，并以动态上下文替代它 ^{[14] [3]}。

可微软对齐

Bahdanau 注意力的完整三步是：

$$e_{ij}=v_a^\top\tanh(W_as_{i-1}+U_ah_j),$$ $$\alpha_{ij} =\frac{\exp(e_{ij})}{\sum_k\exp(e_{ik})}, \qquad c_i=\sum_j\alpha_{ij}h_j.$$

不同输出步拥有不同 $c_i$，梯度可沿 $c_i\to\alpha_{ij}\to e_{ij}$ 回传，因此对齐与翻译能联合训练。它是 additive cross-attention 的代表工作；Transformer 后来换成缩放点积、引入 self-attention、多头并完全去掉循环结构。二者有明确血缘，但不能混为同一发明 ^[3]。

GAN：理想解与现实困难

对固定生成器，理想容量下的最优判别器为：

$$D^*(x) =\frac{p_{\mathrm{data}}(x)} {p_{\mathrm{data}}(x)+p_g(x)}.$$

代回极小极大目标得到：

$$C(G) =-\log 4 +2\,\operatorname{JSD} \bigl(p_{\mathrm{data}}\Vert p_g\bigr).$$

因此理想全局最优在 $p_g=p_{\mathrm{data}}$ 取得。现实中无限容量、每步最优判别器和分布重叠等条件均不成立，训练会遇到梯度饱和、鞍点震荡和模式坍塌。非饱和生成器目标

$$\min_G-\mathbb E_z\log D(G(z))$$

改善了早期梯度，却不消除整个博弈的困难 ^[4]。

GFlowNet：三种守恒约束

原始 GFlowNet 的目标不是标准 RL 的期望回报最大化，而是让终态边缘分布满足：

$$P_T(x)=\frac{R(x)}{Z}, \qquad Z=\sum_xR(x).$$

原始论文中的 flow matching 对每个非终态要求流入等于流出，并把终态流钉在奖励上 ^[15]：

$$\sum_{u:u\to s}F(u\to s) = \sum_{v:s\to v}F(s\to v), \qquad F(x)=R(x).$$

《GFlowNet Foundations》引入前向、后向策略与 detailed balance ^[5]：

$$F(s)P_F(s'\mid s) =F(s')P_B(s\mid s').$$

沿完整轨迹 $\tau=(s_0,\ldots,s_n=x)$ 连乘并消去中间状态流，可得到 trajectory balance：

$$Z\prod_{t=1}^nP_F(s_t\mid s_{t-1}) =R(x)\prod_{t=1}^nP_B(s_{t-1}\mid s_t).$$

Trajectory Balance 将信用分配提升到整条轨迹，训练损失常写为两侧对数比的平方 ^[16]：

$$\mathcal L_{\mathrm{TB}}(\tau) = \left[ \log \frac{ Z_\theta\prod_tP_F(s_t\mid s_{t-1}) }{ R(x)\prod_tP_B(s_{t-1}\mid s_t) } \right]^2.$$

三种约束在相应条件与全局最优下导向同一终态分布，但参数化、方差、探索和训练动态不同。GFlowNet 适合“需要一批多样高奖励对象”的组合问题；它要求良定义的构造图、可用奖励和足够探索，不是通用生成问题的免费解法。

教材与共同纲领

2015 年 Nature《Deep learning》总结了三位作者当时共享的表示学习与深层网络技术视角 ^[17]。2016 年《Deep Learning》教材则把线性代数、概率、信息论、优化、架构、正则化和生成模型系统化 ^[18]。二者都具有重要学术影响，但“共同署名”不意味着三人在后来的安全风险与治理判断上保持一致。