核心公式

ResNeXt：聚合同构变换

ResNeXt 把残差函数写成多个同构变换的和 ^[1]：

$$\mathbf{y}=\mathbf{x}+\sum_{i=1}^{C}\mathcal{T}_i(\mathbf{x})$$

$C$ 是 cardinality。论文的关键比较是在近似保持模型复杂度时改变 $C$，而不是宣称 cardinality 在所有设置中都优于深度和宽度。

分组卷积是这一聚合变换的高效实现。直觉是把 Inception 式异构分支替换成可重复的同构分支，只增加一个结构维度。局限在于 $C$ 与每组宽度耦合，分支过窄时容量会下降 ^[1]。

DDPM：前向加噪与反向去噪

前向马尔可夫过程为：

$$q(\mathbf{x}_t\mid\mathbf{x}_{t-1}) = \mathcal N\!\left(\sqrt{1-\beta_t}\mathbf{x}_{t-1},\beta_t\mathbf I\right)$$

令 $\alpha_t=1-\beta_t$、$\bar\alpha_t=\prod_{s=1}^{t}\alpha_s$，可以一步采样：

$$\mathbf{x}_t = \sqrt{\bar\alpha_t}\mathbf{x}_0 + \sqrt{1-\bar\alpha_t}\boldsymbol\epsilon, \qquad \boldsymbol\epsilon\sim\mathcal N(\mathbf0,\mathbf I)$$

固定反向方差、去掉 ELBO 时间权重后，常见教学化目标是：

$$\mathcal L_{\mathrm{simple}} = \mathbb E\left[ \left\| \boldsymbol\epsilon- \boldsymbol\epsilon_\theta(\mathbf{x}_t,t) \right\|_2^2 \right]$$

DiT：adaLN-Zero 与计算量扩展

DiT 将潜变量切成 patch token，再交给 Transformer。论文没有给出严格幂律指数，而是报告更高的前向 Gflops 与更低 FID 存在稳定、强相关关系 ^[4]：

$$\text{Gflops}\uparrow \quad\Longrightarrow\quad \text{FID}\downarrow$$

条件 $c$ 由时间步与类别 embedding 组成，MLP 产生 shift、scale 与 gate：

$$(s_1,r_1,g_1,s_2,r_2,g_2) = \operatorname{Linear}(\operatorname{SiLU}(c))$$ $$\operatorname{mod}(u;s,r) = (1+r)\odot\operatorname{LN}(u)+s$$ $$\mathbf h = \mathbf x+ g_1\odot \operatorname{Attn}(\operatorname{mod}(\mathbf x;s_1,r_1))$$ $$\mathbf y = \mathbf h+ g_2\odot \operatorname{MLP}(\operatorname{mod}(\mathbf h;s_2,r_2))$$

最后一层调制参数零初始化，使初始 gate 为零、每个块近似恒等映射。必须保留 $(1+r)$；漏掉 1 会改变调制含义 ^[4]。

DiT 输出噪声与对角协方差，目标为：

$$\mathcal L_{\mathrm{DiT}} = \mathcal L_{\mathrm{simple}}(\epsilon_\theta) + \lambda\mathcal L_{\mathrm{vlb}}(\Sigma_\theta)$$

improved-DDPM 以较小 $\lambda$ 组合两项，并让变分项主要训练协方差。把 DiT 写成固定方差、只有 epsilon-MSE 是错误简化 ^{[4] [3]}。

局限是 DiT 建立在紧致 VAE latent 上；patch 变小会增加 token 与二次注意力成本。Gflops—FID 关系是论文实验范围内的经验相关，不是普适 scaling law。

SiT：随机插值与速度场

SiT 用时间依赖插值连接数据 $\mathbf x_*$ 与噪声 $\epsilon$：

$$\mathbf x_t=\alpha_t\mathbf x_*+\sigma_t\boldsymbol\epsilon, \qquad \dot{\mathbf x}_t = \dot\alpha_t\mathbf x_*+\dot\sigma_t\boldsymbol\epsilon$$

速度回归目标：

$$\mathcal L_v = \int_0^1 \mathbb E\left[ \left\| v_\theta(\mathbf x_t,t)-\dot{\mathbf x}_t \right\|_2^2 \right]dt$$

监督样本依赖不可见的 $\mathbf x_*$ 与 $\epsilon$；总体平方损失的最优解是条件期望：

$$v^*(\mathbf x,t) = \mathbb E[\dot{\mathbf x}_t\mid\mathbf x_t=\mathbf x]$$

SiT 的价值是把插值路径、预测量、确定／随机采样器分开研究；它仍是图像或潜空间生成器，不自动获得物理状态与长时规划 ^[5]。

REPA：表征对齐正则

REPA 将扩散 Transformer 的隐藏状态投影后，与冻结视觉编码器对干净图像产生的表征对齐 ^[6]：

$$\mathcal L_{\mathrm{REPA}} = -\mathbb E\left[ \frac1N\sum_{n=1}^{N} \operatorname{sim} \left( \mathbf y_n^*, h_\phi(\mathbf h_n) \right) \right]$$ $$\mathcal L = \mathcal L_{\mathrm{base}} + \lambda\mathcal L_{\mathrm{REPA}}$$

基础损失随宿主变化。论文主报告的 SiT 结果使用：

$$\mathcal L = \mathcal L_{\mathrm{velocity}} + \lambda\mathcal L_{\mathrm{REPA}}$$

用于原始 DiT 时，$\mathcal L_{\mathrm{base}}$ 才是 improved-DDPM hybrid。把 $\mathcal L_{\mathrm{simple}}+\lambda\mathcal L_{\mathrm{REPA}}$ 与 SiT 的提速结果直接拼在一起会错配公式与实验 ^[6]。

REPA 的假设是外部编码器的表征对生成有用。DINOv2 与 MAE 是纯视觉自监督，不能一概写成“依赖语言监督”；SigLIP 变体才引入图文监督。局限是依赖外部预训练表征、层数与权重敏感。

RAE：先重建，再在表征 latent 上生成

第一阶段冻结编码器 $E$，训练解码器 $D$：

$$\mathbf z=E(\mathbf x),\qquad \hat{\mathbf x}=D(\mathbf z)$$ $$\mathcal L_D = \mathcal L_1 + \lambda_{\mathrm{LPIPS}}\mathcal L_{\mathrm{LPIPS}} + \lambda_{\mathrm{adv}}\mathcal L_{\mathrm{adv}}$$

第二阶段在线性插值 latent 上做 flow matching：

$$\mathbf z_t=(1-t)\mathbf z+t\boldsymbol\epsilon$$ $$\mathcal L_{\mathrm{FM}} = \mathbb E \left[ \left\| v_\theta(\mathbf z_t,t) - (\boldsymbol\epsilon-\mathbf z) \right\|_2^2 \right]$$

只给第一阶段重建损失，不能称为完整生成训练目标。论文在受限函数族与单图 overfit 分析中讨论 token 维 $n$ 与模型宽度 $d$，给出：

$$\mathcal L\ge\frac{n-d}{n}$$

该下界解释 $d<n$ 时的信息瓶颈，但不是所有非线性深模型与数据分布的普适定理。RAE 还使用维度相关噪声调度、噪声增强解码与浅宽 DDT head；高维 latent 的显存和带宽压力仍然存在 ^[7]。

世界模型：条件状态转移

$$\hat{s}_{t+1}\sim p_\theta(s_{t+1}\mid s_t,a_t)$$

对照 LLM：

$$\max_\theta\sum_t\log p_\theta(x_t\mid x_{<t})$$

世界模型目标可写成：

$$\max_\theta \mathbb E \left[ \log p_\theta(s_{t+1}\mid s_t,a_t) \right]$$

这是对访谈自然语言定义的标准形式化 ^[8]。它比 next-token 更难的原因包括：状态高维连续、未来多模态、部分可观测、多步误差、动作覆盖不足，以及状态表示本身未定义。它只描述预测目标，不等价于规划器或安全保证。

Cambrian-S：潜帧预测与 surprise

LFP 头预测下一帧潜特征 $\hat f_{t+1}$，surprise 定义为余弦距离：

$$\operatorname{surprise}_{t+1} = 1- \frac{ \hat f_{t+1}\cdot f_{t+1} }{ \|\hat f_{t+1}\|\|f_{t+1}\| }$$

原型把它转成文字流程：低 surprise 的冗余帧先压缩，在固定长期记忆预算内 drop/merge，收到 query 后再按 query-feature 相似度检索；surprise 峰值还可用于事件分段。它不是简单“只保留高 surprise 帧” ^[9]。

局限是 surprise 依赖编码器空间与预测头质量；余弦误差高不一定意味着对下游决策重要。

MetaMorph：文本与视觉双目标

$$\mathcal L_{\mathrm{text}} = -\log P(w_t\mid w_{<t})$$ $$\mathcal L_{\mathrm{vis}} = 1-\cos(\hat v_t,v_t)$$

同一自回归框架分别预测文本 token 与视觉表征。论文报告理解与生成互益但不对称，不能据此说两种能力在所有规模和数据配比下天然统一 ^[10]。