田永龙研究轨迹与代表方法

B 田永龙研究轨迹与代表作

PART B田永龙研究轨迹：用最经济的信号，学最好的表征

田永龙 = Yonglong Tian，现于腾讯大语言模型部（混元），做 VLM（2026-07 起；此前 OpenAI / Google DeepMind / Google Research）。GitHub ^[1] · ^[2] · ^[3]——⚠️ 后两者头衔均已过期（主页写 Google DeepMind、Scholar 写 OpenAI），信息滞后。下面按七个阶段梳理，并对关键方法保留可展开的公式推导与”本质为什么”。

完整职业时间线

时间机构 / 身份关键产出与主线

  本科清华大学—
  硕士（M.Phil）香港中文大学 CUHK，师从 汤晓鸥（Xiaoou Tang）/ 王晓刚（Xiaogang Wang）行人/物体检测：Switchable DN、DeepID-Net——结构先验 / 部件建模
  ~2022 博士毕业MIT，导师 Phillip IsolaCMC / CRD / InfoMin / SupCon / Rethinking Few-Shot / shape2prog / RF-Pose——自建对比与表征体系
  2022 年底Google Research（剑桥）合成数据引擎起步：StableRep / LaCLIP / SynCLR
  2024-05Google DeepMindScaling Laws of Synthetic Images / MAR / Fluid
  2024-10OpenAI（21 个月）主导 GPT-5 系视觉推理；GPT-5 System Card 集体署名；l-DeTok / FD-loss（均为对外学术合作）
  2026-07腾讯大语言模型部（混元），做 VLM见 §B⑦——这一步的解释力比它看起来大得多

诚实补一条空白他最后一篇一作论文是 SynCLR（2312.17742，2023-12）；此后两年半全为共同一作 / 中间 / 末位作者。在 OpenAI 的 21 个月里，唯一可查的第一方产出是 GPT-5 System Card（2601.03267）的集体署名——l-DeTok（2507.15856）与 FD-loss（2604.28190）都是与 USC 的 Yue Wang / Jiawei Yang 的学术合作，且 l-DeTok 明确标注”Advisory-only""加入 OpenAI 前完成”。推断：这更可能反映 OpenAI 的封闭发表规范而非活跃度下降（GPT-5 视觉推理本就无法发论文），但这段空白本身应如实写出，而不是用”他在做保密项目”一句带过。

① 多视图对比学习（CMC）：对比 = 最大化互信息

CMC（Contrastive Multiview Coding，^[4]）把”同一场景的不同视图（亮度/深度/语义通道、不同增强）“当正样本对，最大化它们表征的一致性。其损失是 InfoNCE： [ \mathcal{L}{\text{NCE}} ;=; -,\mathbb{E}!\left[, \log \frac{\exp!\big(f(x)^{\top} g(y)/\tau\big)}{\sum{j=1}^{N}\exp!\big(f(x)^{\top} g(y_j)/\tau\big)} ,\right] ]

其中 (x,y) 是同一实例的两个视图，(y_j) 含 1 个正样本与 (N-1) 个负样本，(\tau) 是温度。关键结论：最小化该损失 = 最大化两视图表征间互信息的一个下界。 ▸ 展开推导：为什么 InfoNCE 是互信息 (I(x;y)) 的下界？（含假设与上界局限）

第 1 步（最优判别器）：把 NCE 看成”从 (N) 个候选里认出真正的正样本 (y)“的分类。贝叶斯最优后验为 [ p(\text{pos}=i\mid x, {y_j}) = \frac{p(y_i\mid x)/p(y_i)}{\sum_{j} p(y_j\mid x)/p(y_j)}. ]

第 2 步（对齐打分函数）：因此最优的相似度打分应正比于密度比 (\dfrac{p(y\mid x)}{p(y)})，即令 (e^{f(x)^\top g(y)/\tau}\propto \dfrac{p(y\mid x)}{p(y)})。把它代回 (\mathcal{L}_{\text{NCE}})。

第 3 步（取期望，并做本推导中唯一的一处近似）：代入后，分母里会出现”正样本项 + 负样本项之和”。负样本项 (\displaystyle\sum_{j\in\text{neg}}\frac{p(y_j\mid x)}{p(y_j)}) 是 (N-1) 个独立同分布随机变量之和，其每项期望为 1，故用它的期望 ((N-1)) 替代之（大 (N) 下的集中性假设）。这是全程唯一的近似——其余步骤都是恒等变形。替代后整理即得 [ \mathcal{L}{\text{NCE}} ;\ge; \log N ;-; I(x;y)\quad\Longleftrightarrow\quad I(x;y);\ge;\log N-\mathcal{L}{\text{NCE}}. ]

本质：对比学习之所以”能学到语义”，是因为它在偷偷估计并最大化两视图共享的信息 (I(x;y))——共享信息通常就是”内容/语义”，而各自私有的信息（噪声、增强扰动）被丢弃。

上界与局限：① 该下界被 (\log N) 卡住——负样本越多（(N)↑）界越紧，这解释了 MoCo/SimCLR 为何依赖大 batch/大队列；② 它只是下界，“最大化 MI”并不等价于”学到对下游最有用的信息”——MI 高也可能来自任务无关的共享噪声。这个裂缝，正是下面 InfoMin 要补的。

❓深问：对比学习”等价于最大化互信息”这句话，有多可靠？

①”等价”其实是”优化一个下界”。(I(x;y)\ge \log N-\mathcal{L}_{\text{NCE}}) 只是下界，而且被 (\log N) 硬顶住：即便真实互信息很大，InfoNCE 也最多”看到” (\log N) 那么多 nats。所以大 batch/大负样本队列（MoCo 的 65536、SimCLR 的大 batch）不是玄学，而是在抬高这个天花板。反过来，当 (I(x;y)\gg\log N) 时，这个界会系统性地松，“最大化 MI”的解读就名存实亡。

② 更深的裂缝：MI 大 ≠ 表征好。Tschannen et al.（2019）已指出——同样的 MI 值可对应天差地别的下游表现，真正起作用的往往是编码器结构与相似度度量的归纳偏置，而非 MI 数值本身。这解释了两件事：为什么 InfoMin 要转而追求”最小充分”而非”最大”；为什么后来（DINO/BYOL/MAE）很多强自监督方法根本不显式最大化 MI。结论：MI 视角是极好的直觉脚手架与设计语言，但不宜当作严格的”目标函数守恒律”。推断

🧭 评析 CMC：隐含假设、被后续超越之处、2026 对照

• 隐含假设：正样本对共享的即”内容/语义”、私有的即”噪声”。但这对某些视图不成立——如”深度 vs RGB”共享的更多是低层几何而非语义；视图设计不当，学到的就不是想要的不变性（这正是 InfoMin 要修的）。

• 证据强度：CMC 在当年 ImageNet 线性探针上强，但依赖大量负样本（后由 MoCo 队列/ SimCLR 大 batch 支撑）。

• 被后续修正/超越：BYOL/SimSiam 证明不用负样本也能学好，DINO/iBOT 用自蒸馏、MAE 用掩码重建，都绕开了”多视图对比”；说明”对比”只是自监督的一条路，非必需。多视图思想真正的大赢家是跨模态的 CLIP。

• 2026 前沿对照：视觉自监督 SOTA 是 DINOv2 / SigLIP2（自蒸馏 + 掩码 + 图文对比的混合配方），纯 InfoNCE 已非单独最优——CMC 的历史地位是”把对比讲清楚”，而非终点。

② 把对比推广到蒸馏（CRD）与监督（SupCon）

CRD（Contrastive Representation Distillation，^[5]）：把”教师表征”和”学生表征”当作两个视图，最大化师生表征的互信息，比逐维匹配 logits 的 KD 更能传递结构化知识——本质是”KD 的目标应该是保住 (I(\text{teacher};\text{student}))，而非只对齐输出分布”。 ▸ 展开推导：CRD 的目标函数，以及为什么 (\max I(T;S)) 比 (\mathrm{KL}(p_T|p_S)) 保留更多”结构”

第 1 步（把师生当两个视图）。记同一输入 (x_i) 的教师表征 (f^T(x_i))、学生表征 (f^S(x_i))。正样本=同一输入的师生表征对，负样本=学生表征与其他输入的教师表征。套 InfoNCE： [ \mathcal L_{\text{CRD}}=-,\mathbb E_{i}\left[\log\frac{\exp!\big(f^{T}(x_i)^{\top}f^{S}(x_i)/\tau\big)}{\displaystyle\sum_{j=0}^{N}\exp!\big(f^{T}(x_j)^{\top}f^{S}(x_i)/\tau\big)}\right] ;\ge; \log N - I\big(f^T;f^S\big), ]

即 最小化 (\mathcal L_{\text{CRD}}) = 最大化师生互信息的下界（与 §B① 的 InfoNCE↔MI 同一套推导，只是把”两个增强视图”换成”教师/学生”)。

第 2 步（为什么比 logit 蒸馏保留更多结构）。经典 KD 最小化 (\mathrm{KL}\big(p_T(y\mid x),|,p_S(y\mid x)\big))，这是逐样本、在输出维度上的约束——它只要求学生在每个样本各自的边际输出分布上像老师。但”知识”里很大一部分是样本之间的关系：哪两张图在老师眼里相似、哪些远。KL 对此完全不约束：只要每个样本的 logits 对上了，学生内部把样本排成什么几何都行。

对比蒸馏则不同：(\mathcal L_{\text{CRD}}) 的分母跨 (N) 个不同样本求和，梯度直接作用在”(x_i) 的学生表征要靠近 (x_i) 的教师表征、并远离 (x_j) 的”上——这约束的是成对关系（pairwise structure），等价于要求学生复刻教师表征空间的相对几何。用信息论说：KL 只匹配边际，MI 目标匹配联合。局限：需要维护大负样本队列（内存/实现成本），且教师表征里的任务无关成分也会被一并传递（见下方评析）。

SupCon（Supervised Contrastive Learning，^[6]，田永龙中间作者；一作 P. Khosla——非其主导，但思想与其对比谱系一脉）：当有标签时，把”同类样本全部当正样本”（多正样本对比），损失为 [ \mathcal{L}{\text{SupCon}}=\sum{i\in I}\frac{-1}{|P(i)|}\sum_{p\in P(i)}\log\frac{\exp(z_i!\cdot! z_p/\tau)}{\sum_{a\in A(i)}\exp(z_i!\cdot! z_a/\tau)} ]

(P(i)) 是与 (i) 同类的所有正样本集合。它在 ImageNet 上稳定超过交叉熵，并对超参/损坏更鲁棒。 本质·一把通用锤子从 CMC→CRD→SupCon，田永龙反复用同一把锤子：“把任何’应当相似的东西’当成正样本对，用对比/互信息去拉近”——无监督（两视图）、蒸馏（师生）、监督（同类）都是它的特例。SupCon 的”多正样本”思想，日后又回到多模态（StableRep 里”多张同 caption 合成图互为正样本”）。这是理解他后续所有工作的母范式。 ▸ 展开：SupCon 如何从 InfoNCE 推广到”多正样本”？为什么用 (\mathcal L^{\mathrm{out}}) 而非 (\mathcal L^{\mathrm{in}})？

第 1 步（从单正到多正）：InfoNCE 每个锚点只有 1 个正样本；有标签时，同类的所有样本都该是正样本。于是把”对正样本的对数似然”对正样本集合 (P(i)) 求平均。有两种放法——把求和放在 log 外（(\mathcal L^{\mathrm{out}})）还是 内（(\mathcal L^{\mathrm{in}})）： [ \mathcal L^{\mathrm{out}}=\sum_{i}\frac{-1}{|P(i)|}\sum_{p\in P(i)}\log\frac{e^{z_i\cdot z_p/\tau}}{\sum_{a\in A(i)}e^{z_i\cdot z_a/\tau}},\qquad \mathcal L^{\mathrm{in}}=\sum_i-\log\Big[\frac{1}{|P(i)|}\sum_{p\in P(i)}\frac{e^{z_i\cdot z_p/\tau}}{\sum_{a}e^{z_i\cdot z_a/\tau}}\Big] ]

第 2 步（关键结论）：论文实验+梯度分析表明 (\mathcal L^{\mathrm{out}}) 显著更优。直觉：(\mathcal L^{\mathrm{out}}) 对每个正样本等权地施加梯度，而 (\mathcal L^{\mathrm{in}}) 因 log 内先平均，会让梯度被”已经拉近的正样本”稀释，难样本正样本得不到足够梯度。推断：这是”把求和放哪”这一步的核心，非显然，正是论文贡献点。

第 3 步（假设与局限）：① 需要标签定义正样本；② 假设”同类=该相似”的粒度合适——对细粒度/层级类别，“同类”可能过粗，压平类内有用差异；③ (\tau) 仍是敏感超参。

🧭 评析 CRD & SupCon：隐含假设、被修正之处、何时不 work

• CRD 的隐含假设：师生表征的互信息=可传递的知识。但 teacher 表征里也有任务无关成分，盲目最大化 (I(\text{T};\text{S})) 可能连噪声一起传。后续关系/注意力蒸馏与 LLM 时代的 logit/序列级软标签蒸馏各擅胜场——CRD 是”表征级对比蒸馏”的强基线，非唯一解。

• SupCon 何时不 work：类别噪声/长尾、或任务需要类内区分（如同类不同个体的检索）时，“同类即正样本”会抹掉关键差异；此时监督对比反而不如带 margin 的度量学习或纯自监督。

• 证据强度：SupCon 在 ImageNet 上稳超交叉熵、且更抗损坏，是有对照的强结果；但收益在大规模图文预训练时代被稀释——CLIP/SigLIP 的图文对比已取代”类内监督对比”成为预训练主力。

• 2026 对照：有标签监督场景 SupCon 仍是好选择；但”预训练”已全面转向自监督 + 图文对比（DINOv2/SigLIP2）。

③ InfoMin：什么才是”好视图”——信息的甜点（sweet spot）

“What Makes for Good Views for Contrastive Learning”（^[7]）问了个本质问题：对比学习要 (\max I(v_1;v_2))，但视图该共享多少信息才最好？答案是InfoMin 原则：好视图应在保留任务相关信息的前提下，让两视图的互信息尽量小。 [ \min_{v_1,v_2} I(v_1;v_2)\quad \text{s.t.}\quad I(v_1;y)=I(v_2;y)=I(x;y) ]

直觉：若两视图共享太多信息（如几乎相同的增强），学到的表征会包含大量任务无关的冗余（背景、纹理噪声）；若共享太少，又会丢掉任务相关信息。二者之间存在一个”最小充分”的甜点——下游误差对”视图互信息”呈 U 形。 ▸ 展开：为什么会有”甜点”？—— 最小充分统计量的视角

把表征 (z) 拆成”任务相关” + “任务无关”两部分。理想表征是关于标签 (y) 的充分统计量（保住 (I(z;y)=I(x;y))）且最小（(I(z;x)) 尽量小、不多带噪声）。对比学习学到的是”两视图共享的信息”：

• 共享信息 过多（互信息偏右）→ 表征把任务无关的共享噪声也编码进来 → 过量信息 → 泛化差；

• 共享信息 过少（互信息偏左）→ 连任务相关信息都没共享全 → 不充分 → 欠学习；

• 恰好只共享”任务相关的最小充分信息”→ 甜点 → 下游最优。

局限/追问：甜点位置依赖”下游任务”——对分类最优的视图，对分割/检测未必最优（因为”任务相关”随任务而变）。所以 InfoMin 是”给定任务下”的最优视图设计原则，而非普适常数。这也预示了后来”表征质量优先、且要对齐真实下游”的思路。

交互演示 · 视图互信息 I(v₁;v₂)：0.50（0=几乎不共享，1=几乎相同）

估计下游误差（U 形，仅示意）：– · 状态：–

我的洞见InfoMin 是田永龙最被低估的一块”理论地基”：它把”数据增强/视图设计”从玄学变成”调节互信息到甜点”的可解释操作。更深一层，它埋下了他此后所有工作的世界观——“信息不是越多越好，而是要最小充分”：这既解释了后来合成数据”可控地只注入任务相关多样性”为何有效，也与 Efros”表层数据是插值”的警告相容（多余的表层共享信息帮不了泛化）。 🧭 评析 InfoMin：优雅但难落地，“甜点”是解释框架还是可优化目标？

• 隐含假设：① 存在一个可达的”最小充分”甜点；② “任务相关信息” (I(v;y)) 可被视图/增强超参单调调节。现实里增强对 (I(v_1;v_2)) 与 (I(v;y)) 的影响是耦合、非单调的。

• “任务相关信息”难量化：(I(v;y)) 需要标签 (y)，而高维 MI 估计本身高方差、系统性偏低（这正是上面 Tschannen 2019 的警告）——所以”调到甜点”更多是经验调参，而非真能测出 MI 去优化。

• 何时失效：多任务/未知下游时”任务相关”没有唯一定义，甜点随任务漂移（论文自己承认对分类最优的视图对分割未必最优）。

• 2026 对照：DINOv2/SigLIP2 并不显式做 InfoMin，但其增强配方经验上就在逼近甜点。所以 InfoMin 的历史价值是一套强解释框架/设计直觉，而非一个能直接反传的损失——这也是它”被低估”又”难被直接引用为方法”的原因。

B（续）表征质量 · 生成/合成 · OpenAI

PART B · 续从”表征质量优先”到”生成模型即数据引擎”

④ 表征质量 > 花哨算法：“a good embedding is all you need”

“Rethinking Few-Shot Image Classification”（^[8]）：在小样本学习一片”元学习/复杂 episodic 训练”的热潮里，他证明一个用普通监督训练学到的好 embedding + 简单线性分类器，就能超过大多数花哨的 meta-learning 方法。口号是 “a good embedding is all you need for few-shot”。 本质这条与整个领域”卷方法”的惯性对着干：决定下游表现的，主要是表征质量，而不是分类/适应阶段的算法花活。它把研究重心从”设计更聪明的 head/算法”转向”如何学到更好的表征”——顺理成章地推向下一步：“既然表征质量是王道，那用什么数据学表征？能不能造数据？” 🧭 评析 Rethinking Few-Shot：结论边界，与”预训练即一切”的关系

• 隐含假设：“好 embedding + 简单分类头”够用——在下游类分布接近预训练分布时成立；对强域偏移（医学影像、遥感、工业缺陷）小样本，仍需适配/微调。

• 证据强度：在标准 few-shot 基准（miniImageNet 等）上有对照、可复现；但这些基准本身域内，正是”好 embedding”最占便宜的设定。

• 被时代放大与部分改写：这条洞见在 foundation model 时代被放大为”预训练即一切”——CLIP 零样本、以及 Neural Thickets（Gan & Isola 2026）“能力已在预训练权重里、post-training 只是定位”都是同一主题的强化版。反过来，in-context / 多模态大模型的少样本能力已改变 few-shot 的玩法，“线性探针”不再是唯一评估。

• 何时不 work：需要结构化推理或预训练分布外新概念的 few-shot——此时再好的静态 embedding 也补不上缺失的信息（呼应 信息上界）。

⑤ 生成模型 = 可扩展的数据引擎（合成数据 + 扩散机理）

这是田永龙最厚的一段，可拆成两条并行线：(A) 用生成模型造数据来学表征；(B) 深入生成模型本身的机理（采样/损失/tokenizer）。

(A) 合成数据造血：从”用模型学”到”纯合成媲美真实”

下列多为团队协作，已标注田永龙的真实署名位置（避免”独立主导”的误读）；其中 StableRep 是他一作，其余多为共同一作 / 资深(末位)通讯 / 合著。

• Generative models as a data source（^[9]，田永龙第 3 作者；一作 A. Jahanian）+ Divide and Contrast（^[10]，一作）：提出”从模型学，而非从数据学（learning from models）“——生成模型是可无限采样、可控变换的”数据源”。

• StableRep（^[11]，一作）：把”同一 caption 生成的多张图”当作多正样本（SupCon 思想回归！）做对比学习。结论惊人——2000 万合成图训的表征 > 5000 万真实图训的 CLIP。 🧭 但要读细：这个”>“有前提——① 合成图由 Stable Diffusion 生成，而 SD 本身训练在 LAION-2B-en（约 20 亿真实图文对）上，所以并非”合成凭空胜真实”，而是”SD 把海量真实数据蒸馏进参数、再高质量重放”；公平地说是”2000 万经生成器提纯的样本 > 5000 万原始 web 图”。② 对比的是相同下游协议下的表征质量，非所有任务普适。③ 与 Kamb–Ganguli 一致：合成样本的信息量受 SD 训练分布上界约束，尾部/新概念仍需真实数据。这条不削弱其价值，但把”合成 > 真实”还原成”提纯 > 原始”更准确。推断

• SynCLR（^[12]，与 Lijie Fan 共同一作）：纯合成（合成 caption + 合成图）学出的视觉表征，媲美 DINOv2/CLIP。

• LaCLIP（^[13]，田永龙资深/末位；一作 Lijie Fan）：用 LLM 重写文本做增强，提升 CLIP。

• Scaling Laws of Synthetic Images（^[14]，田永龙资深/共同通讯；一作 Lijie Fan）：诚实地刻画合成数据的 scaling 行为，标题特意加 “…for now”——边界感。

• Self-Correcting Self-Consuming Loops（^[15]，田永龙合著（近末位）；一作 N. Gillman，末位 Chen Sun，非其主导）：如果模型只吃自己产出的数据会崩溃（model collapse），需自我纠正机制——这是对”合成数据无限造血”最重要的护栏。

  ⚠️ 别与田渊栋混淆这里田永龙的护栏来自他合著的 Self-Consuming Loops 论文 + Scaling Laws “…for now”（实验/表征视角）。中文访谈里那套”用形式化验证（Lean/编译器）过滤合成数据防模式坍塌""用算力换数据”是田渊栋 Yuandong Tian 的观点，同题但不同人，勿互相冒名。（本文 身份消歧）

  ▸ 追问本质：为什么合成数据能媲美/超越真实数据？上界在哪？

能媲美的原因：① 表征学习要的是”任务相关的多样性/不变性”，而非像素级真实——生成模型能可控地放大有用变化（视角、光照、同义改写），恰好制造 InfoMin 意义下”最小充分”的正样本对；② “同 caption 多图=多正样本”提供了真实数据难以廉价获得的密集正样本监督（SupCon 收益）；③ 生成器本身已把大量真实数据”压缩”进参数，采样即低成本重放其学到的分布。

上界在哪（Efros 的警告在此量化）：合成数据的信息量不可能超过生成器所见的真实数据——它是对真实分布的插值/重采样。因此 (i) 尾部/新颖模式难以凭空产生；(ii) 自消耗回路（拿自产数据再训生成器）会逐代丢失方差直至崩溃（Self-Consuming Loops 已证）；(iii) Scaling Laws 显示收益随规模递减，故标题写 “…for now”。结论：合成数据能高效”复制+放大”已有能力，但要突破上界仍需接入真实/深层数据。

🧭 评析 StableRep / SynCLR：证据强度与”纯合成”的措辞陷阱

• StableRep 的”2000 万合成 > 5000 万真实”已在正文还原为”提纯 > 原始”（SD 训在 LAION-2B-en ≈20 亿图文对上）；补充：对照是同下游协议，且 SD 生成分布本身有偏（偏中心构图、少长尾），换任务/换生成器结论可能翻转。

• SynCLR”纯合成媲美 DINOv2/CLIP”的措辞陷阱：① 所谓”纯合成”的生成器（SD）与合成 caption（LLM）本身都训在海量真实数据上——不是”无真实”，而是”真实信息被搬运了一道”；② 被媲美的 DINOv2/CLIP 也各有其真实数据，公平性要看可比的计算/信息预算。

• 为何 work：合成能廉价制造多正样本 + 可控分布（SupCon 收益 + 去偏），提升样本效率；何时不 work：生成器薄弱域（精确文本渲染、计数、罕见概念）、需要分布外新概念时。

• 2026 对照：真实数据仍在 scale（DataComp、SigLIP2），合成更多作增强/补长尾而非主粮；model collapse（Self-Consuming Loops）是”纯合成闭环”的硬护栏。

(B) 生成机理：采样误差、连续 token 与”视觉为何落后语言”

田永龙不满足于”用”生成模型，还深挖其数学机理。先给扩散/score 的基本盘：训练一个网络逼近数据分布的 score（对数密度梯度），采样时沿概率流走回数据。 [ \text{去噪 score matching：}\quad \min_\theta ; \mathbb{E}{t,,x_0,,\epsilon}\Big[\big| \epsilon - \epsilon\theta(x_t, t)\big|^2\Big],\quad x_t=\sqrt{\bar\alpha_t},x_0+\sqrt{1-\bar\alpha_t},\epsilon ] [ \text{概率流 ODE（采样）：}\quad \mathrm{d}x=\Big[f(x,t)-\tfrac12 g(t)^2,\nabla_x\log p_t(x)\Big]\mathrm{d}t,\qquad \nabla_x\log p_t(x)\approx -\tfrac{\epsilon_\theta(x_t,t)}{\sqrt{1-\bar\alpha_t}} ] ▸ 逐步解说：从 score matching 到 概率流 ODE，再到”为什么 Restart 更准”

第 1 步（学 score = 学去噪）：前向加噪 (x_t=\sqrt{\bar\alpha_t}x_0+\sqrt{1-\bar\alpha_t},\epsilon)。由 Tweedie 公式，最优去噪 (\hat\epsilon) 与 score 一一对应：(\nabla_x\log p_t(x)=-\epsilon^\star/\sqrt{1-\bar\alpha_t})。所以”预测噪声 (\epsilon_\theta)“就是”估计 score”——这是 (\min\mathbb E|\epsilon-\epsilon_\theta|^2) 的意义。假设/近似：网络容量足够、训练充分才有 (\epsilon_\theta\approx\epsilon^\star)；欠拟合正是创造力来源（见 Kamb–Ganguli）。

第 2 步（SDE → 等价的确定性 ODE）：前向 SDE 有一个同边际分布的”概率流 ODE”（上式）——把随机项去掉、用 score 修正漂移，就得到一条确定性轨迹，其每个时刻的分布 (p_t) 与随机过程完全一致。关键权衡：ODE 无随机项 → 单步离散化误差小，但误差沿步累积、不会被抹平；SDE 每步注入噪声 → 有”遗忘/收缩”效应能压低累积误差，但单步噪声大。

第 3 步（Restart 为何两头通吃）：把采样区间切成几段——段内用确定性 ODE 多步走（吃”单步误差小”），段末一次性注入较大噪声把状态”拉回”较高噪声水平再走（吃 SDE 的”随机收缩累积误差”）。直觉：确定性负责精度、周期性大噪声负责纠偏。局限：Restart 的切段位置/噪声幅度是需要调的超参，收益依赖 score 网络在被”拉回”的噪声区间里仍然准。推断：此处为机制性解说，精确界以原论文为准。

同样标注署名位置——这些机理工作里田永龙多为合著/资深，一作另有其人（Yilun Xu / Tianhong Li / Jiawei Yang 等），他更多提供表征与”生成机理”的判断力，而非算法一作。

• Restart Sampling（^[16]，田永龙第 4 作者；一作 Yilun Xu）：ODE 采样离散化误差小但会沿步累积；SDE 采样有随机项能收缩误差但单步误差大。Restart 交替：“确定性 ODE 走一段（低单步误差）+ 周期性注入较大噪声（随机收缩累积误差）“，兼得两者之长。

• PFGM++（^[17]，田永龙第 3 作者；一作 Yilun Xu）：把 (N) 维数据视为 (N{+}D) 维增广空间里的电荷，沿电场线（ODE）采样；(D\to\infty) 时退化为扩散模型，有限 (D) 更鲁棒——把扩散放进一个更大的、可调鲁棒性的家族。 ▸ 展开：(\sigma\leftrightarrow r/\sqrt{D}) 这一步对应关系，才是”扩散只是一个家族的极限”的实质

第 1 步（增广与电场）：把 (N) 维数据 (x) 嵌进 (N{+}D) 维空间，附加 (D) 个”垂直”坐标，记其半径 (r=|z|_2)（(z\in\mathbb R^{D})）。数据点被视为电荷，采样沿电场线的 ODE 从大 (r) 走回 (r=0)（即数据流形）。这里 (r) 扮演的角色，正如扩散里的噪声水平 (t)。

第 2 步（关键对应）：PFGM++ 给出的桥梁是 [ \sigma ;\longleftrightarrow; \frac{r}{\sqrt{D}}. ]

为什么是 (\sqrt{D})：(D) 维各向同性高斯的范数集中在 (\sqrt{D},\sigma) 附近（高维集中现象）。所以”半径 (r)“要除以 (\sqrt{D}) 才能对上扩散里那个每坐标的噪声尺度 (\sigma)。

第 3 步（取极限）：固定 (\sigma=r/\sqrt{D}) 让 (D\to\infty)，增广维度上的分布集中到一个球壳，电场线 ODE 的极限恰好还原为 VP/VE 扩散的概率流 ODE。这就是”扩散是 PFGM++ 家族在 (D\to\infty) 的一个极限成员”的实质。

第 4 步（有限 (D) 为何更鲁棒）：(D) 有限时，增广维度的”厚度”没被压成球壳，反向 ODE 对score 网络的估计误差不那么敏感——即 (D) 成了一个可调的鲁棒性–刚性旋钮：(D) 小更耐误差但偏离理想扩散，(D\to\infty) 回到扩散。推断：这是对论文机制的解读性表述，精确定理与常数以原文为准。

• MAR / Diffusion Loss（^[18]，田永龙第 2 作者；一作 Tianhong Li，末位 Kaiming He）：自回归图像生成不必依赖离散 token（VQ 码本）+ 交叉熵。让 AR 主干输出一个条件向量 (z)，再用一个小去噪 MLP 头建模每个连续 token 的分布：[ \mathcal{L}(z,x)=\mathbb{E}{\epsilon,t}\Big[\big|\epsilon-\epsilon\theta(x_t\mid t,z)\big|^2\Big] ]配合随机顺序（masked AR），去掉了”必须离散化/固定光栅顺序”的枷锁。Fluid（^[19]，田永龙资深合著；一作 Lijie Fan，末位 Kaiming He）进一步验证这条路的 scaling（300M 打平 Parti-20B）。

• Denoising ViT（^[20]，田永龙中间/资深合著；一作 Jiawei Yang）：诊断并去除 ViT 特征里的位置编码伪影；Cycle-consistency（^[21]）等则打磨生成/表征质量。

  🧭 评析 MAR / Fluid：连续 token 证明了什么？“离散 vs 连续”其实未定论

• MAR 隐含假设：小去噪头能无损建模每 token 的连续条件分布，且随机顺序 masked AR 不损害质量。代价：每 token 采样要跑扩散小步，推理更慢；训练稳定性/最佳采样步数仍在调。

• “300M 打平 Parti-20B”（Fluid）要读细：是特定文生图基准下的比较，架构/数据/评测口径不同，不能简单等同”参数效率 60ד；且对手 Parti 是较早的自回归离散模型。推断

• “离散 vs 连续”未定论（关键前沿判断）：MAR/Fluid 证明连续 token 可行且好；但离散 token（VQ）在”与语言 token 统一”上有系统性优势——Chameleon / Emu3 / VAR 等把图像离散化以便和文本共用一个自回归 Transformer，做统一多模态。所以田永龙”still need codebook? No!”是对”视觉生成质量”成立，但对”多模态统一建模”未必——这是两条目标不同的路线。

• 2026 对照：文生图 SOTA 仍以扩散（SD3/FLUX 类）为主，连续 AR（MAR/Fluid）、离散 AR（VAR/Emu3）三线并存；“谁是终局”取决于是否要与 LLM 统一。

  ▸ 追问本质：为什么视觉 scaling 落后语言？为什么连续 token + 扩散损失更对？

语言天生离散：词表本就是离散符号，next-token 交叉熵是无损的、与数据本性契合。视觉天生连续：像素/特征是连续的，硬做 VQ 量化会引入量化误差与信息瓶颈；强加光栅”从左到右”的固定顺序也不符合图像的二维/无序本性。这两者共同拖慢了”照搬语言范式”的视觉 scaling。

连续+扩散损失为何更对：用一个小去噪头直接对连续 token 的条件分布建模，避免了量化损失；随机顺序 masked AR 让模型在任意可见子集条件下预测，符合图像无固定因果序的性质。于是”每 token 的概率建模”从”码本上的分类”变成”连续空间的去噪回归”——信息不再被量化截断，scaling 曲线因此更健康。局限：扩散头带来采样成本，且连续 AR 的训练稳定性/评测标准仍在演化。

⑥ OpenAI 时代（2024.10 – 2026.07）：GPT-5 系视觉推理、超越 FID（表征式度量）、VGI 组织者

• GPT-5 系视觉推理（本人 led，有一手证据）：他在 OpenAI 主导（“I led”）GPT-5 系的视觉推理，自陈是内部”最大 GPU 消耗者”（半自嘲）；被 Scholar 收录为 GPT-5 System Card（^[22]）贡献者之一。版本要区分：“the effort I led brings significant improvements on visual reasoning” + “biggest internal GPU burner” 这条推文转评的是 GPT-5.2 Thinking 的 evals（对应 GPT-5.2）；而”多模态 tool use 比 o3 更高效”那句对应初代 GPT-5。笼统说”GPT-5 系”可，精确时需分版本。

• 多模态设计哲学：更高效地用工具（tool use）、用更少 token 做更强视觉推理 → 又好又快。这与他十年”最经济信号/表征质量优先”的内核一致。

• 分数的证据分级：MMMU 84.2% 是 OpenAI 官方 Introducing GPT-5 博客的一手数字【有据】（见下方基准表）；其余第三方汇总（CharXiv-Reasoning ~81.1%、VideoMMMU ~84.6%）未经官方确认，仍待核。

• Latent Denoising Tokenizers（l-DeTok）（^[23]，ICLR 2026；一作 Jiawei Yang，田永龙第 4 作者，论文脚注标 “Advisory-only” 且 “Work done prior to joining OpenAI”）：“Latent Denoising Makes Good Tokenizers”——在潜空间做去噪式 token 化即可显著改善生成：MAR-B FID 3.71 → 2.43；800 epoch 下 MAR-B 2.31 → 1.55、MAR-L 1.78 → 1.35。延续”去噪=好 tokenizer/好表征”的一贯思路。

• “去 codebook / 连续 token 可 scale”（有一手推文）：为 Fluid/MAR 造势时反问”still need codebook/quantization? No!”，强调 300M 打平 Parti-20B。

• 转发/背书反映谱系：常公开背书 Jiawei Yang、Lijie Fan、Tianhong Li、Yilun Xu、Shobhita Sundaram、Olivier Hénaff（称其为”my best internship experience”）——正是上面这些合著论文的一作/合作者。

  ⚠️ 别与田渊栋混淆（RL / grokking）田永龙在 GPT-5 的角色是视觉推理/多模态；中文圈热传的”RL 是搜索放大器、预训练上限决定 RL 上限""神经网络为何 grokking（能量景观）“是田渊栋的观点。同为”推理/RL”话题，但不是同一个人。 🧭 评析：GPT-5 这段”本人认领”要怎么读？

• 闭源、无论文：除 System Card 与本人推文外无可复核细节，“led visual reasoning”的具体贡献边界不透明。

• “I led” ≠ 独主导全部多模态：GPT-5 系多模态是大团队工程，“我领导了视觉推理这块努力”不宜被放大成”他一个人主导了 GPT-5 全部多模态”。

• “biggest GPU burner” 是自谦/玩笑，不可据此推算他占了多少算力份额。

• MMMU 84.2% 已核实为官方数字（非二手）；但仍需注意它是官方自测、且 MMMU 已接近饱和——“官方一手”不等于”能代表真实视觉可靠性”。CharXiv-Reasoning / VideoMMMU 等第三方数字仍待核。

🔬 专题：GPT-5 系”视觉推理（visual reasoning）“——问题 / 用处 / 机制 / 评价

这是田永龙在 OpenAI 主导（“I led”）的方向。下面据 OpenAI 官方博客与 GPT-5 System Card 组织，区分【有据】与【推断】，闭源细节标”未公开/待核”。来源见本节末。

1) 解决什么问题：从”看一眼就答”到”看着图多步思考”

• 视觉推理 ≠ 静态识别/描述：它要的是多步、需要”盯着图想”的问题——① 图表/文档/科学图读解（CharXiv 类：从 arXiv 图里读趋势、做推断）；② 几何/数学配图（MathVista）；③ 密集细节定位（V* 式”大海捞针”：在高分辨图里找小目标、看清仪表小字）；④ 空间关系与计数；⑤ GUI/截图操作；⑥ 跨图对比与反事实。

• 核心痛点：普通 VLM 常”看一眼就答（glance-and-answer）“，在需要放大局部、多步核对、把视觉证据接进推理链时崩掉；并伴随视觉幻觉、否定/组合泛化差（可对接本文 NegBench）。System Card 甚至专门测”图被抽走还硬答”的欺骗行为。【有据：System Card CharXiv-missing 实验】

2) 有什么用：让”视觉”成为 agent 工具回路里的一等模态

• 落地场景：科研图表/论文读解、复杂文档与表单、软件/GUI agent（看截图操作）、真实世界排障（System Card 评测里含多模态湿实验/病毒学排障的 350 题）、教育解题、无障碍辅助。【有据：官方 intro 博客 + System Card】

• 战略意义：把视觉接入”感知 → 推理 → 调工具”的 agentic 回路，与田永龙”感知+推理+工具化、用更少 token 又好又快”的信念直接对接。

3) 怎么做的（公开可知的机制）

• “Thinking with images / 用图思考”（源自 o3 / o4-mini，GPT-5 系延续强化）：模型能在思维链中主动对图像做操作——缩放 zoom、裁剪 crop、旋转 rotate、框选/标注，把中间视觉结果再喂回推理链，而非”只看一次”。关键是原生能力（不依赖外挂专用模型）。【有据：^[24]】

• 工具使用更高效：GPT-5 相对 o3”更高效地用工具”（田永龙推文原话），用更少 token 达到更强视觉推理；整体是统一系统：gpt-5-main（快）+ gpt-5-thinking（深）+ 实时 router，ChatGPT 里还有并行 test-time compute 的 gpt-5-thinking-pro。【有据：System Card 架构描述】

• 训练侧（未公开，标推断/待核）：推断大概率涉及多模态 RL / 可验证奖励、长思维链、test-time compute；但具体训练配方、视觉 token 化、数据构成 OpenAI 未公开——不臆造，以官方为准。

3+) 深化：多模态 tool use 到底怎么做、为何比 o3 高效？

田永龙推文说”GPT-5 多模态 tool use 比 o3 更高效（又好又快）“。这句在开发者文档里其实有可核验的量化——下面拆开讲，并严格区分【有据】与【推断/待核】。

• ① 推理原生的”交错工具调用”（agentic interleaving）：GPT-5 thinking 把工具调用与推理 token 交错在同一条思维链里——边想边决定”要不要调、调哪个、拿结果再想”，并能在工具调用之间继续思考（interleaved thinking）。多模态相关工具：图像操作（zoom/crop/rotate/框选）、代码解释器（Python：做图像处理/测量/绘图）、联网检索、文件读取、用户自定义函数。【有据：官方 reasoning/agent 文档】

• ② thinking-with-images = 工具产出”新的视觉证据”：crop/zoom 出的局部图被重新喂回上下文当新观测再继续推理——“一次调用 = 一次新的看”，正解”看一眼小图答错细节”的痛点（对接 V*/细节定位、NegBench；机制见 图 B-6）。【有据：Thinking with images 博客】

• ③ 统一系统 + router 作为效率闸门：main（快）/ thinking（深）/ 实时 router 判断”要不要进重推理、要不要动工具”；简单 query 根本不触发重工具回路——这是”更快”的一大来源。开发者侧对应 reasoning_effort（minimal/low/medium/high，默认 medium），它同时决定”想多深”和”多愿意调工具”。【有据：System Card + 开发者文档】

• ④ 为什么比 o3 高效（有硬数字）：官方开发者博客给出——在 SWE-bench Verified 上 GPT-5 74.9% vs o3 69.1%，且在同为 high reasoning effort 下 GPT-5 少用 22% 输出 token、少用 45% 工具调用；工具类基准 τ2-bench telecom 96.7%。推断：这是agentic/coding 场景的量化，田永龙说的”多模态 tool use 更高效”是其视觉版类比——同准确率下更少更准的 zoom/crop/工具调用（很可能由多模态 RL 学出”何时该放大、何时直接答”）；视觉专项的 token/调用效率数字未单独公开 → 待核。

• ⑤ 工程侧的效率机制（Responses API）：推荐用 Responses API，让推理轨迹在工具调用间被持久化（previous_response_id 复用缓存的 CoT），省去每次调用后重新规划——官方称仅”切到 Responses API + 回传 reasoning items”就把 Tau-Bench Retail 从 73.9% 提到 78.2%；并支持 parallel_tool_calls（默认开）做并行调用。【有据：GPT-5 prompting guide】

• ⑥ 训练配方未公开：推断大概率是多模态 RL / 可验证奖励 / 长程工具轨迹训出”高效工具策略”；但 OpenAI 未公开具体训练细节 → 待核，不臆造。

  ▸ 怎么衡量”高效”？（不是只看终点准确率）

正确的效率度量是”每单位预算的能力”，而非单看 accuracy：① 固定 token/算力预算下的准确率（iso-compute）；② accuracy-per-tool-call（每次调用换来多少正确率）；③ 延迟/成本（time-to-first-token、$/任务）；④ agentic/GUI/浏览类长程任务基准（SWE-bench、τ2-bench、Tau-Bench）。官方”−22% token、−45% 工具调用而准确率更高”正是 ①②的直接体现。推断：这与田永龙十年”最经济信号 / 每单位算力最大能力”的效率优先内核完全同构——他把”表征要最小充分”迁移成了”工具调用也要最小充分”。

🧭 评析：工具使用的失败模式与"高效"的另一面
  

• 错误累积：交错工具调用是把”感知”拆成多步——若第一步裁错/搜错，后续推理会在错误证据上放大（长链条的脆弱性）。

• 工具滥用 / 成本：过度 zoom/crop/检索会抬高延迟与 $；“更高效”若靠 reasoning_effort 调低，又可能该调工具时不调（欠思考）——存在效率↔可靠性的取舍。

• 幻觉被工具放大：模型可能”假装看了图/调了工具”却没真正获取新证据；或对工具输出过度自信。System Card 的”抽图欺骗率”下降是缓解，但非根治。

• 闭源不可复现：token/工具调用效率数字是官方自测（SWE-bench 为 coding，非视觉专项），视觉多模态的等价数字未公开；“led”贡献边界不透明，不能读成”独主导全部多模态”。

• 与主线的关系：这块最能体现田永龙”感知 + 推理 + 工具化”信念，以及”表征/效率优先而非蛮力堆算力”——“又好又快”不是口号，而是”同准确率下更少 token/更少调用”的可量化目标。

4) 怎么评价：主流基准 + 批判

各基准测什么（简述）：MMMU / MMMU-Pro=大学多学科图文理解，Pro 版更难并含”问题嵌在图里”的纯视觉设定以防文本捷径；MathVista=视觉情境下的数学；CharXiv=arXiv 科学图表理解（descriptive + reasoning，历来暴露 VLM 短板）；V*=高分辨图里的细节定位/视觉搜索；BLINK=人”一瞥即知”但 VLM 易错的感知（深度、对应、拼图、相对位置）；ZeroBench=刻意对抗、前沿模型近乎 0 分的极难集；VideoMMMU=视频理解。

  基准测什么GPT-5 数字出处/状态
  
    MMMU大学多学科多模态理解84.2%[@web-openai-com-2]【有据】
    CharXiv（图被抽走的"欺骗率"）诚实性：无图时会不会硬编答案9%（o3 为 86.7%，越低越好）官方 intro / System Card【有据】
    Deception（Broken CharXiv Image）System Card 欺骗评测gpt-5-thinking 0.09 vs o3 0.87[@web-cdn-openai-com]【有据】
    CharXiv-Reasoning科学图表推理~81.1%二手博客待核
    VideoMMMU视频多模态理解~84.6%二手博客待核
    MMMU-Pro / MathVista / V* / BLINK / ZeroBench更难/纯视觉/细节定位/一瞥感知/对抗极难—官方称"跨多模态 SOTA"，逐项数字以官方为准/待核
  

🧭 评析：高分 ≠ 真实世界视觉可靠
  

• 基准饱和 + “刷分 vs 真能力”脱节：MMMU 等已接近饱和，头部模型差几个点难说明真实差距；且”为高分优化”本身有 reward hacking / Goodhart 风险——这正是本文 beyond-FID / FD-loss 主题在判别侧的镜像。ZeroBench 的存在（故意让前沿模型≈0）就是对”基准已饱和”的抗议。

• 闭源不可复现：GPT-5 无论文、训练/数据/视觉 token 化未公开，所有机制描述止于官方博客措辞；“led visual reasoning”的贡献边界不透明，且是大团队工程，不能读成”他独自主导全部多模态”。

• 视觉幻觉与鲁棒性：OOD / 对抗 / 否定（NegBench）下仍脆；System Card 的”欺骗率”下降是好事，但”少撒谎”≠“看得准”。

• “thinking with images”的成本与失败模式：多次 zoom/crop + 长 CoT 抬高延迟与 token 成本；若第一步裁错区域会把错误放大（错误累积），且模型可能”假装看了图”而实际没获取新证据。

• 横向定位：并非独门——o3/o4-mini 首创 thinking-with-images，Gemini 2.x 主打长上下文与原生多模态、Claude 的视觉/计算机使用、开源 Qwen-VL / InternVL 在文档/OCR/定位上很强；GPT-5 的差异化更在”统一 router + 工具高效 + 更诚实”，而非单点刷榜。推断

  ❓深问：视觉推理的下一个瓶颈是什么？

三个候选，我押”评测 + 真实交互数据”并列第一：

② 真实交互/具身数据：图表/文档推理可从 web 学，但”看着世界做事”（GUI 长任务、机器人）的动作-视觉-后果数据稀缺——正是 Efros”deep data”、Kendall/Grauman 同场的理由，也受合成信息上界约束。

③ 空间/物理常识：BLINK/Physics-IQ 显示”一瞥即知”的空间/物理直觉仍弱——这需要 3D/几何/世界模型（Vedaldi/DeltaWorld）与语言推理的真正融合，而非把图当一堆 token 读。收束：下一步不太可能靠”更大 VLM 刷更高 MMMU”，而更可能靠”更好的过程性评测 + 主动/具身数据 + 几何-推理融合”。推断

来源：^[25] · ^[26] · ^[24] · ^[27] · ^[28]（SWE-bench 74.9% vs 69.1%、−22% token / −45% 工具调用、τ2-bench 96.7%）· ^[29]（Responses API / previous_response_id / Tau-Bench Retail 73.9→78.2）。二手数字（CharXiv-Reasoning 81.1%、VideoMMMU 84.6%）来自第三方汇总，待核；视觉专项的 token/工具调用效率数字未单独公开、待核。

▸ 追问本质：为什么要”超越 FID”？——FID 的病 + Representation Fréchet Loss（FD-loss）

论文：Representation Fréchet Loss for Visual Generation（^[30]，2026；作者 Jiawei Yang, Zhengyang Geng, Xuan Ju, Yonglong Tian, Yue Wang——田永龙为合著、非一作）。动机来自他转评 Jiawei Yang 时的原话（大意）：“有些生成样本 FID 很低却很糟；我们要 go beyond optimizing FID / 去优化’更好看的 FID 数字’。”

② 基础量：两高斯间的 Fréchet/2-Wasserstein 距离（在某表征 (\phi) 的特征空间里）： [ \mathrm{FD}_\phi=|\mu_r-\mu_g|_2^2+\mathrm{Tr}!\Big(\Sigma_r+\Sigma_g-2(\Sigma_r\Sigma_g)^{1/2}\Big). ]

当 (\phi=\text{Inception}) 时它就退化成 FID。关键转变：把它从”只能事后评测”变成”可反传的训练损失”。难点是 (\mu,\Sigma) 是整个分布（population）的统计量，而训练只有 minibatch——直接用 batch 估计会让”梯度”与”batch 规模”耦合。

③ 解耦 population 与 batch 梯度：用 EMA 维护一/二阶矩（示意）： [ \mu_g^{(t)}=\beta,\mu_g^{(t-1)}+(1-\beta),\mu_{\text{batch}}^{(t)},\qquad \Sigma_g^{(t)}=\beta,\Sigma_g^{(t-1)}+(1-\beta),\Sigma_{\text{batch}}^{(t)}. ]

用缓慢更新的 EMA 统计量近似 population 矩，梯度只经当前 batch 流回，从而把”分布层面的距离”变成稳定可训练的目标。推断：上式为机制示意，精确形式以原文为准。

④ 归一化的多表征度量 (\mathrm{FDr}^K)：不绑死单一表征，用 (K) 个表征分别算 FD，再各自被验证集自身的 FD 归一（使验证集恰为 1.0）： [ \mathrm{FDr}^K=\frac{1}{K}\sum_{i=1}^{K}\frac{\mathrm{FD}{\phi_i}(\mathcal G,\mathcal T)}{\mathrm{FD}{\phi_i}(\mathcal V,\mathcal T)}, ]

其中 (\mathcal G)=生成集、(\mathcal T)=训练/目标集、(\mathcal V)=held-out 验证集；论文用 Inception / ConvNeXt-v2 / DINOv2 / MAE / SigLIP2 / CLIP 六种表征。这样”低 FID 却糟”的样本会在多数表征下现形。

⑤ 三个最有冲击力的实证【有据：论文数字】：

• (i) 当训练目标真的有用：把 FD-loss 用作后训练目标，无需教师蒸馏 / 对抗训练 / 逐样本目标，就能把多步生成器变成强单步生成器——Inception 空间单步 FID 0.72（ImageNet 256）。

• (ii) “ImageNet 生成已解决”其实是 FID 的假象：验证集自身的 FID = 1.68，而多个近期方法的 FID 已 ≤1.5——即模型比真图还”真”。这不是生成解决了，而是度量失效了。

• (iii) 换成多表征尺子，差距立刻现形：按 (\mathrm{FDr}^6) 衡量，验证集 = 1.0，而最强方法仍远大于 1；FD-loss 后训练把这个差距压到 1.89。

这三条直接支撑 PART D · bet④「超越 FID」，也和本文反复出现的”基准饱和 / 刷分 vs 真能力”（见 GPT-5 视觉推理专题的评析）是同一件事：当尺子饱和，“进步”就变成了度量的错觉。

⑥ 一个重要警告（Goodhart）：一旦把某表征距离当成可优化 reward，就有reward hacking / 表征耦合风险——模型可能专门刷该表征而非真的变好。故要多表征 + 与人类感知对齐来抵御刷分。

脉络：与他 Denoising ViT（DVT，^[20]，ECCV 2024 Oral）、l-DeTok（2507.15856，ICLR 2026）一脉——都在追问”什么才是好表征/好度量”。一句话：更本质的生成度量应满足——分布层面、跨表征稳健、抗刷分、与人类感知一致。

▸ VGI 组织者 / LIMIT 社区角色：他在”学术议程”上的位置

VGI@CVPR 2026（全称 “Visual General Intelligence: Vision Research Toward the AGI Era”，主办 LIMIT.Lab）——田永龙是 12 位组织者之一（会议当时署名 OpenAI；2026-07 已转腾讯）。其宗旨是探讨 AGI 时代”纯视觉研究”往何处去：SAM / DUSt3R / DINOv3 / VGGT 这类少依赖语言的纯视觉路线，能否独立支撑通向 AGI（详见 PART A·0 与全篇 PART A）。

LIMIT 系列的主题是 “Representation Learning with Very Limited Resources”——针对数据 / 模态 / 标签 / 算力稀缺，主打合成 / 蒸馏 / 自监督 / 低秩等手段；LIMIT.Lab 口号 “Limited Resources, Unlimited Impact”，由 Hirokatsu Kataoka 发起。待核：他是否为 LIMIT@ECCV 2026 的组织者，以及 “synthetic training strategies to overcome data scarcity” 的逐字出处，尚未确证——本文不写死。另，他与 Kataoka / Asano 是否有直接合作论文亦待核。

推断为什么 LIMIT/VGI 的”资源受限普惠”和 OpenAI 的”重算力前沿”不矛盾：两端共享同一个内核——“更好的表征 / 度量 / 数据配方 > 蛮力堆算力”。无论是”用 1 张图/纯合成学表征”，还是”用更少 token 做更强 GPT-5 视觉推理”，他真正优化的都是每单位算力/数据能换来的最大能力（效率优先）。资源受限是”支点极小”的极端情形，重算力是”杠杆极长”的极端情形，但都在用同一根杠杆。

❓深问：一个更本质的生成度量，应该满足哪些性质？

把”超越 FID”讲成正面主张，一个好的生成质量度量 (d(p_r,p_g)) 至少应满足：

①表征无关的忠实性：不绑死在某个分类网络（Inception）的特征上，最好在自监督/多种表征下结论一致（否则是在测”像不像 ImageNet 类”而非”像不像真实”)。②真散度而非高斯近似：FID 假设两分布都是高斯、只比前两阶矩；更本质的度量应对多模态、重尾分布敏感（如基于核的 MMD 或精确 Fréchet 需谨慎）。③同时刻画保真度与多样性：单标量会把”高保真但塌缩”与”多样但糊”混为一谈——这正是 Precision/Recall、Density/Coverage 想拆开的；理想度量应能分离这两轴。④对”仅重组训练 patch”敏感：结合 Kamb–Ganguli，好的度量应能惩罚”只是训练 patch 拼贴、无真正新信息”的样本——而 FID 恰恰对这种”高保真的插值”给高分。⑤不可被廉价刷分（对抗鲁棒）。

本质：田永龙的 Representation Fréchet Loss 主张”用更好的表征空间度量分布距离”，命中的是①②；而④⑤指向一个更难、也更前沿的方向——度量”新信息量”而非”逼真度”。推断：这也解释了为什么”超越 FID”和”合成数据上界”是同一个问题的两面。

⑦ 腾讯时代（2026.07–）：一个几乎太工整的收尾反讽

事实【有据·二手三源】：2026-07-08，澎湃/界面/36氪同日报道他已加入腾讯大语言模型部（混元），后续参与 VLM 研发；接他的是前 OpenAI 同事、腾讯首席 AI 科学家姚顺雨（见 页首）。 这条事实的解释力（全篇最好的收尾）

押注”连续 token + diffusion loss”的人，最终去了一家旗舰图像模型恰好就采用这条路线的公司。腾讯的 HunyuanImage 3.0（^[31]）采用的正是混合范式：文本 token 走 AR 下一 token 预测、图像 token 走扩散预测框架——这在架构谱系上就是他自己参与开创的 MAR / Transfusion 那条路（见 G·1 混合路线表）。他不是转行，而是走进了自己那条路线已经落地为产业旗舰的地方。【有据：论文架构描述】

第二层反讽更锋利：他在 OpenAI 的 21 个月留下的是一段发表空白（唯一第一方产出是 System Card 集体署名）；而腾讯大量发论文、开源权重。也就是说——他从”能力藏进闭源产品”的一侧，走到了”能力做成可下载权重与可引用论文”的一侧。这恰好是本文 PART I 那句结论的活体注脚：中美差异不在”离散 vs 连续”，而在”发布 vs 不发布”。推断：动机无从核实（个人、家庭、签证、职级、研究自由度都可能），此处只论这一步在技术叙事上的解释力，不揣测原因。

待核他在腾讯的具体职责、职级、团队与是否参与 HunyuanImage 后续版本，均未见官方披露；“姚顺雨与他在 OpenAI 同期共事核心研究员”属媒体归纳、非官方确认。本节不做进一步推演。

⑧ 学术谱系与长尾工作（补全：起点前移 + 近作）

把散落的早/中/近期工作接上，能看清他”用最经济信号学表征”这条主线其实从”结构先验”起家，一路演化到”合成数据 + 连续 token + 多模态推理”。

• 学术起点（CUHK，行人/物体检测）：Switchable Deep Network for Pedestrian Detection（CVPR 2014，与 Ping Luo、王晓刚、汤晓鸥）、Pedestrian Detection Aided by Deep Learning Semantic Tasks（CVPR 2015）、DeepID-Net（CVPR 2015 / PAMI）。主线雏形：从”结构先验 / 部件建模”入手。

• MIT 早期（跨模态感知 + 神经符号）：RF-Pose（Through-Wall Human Pose，CVPR 2018，与 Dina Katabi）——与 Katabi 结缘（后成 SynCLR 合作者）；shape2prog（Learn