VGI 押注关系与全模态统一

E VGI 与田永龙押注的关系

PART EVGI 与田永龙押注的关系解读

把 workshop 的四条路径/两条护栏，逐一对回田永龙的 bet。

VGI 中出现的主张对应田永龙的 bet / 工作关系

  去语言中心：视觉自立走向 AGI（会议主题）"视觉 scaling 需对的范式"、"表征质量优先"、批评语言标注为天花板同源母题
  生成即理解（Geirhos 视频模型、DeltaWorld/NEPA）bet②生成与理解统一；MAR/Fluid；StableRep正面同频
  几何/3D 优先（Vedaldi VGGT-Ω + 5 篇 3D poster）Denoising ViT、"高效表征工程"（自蒸馏/单 head/省算力）方法互通，田永龙更偏 2D 表征/生成
  运动/自监督/合成（Asano 1 视频、3D sans 3D Scans）bet①数据引擎 + bet⑤资源受限下合成+高效表征几乎同一纲领（LIMIT.Lab）
  具身/物理落地 + 成本（Kendall $1000 硬件 L5）"最经济的信号"、性价比、GPT-5 高效用工具成本哲学重合
  护栏 A：合成/表层数据是插值（Efros 深层数据）Scaling"…for now"、Self-Consuming Loops 会崩溃田永龙已内化此护栏
  护栏 B：超越 FID、用表征度量、ability vs reliabilityRepresentation Fréchet Loss、"beyond FID"田永龙是此护栏的直接提出者之一

总结论VGI Workshop 不是田永龙一个人的舞台，但它几乎是他世界观的”社会化外化”：一群来自 OpenAI/DeepMind/Meta/Oxford/CMU/Berkeley/Wayve 的人，在 LIMIT.Lab（有限资源、无限影响）旗下，共同把赌注押在”视觉靠生成、几何、运动、自监督与合成数据自立走向 AGI”，同时用”深层数据”与”超越 FID”给自己设护栏。田永龙的十年——从 InfoMin 甜点到合成数据引擎，再到超越 FID——恰好同时踩在这场会最核心的赌注（③合成/表征）与护栏（B 评测）上。这就是他坐在这张桌子上的原因，也是”下一份 VGI 白皮书”里最可能由他执笔的那几页。

G 全模态「理解+生成」统一

PART G全模态”理解 + 生成”统一：三条路线与 AR / Diffusion 本质

把 workshop 与田永龙 MAR/Fluid 引出的”生成范式之争”抬到全局：AR 与 diffusion 其实是同一件事的两种拆法，统一的关键不是”谁赢”，而是”沿哪根轴拆分布”。本章给地图、现状、优劣、终局判断与本质推导。

0 · 全局地图：生成 = 把难采样的 (p(x)) 拆成许多易学小步

一切现代生成模型都在做同一件事：直接采样高维联合分布 (p(x)) 太难，于是把它分解成一串”每步都好学”的条件分布。三条路线的唯一区别，是沿哪根轴切：

• AR（自回归）：沿序列 / 空间轴切——一次消一个 token 的条件熵，(p(x)=\prod_i p(x_i\mid x_{<i}))。

• Diffusion（扩散）：沿噪声 / 尺度（时间）轴切——一次消一点噪声/熵，从纯噪声逐步去噪回数据。

• 混合：两轴嵌套——外层沿序列/尺度、内层沿噪声（或反之）。

1 · 三条路线现状（工作 / 时间 / 机构 / 做法 / 现状 / arXiv）

路线一：纯 AR（离散 / next-scale）

工作时间/机构做法现状arXiv

  Chameleon2024·Meta早期混合模态离散 token统一（文+图同一序列）奠基/早期2405.09818
  LlamaGen2024·港大/字节用 LLM 式 AR 生成图像离散 token，喊出"AR beats diffusion"证明可行2406.06525
  VAR（next-scale）2024·字节next-scale 预测：从粗到细的尺度序而非光栅序（NeurIPS'24 best paper）强2404.02905
  Emu32024·智源 BAAI纯 next-token 统一文/图/视频强（+Nature s41586-025-10041-x）2409.18869
  Unified-IO 22023·AI2多模态统一 seq2seq早期·待核2312.17172
  Janus / Janus-Pro2024/25·DeepSeek解耦"理解用视觉编码"与"生成用视觉编码"强2410.13848 / 2501.17811

软肋：VQ 离散化信息瓶颈→图像生成 scaling 不如连续（Transfusion 实验佐证：同预算连续 > 离散 VQ）。Janus 的”解耦”正是承认”理解与生成对视觉编码的需求不同”。

路线二：纯 diffusion（重点：离散/语言与全模态扩散）

工作时间/机构做法现状arXiv

  D3PM2021·Google离散状态扩散框架（奠基）奠基2107.03006
  MaskGIT2022·Google掩码并行解码（图像）奠基2202.04200
  SEDD2023·Stanfordscore entropy 离散扩散，PPL 逼近 AR强2310.16834
  MD42024掩码扩散连续时间 ELBO = 加权交叉熵理论2406.04329
  RADD2024·ICLR'25证明吸收态离散扩散 = any-order AR理论关键2406.03736
  LLaDA 8B2025·人大/蚂蚁8B 掩码扩散语言模型，与 LLaMA3-8B 相当，破反转诅咒里程碑2502.09992
  Dream 7B2025用 AR 初始化的扩散 LM强2508.15487
  MMaDA / UniDisc2025多模态大扩散 / 统一离散扩散（文+图）新2505.15809 / 2503.20853
  SD3 / FLUX2024·Stability/BFLrectified flow 图像生成工业主力2403.03206
  ★ ELF（Embedded Language Flows）2026-05·MIT连续嵌入 + Flow Matching，整条去噪轨迹在连续空间、只在末步 t=1 映射回离散 token，可用 CFG前沿·He 首个语言模型2605.10938
  前作 JiT「Back to Basics」2025-11·MIT主张网络直接预测干净数据 \(x\)（x-prediction，流形假设）前沿2511.13720

★ 用户点名：He Kaiming”用 diffusion 做 LLM”ELF（^[1]，2026-05，含 Kaiming He / Tianhong Li / Yoon Kim / Jacob Andreas）：在连续嵌入空间做 Flow Matching，整条语言生成轨迹在连续空间演化、末步才离散化；105M 参数 / ~45B token / 32 步即 OpenWebText gen-PPL≈24，数据约同类 1/10。【有据：论文数字】务必区分（两处易混）：① 范式——ELF/JiT（把语言放进连续扩散/流，x-prediction）与 MAR/Fluid（外层 AR + 每 token diffusion）是不同范式，别混；② 同名——此 ELF = Embedded Language Flows（MIT，语言 flow matching），与田渊栋在 Meta 的 ELF OpenGo（围棋 RL 平台）同名不同物（见 身份消歧）。 🧭 评析 ELF：两处该追问而不该照单全收的地方

• (a) 它的”连续”是建立在离散之上的。ELF 的连续空间并非凭空而来——来自一个冻结的预训练 T5-small 编码器 + 128 维 bottleneck，而末步又回到同一个词表。也就是说，“语言连续化”是嫁接在一个离散 token 预训练模型之上的：它继承了 T5 已经压好的语义几何，这既是它为何如此省数据（约同类 1/10）的直接解释，也是对”语言能否真正连续化”这一宏大命题的重要限定——目前证明的是”可以在别人搭好的离散语义空间里做连续流”，而非”语言本质上可以脱离离散 token”。

• (b) gen-PPL 是单侧可刷的指标。生成困惑度可以用降低熵来换取（输出越保守、越重复，gen-PPL 越好看）。原论文对此是清醒的——它靠 PPL–熵 trade-off 曲线来防这个 hack。但本文上面只引了”gen-PPL≈24”这个单点数字而未同时给出熵约束，严格说属于引用了一个可被单侧优化的指标。正确读法：应在同等熵水平下比较 gen-PPL，其”更大模型同熵下 PPL 更低”的 scaling 结论才成立。

• 与本文主题的呼应：这正是 “超越 FID” 那条 bet 的语言版——单一标量指标必然可被 Goodhart，无论是 FID 还是 gen-PPL。

路线三：AR + diffusion 混合

工作时间/机构做法现状arXiv

  Transfusion2024·Meta单 Transformer：文本 AR + 图像 diffusion（两 loss 同训）；连续 > 离散 VQ 的 scaling关键2408.11039
  Show-o2024·新国大/字节图像用离散扩散、文本 AR强2408.12528
  JanusFlow2024·DeepSeekrectified flow 接入统一模型强2411.07975
  BAGEL2025·字节MoT（理解专家 + 生成专家），观察到能力涌现三阶段前沿2505.14683
  MAR / Diffusion Loss2024·MIT（Tianhong Li, Kaiming He）外层 AR + 每 token diffusion loss，连续无 VQ关键2406.11838
  Fluid2024·Google/MIT（含 Yonglong Tian）连续 token + 随机序，验证这条路的 scaling关键2410.13863
  Block Diffusion（BD3-LM）2025·Cornell 等语言侧块内 diffusion + 块间 AR——"两轴嵌套"最直接的现成实例；兼得 KV cache 与可变长框架关键2503.09573
  语义特征上的 diffusion head（BLIP3-o 一类）2025·Salesforce 等AR 主干产语义特征 → diffusion head 解码成图；多模态侧"外 AR + 内 diffusion"的工程主流候选②→③的过渡形态2505.09568

为什么这两条补上很关键Block Diffusion 把”两轴嵌套”从我的理论主张变成语言侧的现成实例——块内沿噪声轴、块间沿序列轴，正是 §3 候选③的直接实现；缺了它，本章的”嵌套”论证在语言侧是空的（图像侧有 MAR）。BLIP3-o 式 diffusion head 则说明：多模态工程界已经在做”AR 外层 + diffusion 内层”，只是把内层放在语义特征而非像素上——这是候选②走向候选③的现实路径。

⚠️ 重要修正：这场争论是三分格局，不是二选一

本文（和多数叙述）此前把战场框窄了。准确的战场地图是三分：

• 纯离散 NTP：Emu3（Nature s41586-025-10041-x，原文明言”移除了对扩散或组合式架构的需要”，并称”这一发现挑战了’组合式或扩散式模型对多模态学习本质上更优’这一流行假设”；Nature 版含 GenEval 随样本数的扩展曲线，扩展指数 β=0.55、α=0.25/0.35、R²>0.99）、Emu3.5（34.1B、10T+ token、+DiDA 约 20× 加速）。

• 连续 token + diffusion 头：MAR（MAR-H FID 1.55）、Fluid、HunyuanImage 3.0（产业旗舰落地，见 §B⑦）、Unifluid / MMAR / Orthus。

• 纯 diffusion（DiT / flow）：Seedream 4.0、Qwen-Image、FLUX——在实际图像产品上仍是绝对主流。

一条不该漏的反向证据：TokenBridge（^[2]）用训练后量化，让离散方法在同等 FID 追平 MAR-H（1.55），且 IS/Recall 更高、参数略少——即”离散已能追平连续”，本文此前”连续更优”的表述需据此打折。

最重要的修正（请务必记住）：在”生成漂亮图片”这件事上，赢家是 diffusion——既不是离散 AR，也不是 MAR。只有在”统一多模态”这件事上才存在离散 vs 连续之争。因此 MAR 的 Diffusion Loss 更像”把 diffusion 塞进序列模型”的和解方案，而非 AR 阵营的胜利。否则读者会拿到一张错误的战场地图。

补一枚 2026 年的最新落子：ELF（^[1]）是连续阵营把战线推进到语言的动作（作者含 MAR 一作 Tianhong Li 与 Kaiming He）——见 G·1 路线二表。

2 · 优劣对比（似然 / 理解 / 生成 / 速度 / 基建 / 偏置 / 并行 / 可控）

维度纯 AR纯 Diffusion混合

  似然✓ 精确链式似然△ 一般只有 ELBO（变分下界）；但有重要例外：吸收态/掩码离散扩散的 ELBO 对 any-order 分解是紧的（与 §4(a) 的 RADD/MD4 等价定理一致）——真正松的是连续高斯扩散部分（文本精确 / 图像 ELBO）
  理解端（表征）强：复用 LLM 基建、语义序列双向上下文，但表征偏"重构"可解耦（Janus：理解/生成分开编码）
  生成端（保真）离散 VQ 拖累；连续 AR 才好高保真 SOTA（SD3/FLUX）取 diffusion 的高保真
  速度 / 步数推理 \(O(L)\) 顺序多步慢（步数换质量）居中，可调
  基建复用（KV cache / LLM 栈）✓ 强✗ 弱（非因果）部分
  归纳偏置序列 / 因果 / 离散连续 / 双向 / 粗到细按模态选轴
  并行度训练并行、推理串行空间并行、时间串行混合
  可控（CFG/编辑）较弱（需技巧）✓ 强（CFG / inpaint）强（继承 diffusion）

🧭 反方证据：统一模型的评测缺口，以及”生成反哺理解”可能是伪命题

(1) 评测本身不可靠。统一模型主要靠 GenEval / DPG-Bench / WISE 这几把尺子，但它们已出现饱和与失真：GenEval 侧重”对象/计数/颜色/位置”这类可模板化的组合，高分未必意味着真实指令遵循；Fluid 本身就观察到 GenEval 饱和而 FID 仍在降（见 §5），说明两把尺子各测各的、都不完整。这与本文 “超越 FID”、以及 GPT-5 专题里”基准饱和”的批判是同一件事。

(2) 更要命的反方证据：生成并未显著反哺理解。多个统一模型的消融显示，加入生成任务对理解端指标提升有限甚至互斥；Janus 之所以要”解耦”理解与生成的视觉编码，本身就是对这一点的承认——如果共享表征真能互为增益，就没必要解耦。这直接冲击 PART D · bet②”生成与理解终将统一且互为增益”：目前更稳妥的表述是”可以放进同一个模型（统一）“，而”互为增益”仍缺乏干净的因果证据。推断：本文此前把”统一”与”互为增益”当作一体，这里正式把两者拆开——统一是工程事实，增益是待证假设。

(3) 对本章结论的影响：这条反方证据削弱候选③的”融合红利”叙事，但不削弱候选③的形式主张（AR 与 diffusion 是同一框架的不同分解轴）——后者是数学等价，不依赖”互为增益”。

3 · 终局判断（带推理、不骑墙）推断

三个候选终局：

• 候选①：去 VQ 的”连续表示派”吞并一切（MAR / Fluid 走嵌套 AR，ELF 走纯 flow）——共同点是连续表示 + 每步 diffusion/flow 解码、彻底去掉 VQ；不同点是外层轴到底是序列还是噪声（故本章把 ELF 归在”路线二纯 diffusion”、把 MAR/Fluid 归在”路线三混合”，二者在此候选下殊途同归）。

• 候选②：混合成工程主流（Transfusion / BAGEL）——文本 AR、图像 diffusion，各用各的最优轴。

• 候选③：更深统一——AR 与 diffusion 本就是同一框架的不同分解轴（有等价定理支撑，见 §4）。

  我的判断中短期：混合 / 解耦是工程终局——因为 Janus 已点破”理解要语义表征、生成要可重构表征”的粒度冲突，短期内强行共享一套表征会两头不讨好。中长期：候选③成立，而 候选①是它最自然的落地形态——“外层 AR / next-scale 提供语义骨架 + 内层 diffusion / flow 提供连续高保真”，VQ 退居次席。依据链：(i) 连续 > 离散的实证（Transfusion、Fluid）；(ii) AR ⇄ diffusion 可等价、可嵌套的理论（RADD/MD4/MAR，见 §4）；(iii) 归纳偏置应按数据选轴（语言配序列、像素配噪声/尺度）。推断

4 · AR vs Diffusion 的本质：同目标、不同分解轴

▸ 公式与逐步解说：同目标、不同分解轴（AR 链式 / diffusion score / DSM / Tweedie）

AR：精确链式似然。( p_\theta(x)=\prod_i p_\theta(x_i\mid x_{<i}) )。训练即最大化 (\log p_\theta)，是精确的（无下界近似）——这是 AR 的护城河（可精确算 PPL、可复用 LLM 全套基建）。

Diffusion：前向加噪 + 学 score + 反向去噪。前向 ( x_t=\alpha_t x_0+\sigma_t\varepsilon,\ \varepsilon\sim\mathcal N(0,I) )（把数据逐步抹成高斯）。学一个网络逼近 score ( s_\theta(x_t,t)\approx\nabla_{x}\log p_t(x) )，反向用 SDE 或概率流 ODE 采样。

去噪 score matching（DSM）的三种等价参数化：预测噪声 (\varepsilon)、预测干净数据 (x_0)、预测 score 三者可互相重参数化，损失等价（差一个时间权重）： [ \big|\varepsilon_\theta(x_t,t)-\varepsilon\big|^2 ;\Longleftrightarrow; w(t),\big|x_\theta(x_t,t)-x_0\big|^2, ]

其训练目标整体是数据对数似然的 ELBO（变分下界）——所以 diffusion 的”似然”不精确，只是下界。Tweedie 公式把三者钉在一起： [ \mathbb E[x_0\mid x_t]=x_t+\sigma_t^2,\nabla_{x_t}\log p_t(x_t). ]

即”最优去噪 = 数据的后验均值 = 用 score 修正当前点”。JiT 的主张：既然三者等价，不如让网络直接预测干净数据 (x)（x-prediction），在流形假设下更稳。推断：这条重参数化正是”x/ε/score 可互换”的一步步来源。

▸ 深层等价（关键）：any-order AR = 吸收态离散扩散 = 掩码建模；MAR / ELF 的互相嵌套

(a) 离散侧的等价。any-order AR（AO-ARM）按随机顺序 (\sigma) 逐个预测被遮的 token，期望 NLL： [ \mathcal L_{\text{AO-ARM}}=\mathbb E_{\sigma},\mathbb E_{x}\sum_i -\log p_\theta\big(x_{\sigma(i)}\mid x_{\sigma(<i)}\big). ]

RADD / MD4 的定理：吸收态（[MASK]）离散扩散的 ELBO，在总噪声→∞ 时等于 AO-ARM 的期望 NLL；且掩码扩散的连续时间 ELBO = 一个加权交叉熵。结论：掩码扩散 LM（LLaDA）、掩码建模（BERT/MaskGIT）、any-order AR本质是同一目标的不同”还款计划表”。【有据：RADD 2406.03736 / MD4 2406.04329】

(b) 连续侧的嵌套。MAR：外层沿序列轴做 AR，但把”每个连续 token 的条件分布”交给一个内层 diffusion 建模——即 AR ⊃ diffusion（外序列、内噪声）。( \mathcal L(z,x)=\mathbb E_{\varepsilon,t}|\varepsilon-\varepsilon_\theta(x_t\mid t,z)|^2 )，(z) 是 AR 主干给的条件。ELF 则反向嵌套：把整条语言生成放进连续扩散/flow，末步 (t{=}1) 才离散化——即 diffusion ⊃ language。两者证明”哪根轴在外”可以互换。

归纳偏置（为什么”视觉 scaling 落后语言”是用错了轴）：语言离散/序列/因果/高熵→天配 AR；图像音频连续/空间/粗到细/强冗余→天配 diffusion 或 next-scale。过去把连续视觉硬塞进离散光栅序 AR（VQ + 从左到右）＝用错轴；Fluid 实证：改成连续 token + 随机序就追上来了。

5 · High-level 本质洞见与开放问题

❓深问：为什么说 AR 与 diffusion 只是”熵的不同还款计划”？

信息论视角：采样 (p(x)) 的难度 ∝ 要一次性”还清”的不确定性（熵）。两种范式都在做”熵的分期偿还”——AR 每步偿还”一个 token 的条件熵” (H(x_i\mid x_{<i}))；diffusion 每步偿还”一小段噪声尺度上的熵”。总账相同（都等于 (H(x)) 的某种链式分解），差别只是分期的顺序与粒度：AR 按位置分期、diffusion 按噪声水平分期。step/length 连续换质量正是”多分几期、每期还得更准”。而 any-order AR = 掩码扩散 的等价，说白了就是”换了张还款计划表，总额不变”。推断：这是把 §4 的等价定理翻成一句话。

与田永龙主线对接本章几乎是田永龙十年工作的”理论收口”：Fluid（§B⑤）回答了”视觉 scaling 为何落后语言”——离散 vs 连续、光栅 vs 随机序（用错轴）；MAR 是”去 VQ 的连续 AR”底座，正是候选③”外层 AR + 内层 diffusion”的原型；他”超越 FID”（§B⑥）也在此得到新注脚——Fluid 观察到 GenEval 饱和而 FID 仍降，说明 FID 不足以刻画组合/指令遵循，需 表征式度量（FD-loss）；而”生成与理解统一”正落在候选③的连续落地形态（连续 token + 灵活序 + 每 token diffusion 解码）。ELF 把同一思路推到语言侧，形成”图像与语言在连续扩散 / 嵌套 AR 下同框”的闭环。合成数据的价值与边界仍受 插值上界约束——统一的是”分解轴”，不改”信息天花板”。 🧭 鲜明收尾”范式之争（AR vs diffusion）正被”分解轴之争”取代”。终局大概率不是某一纯范式通吃，而是一个”可切换 / 可嵌套分解轴的通用去噪框架”；实现上以”AR / next-scale 外层 + diffusion / flow 内层”嵌套为主流，纯 AR、纯 diffusion 作为特例长存，产品级统一模型是”混血”。推断 ▸ 开放问题（4–5 条）

• 统一是否牺牲极致？一个模型通吃理解+生成，会不会两端都不如专用模型（Janus 的解耦就是对这个担忧的妥协）。

• 理解/生成共享表征的最佳粒度？“理解要语义、生成要可重构”——最优的共享/解耦边界在哪，尚无定论（Janus 回避了它而非解决）。

• 分解轴能否被学习 / 自适应？能不能让模型按数据/任务自动选轴（该序列就序列、该去噪就去噪），而非人工指定。

• 精确似然是不是护城河？diffusion 只有 ELBO；在需要精确密度/压缩/异常检测的场景，AR 是否不可替代。

• 连续扩散 LM 能否 scale 到 10B–100B 并保持”少数据、少步数”优势？——这直接决定候选①能否成真（ELF 已给出 105M / 342M / 652M 三档并观察到单调 scaling——更大模型在同熵下 gen-PPL 更低；但最大仅 652M，10B+ 行为待核）。

H 视觉生成为何不是「另一个 LLM」

PART H视觉生成为何不是”另一个 LLM”——两套叙事的根本分歧

PART G 讲的是”AR 与 diffusion 如何统一”（范式内部的收敛）；本章讲的是视觉与语言之间的分歧——为什么把 LLM 那套叙事（压缩即智能 → perplexity → scaling law → RLVR → 涌现）平移到视觉上会逐环断裂。凡 PART G 已论证的（分解轴、等价定理、连续 vs 离散）此处只做锚点互链，不重复。

轴 1（支点）· 目标函数：为什么”预测下一词”能逼出推理，“预测下一 patch”逼不出理解

LLM 侧：next-token prediction 等价于对文本做无损压缩，交叉熵/perplexity 是 proper scoring rule（诚实报告置信度才最优），且 loss 与下游能力大体单调——这撑起了”压缩即智能”的整条叙事。

视觉侧：重建/去噪 loss 与”理解”不单调相关。像素级目标被低频结构与高频纹理这些冗余主导，而语义只占其中极小一部分方差。 ▸ 证据与机制：MAE 的”线性探测悖论”，以及一处必须修正的常见误读

常见说法：“MAE/扩散特征在线性探测上弱于对比/CLIP 特征，所以重建目标学不到语义。“前半句有据，后半句是误读——必须修正。

(a) 前半句【有据】：MAE 原论文（^[3]）报告 ViT-L 线性探测最优约 73.5%，且明确写道 MoCo v3（对比方法）的线性探测更高。

(b) 但同一篇论文也报告了反向结论：MoCo v3 的所有 partial fine-tuning 结果都不如 MAE（微调 4 个 block 时差距 2.6%），并总结”线性探测与微调结果基本不相关（largely uncorrelated）“、MAE 的表征”线性可分性较差，但是更强的非线性特征”。

(c) 所以正确的机制表述是：重建目标并非没学到语义，而是没有把语义组织成线性可读的形式——“Objectives Matter”（^[4]）进一步证实：重建式模型的类判别信息分散在各层，而联合嵌入（对比）式模型把它集中在最后一层。

(d) 而”容量被冗余吃掉”这条则有独立证据：CVPR 2023 “Masked Autoencoding Does Not Help Natural Language Supervision at Scale” 发现，在 1.4B 图像规模上把 MAE 叠加到 CLIP 上几无收益甚至变差，作者的假设是”掩码 patch 预测让模型容量被消耗在预测语义无关的 patch 上”。

结论（修正后的轴 1）：像素重建的问题不是”学不到语义”，而是两件事——①语义未被组织（信息在但纠缠、非线性、分散各层）；②容量被语义无关的冗余分流。这比”学不到语义”更准确，也更有解释力：它直接说明为什么”表征学习”在视觉里是一个独立学科，而在语言里几乎不是——语言的目标函数顺便就把表征做好了，视觉的目标函数不会。

第一性原因语言 token 是人类已经做过一轮语义压缩的符号——每个词都是无数具体经验被抽象后的产物，所以”预测下一个词”被迫去建模语义、世界知识与因果。像素没有这层压缩：预测像素在很大程度上是在建模纹理与局部统计。这与 Kamb–Ganguli”扩散≈patch 拼贴”严丝合缝——如果生成的机理就是”到处取训练 patch 局部拼接”，那么优化像素似然当然不会自动逼出语义。 一句话：语言的目标函数自带语义监督，视觉的目标函数不自带；视觉必须额外把语义监督设计进去（对比、图文对齐、几何真值、可验证判据）——这就是田永龙整条主线（对比/InfoMin/表征质量优先）在视觉里价值远高于在语言里的根本原因。

轴 2 · 评测与奖励：视觉没有”正确答案”——除了可渲染的那一部分

LLM 侧：perplexity 有信息论基础；数学/代码有 ground truth，可自动判对错 → RLVR（可验证奖励强化学习）成立，这是近两年推理能力跃升的主引擎。

视觉侧：给定一句 prompt，“正确的图”根本不存在（一对多、且好坏依赖审美与意图）。于是评测只能退化为两条都不牢的路：① 借来的特征空间里的高斯矩匹配（FID 及其变体，可被 Goodhart——详见 FD-loss 深化，此处不重复）；② 人类偏好（昂贵、不稳定、且带文化偏差）。

后训练工具链因此完全不同：视觉侧有 Diffusion-DPO（^[5]，CVPR 2024；用 Pick-a-Pic 的 85.1 万对人类偏好微调 SDXL）、以及奖励模型 ImageReward / HPSv2（^[6]；HPD v2 含 79.8 万偏好选择 / 43 万图）。【有据】但注意：这些都是偏好对齐，不是可验证奖励——没有一个能告诉你”这张图错了”，只能告诉你”人更喜欢哪张”。 ❓深问：那视觉的 RLVR 会从哪里来？——一条被 VGI 整场会指向的”例外通道”

关键洞察：视觉整体没有 ground truth，但”可渲染 / 可仿真”的那一部分有。深度、位姿、遮挡关系、多视角一致性、碰撞与接触、能量守恒——这些都能被渲染器 / 物理引擎 / 几何一致性检查自动判定对错，无需人类打分。

于是一个具体预测浮出水面：视觉版 RLVR 很可能不来自”人类偏好”，而来自”几何与物理一致性验证器”。这条线恰好把本文前面看似分散的材料串成一条：A·2 那批 3D 几何自监督 poster（D4RT / NAS3R / E-RayZer / VGGT-Ω——它们本质都在做”用几何一致性自我监督”）、Vedaldi 的 Articraft（用几何断言 expect_contact / expect_within 做编译-测试闭环，这已经是可验证奖励的雏形！）、Kendall 的世界模型 + 反事实重仿真（在仿真里判定”这次有没有撞”）。

为什么这条判断有前瞻价值：它意味着视觉的能力跃升不会沿”更大模型 + 人类偏好”这条路发生，而更可能沿”可微/可判定的物理与几何环境”发生——即 Efros 的 deep data 在工程上的落地形态（见 A·1·7）。局限：可验证的只是”物理正确性”，审美、意图、创意仍无验证器——所以视觉的 post-training 大概率会长期是”可验证部分用 RLVR + 不可验证部分用偏好对齐”的双轨制。推断：这是我的综合判断，非某篇论文的结论。

轴 3 · scaling：幂律存在，但”loss → 能力”的映射断了

LLM 侧：Kaplan / Chinchilla 给出清晰幂律，且 loss 下降 → 能力上升的映射足够稳定，以至于可以据 loss 预测能力、并出现”涌现”。

视觉侧：幂律也在——Fluid 明确报告”所有模型在 validation loss 上都 scale 得很好”。但下一环断了：“其评测表现——FID、GenEval、视觉质量——却呈现不同的趋势”。最锋利的单点证据是它的脚注：10.5B 相比 3.1B，GenEval 分数停滞（plateau），而 FID 与视觉质量仍在持续改善（Fluid 10.5B：MS-COCO 30K zero-shot FID 6.16、GenEval 0.69）。【有据：^[7] 正文与脚注 2】 这意味着什么同一次 scaling，让”像不像真图”（FID）继续变好，却让”有没有按指令把对象/数量/属性摆对”（GenEval）停滞。三条链路——loss / 样本质量 / 语义能力——在视觉里是解耦的。所以”scaling 就够了”在视觉上不成立：不是不 scale，而是scale 的收益流向了你不关心的维度。 追问：视觉缺的是规模，还是缺正确的目标与评测？我的答案偏后者——因为如果缺的只是规模，GenEval 不该在 FID 仍降时先停；GenEval 停滞恰恰说明”组合/指令遵循”这类语义能力不在当前目标函数的优化方向上（回到轴 1）。推断

轴 4 · 数据：稀缺的方向完全相反

LLM视觉

  困境数据墙：高质量文本趋于枯竭图像多到用不完，但信息密度低、缺配对监督与结构标注
  真正稀缺的高质量 token、可验证任务Efros 的 deep data：交互 / 因果 / 反事实（见 A·1·7）
  合成的逻辑造更多高质量文本 + RLVR 造可验证任务不是"造更多"，而是"造带监督结构的"——同 prompt 多正样本、可控分布、组合式覆盖（见 数据引擎深问 ③）

这解释了一个容易被误读的现象：为什么 StableRep 用 2000 万合成图能打败 5000 万真实图？不是因为合成”更多”（它更少），而是因为合成能免费附带配对结构（同 caption 多图天然是多正样本）。视觉合成数据的价值在”结构”而不在”数量”——这与 LLM 侧”用合成数据填数据墙”的逻辑方向不同。也正因如此，视觉合成受 DPI 信息上界约束却依然有效：它增加的是可学习性，不是信息量。

轴 5 · tokenizer：在语言里早已”够用”，在视觉里是一等瓶颈

LLM 侧：BPE 二十年不变、几乎无人把它当研究前沿——因为文本本来就是离散符号序列，切分只是工程细节。

视觉侧：图像没有天然的离散单元。“什么是一个视觉 token”本身就是核心科学问题：VQ 还是连续？码本多大？在像素空间还是潜空间去噪？——所以才会有 l-DeTok（潜空间去噪式 tokenizer，把 MAR-B 的 FID 从 3.71 推到 2.43，800ep 下 2.31→1.55）、MAR 的彻底去 VQ 这类工作，而语言侧没有对应物。（离散/连续之争本身见 PART G·4，此处不重复。） 为什么这条重要它解释了一个”领域文化”差异：视觉领域把”表示/表征”当一等学科，语言领域几乎不需要。而这正是田永龙全部工作的立足点——从 CMC/InfoMin 到 l-DeTok，他一直在回答”什么才是好的视觉表示”。在语言里这个问题被目标函数顺手解决了；在视觉里它是必须被单独攻克的瓶颈。推断：这条把他的”表征质量优先”从个人偏好升级为领域结构决定的必然。

轴 6（支点）· 理解与生成的割裂：在语言里根本不存在这个问题

LLM 侧：同一个模型、同一个目标函数，既理解又生成——“理解一句话”和”续写一句话”在数学上是同一件事（都是 (p(x_i\mid x_{<i}))）。统一是天然的，不需要被”实现”。

视觉侧：历史上彻底分裂——CLIP / DINOv2 管理解，diffusion 管生成，两套模型、两套目标、两套 tokenizer。近两年虽有统一模型，但粒度冲突持续存在（Janus 因此解耦理解与生成的视觉编码），且”生成反哺理解”的证据薄弱（见 PART G 反方证据，此处不重复）。 ▸ 第一性追问（本章最深的一处）：为什么语言天然统一、视觉天然分裂？——信息论上的反向

核心主张：理解需要”丢弃信息”，生成需要”保留信息”——二者在信息论上是相反方向。

形式化。设输入 (x)、表示 (z=f(x))、任务标签/语义 (y)。 [ \textbf{理解（判别）：}\quad \max_{f}; I(z;y)\quad \text{s.t.}\quad \min_{f} I(z;x) \qquad\text{（信息瓶颈 / 最小充分）} ] [ \textbf{生成（重构）：}\quad \max_{f}; I(z;x)\quad\text{（必须充分到能还原每个像素）} ]

两者的目标在 (I(z;x)) 这一项上符号相反：理解要压掉 (x) 中与 (y) 无关的一切（视角、光照、纹理、噪声——正是不变性）；生成必须保住这一切（否则解码不出那张具体的图——正是等变性/完整性）。这不是工程取舍，而是目标函数层面的直接冲突。

与田永龙主线的正面咬合（这条把他的两半工作串起来了）：他的 InfoMin 追求的正是”最小充分”——在保住 (I(z;y)) 的前提下把 (I(v_1;v_2)) 压到最小；而他后半段的生成主线（MAR/Fluid/l-DeTok）需要的恰恰是”充分且完整”。所以”理解与生成统一”在他自己的理论框架里就是一个张力：InfoMin 的最优解不可能同时是生成的最优解。

那统一还可能吗？——三条出路（我的判断）：① 解耦（Janus）：承认冲突，两套编码各自最优——工程上最稳，也最没野心；② 分层：让浅层保完整信息（供生成）、深层做压缩抽象（供理解），即把冲突安置在不同深度而非同一处——这与”重建式模型的类判别信息分散在各层”（轴 1(c)）的实证吻合，我认为这是最有希望的方向；③ 条件化：用一个可切换的条件（如”当前是理解任务还是生成任务”）让同一网络在两种模式间移动——Asano 的 Steerable Representations 已在小范围验证”表征可被语言引导”，可看作雏形。推断：三条出路的排序是我的判断；②目前缺乏系统性验证，属开放问题。

轴 7 & 8 · 两个能力缺口：没有真正的 ICL，也没有自己的”推理时思考”

• 轴 7 · in-context learning 缺位。LLM 的 ICL 是前向传播内的学习：给几个例子，不改一个权重就学会新任务。视觉生成没有真正的 ICL——个性化/新概念靠 DreamBooth / LoRA / IP-Adapter 这类微调或适配器，即必须改权重。田永龙自己的工作恰好是最好的证据：Personalized Representation（ICLR 2025）用 3 张真实图 + 个性化生成 + LoRA 对比微调——“只要 3 张图”很惊艳，但”需要 LoRA”恰恰说明视觉侧做不到纯前向的 ICL。这是一个显著且尚未被填上的能力缺口。推断：把它读成”缺 ICL”的证据是我的解读。

• 轴 8 · test-time compute 的形态不同。LLM 的长 CoT 是顺序思考：可自我纠错、可被外部验证、可回溯。扩散的多步采样不是推理，是精修——多走 50 步不会把”六根手指”改成五根，它降低的是采样离散化误差，不改变语义决策。GPT-5 的 thinking-with-images 看似解决了，但它是把视觉塞进语言的 CoT（zoom/crop 产生新证据、由语言链条推理），不是视觉自己的推理机制。 开放前沿：视觉有没有属于自己的”推理时思考”？候选三条——① Restart 采样（用”确定性走 + 周期性注入噪声”做纠偏，是最接近”重来一次”的机制）；② 自我一致性（多次采样后投票/择优，需要好的 scorer）；③ 外部验证器（布局/深度/物理一致性检查）——注意③正好接回轴 2 的”例外通道”：视觉的”推理时思考”与”可验证奖励”很可能是同一个技术底座。推断

轴 9 · 世界模型与物理：语言里没有对应问题

“这个模型是否真的懂物理”是视觉独有的问题——语言模型可以谈论物理，但它不需要预测下一帧，因此不会被”球该不该落地”当场检验。

最硬的证据：Physics-IQ（^[8]，WACV 2026）覆盖流体、光学、固体力学、磁学、热力学，结论是”视觉真实感并不意味着物理理解”：跨 Sora / Runway / Pika / Lumiere / SVD / VideoPoet，物理理解严重受限，且与视觉真实感无显著相关；最好的 VideoPoet（multiframe）得 29.5，而”真实世界自身变异”的基线是 100.0。【有据：论文正文】 🧭 一个不该被忽略的内部张力Physics-IQ 的作者之一正是 Robert Geirhos——也就是 VGI 上主张”视频模型可能是解决视觉智能的路”的那位讲者（见 A·1·1）。同一个人既论证”视频模型展现出涌现的 zero-shot 能力”，又量化了”它们并不懂物理”。这不是自相矛盾，而是一个被精确划定的边界：视频模型在感知与操作类任务上确有涌现，在物理因果上远未达标。本文此前把 Geirhos 与 Efros 摆成对立面，其实Geirhos 自己就持有反方证据——这是全篇最值得记住的一处细节。【有据：作者名单 + VGI slides】

综合判断：视觉不是”落后几年的语言”

内容

  核心判断视觉不是语言的滞后版本，而是一个目标函数与评测都尚未被正确定义的领域。语言侧的目标函数（next-token）自带语义监督、评测（perplexity）自带理论基础；视觉侧两者都不自带。因此视觉的进步杠杆是表征与度量——即田永龙押的那两条（InfoMin/表征质量优先 + 超越 FID），而不是照搬 LLM 的规模与 RL 流水线。
  关键证据

（含强度）较强：① Fluid——val loss 幂律成立但 GenEval 在 FID 仍降时先停（loss→能力映射断裂，^[7]）；② MAE——线性探测与微调”基本不相关”、容量被语义无关 patch 分流（^[3] + CVPR’23）；③ Physics-IQ——真实感与物理理解无显著相关（^[8]）；④ FD-loss——验证集 FID 1.68 而多方法已 ≤1.5（度量失效，见 §B⑥）。弱：轴 6 的”信息论反向”是论证而非实测，Janus 的解耦只是间接支持。 可证伪信号 若这条错了先在哪看到三个都要盯：① 纯像素/视频目标在足够规模下自发涌现出强语义与物理能力（例如某个纯视频预训练模型在 Physics-IQ 上逼近 100、且不靠外挂几何监督）→ 则”目标函数不自带语义”被推翻，“缺的只是规模”成立；② 一个统一的视觉度量被广泛接受且难被 Goodhart（评测缺口被填上）→ 则”评测未被定义”这半失效；③ 纯前向的视觉 ICL 出现（不改权重即掌握新概念/新风格）→ 则轴 7 的能力缺口关闭，视觉与语言的差距确实只是”时间差”。 置信度 与时间窗”视觉的目标函数与评测尚未被正确定义”——高置信（多条独立实证互相印证）。“因此杠杆在表征与度量”——中高置信：这是从前者到”该怎么做”的推论，存在另一种可能（杠杆在环境与验证器，即轴 2 的例外通道 + 轴 9 的物理）。时间窗 2–3 年：若 2028 前”几何/物理验证器驱动的视觉 RLVR”成为主线，则杠杆应改写为”表征、度量与环境”三元。推断

与全篇的收口把 PART G 与本章并读，会得到一个比”AR vs diffusion”更大的图景：PART G 说”范式之争其实是分解轴之争”，本章说”视觉与语言之争其实是目标函数与评测是否自带语义之争”。而田永龙的十年正好压在这两句话的交点上——他做的事从来不是”把语言的成功搬到视觉”，而是在视觉里补上语言天生就有的那两样东西：能逼出语义的目标（对比/InfoMin/表征质量优先），和能诚实反映质量的尺子（超越 FID / FD-loss）。这就是为什么他的工作看起来”零散”（对比学习、蒸馏、合成数据、tokenizer、采样、度量），实则始终在同一条主线上。

I 中国团队视角（先推翻简化叙事）

PART I中国团队视角：先推翻简化叙事，再说能说的那一句

本节的价值在于推翻，而非印证关于”中国机构偏好离散 token 路线”的说法流传很广。我先把它证伪，再给出唯一站得住的收窄命题。若只想记一句话，请记结尾那句：中美差异不在”离散 vs 连续”，而在”发布 vs 不发布”。

1 · 先给三条反证（防止被观察带跑）

• 最早、最纯粹的”离散 token 塞进 LLM”是美国机构做的【有据】。Chameleon（Meta，^[9]，2024-05）与 LWM（UC Berkeley，^[10]，2024-02）都是 LLaMA-2 + VQGAN 的纯离散方案，均早于 Emu3（^[11]，2024-09）；且 Emu3 的 Nature 论文自己把 Chameleon 列为前驱。→ “离散路线是中国偏好”在时间顺序上就站不住：中国机构不是发明者，而是把它规模化并做成开源 checkpoint 的人。

• 中国大厂的主力图像/视频模型压倒性走 diffusion【有据】：Seedream 4.0（字节，^[12]，DiT + 高压缩 VAE）、Qwen-Image（阿里，MMDiT + flow matching）、HunyuanImage 3.0（腾讯，^[13]，文本 token 走 AR、图像 token 走扩散的混合范式）。→ 豆包的图像能力由 Seedream（diffusion）提供，不是 BAGEL。

• VAR 不是”塞进 LLM 的离散 token”：它是 next-scale prediction——一种全新的自回归分解（见 G·4）。把它算作”复用 LLM 栈”是范畴错误。

2 · 收窄之后，能说的是什么

判定命题

  ❌ 不成立"中国机构偏好离散路线"／"中国机构发明了离散统一路线"
  ✅ 成立"在'把视觉离散 token 直接并入 LLM 序列、做成大规模开源统一模型'这个特定子赛道上，2024–2026 年产出规模最大、迭代最快、开源程度最高的团队高度集中在中国机构（BAAI、字节、DeepSeek、人大）。"
  ✅ 同时成立"这些同样的机构，在纯图像生成产品上几乎全部使用 diffusion——两者并行不悖，因为服务不同目的：统一模型服务研究与开源生态，diffusion 服务产品画质。"

3 · 六个常见解释，逐条检验（含两条被推翻）

假设检验结果

  ② 算力约束❌ 被推翻（未证实，且有反证）。未找到任何一手证据把架构选择归因于出口管制。反证：Emu3.5（[@arxiv-2510-26583]）用 10T+ token 训 34.1B，不是算力受限的做法；腾讯 2026Q1 资本开支 319.4 亿元（同比 +16%）。更关键的技术反证：离散 AR 图像生成在推理上其实更慢——一张图上千 token 串行解码，远慢于 20–50 步扩散；这正是 Emu3.5 必须发明 DiDA（约 20× 加速）的原因，也是 Fluid 强调 MAR "<0.3 秒/张"的对照。→"离散能吃 KV-cache 所以更高效"在图像生成上不成立。
  ③ 产品倒逼统一"产品推动统一"成立，"产品推动离散"不成立——中国大厂的实际答案往往是"两个模型 + 路由"或"AR 文本 + 扩散图像混合"（HunyuanImage 3.0 即后者）。推断
  ④ 发表与开源激励✅ 这是证据最强的一条【有据】。Emu3.5 / Janus-Pro / BAGEL / Show-o / LLaDA / VAR 全部开源 checkpoint；对照 MAR / Fluid / Transfusion / OpenAI 均无开源基座。最直接的证据是 UniSAFE 基准（[@arxiv-2603-17476]）的评测名单：2 个闭源（Gemini-2.5、GPT-5，美国）+ 12 个开源统一模型（绝大多数中国机构）。
  ⑤ 学术谱系差异❌ 建议不写：这一常见说法缺乏证据支持且有反证——大量 tokenizer 创新（MingTok / DualToken / UniTok / TokLIP / Selftok / QLIP）与离散扩散理论（LLaDA / RADD / MMaDA）同样来自中国团队，说明并非"谱系偏好某一侧"。
  ⑥ 反例见 §1 三条。

机构归属的准确性（勿误算）MMaDA 是 Princeton + 北大 + 字节的跨国合作，不宜简单计为中国；Show-o 第一机构是新加坡国立 Show Lab；UniDisc 是 CMU。本文 G·1 表格中的机构标注已按此口径核对。

4 · 结论

这一节唯一需要记住的话中美的差异不在”离散 vs 连续”，而在”发布 vs 不发布”。当美国实验室把统一多模态能力藏进 GPT-5 和 Gemini 时，中国机构把同一类探索做成了可下载的权重和可引用的论文。我们看到的”路线分布差异”，很大程度上是”可见性分布差异”。 而他本人的轨迹就是这套叙事最好的注脚2026-07，他从”能力藏进闭源产品”的一侧（OpenAI 21 个月、唯一第一方产出是 System Card 集体署名），走到了”能力做成可下载权重与可引用论文”的一侧（腾讯大量发论文、开源）；而他要去做 VLM 的这家公司，其旗舰图像模型 HunyuanImage 3.0 恰好采用他自己参与开创的”AR 文本 + 扩散图像”混合范式。路线之争、可见性之争、和一个人的职业选择，在这里收束到同一点（详见 §B⑦）。推断：动机不可考，此处只论叙事的自洽性。