行业对照与前沿印证
专题章节
DiT 到 Sora:架构影响与产品存续分开
DiT 证明标准 Transformer 可以作为潜扩散骨干,并在其 ImageNet 设定中展示清晰的计算量—质量关系 [1]。OpenAI 的 Sora 技术说明称其为 diffusion transformer 并引用 DiT,这支持架构谱系影响;实现没有公开,不能升级为“直接采用公开 DiT backbone”,谢赛宁也不在 Sora 团队 [2]。
OpenAI 后来宣布停止 Sora 产品:App/Web 关闭与 API 计划关闭有不同日期。产品商业存续不改变 2024 年技术说明对 DiT 的引用,但 Sora 不应继续出现在“当前玩家”列表中 [3]。
世界模型赛道:按输出契约而非口号划分
| 路线 | 当前代表 | 输出 | 验收重点 |
|---|---|---|---|
| 潜空间预测大脑 | JEPA/AMI 公开愿景 | 动作条件潜状态 | 规划成功、状态可迁移、OOD 稳定 |
| 显式 3D 世界 | World Labs 等 | 几何或可计算场景 | 重建完整性、动态一致、可编辑 |
| 视频 world simulator | Genie、Cosmos、Runway 等 | 条件视频轨迹 | 长时一致、可控动作、物理约束 |
三条路线可能互补:显式状态提供接口,潜状态承担预测与规划,视频生成承担可视化和数据扩增。把它们排成单一高下会掩盖不同输出契约。
世界模型的正面理论进展
When Does LeJEPA Learn a World Model? 用形式化分析讨论线性可识别性,并明确依赖隐变量分布、充分探索等条件。价值在于把经验配方转成可检查命题;边界也同样重要:非高斯或目标导向采样可能落到保证之外 [4]。
这类结果属于 LeCun 学术圈的公开研究,不是 AMI 产品或交付。把论文进展直接写成公司技术里程碑会混淆作者群体与组织边界。
反面证据:预测好不等于规划好
Stable World Models 系列实验关注分布变化与规划稳定性,显示背景或轨迹分布变化会显著破坏模型,并指出预测误差并不是规划成功的充分代理 [5]。
这直接挑战一条常见跳步:
原因包括 OOD 动作、误差方向、规划器利用模型漏洞,以及多步滚动把小偏差放大。世界模型评测必须包含闭环任务,而不只是 held-out prediction。
Cambrian-S:路线证据与 shortcut 风险
Cambrian-S 通过 LFP 与 surprise 研究长视频记忆和空间能力,报告仅增加上下文与数据不足以维持超长视频上的空间表现 [6]。
原型同时保留批判性边界:Benchmark 与模型可能共同适应,简单视觉基线或输入重排可能暴露 shortcut。正确措辞应是“在论文设定下显示/挑战”,而不是“证明获得世界模型”或“被彻底证伪”。
理解与生成统一
MetaMorph 把文本与视觉表征放进同一自回归框架,报告理解数据对理解和生成都有帮助,但两向收益并不对称 [7]。统一多模态预训练进一步比较编码器、数据混合、MoE 与动作 token,说明视觉可以 scale,却比语言更吃数据 [8]。
这些结果支持“理解和生成共享表征基础”,但不等于所有任务都应共享同一个输出头或损失。
REPA 与 RAE:最扎实的已兑现主线
REPA 报告外部自监督视觉表征能够显著改善训练效率与生成质量 [9]。RAE 则表明预训练表征编码器并非只能用于判别任务,也可以与训练得到的解码器组成生成潜空间 [10]。
论文把 RAE 描述为 DiT 的新默认候选;这是作者主张,不是行业采用统计。后续文生图扩展属于同一研究线的放大验证,也不能冒充独立团队广泛采用。
Vision-centric 的证据强度
MMVP 与 Cambrian-1 支持“视觉表征是多模态系统的真实瓶颈”,但两篇论文并未证明语言中心路线整体失败 [11] [12]。
目前最稳的证据链是:
- 多模态模型存在基础视觉失败;
- 更强或更多样的视觉表征能改善 grounding;
- 外部视觉表征能改善生成训练;
- 预训练视觉表征可以直接构成生成 latent。
尚未成立的外推是:
- 纯视觉系统会全面替代语言中心系统;
- 连续感知数据会自然产生规划能力;
- 世界模型已经出现稳定 scaling law;
- 一个潜状态能跨导航、操作与科学模拟通用。
到 2028 年可观察什么
参考来源
- [1]Scalable Diffusion Models with Transformers(在新窗口打开)官方 · 部分原话↩
- [2]Video generation models as world simulators(在新窗口打开)官方 · 非本人原话↩
- [3]What to know about the Sora discontinuation(在新窗口打开)官方 · 非本人原话↩
- [4]When Does LeJEPA Learn a World Model?(在新窗口打开)官方 · 非本人原话↩
- [5]Stable World Models(在新窗口打开)官方 · 非本人原话↩
- [6]Cambrian-S — Towards Spatial Supersensing in Video(在新窗口打开)官方 · 部分原话↩
- [7]MetaMorph — Multimodal Understanding and Generation via Instruction Tuning(在新窗口打开)官方 · 部分原话↩
- [8]Beyond Language Modeling — An Exploration of Multimodal Pretraining(在新窗口打开)官方 · 部分原话↩
- [9]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)官方 · 部分原话↩
- [10]Diffusion Transformers with Representation Autoencoders(在新窗口打开)官方 · 部分原话↩
- [11]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩
- [12]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩