• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

行业对照与前沿印证

阅读约 4 分钟AI 生成已核查 · 已审核审核人 负责人

专题章节

DiT 到 Sora:架构影响与产品存续分开

DiT 证明标准 Transformer 可以作为潜扩散骨干,并在其 ImageNet 设定中展示清晰的计算量—质量关系 [1]。OpenAI 的 Sora 技术说明称其为 diffusion transformer 并引用 DiT,这支持架构谱系影响;实现没有公开,不能升级为“直接采用公开 DiT backbone”,谢赛宁也不在 Sora 团队 [2]。

OpenAI 后来宣布停止 Sora 产品:App/Web 关闭与 API 计划关闭有不同日期。产品商业存续不改变 2024 年技术说明对 DiT 的引用,但 Sora 不应继续出现在“当前玩家”列表中 [3]。

世界模型赛道:按输出契约而非口号划分

路线当前代表输出验收重点
潜空间预测大脑JEPA/AMI 公开愿景动作条件潜状态规划成功、状态可迁移、OOD 稳定
显式 3D 世界World Labs 等几何或可计算场景重建完整性、动态一致、可编辑
视频 world simulatorGenie、Cosmos、Runway 等条件视频轨迹长时一致、可控动作、物理约束

三条路线可能互补:显式状态提供接口,潜状态承担预测与规划,视频生成承担可视化和数据扩增。把它们排成单一高下会掩盖不同输出契约。

世界模型的正面理论进展

When Does LeJEPA Learn a World Model? 用形式化分析讨论线性可识别性,并明确依赖隐变量分布、充分探索等条件。价值在于把经验配方转成可检查命题;边界也同样重要:非高斯或目标导向采样可能落到保证之外 [4]。

这类结果属于 LeCun 学术圈的公开研究,不是 AMI 产品或交付。把论文进展直接写成公司技术里程碑会混淆作者群体与组织边界。

反面证据:预测好不等于规划好

Stable World Models 系列实验关注分布变化与规划稳定性,显示背景或轨迹分布变化会显著破坏模型,并指出预测误差并不是规划成功的充分代理 [5]。

这直接挑战一条常见跳步:

预测误差低⇏规划成功⇏系统安全\text{预测误差低} \not\Rightarrow \text{规划成功} \not\Rightarrow \text{系统安全}

原因包括 OOD 动作、误差方向、规划器利用模型漏洞,以及多步滚动把小偏差放大。世界模型评测必须包含闭环任务,而不只是 held-out prediction。

Cambrian-S:路线证据与 shortcut 风险

Cambrian-S 通过 LFP 与 surprise 研究长视频记忆和空间能力,报告仅增加上下文与数据不足以维持超长视频上的空间表现 [6]。

原型同时保留批判性边界:Benchmark 与模型可能共同适应,简单视觉基线或输入重排可能暴露 shortcut。正确措辞应是“在论文设定下显示/挑战”,而不是“证明获得世界模型”或“被彻底证伪”。

理解与生成统一

MetaMorph 把文本与视觉表征放进同一自回归框架,报告理解数据对理解和生成都有帮助,但两向收益并不对称 [7]。统一多模态预训练进一步比较编码器、数据混合、MoE 与动作 token,说明视觉可以 scale,却比语言更吃数据 [8]。

这些结果支持“理解和生成共享表征基础”,但不等于所有任务都应共享同一个输出头或损失。

REPA 与 RAE:最扎实的已兑现主线

REPA 报告外部自监督视觉表征能够显著改善训练效率与生成质量 [9]。RAE 则表明预训练表征编码器并非只能用于判别任务,也可以与训练得到的解码器组成生成潜空间 [10]。

论文把 RAE 描述为 DiT 的新默认候选;这是作者主张,不是行业采用统计。后续文生图扩展属于同一研究线的放大验证,也不能冒充独立团队广泛采用。

Vision-centric 的证据强度

MMVP 与 Cambrian-1 支持“视觉表征是多模态系统的真实瓶颈”,但两篇论文并未证明语言中心路线整体失败 [11] [12]。

目前最稳的证据链是:

  1. 多模态模型存在基础视觉失败;
  2. 更强或更多样的视觉表征能改善 grounding;
  3. 外部视觉表征能改善生成训练;
  4. 预训练视觉表征可以直接构成生成 latent。

尚未成立的外推是:

  1. 纯视觉系统会全面替代语言中心系统;
  2. 连续感知数据会自然产生规划能力;
  3. 世界模型已经出现稳定 scaling law;
  4. 一个潜状态能跨导航、操作与科学模拟通用。

到 2028 年可观察什么

参考来源

  1. [1]Scalable Diffusion Models with Transformers(在新窗口打开)arXiv · 2022-12-19 · 摘要;第 3–4 节;式(5) · 访问于 2026-10-17官方 · 部分原话↩
  2. [2]Video generation models as world simulators(在新窗口打开)OpenAI · 2024-02-15 · Model architecture 段;References · 访问于 2026-10-18官方 · 非本人原话↩
  3. [3]What to know about the Sora discontinuation(在新窗口打开)OpenAI · 关闭日期与 API 时间表 · 访问于 2026-10-18官方 · 非本人原话↩
  4. [4]When Does LeJEPA Learn a World Model?(在新窗口打开)arXiv · 2026-05-29 · 摘要;主要定理与假设 · 访问于 2026-10-18官方 · 非本人原话↩
  5. [5]Stable World Models(在新窗口打开)arXiv · 2026-05-23 · 摘要;OOD 与规划实验 · 访问于 2026-10-18官方 · 非本人原话↩
  6. [6]Cambrian-S — Towards Spatial Supersensing in Video(在新窗口打开)arXiv · 2025-11-06 · 摘要;第 3–5 节;图 9–11 · 访问于 2026-10-18官方 · 部分原话↩
  7. [7]MetaMorph — Multimodal Understanding and Generation via Instruction Tuning(在新窗口打开)arXiv · 2024-12-18 · 摘要;第 3–5 节 · 访问于 2026-10-18官方 · 部分原话↩
  8. [8]Beyond Language Modeling — An Exploration of Multimodal Pretraining(在新窗口打开)arXiv · 2026-03-03 · 摘要;第 4–6 节 · 访问于 2026-10-18官方 · 部分原话↩
  9. [9]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)arXiv · 2024-10-09 · 摘要;第 3.3 节;式(8)(9) · 访问于 2026-10-17官方 · 部分原话↩
  10. [10]Diffusion Transformers with Representation Autoencoders(在新窗口打开)arXiv · 2025-10-13 · 摘要;第 3–7 节 · 访问于 2026-10-17官方 · 部分原话↩
  11. [11]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)arXiv · 2024-01-11 · 摘要;第 2–4 节 · 访问于 2026-10-17官方 · 部分原话↩
  12. [12]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)arXiv · 2024-06-24 · 摘要;第 1、3、4 节 · 访问于 2026-10-17官方 · 部分原话↩