编者独立评价
专题章节
编者独立评价:本章全部为编者观点,不代表受访者的立场。
谢赛宁最有说服力的部分,是把抽象判断落到可复核的技术工作上:ResNeXt 把 cardinality 变成可控制的架构维度;DiT 把 Transformer 带入潜扩散骨干;MMVP 与 Cambrian-1 把视觉 grounding 的问题做成失败样例、Benchmark 和系统设计;REPA 与 RAE 把“表征影响生成”变成可比较实验。
更需要打折的是从这些工作外推出来的强命题。视觉表征是瓶颈,不等于语言监督总体有害;世界模型的目标函数清楚,不等于状态表征、规划和安全已经解决;连续感知数据规模很大,也不等于它比文本更容易形成高价值训练信号。
十四条主张的裁定
| 主张 | 编者裁定 | 主观置信度 | 关键检验 |
|---|---|---|---|
| LLM 是“反 Bitter Lesson” | 论证过强,注意力经济学直觉成立 | 70% | 同 FLOPs 的纯感知与语言系统跨任务曲线 |
| 语言 Scaling Law“有水分” | “免费不等于无标签”对;Y-space 二分过强 | 75% | 分离检索、推理和物理任务后重新拟合曲线 |
| 语言会污染视觉 | 分场景成立,更像有副作用的强力药 | 75% | 零语言监督系统能否在语义任务追平 |
| AGI 是伪命题、应谈 AMI | AGI 缺定义的批评对;换名不自动产生指标 | 60% | AMI 是否发布带阈值的能力评测 |
| 世界模型预测动作后的下一状态 | 定义清楚,是最强主张之一 | 85% | 预测质量与闭环规划能否形成稳定关系 |
| 反向 OpenAI/联盟 | 数据认识论深刻,商业机制未设计完成 | 70% | 是否公开数据计价与收益分配协议 |
| download human | 数据方向对,跨模态数量比喻不可用 | 80% | 第一人称视频预训练的可比 FLOPs 收益 |
| 不做机器人解决机器人 | 短期资源配置对,长期数据闭环风险高 | 70% | 两家独立机器人公司真机采用并优于自研 |
| AMI 是 underdog | 作为事实不成立,作为组织叙事有效 | 75% | 未达里程碑时是否用资源劣势解释 |
| vision-centric/表征优先 | 作为诊断与工程结论强,作为充分纲领未证 | 85% | 不借外部编码器能否达到 REPA/RAE 级表现 |
| 隐式潜状态与显式 3D 分工 | 输出契约三分成立,人物站队二分不成立 | 60% | 统一几何输出与潜规划的系统是否出现 |
| NAS 浪费两年、一无所获 | 明显过头,忽略设计空间与部署遗产 | 75% | 文献与工程栈的技术传承审计 |
| 无限游戏/只优化最大值 | 解释他本人真诚,对青年研究者可能危险 | 70% | 采用该策略的青年研究者长期职业结果 |
| 世界模型会有不同 Scaling Law | 有早期希望,尚未证实 | 55% | 多点曲线、硬任务迁移、独立复现三项合取 |
表中事实锚点分别来自论文、个人主页、访谈与 AMI 公告;主张的“裁定”和概率全部属于编者 [1] [2] [3] [4] [5] [6] [7] [8]。
Q1:感知 grounding 是必要还是充分
感知—行动 grounding 很可能是具身智能的重要条件,视觉是高带宽且工程上关键的路径,但并非逻辑上唯一必要模态。先天失明者具有通用认知能力,智能体也可以依赖触觉、听觉和本体感觉。类人猿和 Moravec 悖论最多支持“语言不是智能的必要条件”,不能推出“视觉是唯一必要条件”。
支持侧:MMVP、Cambrian-1、REPA 与 RAE 分别显示视觉缺陷、系统瓶颈和表征对生成训练的影响 [4] [9] [5] [6]。
反例侧:当前强多模态系统仍普遍以语言为组织接口;纯视觉尚未展示与 LLM 同等级的跨任务 scaling。
可证伪指标:2027–2028 年,vision-first/世界模型在机器人或科学模拟硬任务中持续跑赢“VLM+VLA 拼接”,并被独立团队复现。
Q2:显式 3D 与隐式潜状态会不会收敛
中期更可能分工共存:显式几何负责可检查、可编辑状态,潜表征负责过滤不可预测细节和规划。长期可能在“可计算状态接口”处部分收敛。
把谢赛宁简单归为隐式派不成立;其公开作品包含 PointContrast、Image Sculpting 与 3DGS scaling。三分法描述 AMI、显式世界与视频模拟器的输出契约,不描述研究者终身阵营 [1]。
可证伪指标:出现一个既能导出稳定几何,又能用潜状态进行闭环规划,并在两类指标上同时领先的系统。
Q3:联盟的利益分配
Nabla 的独家战略合作、产业投资和治理安排说明联盟不是纯口号,但它们仍是股权、治理与优先访问,不是 Mastercard 式数据清算机制 [10] [7]。
核心问题是:数据贡献如何估值?训练所得模型归谁?伙伴退出后模型能否继续使用数据?模型收益怎样分配?没有这些规则,“与世界共建”可能停留在叙事。
可证伪指标:2027 年前公开至少两个包含数据权利、模型访问与收益分配条款的产业协议。
Q4:语言“鸦片”是否过头
支持侧:语言确实能形成 shortcut,MMVP 表明模型会在看不懂视觉差异时仍给出流畅解释 [4]。
反例侧:MetaMorph 与统一多模态预训练显示语言和视觉可协同;MetaCLIP 等工作也说明谢赛宁并非实践上拒绝语言监督。REPA/RAE 默认常用 DINOv2、MAE 等纯视觉编码器,不能把“依赖外部表征”错误升级为“依赖语言” [11] [12] [5] [6]。
裁定:语言不是纯毒药,而是收益大、也容易造成依赖的强信号。应按融合阶段和任务分别评估。
Q5:世界模型 scaling 是否真实
支持侧:多模态预训练的 IsoFLOP 实验显示视觉可随规模改善;LeJEPA 形式化给出特定条件下的可识别性 [12] [13]。
反例侧:Stable World Models 显示 OOD 变化会破坏规划,预测准确率不等于任务成功;理论保证也有分布与探索假设 [8]。
本专题作废“用十分之一 LLM token 追平”这种旧指标:跨模态 token 不可直接比较,单点追平也不能证明 scaling law。新的三项合取标准是:
- 统一计算口径下,跨至少一个数量级的多点曲线稳定改善;
- 改善转移到机器人或科学模拟等独立硬任务;
- 非原团队完成复现。
Q6:AMI 作为组织能否成立
支持因素是研究领导力、跨代合作者与巨额启动资金;压力来自市场预期、跨城市协作、闭环数据依赖和公开产出不足。融资是资源,不是模型效果 [7]。
观察指标:2027 年底前是否有公开模型、论文里程碑和独立硬任务;若只有合作与融资叙事,没有可复核产出,组织路线承压。
Q7:无限游戏是否可复制
CVPR 2025 workshop 页面只能确认谢赛宁参与;Research: The Infinite Game 题目和“一辈子只需成功一次”均未获得原始议程或可核时间点,因此本章不把它们作为事实或论据 [14]。
风险矩阵
以下坐标是主观分档,不是测量值:
| 风险/机会 | 发生概率 | 路线影响 | 解释 |
|---|---|---|---|
| 世界模型 scaling 不及预期 | 高 | 高 | 核心科学假设受挫 |
| 产业联盟缺少数据与收益机制 | 高 | 高 | 反向 OpenAI 停留在合作公告 |
| 动作闭环被伙伴控制 | 中高 | 高 | OOD 动作与失败样本无法系统回流 |
| LLM 阵营先整合世界模型 | 中 | 高 | 路线正确但组织优势消失 |
| 跨城市人才与算力协调 | 中 | 中高 | 影响迭代速度而非理论正确性 |
| RAE 成为生成基座之一 | 中高 | 中高(正面) | 已兑现技术线继续扩散 |
| 语言污染论被证明过强 | 中 | 中 | 影响叙事,不抹去论文贡献 |
| 短期无公开产品导致预期压力 | 中高 | 中 | 融资规模放大时间压力 |
Bull/Base/Bear 三情景
| 情景 | 主观概率 | 描述 | 触发条件 |
|---|---|---|---|
| Bull | 25% | vision-first 成为新范式,AMI 给出世界模型硬里程碑 | 2027–2028 在机器人/科学硬任务领先;Q5 三项合取标准成立 |
| Base | 55% | 世界模型成为 LLM 的重要补充,RAE 等技术持续影响主流 | 渐进进展;联盟缓慢形成;无单一颠覆时刻 |
| Bear | 20% | 世界模型 scaling 与数据闭环不及预期,语言中心继续主导 | 2028 前无独立里程碑;脆弱性未解;合作缺机制 |
这三个概率只表达编者当前判断强弱。它们不是市场共识,也不应显示成“量化事实”。
可证伪观察时间轴
| 时点 | 编者预测 | 若未发生意味着什么 |
|---|---|---|
| 2027 | RAE/表征 latent 成为主流生成基座之一 | 论文建议没有转化为外部采用 |
| 2027 | 世界模型在至少一个机器人或科学硬任务跑赢拼接式 VLM+VLA | vision-first 仍主要是诊断而非充分路线 |
| 2027 底 | AMI 公布至少两项有数据权利和收益机制的产业协议 | Mastercard 类比仍未形成机制 |
| 2028 | Q5 三项 scaling 标准同时成立 | scaling 真实性继续存疑 |
| 2028 | 两家独立机器人公司真机采用上游世界模型并优于自研 | “不做机器人解决机器人”长期判断受挫 |
| 2027–2029 | AMI 为使命四项能力给出公开阈值和评测 | AMI 与 AGI 的区别仍偏术语和品牌 |
参考来源
- [1]Saining Xie — About Me and Selected Publications(在新窗口打开)官方 · 本人原话↩
- [2]独家对话谢赛宁:逃出硅谷!(在新窗口打开)一手采访 · 本人原话↩
- [3]Scalable Diffusion Models with Transformers(在新窗口打开)官方 · 部分原话↩
- [4]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩
- [5]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)官方 · 部分原话↩
- [6]Diffusion Transformers with Representation Autoencoders(在新窗口打开)官方 · 部分原话↩
- [7]Advanced Machine Intelligence is enabling the next AI revolution(在新窗口打开)官方 · 非本人原话↩
- [8]Stable World Models(在新窗口打开)官方 · 非本人原话↩
- [9]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩
- [10]Nabla announces exclusive partnership with Advanced Machine Intelligence(在新窗口打开)官方 · 非本人原话↩
- [11]MetaMorph — Multimodal Understanding and Generation via Instruction Tuning(在新窗口打开)官方 · 部分原话↩
- [12]Beyond Language Modeling — An Exploration of Multimodal Pretraining(在新窗口打开)官方 · 部分原话↩
- [13]When Does LeJEPA Learn a World Model?(在新窗口打开)官方 · 非本人原话↩
- [14]CVPR 2025 Workshop — How to Stand Out in the Crowd?(在新窗口打开)官方 · 本人原话↩