Cosmos 3: Omnimodal World Models for Physical AI

深度解读

方法与架构

Cosmos 3 把语言、图像、视频、音频和动作编码进统一序列。文本由自回归 next-token prediction 生成，其他模态通过迭代去噪生成；动作可配置为前向动力学、逆向动力学，或联合预测视频与动作的 policy 模式 ^[1]（原文第 2.1–2.2 节）。

核心 Mixture-of-Transformers（MoT）在每层设置 Reasoner 与 Generator 两套归一化、注意力投影和前馈参数，但共享序列级上下文；自回归子序列采用因果注意力，扩散子序列可双向关注，并读取 Reasoner 表示 ^[1]（原文第 2.3 节、图 5）。模型族包括 4B Edge、16B Nano 与 64B Super，分别建立在 dense 2B、8B、32B Transformer 上；本报告发布 Nano 与 Super，Edge 留待后续 ^[1]（原文第 2.5 节、表 2）。

数据与训练

Reasoner 课程约含 24.2M 样本，其中 22,002,013 条用于预训练、2,171,673 条用于监督微调；数据先做语义去重，再由 Gemma-4-31B-it 按 Faithfulness、Completeness、Correctness 三项打分过滤 ^[1]（原文第 3.1 节、表 3）。Generator 预训练从 7.8B 原始图像和 3B 原始视频中处理出 767M 图像、347.7M 视频片段；含可用音轨的预训练片段为 138.9M ^[1]（原文第 3.2.1–3.2.2 节）。

动作中期训练数据覆盖 egocentric motion、robotics、autonomous vehicles 与 camera motion，共 8.4M episodes、61.3K hours ^[1]（原文第 3.2.3 节、图 9）。Generator 先在图像、视频和音频上预训练，再加入动作与 transfer 控制；Nano／Super 预训练分别使用 31.05T／17.86T tokens 和 1024／2048 个 NVIDIA GB200 GPU，中期训练再使用 2.4T／1.9T tokens ^[1]（原文第 4.2.1–4.2.2 节）。

评测结果

Reasoner 在 48 个 Benchmark 上按 general、robotics、smart infrastructure、driving 四组汇总。Super 的四组平均分为 73.7、57.8、62.6、79.3；同表 Gemini 3.1 Pro 为 77.5、58.2、58.6、47.2，因此报告也承认通用能力仍落后，机器人组还有小幅差距 ^[1]（原文第 6.1 节、表 10）。

生成评测同时覆盖图像、视频、音视频、transfer、动力学与机器人 policy ^[1]（原文第 6.2 节）。其中图像评测统一生成 1024x1024 结果，并先由 Claude-Opus-4.7 把测试提示改写为训练偏好的结构化格式；扩展后的 UniGenBench 再由 Gemini 3.1 Pro 逐测试点判定 ^[1]（原文第 6.2.1 节）。这使结果更贴近模型的推荐工作流，但也引入外部模型依赖。

局限与值得关注的问题

报告没有独立局限章节。部分数据来自内部驾驶日志、内部监控片段或自建 Benchmark，外部读者无法仅凭报告复现完整数据构成；若干生成评测又依赖提示改写器和模型裁判 ^[1]（原文第 3.1.2、6.1–6.2 节）。同时，通用 Reasoner 平均分未超过表中的 Gemini 3.1 Pro，Edge 也尚未随报告发布 ^[1]（原文表 10、第 2.5 节）。

编者判断：Cosmos 3 的价值主要在统一接口与工程透明度，而不是把所有任务压成一个榜单结论。共享模型能否在真实闭环控制中胜过专用系统，仍取决于独立复现、跨 embodiment 迁移以及长时序误差是否累积。