• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

人物小传与时间线

阅读约 5 分钟AI 生成已核查 · 已审核审核人 负责人

专题章节

人物小传

谢赛宁毕业于上海交通大学与 UC San Diego;其个人主页列出 2018 年完成于 UC San Diego 的博士论文。他曾在 Meta FAIR 与 Google DeepMind 从事研究,后任 NYU Courant 助理教授;2026 年加入 AMI,任联合创始人兼 Chief Science Officer [1] [2] [3]。

个人主页列出的荣誉包括 ICCV Marr Prize Honorable Mention、NSF CAREER Award、AISTATS Test-of-Time Award 与 PAMI Young Researcher Award;主页还注明其论文截至 2025 年 12 月被引用超过 9 万次。引用量受数据库覆盖范围影响,不宜与其他平台数字直接比较 [2]。

时间线

2013–2015:结构先验与视觉边缘

博士早期工作从“怎样把结构先验放进深网”展开。HED 以整体嵌套、多尺度的深监督方式处理边缘检测,并获 ICCV 2015 Marr Prize Honorable Mention。原型把这一阶段视为后续“结构服务表征”的起点;这是回溯性解释,不是论文自称的长期路线图 [2]。

2016–2017:ResNeXt 与 cardinality

作为第一作者,他提出 ResNeXt。核心不是简单增加深度或宽度,而是把同构变换分支的数量定义为 cardinality,并在近似保持复杂度的比较中研究这一新维度。分支求和可以用 grouped convolution 简洁实现,但论文并未声称 grouped convolution 由 ResNeXt 首创 [5]。

2019–2022:自监督表征与现代化 ConvNet

MoCo 用动量编码器与队列构造对比学习字典,是自监督视觉表征的重要节点;谢赛宁是合著者,不应写成个人独立发明 [6]。ConvNeXt 则通过逐步现代化 ResNet 设计,展示纯卷积网络仍可与视觉 Transformer 竞争;Zhuang Liu 是第一作者,谢赛宁为资深作者 [7]。

这段时期的重要变化是:表征学习不再只是识别模型的中间产物,而成为可迁移的基础设施。原型还列出 MAE、MoCo v3、PointContrast 等工作,技术谱系章会把这些节点放回各自合作者与问题设定中。

2022–2023:DiT 把 Transformer 带入潜扩散

DiT(arXiv 首发于 2022 年 12 月,后为 ICCV 2023 Oral)把潜空间 patch 交给 Transformer 处理,比较了模型大小与 patch 大小改变所带来的前向 Gflops,并观察到更高计算量与更低 FID 的强相关关系。William Peebles 是第一作者,谢赛宁为共同作者;没有 equal-contribution 标记,因此不写“共同一作” [8]。

OpenAI 的 Sora 技术说明把系统称为 diffusion transformer 并引用 DiT,这能确认架构谱系影响;具体实现未公开,不能推出 Sora 直接复用了公开 DiT backbone,更不能把谢赛宁称为 Sora 作者 [9]。

2023:加入 NYU Courant

谢赛宁在 NYU 建立研究团队,并继续与 Yann LeCun、Rob Fergus、学生及跨机构合作者推进 vision-centric 多模态研究。个人主页把这一阶段的方向同时覆盖识别、生成和多模态表征 [2]。

2024:视觉中心研究集中展开

这一年形成了几条互相呼应、但问题设定不同的路线:

  • Eyes Wide Shut? 构造 CLIP-blind pairs 与 MMVP,暴露多模态大模型在基础视觉模式上的系统性失败 [10]。
  • SiT 用随机插值与速度场训练统一讨论 diffusion 与 flow,在相同 Transformer 骨干上研究传输路径和采样器 [11]。
  • Cambrian-1 比较视觉编码器,提出 CV-Bench 与 Spatial Vision Aggregator,并公开模型、数据和训练配方 [12]。
  • REPA 将扩散模型的中间表征与冻结视觉编码器的干净图像表征对齐,把“生成训练中的表征瓶颈”变成显式正则项 [13]。
  • MetaMorph 探索在统一自回归框架中同时处理文字与视觉表征,研究理解与生成之间不对称的互益 [14]。

2025:RAE 与 Cambrian-S

RAE 用冻结的预训练表征编码器与训练得到的解码器替换传统 VAE 潜空间,再在该潜空间上训练 flow-matching 生成模型。论文主张它应成为训练 DiT 的新默认选择;这是一项论文建议和强候选路线,不是已经形成的行业共识 [15]。

Cambrian-S 把空间能力拆成感知、记忆、认知与预测等阶段,以 Latent Frame Prediction 预测下一帧潜特征,并用预测与实际特征的余弦距离定义 surprise。其结论是仅增加数据和上下文不足以获得持续空间感知;这一结论仍受论文设定与后续独立复现约束 [16]。

2025–2026:AMI 的法人、品牌与融资不是同一天

法国法人于 2025-12-03 创建,2025-12-15 登记;Nabla 在 2025-12-18 的合作公告中已经公开使用 Advanced Machine Intelligence 名称;Pappers 记录其总部地址于 2026-02-12 迁至 10 rue de Penthièvre。2026 年 3 月的事件是融资与正式 launch。公开记录不支持“PengyouCo 是原公司名”或“2 月完成更名” [17] [18] [3]。

AMI 宣布完成 10.3 亿美元融资轮,谢赛宁任联合创始人兼 CSO,Yann LeCun 担任主席。投资方公告把使命概括为:构建理解世界、拥有持久记忆、能够推理规划并且可控安全的系统。该使命是公司自述,不等于这些能力已经实现 [3]。

2026:从多模态预训练走向世界模型问题

统一多模态预训练工作考察编码器、数据混合、MoE 与动作表示,并在特定导航世界模型设置中把动作编码为文本 token。它支持“视觉能够随数据和算力扩展”的方向,却没有证明结果已迁移到灵巧操作、长时规划或一般物理控制 [19]。

参考来源

  1. [1]独家对话谢赛宁:逃出硅谷!(在新窗口打开)语言即世界 language is world(张小珺工作室) · 2026-03-16 · 第 01–09 节;求学经历段;“LLM 是反 Bitter Lesson 的”段;“语言模型 Scaling Law”段;“biggest bet/download human”段;第 06 节;世界模型问答段 · 访问于 2026-10-17一手采访 · 本人原话↩
  2. [2]Saining Xie — About Me and Selected Publications(在新窗口打开)Saining Xie · About Me;Selected Publications · 访问于 2026-10-17官方 · 本人原话↩
  3. [3]Advanced Machine Intelligence is enabling the next AI revolution(在新窗口打开)Cathay Innovation · 2026-03-10 · 融资、使命、团队与投资人段落 · 访问于 2026-10-18官方 · 非本人原话↩
  4. [4]商业访谈录 133 期官方视频(在新窗口打开)商业访谈录 · 2026-03-15 · 官方视频页面;AI 英译字幕不可作逐字证据 · 访问于 2026-10-17一手采访 · 部分原话↩
  5. [5]Aggregated Residual Transformations for Deep Neural Networks(在新窗口打开)arXiv · 2016-11-16 · 摘要;第 3.1 节式(2)(3) · 访问于 2026-10-17官方 · 部分原话↩
  6. [6]Momentum Contrast for Unsupervised Visual Representation Learning(在新窗口打开)arXiv · 2019-11-13 · 摘要;第 3 节 · 访问于 2026-10-18官方 · 部分原话↩
  7. [7]A ConvNet for the 2020s(在新窗口打开)arXiv · 2022-01-10 · 摘要;第 2–4 节 · 访问于 2026-10-18官方 · 部分原话↩
  8. [8]Scalable Diffusion Models with Transformers(在新窗口打开)arXiv · 2022-12-19 · 摘要;第 3–4 节;式(5) · 访问于 2026-10-17官方 · 部分原话↩
  9. [9]Video generation models as world simulators(在新窗口打开)OpenAI · 2024-02-15 · Model architecture 段;References · 访问于 2026-10-18官方 · 非本人原话↩
  10. [10]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)arXiv · 2024-01-11 · 摘要;第 2–4 节 · 访问于 2026-10-17官方 · 部分原话↩
  11. [11]SiT — Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers(在新窗口打开)arXiv · 2024-01-16 · 第 2–4 节;式(1)–(8) · 访问于 2026-10-18官方 · 部分原话↩
  12. [12]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)arXiv · 2024-06-24 · 摘要;第 1、3、4 节 · 访问于 2026-10-17官方 · 部分原话↩
  13. [13]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)arXiv · 2024-10-09 · 摘要;第 3.3 节;式(8)(9) · 访问于 2026-10-17官方 · 部分原话↩
  14. [14]MetaMorph — Multimodal Understanding and Generation via Instruction Tuning(在新窗口打开)arXiv · 2024-12-18 · 摘要;第 3–5 节 · 访问于 2026-10-18官方 · 部分原话↩
  15. [15]Diffusion Transformers with Representation Autoencoders(在新窗口打开)arXiv · 2025-10-13 · 摘要;第 3–7 节 · 访问于 2026-10-17官方 · 部分原话↩
  16. [16]Cambrian-S — Towards Spatial Supersensing in Video(在新窗口打开)arXiv · 2025-11-06 · 摘要;第 3–5 节;图 9–11 · 访问于 2026-10-18官方 · 部分原话↩
  17. [17]Advanced Machine Intelligence — SIREN 994675254(在新窗口打开)Pappers · 企业登记与变更记录 · 访问于 2026-10-18二手整理 · 非本人原话↩
  18. [18]Nabla announces exclusive partnership with Advanced Machine Intelligence(在新窗口打开)Nabla · 2025-12-18 · 正文 · 访问于 2026-10-18官方 · 非本人原话↩
  19. [19]Beyond Language Modeling — An Exploration of Multimodal Pretraining(在新窗口打开)arXiv · 2026-03-03 · 摘要;第 4–6 节 · 访问于 2026-10-18官方 · 部分原话↩