人物小传与时间线
专题章节
人物小传
谢赛宁毕业于上海交通大学与 UC San Diego;其个人主页列出 2018 年完成于 UC San Diego 的博士论文。他曾在 Meta FAIR 与 Google DeepMind 从事研究,后任 NYU Courant 助理教授;2026 年加入 AMI,任联合创始人兼 Chief Science Officer [1] [2] [3]。
个人主页列出的荣誉包括 ICCV Marr Prize Honorable Mention、NSF CAREER Award、AISTATS Test-of-Time Award 与 PAMI Young Researcher Award;主页还注明其论文截至 2025 年 12 月被引用超过 9 万次。引用量受数据库覆盖范围影响,不宜与其他平台数字直接比较 [2]。
时间线
2013–2015:结构先验与视觉边缘
博士早期工作从“怎样把结构先验放进深网”展开。HED 以整体嵌套、多尺度的深监督方式处理边缘检测,并获 ICCV 2015 Marr Prize Honorable Mention。原型把这一阶段视为后续“结构服务表征”的起点;这是回溯性解释,不是论文自称的长期路线图 [2]。
2016–2017:ResNeXt 与 cardinality
作为第一作者,他提出 ResNeXt。核心不是简单增加深度或宽度,而是把同构变换分支的数量定义为 cardinality,并在近似保持复杂度的比较中研究这一新维度。分支求和可以用 grouped convolution 简洁实现,但论文并未声称 grouped convolution 由 ResNeXt 首创 [5]。
2019–2022:自监督表征与现代化 ConvNet
MoCo 用动量编码器与队列构造对比学习字典,是自监督视觉表征的重要节点;谢赛宁是合著者,不应写成个人独立发明 [6]。ConvNeXt 则通过逐步现代化 ResNet 设计,展示纯卷积网络仍可与视觉 Transformer 竞争;Zhuang Liu 是第一作者,谢赛宁为资深作者 [7]。
这段时期的重要变化是:表征学习不再只是识别模型的中间产物,而成为可迁移的基础设施。原型还列出 MAE、MoCo v3、PointContrast 等工作,技术谱系章会把这些节点放回各自合作者与问题设定中。
2022–2023:DiT 把 Transformer 带入潜扩散
DiT(arXiv 首发于 2022 年 12 月,后为 ICCV 2023 Oral)把潜空间 patch 交给 Transformer 处理,比较了模型大小与 patch 大小改变所带来的前向 Gflops,并观察到更高计算量与更低 FID 的强相关关系。William Peebles 是第一作者,谢赛宁为共同作者;没有 equal-contribution 标记,因此不写“共同一作” [8]。
OpenAI 的 Sora 技术说明把系统称为 diffusion transformer 并引用 DiT,这能确认架构谱系影响;具体实现未公开,不能推出 Sora 直接复用了公开 DiT backbone,更不能把谢赛宁称为 Sora 作者 [9]。
2023:加入 NYU Courant
谢赛宁在 NYU 建立研究团队,并继续与 Yann LeCun、Rob Fergus、学生及跨机构合作者推进 vision-centric 多模态研究。个人主页把这一阶段的方向同时覆盖识别、生成和多模态表征 [2]。
2024:视觉中心研究集中展开
这一年形成了几条互相呼应、但问题设定不同的路线:
- Eyes Wide Shut? 构造 CLIP-blind pairs 与 MMVP,暴露多模态大模型在基础视觉模式上的系统性失败 [10]。
- SiT 用随机插值与速度场训练统一讨论 diffusion 与 flow,在相同 Transformer 骨干上研究传输路径和采样器 [11]。
- Cambrian-1 比较视觉编码器,提出 CV-Bench 与 Spatial Vision Aggregator,并公开模型、数据和训练配方 [12]。
- REPA 将扩散模型的中间表征与冻结视觉编码器的干净图像表征对齐,把“生成训练中的表征瓶颈”变成显式正则项 [13]。
- MetaMorph 探索在统一自回归框架中同时处理文字与视觉表征,研究理解与生成之间不对称的互益 [14]。
2025:RAE 与 Cambrian-S
RAE 用冻结的预训练表征编码器与训练得到的解码器替换传统 VAE 潜空间,再在该潜空间上训练 flow-matching 生成模型。论文主张它应成为训练 DiT 的新默认选择;这是一项论文建议和强候选路线,不是已经形成的行业共识 [15]。
Cambrian-S 把空间能力拆成感知、记忆、认知与预测等阶段,以 Latent Frame Prediction 预测下一帧潜特征,并用预测与实际特征的余弦距离定义 surprise。其结论是仅增加数据和上下文不足以获得持续空间感知;这一结论仍受论文设定与后续独立复现约束 [16]。
2025–2026:AMI 的法人、品牌与融资不是同一天
法国法人于 2025-12-03 创建,2025-12-15 登记;Nabla 在 2025-12-18 的合作公告中已经公开使用 Advanced Machine Intelligence 名称;Pappers 记录其总部地址于 2026-02-12 迁至 10 rue de Penthièvre。2026 年 3 月的事件是融资与正式 launch。公开记录不支持“PengyouCo 是原公司名”或“2 月完成更名” [17] [18] [3]。
AMI 宣布完成 10.3 亿美元融资轮,谢赛宁任联合创始人兼 CSO,Yann LeCun 担任主席。投资方公告把使命概括为:构建理解世界、拥有持久记忆、能够推理规划并且可控安全的系统。该使命是公司自述,不等于这些能力已经实现 [3]。
2026:从多模态预训练走向世界模型问题
统一多模态预训练工作考察编码器、数据混合、MoE 与动作表示,并在特定导航世界模型设置中把动作编码为文本 token。它支持“视觉能够随数据和算力扩展”的方向,却没有证明结果已迁移到灵巧操作、长时规划或一般物理控制 [19]。
参考来源
- [1]独家对话谢赛宁:逃出硅谷!(在新窗口打开)一手采访 · 本人原话↩
- [2]Saining Xie — About Me and Selected Publications(在新窗口打开)官方 · 本人原话↩
- [3]Advanced Machine Intelligence is enabling the next AI revolution(在新窗口打开)官方 · 非本人原话↩
- [4]商业访谈录 133 期官方视频(在新窗口打开)一手采访 · 部分原话↩
- [5]Aggregated Residual Transformations for Deep Neural Networks(在新窗口打开)官方 · 部分原话↩
- [6]Momentum Contrast for Unsupervised Visual Representation Learning(在新窗口打开)官方 · 部分原话↩
- [7]A ConvNet for the 2020s(在新窗口打开)官方 · 部分原话↩
- [8]Scalable Diffusion Models with Transformers(在新窗口打开)官方 · 部分原话↩
- [9]Video generation models as world simulators(在新窗口打开)官方 · 非本人原话↩
- [10]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩
- [11]SiT — Exploring Flow and Diffusion-based Generative Models with Scalable Interpolant Transformers(在新窗口打开)官方 · 部分原话↩
- [12]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)官方 · 部分原话↩
- [13]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)官方 · 部分原话↩
- [14]MetaMorph — Multimodal Understanding and Generation via Instruction Tuning(在新窗口打开)官方 · 部分原话↩
- [15]Diffusion Transformers with Representation Autoencoders(在新窗口打开)官方 · 部分原话↩
- [16]Cambrian-S — Towards Spatial Supersensing in Video(在新窗口打开)官方 · 部分原话↩
- [17]Advanced Machine Intelligence — SIREN 994675254(在新窗口打开)二手整理 · 非本人原话↩
- [18]Nabla announces exclusive partnership with Advanced Machine Intelligence(在新窗口打开)官方 · 非本人原话↩
- [19]Beyond Language Modeling — An Exploration of Multimodal Pretraining(在新窗口打开)官方 · 部分原话↩