谢赛宁
从 ResNeXt、DiT、REPA/RAE 到 AMI,梳理谢赛宁以视觉表征连接识别、生成与世界模型的研究路线。
核心认知
- 01
视觉是一等公民
MMVP 与 Cambrian-1 从失败模式和系统设计两侧表明,多模态模型不能把视觉表征当成语言主干的低带宽附件。
Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs官方Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs官方
- 02
警惕语言成为视觉捷径
他承认语言有用,却担心过早依赖语言会绕过困难的视觉学习;节目方文字版把它概括为“语言是鸦片”。
独家对话谢赛宁:逃出硅谷!一手采访
- 03
表征贯穿识别与生成
从 ResNeXt、MoCo 到 REPA、RAE,研究对象变化很大,但可扩展、可迁移的视觉表征始终是连续线索。
Aggregated Residual Transformations for Deep Neural Networks官方Momentum Contrast for Unsupervised Visual Representation Learning官方Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think官方Diffusion Transformers with Representation Autoencoders官方
- 04
DiT 让扩散模型使用 Transformer
DiT 用标准 Transformer 处理潜空间 patch,并展示前向计算量与生成质量之间稳定而强的相关关系。
- 05
世界模型预测动作后的状态
他的简明定义是:语言模型预测下一个 token,世界模型在动作条件下预测下一状态;动作是条件而非预测目标。
独家对话谢赛宁:逃出硅谷!一手采访
- 06
反向 OpenAI 从数据闭环出发
世界模型所需的感知与行动数据不能只从公开互联网下载,因此路线必须与掌握真实场景的产业伙伴共建。
独家对话谢赛宁:逃出硅谷!一手采访Nabla announces exclusive partnership with Advanced Machine Intelligence官方
- 07
REPA 到 RAE 把表征变成基座
REPA 先对齐外部视觉表征,RAE 再让预训练编码器直接定义生成潜空间;论文证据支持表征优先假说。
Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think官方Diffusion Transformers with Representation Autoencoders官方
- 08
世界模型仍处在打地基阶段
可识别性理论给出希望,独立脆弱性研究则显示预测误差与规划成功并不等价,路线尚未兑现为成熟系统。
When Does LeJEPA Learn a World Model?官方Stable World Models官方
- 09
技术贡献与路线赌注要分开
ResNeXt、DiT、REPA/RAE 是已兑现贡献;AMI 的世界模型、联盟与商业路径仍需公开模型、硬任务和独立复现检验。
Saining Xie — About Me and Selected Publications官方Advanced Machine Intelligence is enabling the next AI revolution官方
- 10
编者评价必须可被证伪
本专题保留风险矩阵、Bull/Base/Bear 情景与年份预测,但明确标为编者主观判断,并为每项设置观察指标。
章节导航
- 人物小传与时间线从求学、代表论文到 AMI,梳理谢赛宁由识别走向生成、表征与世界模型的研究弧线。
- 关键演讲与访谈精读逐主题梳理 133 期长访谈、研究方法论与公开演讲,并严格区分文字版、视频转述和待核查引语。
- 世界观:视觉 grounding 与语言捷径展开 vision-centric、语言捷径、Scaling Law、AGI 与评测观,并逐项给出证据边界和反例。
- 世界模型愿景与路线从任务函数、五项能力、数据闭环与三类输出契约,展开 AMI 的世界模型纲领及其组织现实。
- 技术谱系:从边缘检测到世界模型按时间恢复识别、自监督、生成、多模态与空间智能节点,并标出贡献、角色、理念和反例。
- 核心公式恢复 DDPM、DiT、SiT、REPA、RAE、世界模型、Cambrian-S 与 MetaMorph 的公式、直觉、假设和局限。
- 行业对照与前沿印证对照 DiT 外溢、世界模型玩家、脆弱性证据、理解生成统一与 RAE 扩展,区分验证、反证和开放问题。
- 金句与引语索引按视觉、语言、世界模型和研究方法分区,呈现已核原话、论文转述与待核查流传说法。
- 编者独立评价逐项裁定技术与路线主张,恢复风险矩阵、Bull/Base/Bear 情景和带年份的可证伪观察表。
- 方法论与勘误说明资料收集范围、原型到 Markdown 的结构转换、来源分层、删改依据与勘误机制。
信源分级概览
导读
谢赛宁的工作横跨识别、自监督表征、扩散生成、多模态系统与世界模型。把这些工作连起来的,不是某一种固定架构,而是一个持续追问:机器应如何获得能服务识别、生成、预测和行动的视觉表征?个人主页把这条路线概括为从纯语言系统走向直接学习连续现实感知输入的世界模型 [1]。
本专题按三层证据组织:署名论文用于技术事实,节目方文字版用于可定位的公开表述,权威媒体与公司公告用于 AMI 的组织事实。原型中的 24 张内嵌 SVG 已改写为表格、公式或文字;风险矩阵、情景推演和主观概率则保留在“编者独立评价”,不再当作事实。
信源分级概览
- 一手采访:节目方官方文字版与官方视频;文字版可定位短引,但不等于逐字音频。
- 官方:谢赛宁个人主页、arXiv 论文、OpenAI 技术说明、AMI 投资方或合作方公告。
- 权威媒体:仅在页面可访问时用于交叉核对;本次 Reuters 页面返回 401,正文不采用其独有细节。
- 二手整理:机器之心、知乎镜像与字幕回译只作检索线索,不承担核心事实。
参考来源
- [1]Saining Xie — About Me and Selected Publications(在新窗口打开)官方↩
- [2]独家对话谢赛宁:逃出硅谷!(在新窗口打开)一手采访↩
- [3]商业访谈录 133 期官方视频(在新窗口打开)一手采访↩
- [4]Aggregated Residual Transformations for Deep Neural Networks(在新窗口打开)官方
- [5]Momentum Contrast for Unsupervised Visual Representation Learning(在新窗口打开)官方
- [6]Scalable Diffusion Models with Transformers(在新窗口打开)官方
- [7]Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs(在新窗口打开)官方
- [8]Cambrian-1 — A Fully Open, Vision-Centric Exploration of Multimodal LLMs(在新窗口打开)官方
- [9]Representation Alignment for Generation — Training Diffusion Transformers Is Easier Than You Think(在新窗口打开)官方
- [10]Diffusion Transformers with Representation Autoencoders(在新窗口打开)官方
- [11]Advanced Machine Intelligence is enabling the next AI revolution(在新窗口打开)官方
- [12]Nabla announces exclusive partnership with Advanced Machine Intelligence(在新窗口打开)官方
- [13]When Does LeJEPA Learn a World Model?(在新窗口打开)官方
- [14]Stable World Models(在新窗口打开)官方