VGI 背景、身份消歧与材料边界

id=“news-tencent”> 🔴 重大更新 · 2026-07-08他已不在 OpenAI——已加入腾讯。澎湃、界面、36氪同日三源报道：“OpenAI 前研究员 Yonglong Tian（田永龙）已于近期加入腾讯大语言模型部，后续将参与 VLM 相关研发。“【有据·二手，三源互证：^[1] · ^[2] · ^[3]】接他的是姚顺雨（腾讯首席 AI 科学家、其前 OpenAI 同事——本仓库另有姚顺雨认知材料）。

⚠️ 由此产生的两条阅读注意：① 他的 MIT 主页（仍写 Google DeepMind）与 Google Scholar（仍写 OpenAI）均已过期，本文凡引用主页/Scholar 头衔处均已加注”信息滞后”；② 本文 PART A 里”田永龙（OpenAI）“是 VGI 会议当时（2026-06-03）的事实，予以保留但已加注。这条变更同时是全篇最好的收尾反讽——见 §B⑦ 腾讯时代。

田永龙与 VGI Workshop @ CVPR 2026：一次”视觉通用智能”的集体押注

以 VGI Workshop 全程 slides / papers 为一手材料，串起田永龙（Yonglong Tian）“用最经济的信号学最好的表征”的十年主线 · 含公式推导 · 原创 SVG 图示 · 交互演示 · 整理：2026-07-07

PART A：VGI Workshop 逐场精读（9 talks + 18 posters）
PART B：田永龙研究轨迹与代表作
核心洞见 / 技术押注 / 关系解读 / 参考链接
标记：推断 = 我的推断，非一手证据

⚠️ 身份消歧：田永龙 ≠ 田渊栋

重要澄清⚠️ 别认错人：田永龙 Yonglong Tian ≠ 田渊栋 Yuandong Tian

中文圈这两位极易混淆（都姓田、都做 AI、英文名都含 “Tian”）。本文主角是田永龙。下面这张表和”误挂清单”请务必先看，避免把田渊栋的观点当成田永龙的。

一句话记忆田永龙 = "用最经济的信号学最好的视觉表征"（视觉表征 / 生成 / 合成数据 / OpenAI 多模态）；田渊栋 = "神经网络为何顿悟（grokking） + 递归自我改进创业"（机理 / 推理 / RL / RSI）。


田永龙 Yonglong Tian（本文主角）田渊栋 Yuandong Tian（另一个人）

  腾讯大语言模型部（2026-07 起）；此前 OpenAI / Google DeepMind / Google Research前 Meta FAIR 研究总监；2025 联合创办 Recursive Superintelligence（RSI）
  MIT PhD（导师 Phillip Isola）；CUHK 硕士（汤晓鸥/王晓刚）；清华本科CMU PhD（机器人所）；上海交大本硕
  X @YonglongT · GitHub @HobbitLong · Scholar user=OsP7JHAAAAAJX @tydsh；代表作偏 RL/理论/推理
  CMC / CRD / SupCon / InfoMin / StableRep / SynCLR / MAR(2作) / GPT-5 视觉推理ELF OpenGo / GaLore / MobileLLM / Coconut / StreamingLLM / grokking 能量景观

❌ 中文圈高传播、但常被误挂到”田永龙”名下、实为田渊栋的内容（一律非本文主角）

❌《硅谷101》E145
❌ 36氪《AI 顿悟 / Grokking 的真相》
❌ 用算力换数据
❌ 形式化验证(Lean/编译器)过滤合成数据防模式坍塌
❌ RL 是"搜索放大器"/ 预训练上限决定 RL 上限
❌ 护城河：数据>Infra>算法>人才
❌ context 是 RAM 不是 ROM / StreamingLLM 记忆
❌ Coconut 隐空间推理
❌ ELF OpenGo（指围棋平台，非 PART G 的 Embedded Language Flows）
❌ GaLore / MobileLLM / Position Interpolation
❌ 创办 RSI

其他同名/近名混淆

C-JEPA（NeurIPS 2024）作者是 Shentong Mo + Shengbang Tong，不是田永龙；
JEPA / I-JEPA / H-JEPA 属 Yann LeCun / Meta FAIR，与田永龙无关；
论文署名写 “Y. Tian” 时有歧义，须核对全名 + 机构再归属（本文所列均已按此核过，个别序位以 arXiv 原文为准）。

A·0 VGI 是什么 / 主办方 / 田永龙角色

PART A · 0VGI Workshop：定位、主办方与田永龙的真实角色

先把”这是什么会、谁办的、田永龙在其中扮演什么角色”这三件事钉死——因为它直接决定了如何解读这场会释放的信号。

基本信息（可核验）：VGI Workshop = Visual General Intelligence: Vision Research Toward the AGI Era，CVPR 2026 官方 workshop。时间 2026-06-03，08:30–16:50；地点 Colorado Convention Center, Room 703（Denver）。官网 ^[4]。截至整理时，官网 Latest News 已标注 “Workshop successfully concluded”（会议已顺利结束）。

一个必须更正的通名：坊间常把 VGI 读作 “Visual Generative Intelligence（视觉生成智能）“。官网标题、meta、logo 一致写的是 Visual General Intelligence（视觉通用智能）。这个差别很关键：workshop 的主线不是”生成”，而是”视觉能否像语言一样，成为通往 AGI 的通用底座”——生成只是其中一条被押注的路径。

主办方：LIMIT.Lab —— “有限资源，无限影响”

基础域名 limitlab.xyz 指向 LIMIT.Lab / LIMIT.Community。其官网原文自述（可核验，^[5]）： “Limited Resources, Unlimited Impact with Multimodal AI Models … 有观点认为 scaling laws 已不再是可靠路线图；我们的社区（LIMIT.Community）与国际实验室（LIMIT.Lab）因此致力于——即使在算力与数据都受限时，也能构建 {视觉、视觉-语言、多模态} AI 基础模型。我们的底气来自成员此前的两类成果：(i) 可横向应用于图像/视频/3D/音频任意模态的生成式预训练方法；(ii) 从极度稀缺的数据（乃至单张图像）训练出高质量模型。截至 2025，LIMIT.Lab 主要由来自日本、英国、德国的国际团队组成。” 本质LIMIT 这个名字直接对应”LIMITed resources（受限资源）“这一母题；把它展开为 “representation Learning in extreme / limited resource” 是合理但非官网明写的记法推断。无论字面怎么拼，其纲领——“算力/数据受限下、靠高效表征 + 跨模态生成式预训练 + 合成数据造血”——与田永龙十年主线几乎是同一句话。这解释了为什么他会深度参与。

田永龙的真实角色：12 位组织者之一（OpenAI），非 keynote/invited

据官网 Organizers 名单与 Closing Remarks（^[6]）：

12 位组织者：Hirokatsu Kataoka（AIST / Oxford VGG，实际牵头人）、Yoshihiro Fukuhara（AIST / CADDi）、Yonglong Tian（OpenAI·会议时任，今已转腾讯）、Shangzhe Wu（Cambridge）、Oishi Deb / Christian Rupprecht / Jianyuan Wang / Xianzheng Ma / Koichi Namekata / Yiming Chen（均 Oxford VGG）、Ryousuke Yamada（AIST）、Kohsuke Ide（Tsukuba）。
他不是受邀讲者/keynote：受邀讲者名单是 Geirhos / Raghunathan / Deitke / Grauman / Asano / Vedaldi / Efros / Kendall 八位，田永龙不在其中。公开日程表也只列了 Kataoka 的开场 + 8 场 invited talk，没有田永龙的独立时段，也未放出他的 slides——因此我无法据一手材料复述”他在会上讲了什么”（这是明确无法访问的资源之一）。
闭幕致谢的合影里 Yonglong Tian（署名 OpenAI，会议时任）被一并致谢并置于显要位置，推断是作为 OpenAI 组织者代表被致谢，而非以 invited/keynote speaker 身份——这一点以官网组织者名单为准（他在 Organizers 列表中，不在 Speakers 列表中）。

读法因此本文的定位是：把 VGI 当作田永龙（及一批同路人）押注的”外化”——会议主题、受邀阵容、论文选择，共同勾勒出他所在生态”赌视觉往哪走”。而不是把整场会等同于他个人的观点输出。

开场（Kataoka）：VGI 的中心命题与三条假设

开场 slides（^[7]）把整场会的问题意识讲得非常直白，可浓缩为一条主线加三条假设：中心命题”If intelligence can emerge from language（GPT-3：175B 参数 / 300B tokens，next-token 预训练涌现 in-context learning 与推理），can intelligence also emerge from vision?” —— 能否有一个”视觉版 GPT-3”，在视觉经验上自监督预训练后，涌现出解决通用视觉任务的能力？他给这个目标起名 VI（Visual Intelligence）→ VGI（Visual General Intelligence）。

Kataoka 用”地球史尺度”论证 vision came first：原始视觉功能约 7 亿年、眼睛约 5.4 亿年、而高级语言仅约 10 万年、文字约 5 千年——“智能是与知觉一同演化的，远早于符号语言”。由此提出三条尚未定论的假设：

视觉智能可能先于语言涌现；
它可能从生成式 / 自回归 / 重建任务中涌现；

它需要高效地学习几何、动力学与层级结构——因此合成数据 / 高效数据采集是关键（这一条几乎是 LIMIT.Lab 与田永龙的共同署名）。这句话太滑，下面把它钉死： ▸ 落到实处：这里的”几何/动力学/层级 + 合成数据”到底指什么？

    维度具体指什么合成什么 / 怎么合成解决什么瓶颈上界 / 失败模式
    
      几何相机位姿 \(\pi\)、深度 \(d\)、点图/法向、多视角一致性、3D 占据图形渲染（Blender/Kubric）出带真值深度+位姿的图；或从视频经 SfM/VGGT 估计点云（VGPC）；程序化生成场景（PCG）真实深度/位姿标注极贵（需 LiDAR/动捕/COLMAP）渲染域 gap；估计式点云继承深度/尺度歧义（见 Asano 3D sans 3D Scans 评析）
      动力学接触/碰撞、刚体/柔体、摩擦、重力、因果转移 \(p(s_{t+1}|s_t,a_t)\)物理引擎轨迹（MuJoCo / Isaac / Genesis）；或世界模型生成动作条件 rollout（GAIA/DeltaWorld）罕见/危险事件不可实采（撞车、跌倒）；真实交互数据稀缺sim2real gap（接触/摩擦最难仿真）；世界模型只能重组训练分布（插值上界）
      层级部件→物体→场景、关键步→活动、token→patch→图的多尺度结构程序/CAD 合成带部件标注的资产（Objaverse、shape2prog 式"程序即结构"）；合成含结构标签的场景图结构化标注（部件分割/关节/HOI）需人工，贵且不一致程序化资产的多样性/真实度受生成器与规则库约束

为什么”合成/高效采集”是关键：这三类量的真值在真实世界要么贵（深度/位姿/部件标注）、要么危险不可采（长尾动力学），而合成天然自带完美真值（渲染/仿真”知道”每个像素的深度、每次碰撞的力）。但有硬上界：合成能无限造真值标注，却不能造真实世界的新信息——渲染/仿真的真实度、世界模型的支撑集，都锁死了它的天花板（详见 ❓深问：数据引擎 vs 插值上界）。推断：本表是把 Kataoka 这句口号按”几何/动力学/层级”三分后落地，非其原文分类。

官方主题范围与完整日程

官网 “Topics of Interest” 明确了 workshop 的关切（可核验），其中反复强调”减少对以语言为中心的监督与推理的依赖”，与当下 VLM/MLLM 的重度依赖形成对照：

什么是以视觉为中心的 AGI？如何实现？
AGI 时代的视觉研究
与 AGI 相关的学习策略
AGI 的视觉架构
视觉与其他模态的融合
数据/监督范式/基准/元分析
AGI 的伦理、权利与劳动
大胆、非常规、新颖的 AGI 视角


时间环节 / 讲者Slides

  08:30–08:40开场 · Hirokatsu Kataoka（AIST/Oxford）— Visual General Intelligence: Vision Research Toward the AGI Era[@vgi-opening]
  08:40–09:20Invited 1 · Robert Geirhos（Google DeepMind）— Are generative video models the path towards solving visual intelligence?[@vgi-cvpr2026-vgi-workshop-invited-talk--cvpr2026vgiworkshopi-90c40f92]
  09:20–10:00Invited 2 · Aditi Raghunathan（CMU）— How to get creativity in AI[@vgi-cvpr2026-vgi-workshop-invited-talk-]
  10:00–10:40Invited 3 · Matt Deitke（Meta Superintelligence Lab）— （无公开题目）无 · 已重构
  11:00–11:40Invited 4 · Kristen Grauman（UT Austin / Meta）— Beyond Words: Capturing the Physical Nature of Human Activity in Video无 · 已重构
  11:40–12:20Invited 5 · Yuki M. Asano（UT Nuremberg）— Learning from moving, Generalising from speaking（官网题；其 slides 封面作 "…Generalising from language"）[@vgi-cvpr2026-vgi-workshop-invited-talk--cvpr2026vgiworkshopi-b0dc484d]
  13:30–14:10Invited 6 · Andrea Vedaldi（Oxford / Meta）— Building a 3D Foundation for Spatial AI[@vgi-cvpr2026-vgi-workshop-invited-talk--cvpr2026vgiworkshopi-6a6c54f5]
  14:10–14:50Invited 7 · Alexei A. Efros（UC Berkeley）— Surface Data vs. Deep Data: learning intelligence from the bottom up[@yt-vk6lgHjjGp8]

（非本会录像·Simons 6-11） 15:10–15:50Invited 8 · Alex Kendall（Wayve）— Frontier challenges to bring general purpose driving AI to 10M cars[@vgi-cvpr2026-vgi-workshop-invited-talk—cvpr2026vgiworkshopi] 15:50–16:00闭幕 · Yoshihiro Fukuhara（AIST/CADDi）^[6] 16:00–16:50圆桌讨论（Discussion）+ invite-only poster session（午间）—

下面 A·1 逐场精读全部 10 段（8 场 invited + 开场 + 闭场），✅ 表示我已下载 PDF 并读完，“无·已重构”表示该 talk 无公开 slides、我用全网检索 + 讲者代表作重构了其技术内容。A·2 精读全部 18 篇 posters。唯一未覆盖的环节：16:00–16:50 圆桌 Discussion——官网与 CDN 均无议程记录、无 slides、无录像，属确实无法获取的资源（与 Board 7-left “TBD” 同类），此处如实标注，不作推测。