18 篇 poster 索引

A·2 全部 18 篇 posters 精读

PART A · 2受邀 poster 全览（18 篇，按主题聚类）

我读完了官网列出的全部 18 篇 poster 的公开资料（15 篇有 arXiv，已逐一读摘要；3 篇无公开 arXiv 以标题/作者定位）。下面按主题聚类，每一篇都单独成条：问题 → 方法/机制（必要处给公式）→ 结果与证据强度 → 🧭 评析 → 为什么重要。证据凡来自”自建基准”处均已注明。 分层标准（折叠 ≠ 不重要）为避免本节淹没主线，19 条按三条可写出来的标准分层，内容一条未删：

• 保持展开（9 条）：满足以下任一——① 与 VGI 主题或田永龙押注直接相关（NEPA、E-RayZer、DeltaTok、3D sans 3D Scans）；② 被 A·1 某场 talk 正面呼应（VGGT-Ω↔Vedaldi、Steerable↔Asano、Seeing without Pixels↔Grauman）；③ 被本文其他章节多次交叉引用（Theory of Space、Unique Lives）。

• 折叠进 details（7 条）：较边缘、或证据主要来自自建基准且未与主流基线充分对比、或与主线关联度较低。summary 里保留标题 + Board 号 + 一句话结论，可直接扫读；点开即得完整的问题/方法/证据/评析。

• 合并如实记录（3 条）：无公开正文者集中于本节末表格，不作等量展开——避免让”读不到的东西”占据与有据者相同的篇幅。

① 空间信念 / 世界模型 / 高效 tokenizer（“视觉即可规划推理”）

Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? Board 1-left [@arxiv-2602-07055]
Pingyue Zhang, Zihan Huang… Yejin Choi, Ranjay Krishna, Jiajun Wu, Li Fei-Fei, Manling Li（Stanford / UW 等）

问题：多模态基础模型擅长被动感知，但”空间具身智能”要求主体主动行动去获取信息——在部分可观测下自定向探索、构建并修正”空间信念”。这一能力尚缺系统评测。

方法/机制：提出 Theory of Space 定义（主动获取信息 + 从序列部分观测构建/修正/利用空间信念），并设计”好奇心驱动探索建认知地图”的基准；关键工具是 spatial belief probing——每步提示模型吐露其内部空间表征，从而把”隐式信念”可视化、可评。

结果与证据：评测 SOTA 模型发现多处瓶颈，最突出的是 Active-Passive Gap：从”被动看”切到”必须自主探索”时性能骤降。【有据：摘要】证据来自其自建基准。 🧭 评析

• 探针的效度存疑：用语言提示读取内部空间表征，“不会说≠不会想”，可能系统性低估模型（尤其非语言中心的空间能力）。

• 生态效度：构造式探索任务与真实具身导航的差距未量化，Active-Passive Gap 有多少来自”探索策略差”vs”表征差”未分离——是潜在 confound。

• 为什么可能 work：把”主动性”显式做成基准，确实戳中当前 VLM 的软肋；为什么可能不 work：若模型只是”没被训练去主动查询”，则差距是数据/训练问题而非能力上限。

• 前沿对照：与具身导航/世界模型（如主动 SLAM、embodied QA、Genie 类交互）互补。

• ❓机制级追问：Active-Passive Gap 到底是能力缺失还是接口缺失？模型从未被训练去主动发问/主动移动，也没有可调用的探索动作空间——那么这个 gap 可能主要来自缺工具与缺训练目标，而非表征里没有空间信念。可判别实验：给模型一套显式探索动作 + 少量 RL 微调，若 gap 大幅收窄→属接口缺失；若仍在→才是表征缺失。

为什么重要：直击”视觉智能要不要主动性”，与 Efros 的”deep data 靠主动挖”、VGI”以视觉为中心的 AGI 需具身”同频——是全场少有的”评测/诊断”型工作。

Planning in 8 Tokens Board 9把每次观测压到 8 个离散 token，规划快几个数量级——但这是 speed–fidelity 取舍，依赖环境高度可压缩。 Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model（CompACT）Board 9 ^[1] Dongwon Kim, Gawon Seo, Jinsung Lee, Minsu Cho, Suha Kwak（POSTECH）

问题：世界模型可当”学到的模拟器”做决策时规划，但决策时规划（decision-time planning）实时性差；瓶颈在 tokenizer 把每次观测编码成数百 token，使规划既慢又吃资源。

方法/机制：CompACT 离散 tokenizer 把每次观测压到低至 8 个 token，在其上建动作条件世界模型做规划。直觉上，规划的 rollout 成本随每步 token 数 (L) 与展开步数近似 (\mathcal{O}(L\cdot H\cdot |\mathcal{A}|)) 级增长，(L{:}\ \text{数百}\to 8) 直接把常数项砍掉一到两个量级。

结果与证据：规划速度快几个数量级，同时保持有竞争力的规划性能。【有据：摘要】具体基准/指标以原文为准。 🧭 评析

• 不是免费午餐：极致压缩到 8 token 的前提是环境高度可压缩（如结构化/低维控制任务）；复杂视觉世界里 8 token 几乎必然丢关键状态，本质是 speed–fidelity 取舍。

• 隐含假设：任务的”规划相关信息”低维且可离散化；否则离散码本会成为信息瓶颈（VQ 量化误差）。

• 失败模式：长程/需要细粒度外观的规划；与连续 token 路线（DeltaTok/MAR）形成”离散省算力 vs 连续保信息”的张力。

为什么重要：把”高效 tokenizer”这条田永龙一直在推的线（Latent Denoising Tokenizers）用到规划/世界模型，指向”视觉即可规划”的 VGI 愿景。

A Frame is Worth One Token: Efficient Generative World Modeling with Delta Tokens（DeltaTok / DeltaWorld）Board 6-left [@arxiv-2604-04913]
Tommie Kerssies, Gabriele Berton, Ju He, Qihang Yu, Wufei Ma, Daan de Geus, Gijs Dubbelman, Liang-Chieh Chen（TU Eindhoven / ByteDance 等）

问题：预测多样未来是世界模型核心难点。判别式世界模型给确定性预测（隐式对可能未来求平均→糊）；生成式又贵。近期发现”在 VFM 特征空间而非像素潜空间预测”可大幅减参，但多数仍是判别式。

方法/机制：DeltaTok 把相邻两帧在 VFM 特征空间的差编码成单个连续”delta token”：( \delta_t = E\big(\Phi(x_t)-\Phi(x_{t-1})\big) )（(\Phi)=冻结 VFM 特征，(E)=编码器）；DeltaWorld 在 delta token 序列上做生成式世界模型，高效生成多样合理未来。把视频从三维时空张量降成”一帧一 token”。

结果与证据：以极少 token 高效生成多样未来，兼顾生成式的多样性与特征空间的省参。【有据：摘要】 🧭 评析

• 核心假设：相邻帧在 VFM 特征空间的差低秩、可压成单向量——对缓慢连续运动成立，但快速运动 / 切镜 / 新物体进入时单 token 会严重欠表达。

• 依赖冻结 VFM：delta 的语义完全受 (\Phi) 决定，VFM 看不见的属性（细纹理、精确几何）无法被 delta 捕获。

• “生成式>判别式”的结论仅在其基准内成立，跨域/长程稳定性待核。

为什么重要：连续 token + 生成式世界模型正是田永龙 MAR”连续 token+扩散损失”思想在世界模型上的映射；也与 Geirhos”视频即世界模型”呼应，但走的是”特征空间高效”而非”像素大模型”。

② 发育启发 / 婴儿视觉（“少即是多”的 visual diet）

Learning to See Through a Baby’s Eyes Board 2-left用”婴儿视觉食谱”（灰度→彩色、模糊→清晰、保时间连续）训 SSL 更鲁棒；但生物一致 ≠ 工程最优，且证据在自建基准套件上。 Learning to See Through a Baby’s Eyes: Early Visual Diets Enable Robust Visual Intelligence（CATDiet）Board 2-left ^[2] Yusen Cai, Qing Lin, Bhargava Satya Nunna, Mengmi Zhang（NTU 新加坡）

问题：新生儿视觉起初低分辨、色弱、但时间连续，随发育逐渐变清晰。这种”分阶段视觉食谱（visual diet）“是进化的无奈，还是有生态/工程优势？

方法/机制：在物体中心视频上以模拟婴儿视觉的约束训练 SSL 模型——灰度→彩色 (C)、模糊→清晰 (A)、保持时间连续 (T)，合称 CATDiet（课程式，从”退化”逐步恢复到正常视觉）。建立跨 10 个数据集的评测（干净/损坏识别、纹理-形状冲突、剪影识别、深度序、视崖 visual cliff）。

结果与证据：所有 CATDiet 变体在物体识别上更鲁棒（尽管只训在物体中心视频上），且出现与生物一致的发育模式（含神经层面的对齐）。【有据：摘要】证据来自其自建基准套件。 🧭 评析

• 生物一致 ≠ 工程最优：进化受能量/发育约束，“像婴儿”未必是训练强模型的最优课程；论文证明”有优势”，但未证明”最优”。

• 规模问题：多在小数据/小模型上成立，是否随规模保持、还是被”大数据 + 大模型”抹平，待核（前沿里 curriculum 的收益常随规模递减）。

• confound：鲁棒性提升可能部分来自”模糊/灰度”充当数据增强/正则，而非”发育顺序”本身——需要打乱顺序的消融来分离。

为什么重要：是 VGI”高效学习策略 / 资源受限”主题的发育启发样本——把”数据顺序/质量”而非”数据量”当杠杆，间接呼应田永龙”最小充分信息”。

BabyVLM-V2 Board 8-right婴儿中心语料 + 自建 DevCV 认知评测；样本高效的方向对，但基准新、缺横向可比。 BabyVLM-V2: Toward Developmentally Grounded Pretraining and Benchmarking of Vision Foundation Models Board 8-right ^[3] Shengao Wang, Wenqi Wang… Kate Saenko, Venkatesh Saligrama, Boqing Gong（BU 等，长作者名单）

问题：儿童发育轨迹天然是”样本高效”预训练的目标。能否构建一个发育对齐的婴儿式视觉-语言预训练 + 评测框架？

方法/机制：相较 V1，① 纵向、婴儿中心的音视频语料（覆盖广、少人工策展），产出 video-utterance / image-utterance / 多轮对话数据，模拟婴儿经验；② DevCV Toolbox——把 NIH Baby Toolbox 的视觉相关测量改编成 10 项多模态认知任务（空间推理、记忆、词汇理解），对齐幼儿能力。

结果与证据：在 V1 基础上”广泛改进”，并提供认知评测套件。【有据：摘要】证据/对比以其自建 DevCV 基准为主。 🧭 评析

• 基准新、缺横向可比：DevCV 是新套件，与主流 VLM 基准难直接对照；“改进”多为自我纵向对比。

• 语料代表性待核：婴儿中心语料的规模、隐私与多样性（文化/语言）都影响结论普适性。

• 为什么 work / 不 work：发育对齐可能带来样本效率与可解释评测；但若目标是通用强能力，“婴儿食谱”是否够、还是仍需 web 级数据补足，是开放问题。

• ❓机制级追问：人类婴儿的样本效率主要来自主动交互 + 社会指称（跟随视线、被指着说”这是球”）。那么只复刻感官退化的输入侧（低分辨、灰度、时间连续）而不复刻交互侧，是不是抓错了变量？——更可能的解释是：低分辨/灰度在这里其实充当正则与课程，而真正的发育红利在 Efros 意义上的 deep data。这也预测：把 CATDiet 叠加到有交互的具身数据上，收益应显著大于叠加在被动视频上。

为什么重要：把”发育对齐 + 样本高效”落成可复用的预训练/评测框架，服务 VGI”资源受限、去堆数据”的路线。

③ 从视频 / 单一”生命” / 生成式自监督学表征（与田永龙、Asano 最近）

Unique Lives, Shared World: Learning from Single-Life Videos Board 1-right [@arxiv-2512-04085]
Tengda Han, Sayna Ebrahimi… Joao Carreira, Andrew Zisserman, Dima Damen（Google DeepMind / Oxford）

问题：只用一个人一生采集的第一视角视频（“single-life”）能学到什么？不同人（不同”生命”）各自学到的视觉表征，会收敛到同一个世界结构吗？

方法/机制：single-life 范式——只在某一个个体的 ego 视频上自监督训编码器，利用一生视频里天然出现的多视角。提出一个基于 cross-attention 的度量来量化”不同模型内部表征的功能对齐度”。

结果与证据：三点发现——① 训在不同生命（室内/室外、不同人）上的模型，几何理解高度对齐；② single-life 表征可迁移到未见环境的深度估计等；③（对齐度量为自定义）。【有据：摘要】 🧭 评析

• 对齐度量自定义：cross-attention metric 可能部分测的是任务/架构共性（都学几何、都用 ViT），而非”世界本身的共享结构”——需与随机/打乱基线对照。

• 只到几何层：几何对齐≠语义对齐；不同生命的语义/概念表征是否也对齐未证。

• 前沿对照：这是 Platonic Representation Hypothesis（Huh & Isola 2024）的具身版——“不同模型趋同到同一现实表征”，很漂亮但争议在”趋同”多少是数据/架构先验所致。

为什么重要：“从单一来源榨取可迁移表征”直连 Asano”1 视频≈ImageNet”与田永龙”最经济信号”；也给”世界有可被独立发现的共享结构”提供经验证据。

Seeing without Pixels: Perception from Camera Trajectories（CamFormer）Board 3-right [@arxiv-2511-21681]
Zihui Xue, Kristen Grauman, Dima Damen, Andrew Zisserman, Tengda Han

问题：完全不看像素、只凭相机在空间中划过的轨迹，能推断视频内容吗？

方法/机制：对比学习框架训练 CamFormer——把相机位姿轨迹投影到与自然语言对齐的联合嵌入空间（轨迹↔文本对比对齐）。

结果与证据：相机轨迹是”意外地信息丰富”的信号——“你怎么动”能透露”你在做/看什么”（ego/exo）；CamFormer 嵌入可用于跨模态对齐、分类、时序分析等多种下游。【有据：摘要】自建评测。 🧭 评析

• 天花板明显：本质是”运动风格 ∝ 活动类别”（做饭 vs 走路的轨迹差异大）；同轨迹不同内容不可分，注定是弱线索 / 辅助特征，而非可独立支撑感知的信号。

• 数据依赖：结论建立在特定 ego/exo 数据集上，跨设备/跨场景的轨迹分布迁移性待核。

• 为什么仍有价值：作为”隐私友好 / 极低带宽”的辅助模态，或用于检索/预筛，是合理定位。

为什么重要：把”运动本身即信号”推到极端，直接呼应 Grauman 那场 invited talk 的 “beyond words”——非语言、非像素的信号也承载活动语义。

Next-Embedding Prediction Makes Strong Vision Learners（NEPA）Board 4-left [@arxiv-2512-16922]
Sihan Xu, Ziqiao Ma, Wenhao Chai, Xuweiyi Chen, Weiyang Jin, Joyce Chai, Saining Xie, Stella X. Yu

问题：NLP 的生成式预训练（next-token）极其成功。同样的”预测下一个”原则，能否在视觉上产出强自监督学习者，而不依赖像素重建 / 离散 token / 对比损失？

方法/机制：Next-Embedding Predictive Autoregression (NEPA)——用因果掩码 + stop-gradient，让模型预测未来 patch 的 embedding（而非像素或离散码）。可写成 ( \min_\theta ; \mathbb{E}\big| \mathrm{sg}(z_{t+1}) - g_\theta(z_{\le t}) \big|^2 )（(\mathrm{sg})=stop-grad 的目标 embedding）。是”从学表征转向学模型”的一次纯化实验。

结果与证据：一个在 ImageNet-1k 上仅以 next-embedding 预测为唯一目标的普通 Transformer 就很有效——无需像素重建、离散 token、对比或任务专用头，保持架构极简与可扩展。【有据：摘要】 🧭 评析

• stop-grad 的老问题：预测自身 embedding + stop-grad 有 representation collapse 风险（BYOL/SimSiam 的经典隐忧），大规模稳定性需验证。

• 谱系对照：与 JEPA / I-JEPA（LeCun/Meta）高度同源（都在表征空间做预测）；NEPA 的增量是”因果自回归 + 极简”，其相对优势需与 I-JEPA 直接对比。

• 是否随规模胜出：ImageNet-1k 有效≠web 级最优，“无对比/无像素”能否在大规模仍占优待核。

为什么重要：这是田永龙”learning from models / 从学表征转向学模型”、以及 MAR”连续空间预测”最直接的同路验证——把语言的生成式预训练”正确地”翻译到视觉。

④ 3D / 几何自监督重建（Vedaldi 一脉，5 篇）

Efficiently Reconstructing Dynamic Scenes Board 3-left前馈 transformer 联合出深度/时空对应/相机参数，可”探针”查询任一时空点；动态场景的几何歧义仍在。 Efficiently Reconstructing Dynamic Scenes One D4RT at a Time Board 3-left ^[4] Chuhan Zhang, Guillaume Le Moing… Andrew Zisserman, Mehdi S. M. Sajjadi（Google DeepMind）

问题：从视频重建动态场景的复杂几何与运动，一直很难且计算重（尤其密集逐帧解码）。

方法/机制：D4RT 是一个统一前馈 transformer，从单段视频联合推断深度、时空对应与完整相机参数；核心创新是一个查询（querying）机制——可独立、灵活地”探针”查询时空中任一点的 3D 位置，从而绕开”密集逐帧解码”和”多个任务专用解码器”的沉重开销。

结果与证据：轻量、可扩展，训练与推理高效，并刷新 SOTA。【有据：摘要】具体基准以原文为准。 🧭 评析

• 动态场景的老难点仍在：非朗伯材质、无纹理区、快速运动/遮挡下的几何歧义，前馈网络难以根除。

• “探针查询”是效率亮点，但稀疏查询能否覆盖需要密集几何的下游（如稠密重建）需看用途。

• “SOTA”多在特定基准，动态重建缺统一权威 benchmark 是领域通病。

为什么重要：VGGT/DUSt3R 一脉的”前馈几何 + 高效”，把 3D 从”优化流水线”彻底搬进 transformer——正是 Vedaldi 那场 invited talk 的地基。

From None to All Board 2-right无真值、无预训练先验，靠 2D 光度监督自训 3D 高斯；纯光度自监督在无纹理/非朗伯区仍脆。 From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis（NAS3R）Board 2-right ^[5] Ranran Huang, Weixun Luo, Ye Mao, Krystian Mikolajczyk（Imperial College London）

问题：能否无任何真值标注、也无预训练先验（“from none”）地学出显式 3D 几何 + 相机参数？

方法/机制：前馈框架从未标定、未定位的上下文视图重建 3D 高斯，再用自预测的相机参数渲染目标视图，靠 2D 光度监督自训：( \mathcal{L}{\text{photo}}=\big| I{\text{tgt}}-\mathcal{R}(\mathcal{G},\hat{\pi}) \big| )（(\mathcal{G})=重建高斯，(\hat\pi)=自预测相机，(\mathcal{R})=可微渲染）。用共享 transformer + masked attention 稳定收敛，基于深度的高斯参数化使优化良态；可选并入监督架构/内参。

结果与证据：实验显示优于（可并入的）监督式 3D 重建架构。【有据：摘要】 🧭 评析

• 纯光度自监督的通病：对无纹理、光照变化、非朗伯区域敏感（光度一致性假设失效）；易陷入尺度/位姿歧义的局部解。

• “from none”很漂亮但有边界：完全无先验意味着更依赖良态初始化与课程，跨域泛化待核。

• 与 E-RayZer 张力：一个走”渲染式（隐式几何）“、一个坚持”显式几何避免捷径”——谁更 3D-aware 是有意思的对照。

为什么重要：把”无真值几何自监督”推到极致，是”资源受限下做 3D”的代表，呼应 VGI”减少监督依赖”。

VGGT-Ω: Scaling Feed-forward 3D Reconstruction Board 5-right [@arxiv-2605-15195]
Jianyuan Wang, Minghao Chen… David Novotny, Andrea Vedaldi, Christian Rupprecht（Oxford VGG / Meta）

问题：前馈 3D 重建（VGGT）能否像 LLM 一样随模型/数据规模可预测地变好？

方法/机制：三招提效（scene tokens/registers、单密集 head 多任务、少卷积 DPT）合计省 ~70% 显存，数据 25 万→~400 万标注→+1800 万自标注——细节详见 A·1 Vedaldi，此处不重复。

结果与证据：质量随模型与数据规模可预测 scaling；静/动态场景全面 SOTA。【有据：摘要 + Vedaldi slides】 🧭 评析（详见 A·1 Vedaldi）

• 作者自承：1800 万自标注”主要提升泛化、对基准分数影响不大”——精度主力仍是真值标注（COLMAP/BA），所以”自监督即可 scale”要打折扣。

• 自标注 confound：学生蒸馏带误差的教师，可能继承并固化几何偏差。

为什么重要：几何路线的”scaling 宣言”，也是”专用 3D transformer vs 通才视频模型”之争里 Vedaldi 一方的主炮。

E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training Board 10 [@arxiv-2512-10950]
Qitao Zhao, Hao Tan, Qianqian Wang, Sai Bi, Kai Zhang, Kalyan Sunkavalli, Shubham Tulsiani, Hanwen Jiang（CMU / Adobe）

问题：语言/2D/视频都有成熟自监督预训练，但”从多视图学 3D-aware 表征”的自监督仍未被充分开发。

方法/机制：不同于 RayZer 在潜空间经视图合成间接推 3D，E-RayZer 直接在 3D 空间做显式几何重建（Explicit），从而消除捷径解、得到真正 3D-aware 的表征；配由易到难的课程，无监督地把异构数据源统一起来以保证收敛与可扩展。

结果与证据：显式几何 + 课程学到的表征更 3D-aware，收敛稳、可扩展。【有据：摘要】 🧭 评析

• “预训练”的下游收益范围待核：3D-aware 表征对纯 2D 语义任务是否有益、还是仅利好几何/空间下游，需更多下游证据。

• 课程设计敏感：easy→hard 的划分与数据配比对结果影响大，鲁棒性/可复现性要看细节。

• 与 NAS3R 互为镜像：“显式几何避免捷径” vs “渲染式自监督”——本质都在赌”哪种自监督信号更接近真几何”。

为什么重要：把”3D 重建当成表征预训练任务”，直连田永龙”表征质量优先”——几何重建不只是产出几何，更是学表征的自监督代理任务。

COG Board 7-right把跨视图对应建成置信度感知的最优传输；优雅，但对称/无纹理物体上置信度可能”自洽但错”。 COG: Confidence-aware Optimal Geometric Correspondence for Unsupervised Single-reference Novel Object Pose Estimation Board 7-right ^[6] Yuchen Che, Jingtu Wu, Hao Zheng, Asako Kanezaki（Institute of Science Tokyo）

问题：单张参考视图下估计新物体的 6DoF 位姿，难在遮挡、视角变化、离群点导致的跨视图对应不稳（离散一对一匹配不可微、易塌到稀疏关键点）。

方法/机制：把对应建成置信度感知的最优传输（OT）——预测逐点置信度并作为 OT 边际注入，产生平衡的软对应、抑制非重叠区；再用 VFM 语义先验正则。可写成带熵正则的 Sinkhorn：( \min_{P\in U(a,b)} \langle P,C\rangle - \epsilon,H(P) )，其中边际 (a,b) 由预测置信度给出、(C) 为特征代价、(H) 为熵。

结果与证据：把置信度融进对应+位姿一体化，得到更稳的位姿估计，优于离散一对一匹配。【有据：摘要】 🧭 评析

• 依赖 VFM 语义先验：先验不覆盖的新物体（工业件、透明/对称物体）会退化。

• 经典难点未根除：无纹理、强遮挡、对称歧义仍是 6DoF 的硬骨头，OT 软对应缓解但非消除。

• 为什么 work：置信度作 OT 边际=让”看不见的地方不硬配”，比一对一匹配更符合几何现实。

• ❓机制级追问：置信度本身由谁监督？无监督设定下它只能从重投影/几何一致性自举。于是在对称物体上会出现最难的失败：180° 翻转后几何依然自洽，一致性损失对”错误但自洽”的配对同样给高置信——此时置信度不仅不纠错，反而加固错误。这类”自洽但错”的模式，软对应/OT 在原理上排除不了，需要外部的朝向先验或多视图打破对称。

为什么重要：最优传输做软对应与 Asano 的 MoSiC/Sinkhorn 一脉——OT 正成为”无监督对齐”的通用工具，呼应田永龙对”对齐/对比”范式的偏爱。

⑤ 4D 理解 / 可控·可引导表征

4D-RGPT Board 4-right用感知蒸馏把冻结 4D 专家灌进 MLLM；上限 = 专家上限，那为何不直接把专家挂成工具？ 4D-RGPT: Toward Region-level 4D Understanding via Perceptual Distillation Board 4-right ^[7] Chiao-An Yang, Ryo Hachiuma, Sifei Liu, Subhashree Radhakrishnan… Yu-Chiang Frank Wang, Min-Hung Chen（NVIDIA / Purdue）

问题：多模态大模型（MLLM）对3D 结构 + 时间动态（4D）的推理仍弱，受限于薄弱的 4D 感知；且现有 3D/4D VQA 基准偏静态、缺 region-level 提示。

方法/机制：三件套——(a) 4D-RGPT，专为从视频捕获 4D 表征、强化时间感知的 MLLM；(b) Perceptual 4D Distillation (P4D)，把冻结的 4D 专家模型的表征蒸馏进 4D-RGPT（迁移感知能力）；(c) R4D-Bench，depth-aware 动态场景、带 region-level 提示，混合”自动生成 + 人工验证”构建。

结果与证据：在既有 4D VQA 与自建 R4D-Bench 上均有明显提升。【有据：摘要】证据部分来自自建基准。 🧭 评析

• 冻结专家=天花板：P4D 蒸馏的上限受”4D 专家”质量约束，专家的几何误差会被继承。

• 基准自建 + 自动生成：R4D-Bench 的标注质量、与训练集的潜在泄漏需核；“提升”多为自家基准内。

• 前沿对照：把几何/4D 能力接进 MLLM 是热点（cf. 空间智能、SpatialVLM 一类），本质仍是”感知专家 → 语言模型”的拼接，端到端 4D 推理仍远。

• ❓机制级追问：既然 P4D 蒸馏的是一个冻结的 4D 专家，那么”MLLM 的 4D 能力上限 = 专家上限”。那为什么不直接把专家挂成工具，让 MLLM 在推理链里按需调用它（正是 GPT-5 的 thinking-with-images / tool-use 回路）？蒸馏相对”挂工具”的收益应当是推理延迟与成本（免去外部调用）以及端到端可微；若论文没有量化这两点，蒸馏路线就缺少必要性论证。这本质是”把能力压进权重 vs 把能力留在工具”的路线选择——本文 GPT-5 专题押的是后者，值得正面对照。

为什么重要：代表”把几何/4D 感知灌进多模态推理”的方向——正是田永龙 OpenAI 时代”视觉推理”的近邻课题。

Steerable Visual Representations Board 5-left [@arxiv-2604-02327]
Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano（UTN / CMU / IIIT-H）

问题：ViT（DINOv2/MAE）特征通用但只聚焦最显著线索、无法被”导向”到不那么显眼的目标；MLLM 可用文本引导，但表征语言中心、丢了通用视觉性能。能否兼得？

方法/机制：逆 MLLM / 早融合——不像 CLIP 那样”编码后再晚融合”，而是把文本直接注入 ViT 各层（gated cross-attention），仅 21M 可训练参数，proxy 任务为 referential grounding，把”语言理解”灌进 ViT，使全局/局部特征可被自然语言引导（steerable）。

结果与证据：在杂乱场景的对象条件检索 CORE 上 r@1 96.0 vs DINOv2 43.7，且不掉通用下游性能，成为新 Pareto 前沿；应用于个性化识别、工业异常分割等 OOD 任务。【有据：摘要 + Asano slides】注意 CORE 为自家提出的度量。 🧭 评析

• CORE 自建：96.0 vs 43.7 很亮，但主指标是自家设计的检索度量；“可 steer 且不掉通用性”的 Pareto 结论需第三方基准复现。

• 与”去语言中心”的微妙张力：这恰恰是”把语言请回视觉表征内部”——说明纯粹去语言未必最优，语言作”可控旋钮”仍有价值。

• proxy 任务偏置：referential grounding 训练可能让 steer 能力偏向”可被指称的显著物体”，抽象/关系类引导待核。

为什么重要：给”视觉表征”装上语言可控接口——是 Asano 那场 invited talk “从语言泛化”的落点，也是”语言 vs 去语言”这条 VGI 主轴上最具建设性的折中。

⑥ 组织方自研 & 无公开 arXiv 者（有限展开，如实说明）

3D sans 3D Scans: Scalable Pre-training from Video-Generated Point Clouds（VGPC）闭幕补列 · CVPR 2026
Ryousuke Yamada, Kohsuke Ide, Yoshihiro Fukuhara, Hirokatsu Kataoka, Gilles Puy, Andrei Bursuc, Yuki M. Asano（组织方 × Asano/Valeo）

问题：真实 3D 数据稀缺（SOTA 3D 表征 Sonata 仅 ~1.5 万真实场景），如何不靠真实 3D 扫描做可扩展 3D 预训练？

方法/机制：从 web 级 ego 视频经几何估计生成点云（VGPC）→ 配 noise-aware SSL 预训练（对生成点云的噪声鲁棒）。

结果与证据：0 真实扫描即达 SOTA。【有据：Asano slides】详见 A·1 Asano 精读与评析。 🧭 评析

• 点云由单目/视频几何估计而来，继承深度/尺度歧义与动态误差；几何精度上限受估计器约束。

• “0 真实扫描达 SOTA”更多说明下游基准对几何噪声不敏感，而非合成几何已达真值级——是”够用”而非”精确”。

为什么重要：把田永龙式”用生成造训练数据”从 2D 复制到 3D，是 VGI”合成数据造血 + 资源受限”最直接的组织方作品。

⚠️ 三篇资料不足者：合并如实记录（不作等量展开）

以下三篇无公开正文/链接，为避免占用与有据者等量的篇幅、造成”信息量对等”的错觉，合并于此。 Board标题 / 作者我能确认的与不能确认的 6-rightVisual General Intelligence: Vision Research Toward the AGI Era Hirokatsu Kataoka et al.推断即 workshop 同名纲领/立场文，很可能是”VGI 白皮书”雏形（其主张应与 开场 slides 的三条假设一致）。正文未获取——官网无链接，待核。为何仍值得记一笔：它是把整场会”沉淀为研究议程”的载体，署名与路线选择是风向标。 8-leftTowards Structured Recognition and Generation of Human-Object Interactions Takuma Yagi, Kohei Torimi, Jyun-Ting Song, Kris Kitani推断方向为 HOI 的结构化识别 + 生成，与 Grauman/Ego-Exo 一脉（Kitani 亦是 Ego-Exo4D 联合 PI）。无法读到正文，仅据标题/作者定位，待核。 7-left标题即 “TBD” Kohsuke Ide et al.无标题、无摘要、无链接——确实无法获取的资源。此处如实记录，不作任何推测。

poster 全景的读法18 篇里，3D/几何自监督重建（5 篇）+ 视频/自监督表征（3 篇）占了近半壁，几乎没有一篇是”更大 VLM/更强 CoT 语言推理”。清一色在赌：几何 + 自监督 + 从视频/合成/单一来源榨取表征 + 高效 tokenizer/世界模型。这与”去语言中心、视觉自立门户”的会议主题完全一致，也正是田永龙研究纲领的自然延伸。