世界观：视觉 grounding 与语言捷径

视觉底座不是可忽略的接口

Eyes Wide Shut? 从 CLIP-blind pairs 出发构造 MMVP，展示多模态模型会在基础视觉模式上出现系统性失败；论文还发现，引入 vision-only 自监督表征可以改善视觉 grounding，但与 instruction following 之间存在权衡 ^[1]。

Cambrian-1 将这一诊断扩展为系统研究：比较多种视觉编码器，提出 CV-Bench 和 Spatial Vision Aggregator，并公开模型、数据和训练评测配方 ^[2]。

这两篇工作共同支持的最低限度结论是：把视觉压成少量 token 接入语言主干，并不能自动获得可靠的视觉理解。它们不支持“语言模型完全无用”，也没有证明纯视觉系统足以处理所有语义任务。

先立平衡：他不是简单反对 LLM

访谈文字版承认语言有用，批评的正是它“太好用”而容易成为 shortcut。统一多模态预训练和 MetaMorph 也显示，文本与视觉在特定设置中可以协同，理解与生成可以互相促进 ^{[3] [4] [5]}。

因此，“vision-centric”更准确的含义是重新分配建模能力：让视觉拥有足够带宽、目标函数和独立表征，而不是先把视觉翻译成语言再处理一切。

语言是“鸦片”：修辞与可检验主张

节目方文字版中，谢赛宁并非声称语言没有用途。他的论点是：语言是非常有效的 shortcut，过早依赖语言可能让模型绕过困难的视觉表征学习 ^[3]。这一担忧与 Cambrian-1 对“过早、过度依赖语言”的书面论述相互印证 ^[2]。

语言其实是一个“毒药”，或者说是一剂“鸦片”，你加多了语言总是会觉得更幸福的，它有用，但它是一个 shortcut（捷径）。

我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

“毒药／鸦片”是修辞；可检验部分是：语言监督是否导致模型忽视视觉差异、是否在分布变化或需要精确 grounding 时产生 shortcut。MMVP 为后者提供了具体失败样例，但并未隔离出“语言监督本身”作为唯一因果变量 ^[1]。

LLM 是否“反 Bitter Lesson”

节目方文字版中，谢赛宁认为语言是人类积累的精巧结构，而 Bitter Lesson 倾向减少人工知识、依赖可扩展的 search 与 learning ^[3]。

我完全不觉得 LLM 是一个 Bitter Lesson 的成功展示——某种程度上，LLM 是反 Bitter Lesson 的。

这条论证有两层：

1. 文本不是原始世界，而是人类完成感知、抽象、命名之后的符号产物。
2. 如果模型只在这层符号上扩展，可能跳过从连续感知中形成世界状态的困难过程。

Scaling Law“有水分”

访谈把文本描述为人类文明预先加工的“强监督”：免费取得不等于没有人类劳动，语言 benchmark 也可能同时奖励知识记忆、模式匹配与推理 ^[3]。

语言模型的 Scaling Law 里面是有“水分”的。

原型用 X-space 与 Y-space 表达这一判断：现实感知是 $X$，语言是人类从 $X$ 中筛选和编码出的 $Y$。这个图式能提醒读者文本有选择偏差，却不是严格的机器学习定理。next-token 的目标与输入来自同一数据分布，不能简单等同于传统外部标签。

AGI 还是 AMI

据节目方文字版，他反对把 AGI 当成单一清晰终点，强调智能能力参差不齐：动物和儿童轻松完成的感知行动任务，机器可能仍然失败。他偏好 Advanced Machine Intelligence，并把目标拆成理解世界、持久记忆、推理规划与可控安全 ^{[3] [6]}。

我觉得 AGI 是一个完完全全的伪命题。

开放科学与评测先行

Cambrian-1 不只提出模型，还公开训练配方、数据和评测，并用 CV-Bench 针对 count、depth、distance 与 spatial relation 等视觉能力。MMVP 则以成对问题要求模型同时答对，减少单题猜测掩盖视觉缺陷的可能 ^{[2] [1]}。

这体现出一贯的评测观：不要只看综合榜单，要构造必须依赖视觉、能暴露 shortcut 的诊断集。与此同时，Benchmark 也可能与模型共同适应，不能把单一榜单高分直接等同于获得了世界模型。

定义问题与研究品味

访谈反复强调“定义问题”比追逐现成榜单重要。CVPR 2025 workshop 页面只能确认谢赛宁参与；Research: The Infinite Game 题目及相关中文金句仍待补原始议程或视频时间点 ^{[3] [7]}。