理解、记忆、数字智能与主观体验

理解是否只是自动补全

Hinton 反对把现代 LLM 等同于词串查表。他认为，为预测下一个词，模型需要把词和上下文映射为彼此约束的连续特征表示；能处理新问题的行为对“完全没有理解”的强断言构成压力 ^[1] ^[2]。

原型使用三个例子说明这一点：化归式的刷房子谜题、对“大峡谷飞往芝加哥”句子的歧义修正，以及多层双关解释。迁移稿保留这些作为 Hinton 的测试直觉，不把它们写成已建立的意识测量。

原型把词比作可变形的高维积木：上下文让每个词的特征改变，不同注意力头像不同颜色的手和手套，最终形成相互兼容的表示。这是面向公众的近似，不是 Transformer 的形式定义 ^[2]。

Hinton 倾向于认为推理也可由神经网络完成，符号主要出现在输入输出层面 ^[3]。与此相反，神经符号路线认为组合性、系统泛化和可靠规则操作仍需显式结构。原型保留这场分歧，但对 Gary Marcus、Chomsky、Bender 与 Gebru 的论点只作概述，不冒充其原话 ^[4]。

Hinton 更愿用 confabulation 描述模型生成无据内容，并类比人类记忆的重构性 ^[1]。原型以水门事件证人 John Dean 的错误回忆为例：人可以诚实地重建一个整体上自洽、细节却不准确的版本。

这个类比解释了错误为何自然出现，却不能为错误免责。对事实任务，检索、引用、工具调用和外部校验仍然必要。

原型最重要的技术澄清，是区分：

[ C_{\text{net}}\approx NDB ]

表示多副本同步的网络总通信量；

[ C_{\text{recv}}\approx DB ]

表示单个副本接收的原始比特；

[ I_{\text{eff}}=\eta DB,\qquad 0<\eta\ll1 ]

表示去掉冗余、相关与噪声后的有效新增信息。

人类语言传递可写为

[ R_{\text{lang}}=r_{\text{tok}}b_{\text{tok}}. ]

要比较数字与人类传递，必须先选同步周期 (\Delta t)，再比较 (I_{\text{eff}}/\Delta t) 与 (R_{\text{lang}})，不能直接拿 bit 除以 bit/s ^[3]。

Hinton 的稳定主张是：数字模型可复制并共享大量参数更新，而人类依赖语言慢速传承。原型中的“百万至十亿倍”是数量级直觉，不是经过测量的固定比例。

生物系统的知识依赖具体硬件，死亡后不能把突触状态无损复制到另一大脑；数字模型的参数原则上可保存并加载到兼容硬件 ^[3]。Hinton 因此使用“mortal”与“immortal”作对照。

这里的“不朽”是可复制性隐喻，不表示模型身份、连续意识或社会制度意义上的永生。备份权重也不自动保存运行时上下文、外部工具状态和未写入参数的经验。

Hinton 的功能主义观点是：“我有 X 的主观体验”并非命名脑中一个私有对象，而是在说明如何解释当前知觉——仿佛外界若是 X，当前状态就会是正常知觉 ^[1]。

原型用棱镜机器人思想实验说明：摄像头被棱镜偏折后，系统指出物体实际位置与其知觉位置不同，并把后者称作主观体验。对 Hinton，这种语言与纠错功能已经覆盖人类日常使用该词的方式。

反方会说，功能等价仍未回答为何伴随“感受本身”。Hinton 的回应是，“感质”作为额外内在对象正是需要拒绝的语言预设。双方争论的是意识概念，而非同一项可直接测量的事实。

Hinton 把机器智能类比为继哥白尼与达尔文之后对人类特殊地位的再次冲击：智能不必只存在于生物体 ^[3]。原型进一步写到“我们成了神”和“智能设计”的责任隐喻。