认知框架：抽象、因果与非智能体预测

高层抽象与稀疏选择

《The Consciousness Prior》把高维状态与低维“有意识”成分区分开，主张用注意力式机制选择少量变量参与后续预测 ^[1]。它提供的是机器学习归纳偏置，而不是对生物意识的完整理论。

这一框架与 Bengio 后来强调的因果表示、模块化和分布外泛化相呼应：如果环境变化只改动少数机制，按机制组织的表示可能比纠缠表示更容易适应。该判断依赖可辨识性、多环境信息与优化可达性，不能从纯观测数据自动推出。

“理解”与“行动”分离

2023 年的官方博客已经提出限制 agency，并把强目标驱动系统视为 rogue AI 的主要风险路径之一 ^[2]。Scientist AI 论文进一步提出：系统可以生成解释数据的世界模型并回答问题，却不必为了改变世界而选择行动 ^[3]。

LawZero 白皮书把 agency 分为 affordances、goal-directedness 与 intelligence，并主张限制前两项、提升第三项 ^[4]。

Scientific theories aspire to describe what is, as opposed to prescribe what ought to be.

科学理论旨在描述世界是什么，而不是规定世界应该怎样。（译）

这一表述区分“描述世界”与“规定世界如何发展”，但它并不自动保证安全。白皮书本身仍讨论误用、错误预测和部署边界。

不确定性不是装饰

Bayesian Oracle 的公开摘要说明，不同但都合理的世界假设可能对同一行动给出不同后果；因此护栏应搜索谨慎但仍合理的假设，并估计安全规范被违反的概率上界 ^[5]。

Scientist AI 同样强调对候选解释维持分布，而不是只保留一个最可能理论 ^[3]。这是一种 epistemic humility：证据不足时，应把不确定性传递到回答和行动筛选中。

2026 年访谈给出 agentic 扩展的具体思路：向诚实预测器询问某项行动同时达成用户目标与安全目标的概率，再从这些概率构造策略 ^[6]。

What is the probability that this action will lead to this user goal being achieved and a safety goal being achieved in some contexts?

在某些情境下，这个行动同时实现用户目标和安全目标的概率是多少？（译）

从 System 1 到 System 2

2019 年 NeurIPS Posner Lecture 借用 Kahneman 的双系统词汇，把当时深度学习概括为擅长快速、直觉式、并行的 System 1，却缺少缓慢、可控制、组合式的 System 2 ^[7]。这里的 System 1/2 是行为层面的类比，不是脑区模型，也不是现成工程规范。

维度	System 1 式能力	System 2 议程
处理方式	快速、并行、模式匹配	逐步、选择性、可组合
典型强项	感知、联想、流畅生成	规划、反事实、变量操作
主要困难	分布变化时依赖表面相关	如何学到稳定的高层变量
候选偏置	大规模分布式表示	稀疏路由、模块化、因果结构

《Inductive Biases for Deep Learning of Higher-Level Cognition》进一步提出几组候选归纳偏置：稀疏因子图、独立可复用机制、稀疏机制变化，以及注意力作为动态路由 ^[8]。这些是研究假设，不是已经证明的人类认知机制。

因果表示：从相关到机制

结构因果模型常把联合分布分解为：

$$P(X_1,\ldots,X_n) = \prod_{i=1}^nP(X_i\mid\operatorname{Pa}(X_i)).$$

如果不同环境只改变少数机制，按因果条件分布组织的模型理论上可以只更新变化部分；纠缠表示则可能需要广泛重训。因果表示学习把问题推进到更困难的一层：低层观测中的哪些潜在变量才是因果变量，以及它们在什么条件下可辨识 ^[9]。

这一优势依赖至少四类条件：

1. 可辨识性：数据与假设足以排除观测等价的潜在表示。
2. 模块化参数化：不同机制能独立更新，而不是共享大量纠缠参数。
3. 稀疏机制变化：环境切换确实只改变少量机制。
4. 优化可达：训练过程能找到模块化解，而不是停在等价但纠缠的表示。

因此，“因果表示必然带来 OOD 泛化”不能当作无条件事实。更准确的说法是：因果不变性提供了跨环境泛化的候选结构，但需要多环境、干预、时间或其他额外信号。

OOD 泛化为何是核心问题

经验风险最小化通常估计训练分布 $P_{\mathrm{train}}$ 下的风险：

$$\hat R(f) = \frac1n\sum_{i=1}^n\ell(f(x_i),y_i).$$

当测试分布改变为 $P_{\mathrm{test}}\ne P_{\mathrm{train}}$，训练风险不再自动近似测试风险。问题不只在“数据不够多”，还在模型把哪种规律视为不变量。Bengio 的研究押注是：稀疏、模块化、因果的高层机制比表面相关更可能在环境切换中保持稳定 ^{[10] [9]}。

意识先验：低维瓶颈而非意识定理

《The Consciousness Prior》设想高维表示状态 $h_t$ 与低维意识状态 $c_t$ 协作：

$$c_t=C(h_t,z_t)\in\mathbb R^k, \qquad k\ll \dim(h_t),$$

其中 $z_t$ 控制注意式选择。低维 $c_t$ 应足以预测未来或其他变量，从而迫使系统挑选少量有用的高层成分 ^[1]。

原型把“低维意识状态”进一步类比为低阶因子图：

$$-\log P(v_1,\ldots,v_n) = \sum_f\psi_f(v_{S_f})+\log Z, \qquad |S_f|\ll n.$$

Agency 的三维分解

LawZero 白皮书把 agency 视为三个连续维度的共同结果 ^[4]：

维度	含义	Scientist AI 的设计方向
affordances	系统可以采取哪些行动、拥有何种接口	限制
goal-directedness	是否偏好某些结果并据此选择行为	尽量消除
intelligence	学习、记忆、推理与预测能力	提升

这一分解的关键是“智能不逻辑蕴含欲望”。系统可以极强地预测，却没有自身偏好；相反，部署脚手架、指令微调或强化学习可以给预测器增加目标导向 ^[4]。

但去掉内生目标只降低一部分风险：

• 强预测器仍可能输出可被恶用的危险知识；
• 中立预测器可能诚实但错误；
• 人类可以把预测器接入有目标的外部优化器；
• 能力集中在少数部署者手中仍是治理问题。

“理解”与“行动”的工程边界

Scientific theories aspire to describe what is, as opposed to prescribe what ought to be.

科学理论旨在描述世界是什么，而不是规定世界应该怎样。（译）

这句已在 LawZero 官方页面开篇逐字核对。其设计含义不是“科学天然无害”，而是把预测真值与下游效用反馈分开。白皮书提出 contextualization：把“某命题为真”与“某人在某时某地说了该命题”分开；又提出 consequence invariance：预测器训练信号不根据其输出造成的下游结果奖励或惩罚 ^[4]。

Scientist AI 由两个角色组成：生成器提出假设、解释与问题，估计器对条件概率作中立判断；生成器可以富有创造性，但其外部效果受估计器约束 ^{[3] [4]}。

2026 年访谈进一步说明，agentic 版本不是把欲望写回预测器，而是向诚实预测器询问行动满足用户目标和安全目标的概率，再由外部策略组合这些概率 ^[6]。

What is the probability that this action will lead to this user goal being achieved and a safety goal being achieved in some contexts?

在某些情境下，这个行动同时实现用户目标和安全目标的概率是多少？（译）