安全路线：从风险论证到 Scientist AI

风险论证的边界

Bengio 的公开风险论证并不只依赖单一“灭绝概率”。2023 年官方博客列举的路径包括恶意主体、目标错位、竞争压力和越来越自主的系统，并明确要求技术研究与治理同时推进 ^[1]。

这些论证不能被写成“当前模型已经真实接管”。原型列举的关机抵抗、欺骗和勒索案例多来自构造评测或沙箱；迁移稿不在尚未逐项回到原始 system card 的情况下复述发生率与细节。

技术护栏

Scientist AI 的基本设想是：训练一个生成解释、估计概率且不追逐下游目标的系统，再用它判断智能体拟议行动的风险 ^[2]。LawZero 成立公告把它描述为非智能体、无状态的贝叶斯预测系统，并明确提出“若行动可能造成伤害，则拒绝该行动” ^[3]。

Bayesian Oracle 给出更窄的理论任务：估计在真实但未知假设下违反安全规范的概率上界，用于拒绝潜在危险行动；论文结尾仍把实用化列为开放问题 ^[4]。

LawZero 白皮书提出两项训练约束：contextualization 区分事实与“某人说了什么”，consequence invariance 切断下游结果对预测器训练的反馈 ^[5]。

治理不是技术附录

《国际 AI 安全报告》把工作定位为对通用 AI 能力、风险与风险管理的综合证据评估。2026 版由 Bengio 领导、100 多位独立专家参与，并得到 30 多个国家和国际组织提名的顾问机制支持 ^[6]。

2026 年 80,000 Hours 访谈中，Bengio 明确承认技术安全不能单独解决误用、极端权力集中与竞赛动态 ^[7]。

证据等级

• 论文与官方白皮书可以支撑“作者提出了什么架构或论证”。
• 这些材料不能单独支撑“架构已经在前沿规模验证”。
• 构造评测可以证明某行为在特定条件下可诱发，不能直接给出真实部署中的发生率。
• 访谈可以支撑 Bengio 的判断与让步，不能替代第三方实验。

2023 年转向：两种变化同时发生

Bengio 对 AI 社会影响的关切并非 2023 年突然出现。蒙特利尔《负责任 AI 发展宣言》在更早时期已经提出福祉、自主、隐私、公正与民主参与等原则 ^[8]。但 2023 年仍是可辨识的转折点：

1. 研究优先级改变：从主要推进表示、因果与生成学习，转向安全架构、风险评估和治理。
2. 规范立场改变：公开支持暂停、监管和预防原则，而不再把安全仅视为长期研究问题。

2023 年 3 月暂停公开信要求至少六个月不训练比 GPT-4 更强的系统；5 月 CAIS 声明要求把 AI 极端风险与流行病、核战争并列为全球优先事项 ^{[9] [10]}。这些公共声明与个人博客的技术风险论证相互补充，但签署声明不等于相关机构已经实施暂停或形成法律义务 ^[1]。

预防原则而非单一风险数字

原型收录了若干关于“1% 风险也不可接受”的中文编译句，但未找到逐字英文定位，因此本迁移稿不把它们作为 verified 原话。可以由公开一手材料支持的核心逻辑是：Bengio 认为能力增长、恶意使用、目标错位与竞争压力共同造成深度不确定性；面对可能不可逆的后果，不应等到完整因果证据出现后才行动 ^[1]。

风险分类：不要只谈失控

国际 AI 安全报告把风险讨论扩展到恶意使用、系统故障和更广泛的系统性影响。失控只是故障与自主性风险中的一部分；网络与生物恶用、可靠性、偏见、劳动力影响、权力集中和民主治理同样需要证据评估 ^[6]。

类别	例子	证据边界
恶意使用	网络攻击、危险知识去门槛化、操纵	能力存在不等于现实滥用发生率
故障	幻觉、偏见、目标错位、失控	构造评测不等于稳定内在目标
系统性风险	权力集中、劳动力与民主影响	依赖部署制度与社会反馈

原型详细复述了关机抵抗、勒索、外泄权重等沙箱案例，却没有为每项在现有台账中登记对应 system card。本迁移不保留具体发生率和戏剧化细节。可保留的方法学结论是：沙箱证明某行为在特定提示、工具和目标冲突下可以被诱发，不证明模型在真实部署中已形成稳定求生欲。

同理，CoT 文字不能作为主要行为证据。《Chain-of-Thought Is Not Explainability》指出 CoT 对内部计算既不充分也不必要；安全评估应优先看环境设定、实际动作、工具调用和可重复干预 ^[11]。

从 Guaranteed Safe AI 到 Scientist AI

《Towards Guaranteed Safe AI》提出三个构件 ^[12]：

1. 世界模型：描述环境、智能体和干预后果；
2. 安全规范：定义哪些状态或行为不允许；
3. 验证器：判断候选行动是否满足规范。

Bayesian Oracle 把其中一个任务形式化：面对多个与数据相容的世界假设，估计违反安全规范的概率上界，并据此拒绝风险过高的行动 ^[4]。Scientist AI 再把它组织为非智能体世界模型、带不确定性的问答／推理系统和智能体护栏 ^[2]。

令 $H$ 表示候选世界假设，$D$ 表示观测数据，基本贝叶斯结构为：

$$P(H\mid D) \propto P(D\mid H)P_0(H).$$

对问题 $x$ 的预测通过边缘化传播模型不确定性：

$$p(y\mid x,D) = \int p(y\mid x,H)P(H\mid D)\,\mathrm dH.$$

该结构希望在证据不足时保留不确定，而不是只输出一个最可能理论。但实际系统必须近似高维后验；若假设空间漏掉关键危险机制，形式上的校准也可能产生错误安全感。

LawZero 白皮书：训练约束与架构

官方白皮书将 Scientist AI 描述为“生成器由中立估计器问责”，并给出两个训练原则 ^[5]：

• contextualization：明确陈述的来源、时间与语境，使系统区分事实和“某主体声称的事实”；
• consequence invariance：预测器更新不根据预测造成的下游效用结果提供反馈，以减少训练中形成结果偏好的通道。

Scientific theories aspire to describe what is, as opposed to prescribe what ought to be.

科学理论旨在描述世界是什么，而不是规定世界应该怎样。（译）

白皮书也明确写道，工作仍在进行，将逐步扩大各组件的经验评估。因而“safe by design”是设计目标，不是已完成的认证。

形式安全界应如何阅读

《Safety from Honesty in a Disinterested AI Predictor》研究训练过程诱导危险预测器的概率质量，给出形如

$$\nu_t\{Q:Q\ \text{dangerous}\} \le C_{\mathrm{bad}}R_{\mathrm{shell}}$$

的条件性上界 ^[13]。这里 $Q$ 是候选预测器，不是查询；$\nu_t$ 是训练时刻 $t$ 的预测器分布；$R_{\mathrm{shell}}$ 描述初始化分布中损失带内危险预测器的比例；$C_{\mathrm{bad}}$ 描述训练可能造成的危险富集。

这类结果依赖危险预测器初始稀疏、训练不强烈富集危险性、后果不变训练和可审计部署等前提。它不直接界定现实伤害概率，也不覆盖模型错设、数据不足、人类恶用和完整 agentic 系统。

从非智能体内核到受限行动

80,000 Hours 官方文字稿中，Bengio 解释了 agentic 扩展的具体机制：询问诚实预测器某行动实现用户目标与安全目标的概率，再由这些预测构造策略 ^[7]。

What is the probability that this action will lead to this user goal being achieved and a safety goal being achieved in some contexts?

在某些情境下，这个行动同时实现用户目标和安全目标的概率是多少？（译）

这使“非智能体”成为安全内核，而非最终产品必须永远无行动能力的教条。与此同时，外部策略、目标定义和阈值选择成为新的攻击面。

治理线：共识、红线与科学家外交

国际 AI 安全报告的优势是建立跨国共享的证据基线；其自我限制是不开具体政策药方 ^[6]。IDAIS 通过科学家对话推动红线、核验和应急讨论，《Global Call for AI Red Lines》则明确要求具有约束力的国际红线 ^{[14] [15]}。

工具	主要功能	不能自动做到的事
国际 AI 安全报告	汇总能力、风险与管理证据	迫使政府或企业采取措施
IDAIS	形成跨国科学家共识与可讨论方案	代替正式外交或立法
Global Call for AI Red Lines	公开提出硬约束诉求	本身产生法律效力

与 Hinton、LeCun 的分歧应落到命题

原型用人物对照强化叙事，但大量同行表述来自二手中文报道，未列入本专题台账。本迁移只保留可由 Bengio 一手材料支撑的分歧结构：

• Bengio 把深度不确定与不可逆后果视为提前干预的理由；
• 他认为高能力与目标导向、行动接口结合会放大工具性风险；
• 他主张技术护栏与治理同时推进；
• 他明确承认技术方案不能解决误用、权力集中和竞赛动态 ^{[1] [7]}。