• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

引语索引与迁移说明

阅读约 3 分钟AI 生成已核查 · 已审核审核人 负责人

专题章节

已核实原话

Scientific theories aspire to describe what is, as opposed to prescribe what ought to be.

科学理论旨在描述世界是什么,而不是规定世界应该怎样。(译)

约书亚·本吉奥The Scientist AI: Safe by Design, by Not Desiring(在新窗口打开)页面开篇第一句官方部分原话已核实原话

这句话来自 LawZero 官方白皮书页面的开篇,用于说明 Scientist AI 将“描述事实”与“追逐结果”分开 [1]。

What is the probability that this action will lead to this user goal being achieved and a safety goal being achieved in some contexts?

在某些情境下,这个行动同时实现用户目标和安全目标的概率是多少?(译)

约书亚·本吉奥Yoshua Bengio thinks he knows how to build safe superintelligence(在新窗口打开)2026-05-07官方文字稿 “Can this become an agent?” 段落;段落起点 00:21:02(引语具体音频秒点待补)一手采访本人原话已核实原话

这句话来自 80,000 Hours 官方文字稿,定位在 “Can this become an agent?” 段落 [2]。

If we can bake honesty into AI, we can get safety.

如果能把诚实内建进 AI,我们就能获得安全性。(译)

约书亚·本吉奥Yoshua Bengio thinks he knows how to build safe superintelligence(在新窗口打开)2026-05-07官方文字稿 “Yoshua Bengio on making AI honest and safe”,00:00:00一手采访本人原话已核实原话

这句话来自同一文字稿开场,说明 Bengio 把问题收敛为“如何训练诚实预测系统” [2]。

未采用的转述线索

原型将 The Diary of a CEO 的中文整理写成多张“金句卡”。本轮请求视频超时,未取得官方文字稿,也无法核对说话人、语境、英文原句与时间点。以下四条仅作为待核查线索列入 quotes.yaml,状态为 unverified,不作为 Bengio 的转述或本专题论据:

  • “养小老虎”比喻;
  • “水管工只是暂时安全”;
  • 给孙辈“成为美好的人”的寄语;
  • 医院里希望由人握手的表达。

取得可访问的官方字幕并完成逐条定位前,不恢复为 paraphrase。

待核查

原型中另有若干中文编译句,虽可能意思一致,但没有英文逐字稿定位。它们标记为 unverified,原因不是“已证伪”,也不进入“广泛流传说法”的证伪判断。

三条已核实引语的语境

描述,而非规定

Scientific theories aspire to describe what is, as opposed to prescribe what ought to be.

科学理论旨在描述世界是什么,而不是规定世界应该怎样。(译)

约书亚·本吉奥The Scientist AI: Safe by Design, by Not Desiring(在新窗口打开)页面开篇第一句官方部分原话已核实原话

LawZero 官方页面紧接着把这句话提升为设计原则:理解世界可以与偏好世界如何发展相分离。随后正文以物理定律为例,说明描述规律本身不偏好某种下游结果,并据此提出一个无自身目标的预测系统 [1]。

诚实作为可操作目标

If we can bake honesty into AI, we can get safety.

如果能把诚实内建进 AI,我们就能获得安全性。(译)

约书亚·本吉奥Yoshua Bengio thinks he knows how to build safe superintelligence(在新窗口打开)2026-05-07官方文字稿 “Yoshua Bengio on making AI honest and safe”,00:00:00一手采访本人原话已核实原话

80,000 Hours 文字稿中,这句之后紧接着解释:问题可被缩减为如何训练诚实系统,所需改变主要位于训练目标和数据处理;预测器不使用强化学习训练,再由相同数学框架构造受约束策略 [2]。

由概率构造策略

What is the probability that this action will lead to this user goal being achieved and a safety goal being achieved in some contexts?

在某些情境下,这个行动同时实现用户目标和安全目标的概率是多少?(译)

约书亚·本吉奥Yoshua Bengio thinks he knows how to build safe superintelligence(在新窗口打开)2026-05-07官方文字稿 “Can this become an agent?” 段落;段落起点 00:21:02(引语具体音频秒点待补)一手采访本人原话已核实原话

该句位于官方文字稿 “Can this become an agent?” 段落约 00:21:02。Bengio 的设想不是直接把目标写入预测器,而是询问每个行动达成用户目标与安全目标的概率,再由答案构造策略 [2]。

待核查而非证伪

除上述四条视频线索外,以下四条在原型中以近似原话出现,但本次没有找到可逐字核对的公开英文定位:

  1. “哪怕只有 1% 的灭绝概率,这种风险也不可接受”;
  2. “在仍有能动性时选择放弃是错误的”;
  3. “我们从来没有写过让 AI 抗拒关机的代码”;
  4. “我们需要从竞赛中退后一步,彼此坦诚对话”。

它们分别登记为 q-one-percent、q-agency-give-up、q-no-code 与 q-step-back-race,状态为 unverified,note 说明待核查原因。它们不是“广泛流传但已证伪”的说法,因此没有标记为 debunked。

参考来源

  1. [1]The Scientist AI: Safe by Design, by Not Desiring(在新窗口打开)LawZero · 开篇;Agency 三支柱;Contextualization;Consequence invariance · 访问于 2026-10-17官方 · 部分原话↩
  2. [2]Yoshua Bengio thinks he knows how to build safe superintelligence(在新窗口打开)80,000 Hours · 2026-05-07 · 官方文字稿 00:00:00、00:21:02、01:08:37 · 访问于 2026-10-17一手采访 · 本人原话↩