开源、安全与争论
所属专题：Yann LeCun（杨立昆） · 第 5 章引语索引信源台账
专题章节
争论不是一条轴
原型把 LeCun 与 Hinton、Bengio、Stuart Russell、Demis Hassabis、Gary Marcus 等人的分歧放在同一页。忠实迁移时首先要拆开：他们并非只是在“乐观／悲观”一条轴上站队，而是在回答不同问题。
| 分歧层 | 可检验问题 | 价值选择 |
|---|---|---|
| 架构 | 自回归、生成式、JEPA、世界模型分别能做什么 | 对优雅、效率、可解释性的偏好 |
| 能力进展 | 能力是渐进还是可能跨阈值 | 应采用多大安全余量 |
| 目标与控制 | 高能力系统会否形成工具性子目标 | 风险容忍度 |
| 开放生态 | 开放权重是否改善审查与创新 | 去中心化与滥用防范如何权衡 |
| 监管 | 管模型训练、权重发布还是具体应用 | 创新自由与预防原则 |
编者拆解的三项低风险前提
编者把常见低风险论证拆成三项待检验前提，不归为 LeCun 的逐项主张：
- 智能与支配欲不是同一属性；欲望取决于目标和进化／训练历史。
- 能力提升更可能逐步发生，社会可以在部署中观察和修正。
- 自主系统可以通过目标、成本、权限和运行时机制工程化控制。
这三步都不是仅由“当前 LLM 有缺陷”推出的。即使自回归 LLM 不是人类级智能路线，也只能削弱某条具体风险路径，不能推出未来系统风险低。
目标驱动安全：把约束写在哪里
[ \min_{a_{0:T-1}} \sum_{t=0}^{T} C_{\text{task}}(s_t,a_t) \quad \text{s.t.}\quad G_i(s_t,a_t)\le 0. ]
(C_{\text{task}}) 是希望完成的事，(G_i) 是不允许越过的边界。若只写
[ C_{\text{task}}+\sum_i \lambda_i\max(0,G_i), ]
且 (\lambda_i) 有限，它仍是软 penalty；足够大的任务收益可能换取约束违反。真正硬约束还需要可行域、无限 barrier、词典序优先级、权限隔离或运行时拒绝。
目标驱动架构有一个真实优势：安全假设变得可定位。失败可以追到目标遗漏、约束冲突、Critic 误估、世界模型盲区或 planner 利用。但“可定位”不等于“已解决”。
四类失效机制
| 机制 | 例子 | 冻结目标能否解决 |
|---|---|---|
| Goodhart | 指标降低但真实意图受损 | 不能 |
| Specification gaming | 用意外手段满足字面目标 | 不能 |
| Model exploitation | planner 钻世界模型误差 | 不能 |
| 目标篡改 | 系统直接改变优化目标 | 可以降低这一类风险 |
工具趋同性：条件命题，不是必然定律
原型将反方观点概括为：对足够有能力的系统，如果目标宽泛且长期，资源获取、自我保存和避免关停有助于目标完成，那么不同最终目标可能导出相似的工具性子目标。
一种工程回应是：子目标来自目标函数与允许的行动空间，可以尝试通过成本和护栏限制；本轮没有来源把这套完整论证核实为 LeCun 的逐项主张。
风险分类：三类问题应分开治理
- 能力失控风险：系统为了目标采取未预期策略，或人类失去有效关停和纠正能力。
- 权力结构风险：少数机构控制模型、算力和信息入口，造成认知与经济权力集中。
- 滥用与事故风险：诈骗、网络攻击、歧视性决策、隐私侵害和关键系统事故。
LeCun 的公共论述更强调后两类，尤其是专有系统带来的信息权力集中 [1]。
I see the danger of this concentration of power through proprietary AI systems as a much bigger danger than everything else.
我认为，专有 AI 系统造成的权力集中，比其他一切风险都更危险。（译）
这并不意味着第一类不存在；只是他的概率判断和优先级不同。治理上，三类风险需要不同工具：能力评测与 containment、竞争与开放政策、具体应用责任与执法，不能由单一“是否开源”解决。
开放模型与权力集中
Lex 访谈开场，LeCun 把专有 AI 系统造成的权力集中视为更大的危险，并担心少数公司的系统控制公众信息来源 [1]。
开放路线的正面论据包括：
- 更多研究者可审查、复现和红队；
- 机构和国家可在本地语言、数据与规则下派生模型；
- 生态不会完全依赖单一 API 提供者；
- 学术与小团队能进入基础模型研究。
反面论据也必须保留：
- 权重开放降低某些滥用门槛；
- “很多人能看”不保证有人负责修；
- 训练数据、代码和评测不开放时，open-weight 不等于完整 open-source；
- 上游透明度不能替代部署权限、监控和责任。
开源、主权与生态
原型把 LeCun 的开放立场进一步解释为“基础设施选择”：基座模型的影响不仅来自权重本身，也来自教程、微调、工具链、研究人才和派生模型构成的生态。
“AI 主权”在这里不必意味着每个国家从零训练最前沿模型，而是保留以下能力：
- 本地持有或审计关键权重；
- 使用本地语言和数据继续训练；
- 在本地法域部署与治理；
- 不把全部信息入口交给单一境外 API。
监管：应用、研发与发布的边界
原型曾作如下政策归纳，但本轮没有可核实来源，故不作为 LeCun 的人物立场；以下只保留编者对监管对象的比较。
迁移版不保留原型对 SB 1047、美国行政令和欧盟 AI Act 的具体阈值、条款号及时间点，因为本次尚未重新打开法案原文逐条核对。可保留的分析问题是：
| 监管对象 | 优点 | 风险 |
|---|---|---|
| 训练过程 | 在能力形成前设置安全义务 | 阈值易过时，可能提高进入壁垒 |
| 权重发布 | 直接处理扩散与滥用可及性 | 可能压制独立研究与主权部署 |
| 具体应用 | 责任对象和伤害场景更清楚 | 可能在基础能力广泛扩散后反应过晚 |
| 部署权限 | 可做最小权限、审计和关停 | 不能覆盖离线复制的开放权重 |
与其他路线的 steelman
风险预防立场
最强版本不是“当前聊天机器人马上毁灭世界”，而是：能力预测不可靠、开发竞争会压缩安全时间、低概率高损失事件需要额外余量。常见回应强调渐进发展和工程控制；尚未解决的是如何在不确定能力跃迁下证明控制余量足够。
现有神经生成范式可延展
最强版本不是“永远只要纯自回归”，而是：当前神经生成模型已经形成抽象、工具使用和测试时计算能力，未来可以加入记忆、搜索、感知与世界模型，而不必接受 JEPA 是唯一核心。LeCun 可核实的批评是当前 LLM 仍缺物理理解、持久记忆、推理和规划等能力 [1]；这并不证明 JEPA 是唯一处方。
通用架构与专门结构
最强版本认为，同一基础架构只要能迁移学习广泛任务，就可称为 general；不要求在所有函数上近最优。是否需要针对物理世界加入专门结构仍是经验问题；本专题不采用未核实的 AGI／AMI 术语偏好作为人物论据。
符号与神经的混合
最强版本认为纯模式学习在系统性组合、验证和精确规则上脆弱，需要显式符号、搜索或约束。能量与优化框架本身并不排斥结构；分歧在于结构应由人工规则表示，还是由可微模型与目标学习。
就业、教育与社会影响
原型还把 LeCun 放在“AI 重组工作而非一次性消灭工作”的一侧，并延伸到教育和生产率。但当前台账没有本次亲自打开的原始访谈支撑具体比例、年份与预测，因此删除这些事实性数字。
如何读这场争论
- 先问对方讨论的是当前模型、未来架构还是部署制度。
- 区分“技术可行”“经济会采用”“社会应允许”。
- 把预测写成可观察指标，而不是人物阵营标签。
- 任何安全结论都要同时检查目标、模型、优化器和部署边界。