术语、节点与延伸阅读
所属专题:Geoffrey Hinton(杰弗里·辛顿) · 第 7 章引语索引信源台账
专题章节
术语表
| 术语 | 简明定义 |
|---|---|
| 反向传播 | 用链式法则从输出向输入计算全部参数梯度 |
| 玻尔兹曼机 | 以能量和随机状态定义概率分布的神经网络 |
| 正相/负相 | 数据条件期望与模型自由运行期望 |
| RBM | 删除同层连接、便于条件采样的受限玻尔兹曼机 |
| 对比散度 | 用数据起始的短采样链近似模型负相 |
| DBN | 以 RBM 逐层预训练的深度生成模型 |
| Wake-Sleep | 交替训练识别与生成通路的 Helmholtz Machine 算法 |
| 自编码器 | 将输入压缩为潜变量并重构输入 |
| Dropout | 训练时随机屏蔽单元的正则方法 |
| MoE | 门控网络按输入组合多个专家 |
| 知识蒸馏 | 学生学习教师软分布或生成数据 |
| 暗知识 | 教师对非正确类别给出的相对结构 |
| 胶囊 | 用向量活动表达实体存在与姿态 |
| GLOM | 用位置柱与多层共识表示部分—整体层级的研究设想 |
| Forward-Forward | 以正负两次前向和局部目标训练各层 |
| Mortal Computation | 让知识与模拟硬件特性绑定以换取能效 |
| t-SNE | 用重尾低维分布保留局部邻域的可视化方法 |
| Fast Weights | 快速变化、用于短期联想记忆的权重 |
| Confabulation | 无据但自洽的重构式生成 |
| 工具性趋同 | 不同最终目标可能共享自保、资源与控制等中间策略 |
| CoT 可监控性 | 通过可读中间推理观察系统行为的有限窗口 |
| AI 母亲 | 更强系统主动保护人类的关系隐喻,不是成熟算法 |
关键节点
| 时间 | 节点 | 来源 |
|---|---|---|
| 1947 | 生于伦敦 | [1] |
| 1970/1978 | 剑桥本科/爱丁堡博士 | [1] |
| 1985 | 玻尔兹曼机学习论文 | [2] |
| 1986 | 隐藏表示的反向传播论文 | [3] |
| 1991 | Adaptive Mixtures of Local Experts | [4] |
| 1995 | Wake-Sleep 与 Helmholtz Machine | [5] [6] |
| 2002 | 对比散度 | [7] |
| 2006 | DBN 与深度自编码器 | [8] [9] |
| 2008 | t-SNE | [10] |
| 2012 | AlexNet | [11] |
| 2014 | Dropout | [12] |
| 2015 | 知识蒸馏 | [13] |
| 2017 | 胶囊网络;Vector Institute 职务开始 | [14] [1] |
| 2018 | 获年度图灵奖(2019 公布) | [15] |
| 2021 | GLOM | [16] |
| 2022 | Forward-Forward | [17] |
| 2023 | 离开 Google 并公开预警 | [18] [19] |
| 2024 | 与 Hopfield 获诺贝尔物理学奖 | [20] |
| 2025 | “AI 母亲”公开讨论 | [21] |
来源分层
本专题优先使用论文、官方履历、官方奖项页面、本人公开讲座和带文字稿访谈。媒体报道用于记录公开事件或补充背景,不独立承担论文技术结论。多作者论文统一标 subject_own_words: partial;第三方履历、奖项公告与媒体报道标 no。
未采用的中文公众号译稿不进入事实论证。原型引用它们作为线索,但缺乏逐字定位,故相关“金句”进入待核查区。
推荐阅读入口
- Hinton 个人主页与 CV:履历、论文目录 [1]。
- Two Paths to Intelligence:数字与生物智能、风险转向 [22]。
- 诺奖演讲:玻尔兹曼机历史、反向传播对照 [23]。
- 1986 反向传播论文:隐藏表示 [3]。
- 2015 蒸馏论文:温度与软目标 [13]。
- 2022 Forward-Forward:局部学习 [17]。
- CBC 访谈:母性隐喻与处方边界 [21]。
常见问题
Hinton 改变了什么观点?
他不再默认生物大脑拥有更优学习算法,而更重视数字系统可复制、可共享和反向传播可扩展的优势 [22]。
他为何离开 Google?
公开说明是为了更自由地谈风险,并明确没有把离职描述为对 Google 的指控 [18] [19]。
“AI 母亲”是方案吗?
不是。它是关系目标和设计方向的隐喻,尚无可靠实现方法 [21]。
时间预测可信吗?
它们是主观概率与时间窗,应该结合其放射科预测偏快的自我复盘阅读 [24] [25]。
为什么没有图片?
人物照片和机构宣传图按站点规则不使用;论文与原型插图未逐张确认转载许可。交互图已转换为公式、表格和文字。
参考来源
- [1]Geoffrey Hinton Curriculum Vitae(在新窗口打开)官方 · 本人原话↩
- [2]A Learning Algorithm for Boltzmann Machines(在新窗口打开)官方 · 部分原话↩
- [3]Learning representations by back-propagating errors(在新窗口打开)官方 · 部分原话↩
- [4]Adaptive Mixtures of Local Experts(在新窗口打开)官方 · 部分原话↩
- [5]The Wake-Sleep Algorithm for Unsupervised Neural Networks(在新窗口打开)官方 · 部分原话↩
- [6]The Helmholtz Machine(在新窗口打开)官方 · 部分原话↩
- [7]Training Products of Experts by Minimizing Contrastive Divergence(在新窗口打开)官方 · 本人原话↩
- [8]A Fast Learning Algorithm for Deep Belief Nets(在新窗口打开)官方 · 部分原话↩
- [9]Reducing the Dimensionality of Data with Neural Networks(在新窗口打开)官方 · 部分原话↩
- [10]Visualizing Data using t-SNE(在新窗口打开)官方 · 部分原话↩
- [11]ImageNet Classification with Deep Convolutional Neural Networks(在新窗口打开)官方 · 部分原话↩
- [12]Dropout: A Simple Way to Prevent Neural Networks from Overfitting(在新窗口打开)官方 · 部分原话↩
- [13]Distilling the Knowledge in a Neural Network(在新窗口打开)官方 · 部分原话↩
- [14]Dynamic Routing Between Capsules(在新窗口打开)官方 · 部分原话↩
- [15]Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award(在新窗口打开)官方 · 非本人原话↩
- [16]How to represent part-whole hierarchies in a neural network(在新窗口打开)官方 · 本人原话↩
- [17]The Forward-Forward Algorithm(在新窗口打开)官方 · 本人原话↩
- [18]Geoffrey Hinton statement on leaving Google(在新窗口打开)官方 · 本人原话↩
- [19]Google AI pioneer says he quit to speak freely about technology's dangers(在新窗口打开)权威媒体 · 部分原话↩
- [20]The Nobel Prize in Physics 2024(在新窗口打开)官方 · 非本人原话↩
- [21]Geoffrey Hinton on why AI needs maternal instincts(在新窗口打开)一手采访 · 本人原话↩
- [22]Two Paths to Intelligence(在新窗口打开)一手采访 · 本人原话↩
- [23]Boltzmann Machines(在新窗口打开)官方 · 本人原话↩
- [24]Interview with Geoffrey Hinton(在新窗口打开)一手采访 · 本人原话↩
- [25]Geoffrey Hinton public lecture at the Royal Institution(在新窗口打开)一手采访 · 本人原话↩