探索：如何在未知中高效试错

前面的模块几乎都默认”数据会自己来”。但在真正困难的问题里，最优行为要靠主动收集信息才能被发现——如果智能体永远不去尝试某个动作，它就永远学不到那个动作有多好。本模块系统梳理探索（exploration）的理论与算法：从多臂老虎机（multi-armed bandit）的干净理论，到深度 RL 里在高维、稀疏奖励环境下真正可用的探索启发式（count-based bonus、伪计数、RND、自举 DQN、Go-Explore），再到把探索推向极致的无监督技能发现。

学习目标

• 用 regret 精确刻画”探索代价”，理解 $\Theta(\log T)$ 与 $\sqrt{T}$ 两种基准。
• 亲手推出 UCB 的置信上界（Hoeffding 不等式 + 并集界）。
• 理解 Thompson 采样、信息增益、计数法三条主线是同一件事的不同侧面。
• 掌握伪计数（pseudo-count）如何由密度模型的 recoding probability 导出。
• 理解预测误差法（ICM/RND）的原理与 noisy-TV 坍缩，以及 RND 如何部分缓解它。
• 把 DIAYN 式技能发现看成”没有奖励时如何探索”。

1. 为什么探索是根本难题

考虑一个极端例子（CS285 里反复出现的直觉）：《蒙特祖玛的复仇》（Montezuma’s Revenge）。要拿到分数，智能体必须先爬梯子、跳过骷髅、捡钥匙、开门——一连串在拿到任何奖励之前就必须正确执行的动作。随机策略几乎不可能偶然完成这条长链，因此 $\epsilon$-greedy 这种”随机抖动”式探索会在这里彻底失败。

问题的本质在于：智能体面对的是一个信息不完全的决策问题。它既想利用（exploit）当前认为最好的动作以获得回报，又必须探索（explore）那些尚不了解的动作以避免错过更好的选择。二者争夺同一批有限的交互预算——这就是探索-利用困境（exploration–exploitation dilemma）。

举例

想象你每天下班要吃晚饭：楼下那家老餐厅你去过几十次，稳定好吃（利用）；街角新开的店从没试过，可能惊艳、也可能踩雷（探索）。天天只去老店，你永远发现不了更好的馆子；天天乱试新店，又得忍受不少难吃的一餐。理性的做法是初期多试几家、心里有数后逐渐固定到最爱那家——这正是”随信息增多，天平从探索缓慢滑向利用”。而 $\epsilon$-greedy 好比”每餐都掷骰子，有 10% 概率闭眼随便挑一家”，简单却盲目：它既不会记住哪家踩过雷，也不会对”没试够的店”格外上心。

图 1：探索-利用困境。核心不是”要不要探索”，而是”何时、探索多少”。

本质 Insight

探索的本质是主动降低对世界的不确定性，而不仅仅是”覆盖更多状态”。覆盖是手段，减少不确定性才是目的——一个已经完全确定的状态即使没被访问几次，也不值得再去。这一视角贯穿全模块：UCB 用置信半径度量不确定性、Thompson 用后验采样、信息增益直接优化”知识的减少量”、伪计数用”密度提升”近似”新颖度”。

2. 多臂老虎机与 regret

要把探索讲清楚，先剥离状态转移，只留下”选动作 → 拿随机奖励”这一最小内核，这就是多臂老虎机（multi-armed bandit, MAB）。有 $K$ 个臂（动作），拉臂 $a$ 得到奖励 $r\sim P_a$，其期望为 $\mu_a=\mathbb{E}[r\mid a]$，各臂分布未知且固定。记最优臂期望 $\mu^\star=\max_a\mu_a$。

衡量一个探索算法好坏的黄金标准是累积遗憾（regret）：与”从头就一直拉最优臂”相比少拿了多少总奖励。

$$\mathrm{Reg}(T)=T\mu^\star-\mathbb{E}\Big[\sum_{t=1}^T r_t\Big]=\sum_{a}\Delta_a\,\mathbb{E}[N_a(T)],\qquad \Delta_a:=\mu^\star-\mu_a \tag{10.1}$$

其中 $N_a(T)$ 是到时刻 $T$ 为止臂 $a$ 被拉的次数，$\Delta_a$ 是该臂的次优间隙（suboptimality gap）。右边这个等式极其有用：遗憾 = 把每个次优臂被拉的次数按其间隙加权求和。因此一个好算法只需保证——次优臂被拉的次数尽量少。

两条基准线

• 线性遗憾 $\Theta(T)$： 纯利用（贪心）或固定 $\epsilon$-greedy。贪心可能一开始运气差就永远抛弃最优臂；固定 $\epsilon$ 则每步都以 $\epsilon$ 概率均匀乱拉，次优臂被拉 $\propto T$ 次 ⇒ 遗憾线性增长。这是失败。
• 对数遗憾 $\Theta(\log T)$： 在平稳随机 bandit 及相应正则条件下，UCB、Thompson 采样可达到对数阶。Lai–Robbins 型下界说明，对一类一致策略，问题相关遗憾不能优于对数阶；一般分布族的精确常数需对可混淆的替代分布取 KL 下确界。UCB1 匹配该对数阶，但不一般性匹配其渐近常数 ^[1]。
• 问题无关（gap-free）： 不看 $\Delta_a$ 时，最优阶是 $\Theta(\sqrt{KT})$。当间隙极小，$\log T$ 界会退化到这条上。

图 2：遗憾增长曲线。斜率是否趋于 0 决定算法”最终是否学会只拉最优臂”。

3. 乐观初始化：最便宜的探索

最简单也最容易被低估的技巧：乐观初始化（optimistic initialization）。把所有动作的初始价值估计设成一个偏高的值 $Q_0(a)=Q_{\max}$。于是任何还没被充分尝试的动作，其估计仍停留在高位、显得”很诱人”；智能体贪心地去拉它，实际奖励通常低于乐观值，估计随之下调——这自然地驱使它先把每个动作都试个遍，再收敛到真正的最优。

局限 / 陷阱

乐观初始化只在平稳、表格型问题里稳健。缺陷：(1) 是一次性的探索——估计一旦被压下去就不再回升，无法应对非平稳环境或需要反复探索的长链任务；(2) 在函数逼近下，“乐观”会被泛化抹平（相邻状态共享参数，压一个连带压一片），难以精确控制；(3) 无法处理蒙特祖玛这种”必须走对一长串才有反馈”的深层探索。

4. UCB 与 Hoeffding 界

面对不确定性时保持乐观（optimism in the face of uncertainty） 是探索理论的中心原则：对每个动作，不用点估计 $\hat\mu_a$，而用它的置信上界去做贪心。上置信界（Upper Confidence Bound, UCB）算法每步选：

$$a_t=\arg\max_a\Big[\;\hat\mu_a+\underbrace{\sqrt{\tfrac{2\ln t}{N_a}}}_{\text{置信半径}}\;\Big] \tag{10.2}$$

直觉：一个动作要么看起来真的好（$\hat\mu_a$ 高），要么还没被试够、可能被低估（$N_a$ 小 ⇒ 半径大）。两种情况都值得一拉。半径随 $N_a$ 增大而收缩，探索自动退场。这个半径从哪来？——Hoeffding 不等式。

举例

接着上面的餐厅，给”去得少的店”一份乐观加成再排名。设你已用餐 $t\approx100$ 次（故 $2\ln t\approx9.2$）。臂A=老店：去过 $N_A=100$ 次、平均满意度 $\hat\mu_A=0.80$，加成 $\sqrt{9.2/100}\approx0.30$，UCB $\approx1.10$。臂B=新店：只去过 $N_B=4$ 次、$\hat\mu_B=0.60$，加成 $\sqrt{9.2/4}\approx1.52$（比A大得多）——UCB $\approx2.12$ 反而更高，于是这一餐去新店。多光顾几次后 $N_B$ 变大、加成缩小，若它确实平庸就会自动被淘汰。可见”没试够”本身就值一份乐观。

为什么这样 · 能不能不这样

为什么要”面对不确定时乐观”，而不是用最省事的 $\epsilon$-greedy 随机抖动？（1）乐观这个形式——给每个动作一份正比于不确定度的加成（式(10.2)的置信半径 $\sqrt{2\ln t/N_a}$）——之所以被选中，是因为它把探索有方向地导向”最可能被低估”的动作：不确定越大、加成越大，一旦试够就自动缩回、退出探索。（2）换成纯随机 $\epsilon$-greedy 会怎样：它以固定概率 $\epsilon$ 均匀乱挑，完全不看哪个动作”还没试够”，是无方向的盲目抖动。代价有二——bandit 里次优臂被拉 $\propto T$ 次、退回线性遗憾 $\Theta(T)$（见”两条基准线”）；在 MDP 长链稀疏奖励下（如蒙特祖玛），走对一条长度为若干步的正确序列的概率随长度指数衰减，几乎永远拿不到第一个奖励。所以乐观不是审美偏好，而是”把有限预算花在最能消解不确定处”的必然选择。

推导：从 Hoeffding 不等式得到 UCB 置信半径

关键假设

奖励有界，不妨设 $r\in[0,1]$（更一般地 $[a,b]$ 只改常数）；同一臂的样本独立同分布；$\hat\mu_a=\frac1{N_a}\sum_{i=1}^{N_a}r_i$ 是经验均值。

第 1 步（集中不等式，用 Hoeffding 定理）。 $\hat\mu_a$ 是 $N_a$ 个独立、取值于 $[0,1]$ 的样本之均值。Hoeffding 定理对单侧偏离给出 $\Pr[\hat\mu_a\ge\mu_a+u]\le e^{-2N_a u^2}$ 与 $\Pr[\hat\mu_a\le\mu_a-u]\le e^{-2N_a u^2}$；两侧用并集界合起来即双侧形式（多出一个因子 2）：

$$\Pr\!\big[\,|\hat\mu_a-\mu_a|\ge u\,\big]\;\le\;2e^{-2N_a u^2}. \tag{10.3}$$

对乐观算法真正要控制的是低估那一侧 $\{\mu_a>\hat\mu_a+u\}$（等价于 $\hat\mu_a\le\mu_a-u$），其概率被单侧界 $e^{-2N_a u^2}$ 压住。

第 2 步（选置信水平并解出 $u$，纯代数）。 令这个单侧失败概率等于一个随时间收紧的 $\delta_t=t^{-4}$，即 $e^{-2N_a u^2}=t^{-4}$。两边取自然对数：$-2N_a u^2=-4\ln t$；除以 $-2N_a$ 得 $u^2=\dfrac{2\ln t}{N_a}$；开方：

$$u=\sqrt{\frac{2\ln t}{N_a}}. \tag{10.4}$$

这正是式(10.2)里那份置信半径。也就是说，“真值被严重低估”这一坏事件 $\{\mu_a>\hat\mu_a+u\}$ 发生的概率不超过 $t^{-4}$。（选 $t^{-4}$ 而非 $t^{-2}$，是为下一步跨 $t,a$ 求和留出可求和裕度，见第 3 步。）

第 3 步（并集界控制”坏事件”）。 对所有 $K$ 个臂、所有时刻做并集界（union bound），总的”某处置信界失效”的概率被 $\sum_t \sum_a t^{-4}$ 之类的可求和序列控制住，从而高概率下最优臂的 UCB 值始终不低于其真值 $\mu^\star$。这保证最优臂不会被永久抛弃。

第 4 步（次优臂被拉次数的上界）。 设”高概率好事件”成立：最优臂满足 $\hat\mu^\star+u^\star\ge\mu^\star$（乐观不失效），且次优臂满足 $\hat\mu_a\le\mu_a+u_a$。若次优臂 $a$ 在时刻 $t$ 被选，按贪心规则其 UCB 不低于最优臂的 UCB：$\hat\mu_a+u_a\ge\hat\mu^\star+u^\star\ge\mu^\star$。把 $\hat\mu_a\le\mu_a+u_a$ 代入左端得 $\mu_a+2u_a\ge\mu^\star$，即 $2u_a\ge\mu^\star-\mu_a=\Delta_a$，于是 $u_a\ge\Delta_a/2$。代入式(10.4) $u_a=\sqrt{2\ln t/N_a}$ 并用 $t\le T$：

$$\sqrt{\tfrac{2\ln t}{N_a}}\ge\tfrac{\Delta_a}{2}\;\Longrightarrow\; N_a\le\frac{8\ln t}{\Delta_a^2}\le\frac{8\ln T}{\Delta_a^2}. \tag{10.5}$$

（常数 $8$ 是精确的；唯一的放大是把 $\ln t$ 抬到 $\ln T$，这在渐近阶上无损。）

第 5 步（代回 regret 分解）。 把式(10.5)代入遗憾分解式(10.1) $\mathrm{Reg}(T)=\sum_a\Delta_a\,\mathbb{E}[N_a(T)]$：

$$\mathrm{Reg}(T)=\sum_{a:\Delta_a>0}\Delta_a\cdot O\!\Big(\frac{\ln T}{\Delta_a^2}\Big)=O\!\Big(\sum_{a:\Delta_a>0}\frac{\ln T}{\Delta_a}\Big). \tag{10.6}$$

得到 $O(\log T)$ 的遗憾，匹配 Lai–Robbins 下界的对数阶 ^[1]。$\square$

局限

推导依赖奖励有界+独立同分布；间隙 $\Delta_a$ 越小、界越松（次优臂难以区分要拉更多次）。UCB 需要精确计数 $N_a$，直接搬到高维 MDP 会失效——正是第 8 节要解决的问题。

图 3：UCB 的选择规则。臂 B 均值不是最高，但因样本少、置信半径大，其 UCB 反而最高，于是被选中去”消解不确定性”。

批判性追问 · “UCB 是最优的”要打个星号

UCB1 在平稳、有界随机 bandit 中达到对数遗憾阶，但并不一般性匹配 Lai–Robbins 下界的渐近常数；这个结论也有严格适用范围 ^[1]。(1) 推导默认每个臂的分布 $P_a$ 固定不变、样本 i.i.d.；非平稳环境需要滑动窗口、折扣等变体。(2) bandit 无状态转移，而 MDP 里动作价值取决于未来轨迹，且 $N(s)$ 在高维退化。因此不能把该阶数结论直接外推到深度 MDP。

5. Thompson 采样 / 后验采样

Thompson 采样（posterior/Thompson sampling） 换了个思路——不算置信界，而是维护每个臂参数的贝叶斯后验，每步从后验里采样一组参数，再对采样值贪心：

$$\theta_a\sim p(\theta_a\mid \mathcal{D}),\qquad a_t=\arg\max_a \mu_a(\theta_a) \tag{10.7}$$

以伯努利臂为例，用 Beta 共轭先验：臂 $a$ 拉了成功 $s_a$ 次、失败 $f_a$ 次，则后验 $\theta_a\sim\mathrm{Beta}(1+s_a,\,1+f_a)$。采样一次相当于”按当前信念的可能性，随机相信某个臂是最好的，然后去验证”。

本质 Insight

Thompson 采样是 “概率匹配（probability matching）“：以正比于”该臂是最优臂的后验概率”来选它。不确定性大的臂后验分布宽 ⇒ 偶尔采到很高的值 ⇒ 被拉；随着数据积累后验收窄，探索自动减少。它与 UCB 是同一枚硬币的两面：UCB 是确定性乐观（取上分位），Thompson 是随机化乐观（从整个后验采样）。Thompson 也能达到 $O(\log T)$ 遗憾，且实践中常比 UCB 更稳。

6. 信息增益视角

第三条主线把探索价值直接量化为信息增益（information gain）。设未知量为参数 $z$（如各臂真实均值），当前信念为 $p(z)$，其不确定性用熵 $\mathcal{H}(p(z))$ 度量。观测 $y$（如某次奖励）后的信息增益为

$$\mathrm{IG}(y)=\mathcal{H}\big(p(z)\big)-\mathcal{H}\big(p(z\mid y)\big),\qquad \text{期望信息增益 }=I(z;y). \tag{10.8}$$

记号：$I(z;y)$ 是什么

这里首次出现的 $I(z;y)$ 是互信息（mutual information）。①是什么：衡量”平均而言，观测 $y$ 能带来多少关于未知量 $z$ 的信息”，即二者的统计依赖强度（相互独立时为 0）。②怎么算：它恰等于观测前后关于 $z$ 的熵之期望减少 $I(z;y)=\mathbb E_y\big[\mathcal H(p(z))-\mathcal H(p(z\mid y))\big]$（也可写成联合分布对”独立情形”的 KL 散度）。③为何引入：它把”这个动作值不值得探索”折算成一个可比较的信息量，从而把 UCB / Thompson / 计数三条主线统一到”谁最能减少不确定性”。这个记号在第 12、13 节（DIAYN、empowerment）还会作为核心目标反复出现。

探索策略应偏好那些期望信息增益大的动作——即”最能让我搞清楚世界”的动作。这正是主动学习（active learning）的语言，也把 UCB / Thompson 统一起来：三者都在追问”哪个动作最能减少我的不确定性”，只是度量与实现不同。

视角	探索信号	怎么用
UCB（乐观）	置信上界 $\hat\mu+u$	对上界贪心
Thompson（后验采样）	后验样本 $\theta\sim p(\theta\mid\mathcal D)$	对采样值贪心
信息增益（主动学习）	$I(z;y_a)$ 或 $-\Delta\mathcal H$	选信息量最大的动作

而”减少不确定性”其实有三种不同的对象可减：对环境模型参数的不确定（信息增益 / VIME）、对自身能控制什么的度量（empowerment），以及信念被数据推动的幅度（贝叶斯惊奇）。第 13 节把这三条信息论主线并到一处，说明它们与 UCB / 伪计数 / RND 都是同一个”epistemic 不确定性”母题的不同侧写。

7. 从 bandit 到 MDP：难在哪

Bandit 之所以干净，是因为没有状态转移——每次选择互相独立。搬到 MDP，探索一下子变难，原因有三：

• 深层探索（deep exploration）。 一个动作的价值取决于它引向的整条未来轨迹。要判断”往左走好不好”，可能得先坚持往左走几十步才看得到反馈。逐步随机的抖动会在长链上以指数速度稀释掉正确序列的概率。
• 信用分配与探索耦合。 稀疏奖励下，“没拿到奖励”既可能是探索不够，也可能是策略不对，二者纠缠。
• 状态空间巨大/连续。 Bandit 里”次数 $N_a$“是良定义的；在像素状态里，几乎每个状态都只被访问一次，$N(s)$ 恒为 1，UCB 的计数彻底退化。

为什么这样 · 能不能不这样

为什么要额外造一份”内在奖励”，而不是只用环境给的外在奖励去驱动探索？ 内在奖励把新颖度或不确定性折算成信号，在外部奖励尚未出现时也能推动数据收集，是稀疏奖励探索的常见办法之一。它需要维护新颖度估计器，并处理探索系数与 noisy-TV 等问题；后验采样、乐观规划、Go-Explore 等机制也可在不采用额外内在奖励的情况下实现主动探索。

本质 Insight

把 bandit 的探索原则推广到 MDP，需要回答一个核心问题：“新颖度（novelty）“如何在高维空间里定义？ 后面几节的三大流派——计数/伪计数、预测误差、后验采样——本质上都是在给”这个状态我到底熟不熟”提供一个可微、可泛化的代理指标，然后把它变成一份内在奖励（intrinsic reward） 加到外部奖励上。

8. 计数法与伪计数

把 UCB 的乐观思想搬进 MDP，最直接的做法是基于计数的奖励加成（count-based bonus）：给稀有状态发”探索奖金”。

$$r^+(s,a)=r(s,a)+\beta\,\frac{1}{\sqrt{N(s)}} \tag{10.9}$$

其中 $N(s)$ 是状态 $s$ 的访问次数，$\beta$ 是探索系数（$\beta>0$ 的超参数：怎么取——通常设一个较小正数，并随训练推进逐步衰减，让早期多探索、后期回归真实奖励；为何引入——用它调节”探索奖金”与真实奖励 $r$ 的相对强弱，太大则一味求新、太小则退化为纯利用）。访问越少、加成越大，正是式(10.2) UCB 半径 $\propto 1/\sqrt{N}$ 的 MDP 版本。表格环境里这非常有效。但在高维/连续状态下 $N(s)$ 几乎恒为 0 或 1，加成失去区分度——这就要”伪计数（pseudo-counts）”。

为什么这样 · 能不能不这样

为什么用”计数/伪计数”（奖金 $\propto 1/\sqrt{N}$）来度量新颖度，而不是别的量？（1）这个形式直接继承 UCB 的置信半径：奖金 $\beta/\sqrt{N(s)}$（式(10.9)）正比于 $1/\sqrt{N}$，是”访问越少、越该被乐观对待”这一原则在 MDP 上的最小改写——它有 bandit 理论背书（式(10.5′) 的 $\beta$–regret 权衡），量纲与含义都清楚，且随访问自动衰减。（2）换一种会怎样：若改用”到某中心状态的欧氏距离""一张手工新颖度表”之类启发式，就丢掉了”次数→乐观”的统计意义，也不会随探索自动退场，容易长期偏袒某片区域；而若坚持真·计数，高维/像素下 $N(s)$ 恒为 0 或 1、奖金失去区分度。正是这个死角逼出用密度模型的 recoding probability 反推 $\hat N(s)$（式(10.11)）——代价是把难题转嫁给”密度模型是否 learning-positive、是否泛化得当”，但换来了在高维仍可用、且与理论一脉相承的新颖度度量。

8.1 用密度模型导出伪计数

关键洞察：计数其实是概率的代理。如果我们有一个对状态的密度模型（density model）$p_\theta(s)$，那么”这个状态有多常见”就由 $p_\theta(s)$ 给出，无需真的去数。Bellemare 等人（2016）由此定义伪计数。设在见过 $n$ 个状态后，模型对 $s$ 的密度为 $p(s)$；把 $s$ 再喂给模型训练一步后，得到重编码概率（recoding probability） $p'(s)$——即”如果我把这个状态当作新数据学一遍，它的概率会升到多少”。

推导：伪计数 $\hat N(s)$

要求密度模型表现得像一个真正的经验频率：若真有一个计数 $\hat N(s)$（总样本数 $\hat n$），则频率式估计应满足

$$p(s)=\frac{\hat N(s)}{\hat n},\qquad p'(s)=\frac{\hat N(s)+1}{\hat n+1}. \tag{10.10}$$

第二式表示”再看到一次 $s$ 后，计数 +1、总数 +1”。这是两个方程、两个未知数（$\hat N(s)$ 与 $\hat n$）：由式(10.10)的第一式 $\hat N(s)=p(s)\,\hat n$，代入第二式得 $p'(s)(\hat n+1)=p(s)\hat n+1$，展开整理成 $\hat n\big(p'(s)-p(s)\big)=1-p'(s)$，即 $\hat n=\dfrac{1-p'(s)}{p'(s)-p(s)}$；再乘回 $p(s)$ 得伪计数：

$$\boxed{\;\hat N(s)=\frac{p(s)\,\big(1-p'(s)\big)}{p'(s)-p(s)}\;} \tag{10.11}$$

直觉：$p'(s)-p(s)$ 是”多学一次带来的密度提升”。提升越大 ⇒ 这个状态越新奇 ⇒ 伪计数越小 ⇒ 探索奖金越高。把 $\hat N(s)$ 代回式(10.9)的 count-based bonus 即可：$r^+=r+\beta/\sqrt{\hat N(s)}$（或 $\beta/\sqrt{\hat N(s)+0.01}$ 防除零）。

局限 / 要点

(1) 伪计数要求更新后满足 $p'>p$；神经密度模型不保证每次更新都严格 learning-positive，实际实现需检查或截断负 prediction gain ^[2]；(2) 密度模型要能泛化，否则退回逐点计数；(3) 归一化敏感——真正需要的是相对新颖度而非绝对概率。

推导深化：从密度模型 $\rho$ 的”学习一步”具体导出 recoding probability 与 $\hat N$

设置

设密度模型对状态做顺序（online） 估计：见过 $s_1,\dots,s_n$ 后，模型给状态 $s$ 的概率为 $\rho_n(s)$。把 $s$ 追加为第 $n{+}1$ 个样本、对模型做一步更新后，模型给同一个 $s$ 的新概率记为 $\rho_n'(s)$——这就是重编码概率（recoding probability）：不是”新状态的概率”，而是”把 $s$ 当新数据学一遍后、它自己的概率升到多少”。

第 1 步（把密度当经验频率）。 若模型行为像一个真正的计数器，则应存在一对 $(\hat N_n(s),\hat n)$ 使

$$\rho_n(s)=\frac{\hat N_n(s)}{\hat n},\qquad \rho_n'(s)=\frac{\hat N_n(s)+1}{\hat n+1}. \tag{10.12}$$

注意只有 $s$ 自己的计数 $+1$（我们只喂了一个 $s$），总数 $+1$。

第 2 步（消元，与式(10.11)同法）。 两式（式(10.12)）两未知，联立解出总数与伪计数：

$$\hat n=\frac{1-\rho_n'(s)}{\rho_n'(s)-\rho_n(s)},\qquad \hat N_n(s)=\rho_n(s)\,\hat n=\frac{\rho_n(s)\big(1-\rho_n'(s)\big)}{\rho_n'(s)-\rho_n(s)}. \tag{10.13}$$

第 3 步（预测增益近似，逐处量化误差）。 定义预测增益（prediction gain） $\mathrm{PG}_n(s)=\log\rho_n'(s)-\log\rho_n(s)\ge0$。从式(10.13)出发的三步化简：

$$\hat N_n(s)=\frac{\rho_n(s)\big(1-\rho_n'(s)\big)}{\rho_n'(s)-\rho_n(s)}\;\overset{(a)}{\approx}\;\frac{\rho_n(s)}{\rho_n'(s)-\rho_n(s)}\;\overset{(b)}{=}\;\big(e^{\mathrm{PG}_n(s)}-1\big)^{-1}\;\overset{(c)}{\approx}\;\frac{1}{\mathrm{PG}_n(s)}. \tag{10.14}$$

三处的近似条件：(a) 在 $\rho_n'(s)\ll1$ 时用 $1-\rho_n'(s)\approx1$，误差大小取决于具体密度定义与模型输出；(b) 是恒等式；(c) 在 $\mathrm{PG}$ 足够小时用 $e^x-1\approx x$，Taylor 余项为二阶量。伪计数公式见 ^[3]。

于是由式(10.14)，探索奖金 $r^+\propto 1/\sqrt{\hat N}\propto\sqrt{\mathrm{PG}_n(s)}$——模型对某状态”多学一次能提升多少概率”（预测增益）越大，越新奇、奖金越高。这正是 #Exploration（Bellemare 2016）与后续 PixelCNN 伪计数实际使用的形式。

要点

必须检查 $\rho'>\rho$（学习正、$\hat N>0$）；神经密度模型不保证逐次更新都满足这一条件，PixelCNN 实现会对负 prediction gain 作截断处理 ^[2]。PG 形式让我们不必显式知道总数 $\hat n$ 也能算奖金。

图 4：计数/伪计数把”新颖度”翻译成一份内在奖励，像热力梯度一样把探索引向状态空间的边界。

深化拓展 · 探索系数 β 与 regret 的权衡

把 UCB 半径写成 $u_a=\beta\sqrt{\ln t/N_a}$，$\beta$ 控制置信区间宽度。经典 $\sqrt{2\ln t/N}$ 来自选取一个便于并集界的高概率半径；它是安全常数之一，不是由下述粗略推导唯一确定的“临界最优值”。

太小 → 高概率证明失效，不等于自动得到线性 regret。 Hoeffding 给出失败概率上界 $t^{-2\beta^2}$。当 $2\beta^2>1$ 时，该上界可求和，便于证明坏事件总贡献有界；当不满足时，只能说这条求和证明走不通。由“上界不可求和”不能反推坏事件必然无穷次发生，更不能直接推出 $\Theta(T)$ regret；具体后果取决于 UCB 变体与实例。

太大 → 浪费、regret 常数变大。 重跑式(10.5)的次优臂计数上界：由 $u_a\ge\Delta_a/2$ 得 $\beta^2\ln T/N_a\ge\Delta_a^2/4$，即

$$N_a\le\frac{4\beta^2\ln T}{\Delta_a^2}\;\Longrightarrow\;\mathrm{Reg}(T)\le\sum_{a:\Delta_a>0}\frac{4\beta^2\ln T}{\Delta_a}. \tag{10.14a}$$

regret 的常数正比于 $\beta^2$——$\beta$ 每翻一倍，白拉的次优臂多约四倍。

读法： 式(10.5′)只展示“在该证明骨架中，较大 $\beta$ 会放大次优臂次数上界的常数”；不能据此宣称 regret 对 $\beta$ 在所有实例上单调，或最优值必须贴着 $1/\sqrt2$。$\beta=\sqrt2$ 提供 $t^{-4}$ 的充足高概率裕度，是常用且易证明的选择。

搬到深度 MDP：$\beta$ 太小可能让探索奖金被外部奖励淹没，太大又可能导致一味追新。伪计数的 Taylor 近似在预测增益不小时误差会增大，但“$\mathrm{PG}\gtrsim0.5$ 即不可信”不是普适阈值；可靠性还取决于密度模型是否 learning-positive、校准与状态泛化。

9. 预测误差：ICM 与 RND

第二大流派彻底绕开”数状态”，改用一个更朴素的代理：预测误差（prediction error）= 新颖度。如果一个学习中的预测器对某状态预测得很差，说明这状态”没见过/没学会”，值得探索。内在奖励 $\propto$ 预测误差。

举例

像小孩逛游乐园：走过千百遍的滑梯已经”闭着眼都能预判”，提不起兴趣；第一次看到的旋转木马预测不准，于是眼睛放光、非要凑过去看——“预测不准”天然等价于”新鲜、值得探索”。但这把尺子有个坑：把手机举到没信号的雪花屏前，画面每一帧都在乱跳、永远预测不准，好奇心却会被它牢牢黏住，一整晚盯着沙沙的雪花什么也没学到。区别在于——旋转木马是”我还没学会”（多看几次就会了），雪花屏是”它本质就随机”（看一万次也学不会）；后者就是让好奇心坍缩的 noisy-TV 陷阱。

9.1 ICM：内在好奇心模块

ICM（Intrinsic Curiosity Module, Pathak et al. 2017） 在一个学到的特征空间 $\phi(s)$ 里做前向预测。它同时训练：一个逆向模型由 $(\phi(s_t),\phi(s_{t+1}))$ 预测动作 $a_t$（用来学出只保留”可被智能体影响”的特征、滤掉无关像素），和一个前向模型由 $(\phi(s_t),a_t)$ 预测 $\phi(s_{t+1})$。内在奖励取前向预测误差：

$$r^i_t=\tfrac{\eta}{2}\big\|\hat\phi(s_{t+1})-\phi(s_{t+1})\big\|^2 \tag{10.15}$$

式中 $\hat\phi(s_{t+1})$ 是前向模型对真实下一特征 $\phi(s_{t+1})$ 的预测，二者之差即”没预测准的程度”；$\eta>0$ 是缩放系数（怎么取：一个超参数，把预测误差换算到与外部奖励可比的量级，实践中常配合对内在奖励做归一化来定；为何引入：误差的绝对大小会随特征维度、网络尺度漂移，$\eta$ 让内在奖励的强度可控）。

局限：noisy-TV problem（“噪声电视”陷阱）

预测误差法有个致命弱点：环境中的随机性也会造成永久的高预测误差。想象走廊里有一台播放随机雪花的电视——它的下一帧本质不可预测，前向模型永远学不会，预测误差恒高。于是”好奇”的智能体会像被磁铁吸住一样盯着电视看个不停，把探索预算浪费在纯噪声上。根因：它把”我不会预测”（epistemic，可通过学习消除）与”本质不可预测”（aleatoric，随机噪声）混为一谈。ICM 用逆向模型学特征来部分缓解（只对可被动作影响的东西好奇），但不能根除。

9.2 RND：随机网络蒸馏

RND（Random Network Distillation, Burda et al. 2018） 避免了“预测随机下一状态”这一直接误差源，但并未一般性消除 noisy-TV。它有两个网络：固定随机目标 $f$ 与预测网络 $\hat f$，内在奖励为

$$r^i(s)=\big\|\hat f(s)-f(s)\big\|^2 \tag{10.16}$$

RND 缓解了什么，又在哪里失效

关键在于：对同一个输入 $s$，目标 $f(s)$ 是确定的；RND 不必猜“同一 $(s,a)$ 会随机转移到哪个 $s'$”。因此：

• 访问过很多次的状态 ⇒ $\hat f$ 已经拟合好 ⇒ 误差 → 0；
• 没见过的新状态 ⇒ $\hat f$ 泛化不到 ⇒ 误差高 ⇒ 探索奖金高；
• 若随机性只影响转移、但重复到达的是可泛化的相似输入，误差可能随训练下降；
• 若雪花电视每帧在像素空间都像一个新输入，预测网络未必能泛化，RND 奖金仍可能长期偏高。确定的 $f(s)$ 只消除了“同一输入对应随机标签”，没有消除“不断出现新随机输入”。

本质：RND 更接近度量“该输入在预测器训练分布下拟合得怎样”，而不是直接预测动力学；这是新颖度代理，不是校准后的 epistemic 不确定性。它在 Atari 稀疏奖励任务上很有效，但对随机观测、表示漂移和灾难性遗忘仍敏感。

要点

需对内在奖励做running-std 归一化（不同关卡尺度差异大）；对观测也要归一化；用两个 value head 分别估计内在/外在回报，且内在奖励常设为非分幕（non-episodic） 以鼓励跨幕的持续探索。

举例

把 RND 想成“临摹固定老师给每张输入画的图”：走廊画面反复出现，预测误差会下降；新房间误差高，形成探索奖金。若电视每次生成全新的高维雪花图，老师对每张图的目标虽确定，学生却几乎不再见同一张图，奖金仍可能不降。是否缓解 noisy-TV 取决于表示能否把这些帧识别为“同一类已访问区域”。

深入：epistemic vs aleatoric——为什么”不可预测”与”没学过”必须分开

把预测误差拆开

设训练数据集为随机变量 $\mathcal D$，预测器 $\hat f_{\mathcal D}(s)$ 随训练数据变化；令 $\bar f(s)=\mathbb E[y\mid s]$，观测满足 $y=\bar f(s)+\varepsilon$、$\mathbb E[\varepsilon\mid s]=0$、$\mathrm{Var}(\varepsilon\mid s)=\sigma^2(s)$，且测试观测噪声与训练数据独立。对训练数据和测试观测噪声共同取期望，平方误差可分解为

$$\underbrace{\mathbb E_{\mathcal D,\varepsilon}\big[(y-\hat f_{\mathcal D}(s))^2\mid s\big]}_{\text{期望测试误差}}=\underbrace{\big(\bar f(s)-\mathbb E_{\mathcal D}[\hat f_{\mathcal D}(s)]\big)^2}_{\text{平方偏差}}+\underbrace{\mathrm{Var}_{\mathcal D}[\hat f_{\mathcal D}(s)]}_{\text{估计方差}}+\underbrace{\sigma^2(s)}_{\text{固有噪声（aleatoric）}}. \tag{10.17}$$

前两项反映预测器在给定训练过程下可随数据改善的误差，第三项是不可约的 aleatoric 噪声；探索信号应尽量避免被第三项持续驱动。

• ICM 的目标含噪： 它预测 $\phi(s_{t+1})$，而 $s_{t+1}$ 本身是随机变量，$\sigma^2>0$ 恒存在 ⇒ 前向误差有正下界 ⇒ 好奇心不灭，坍缩在噪声上。
• RND 的监督标签在给定 $s$ 后无噪：$f(s)$ 对同一输入恒定；但若观测噪声不断产生不同的 $s$，输入分布本身仍持续扩张，误差不保证降到 0。因此 RND 只切断条件标签噪声，不保证解决 noisy-TV。

缓解 ICM 的通用思路：(1) 学习偏向可控因素的表示；(2) 用集成分歧作 epistemic 代理——若成员都学到同一条件均值，纯 aleatoric 噪声不会持续造成成员均值分歧，但有限数据与共享偏差下不保证完全分离；(3) 用 RND 式确定性标签避免预测随机后继，同时继续处理随机输入的新颖度漏洞。

图 5：RND 结构。用”拟合固定随机投影的难度”作为新颖度代理，可缓解部分 noisy-TV，但随机输入持续产生新观测时仍可能失效。

批判性追问 · “探索 bonus 就能鼓励探索”？

别把”加一份 bonus”当成探索的万能钥匙——bonus 度量的从来不是”该不该探索”，而是某个新颖度代理，代理一旦与真实认知不确定性错位，“鼓励探索”就会变成”鼓励发呆”。(1) 预测误差类 bonus 会被 noisy-TV 欺骗：任何以”预测不准=新颖”为信号的方法（ICM 及朴素前向好奇心），面对电视雪花、随机风、飘动的树叶这类本质随机（aleatoric） 的源，误差恒高、bonus 恒大，智能体被随机源牢牢黏住，把预算烧在学不会的东西上；RND 用固定确定性目标只能部分缓解，但真实场景里”哪些随机是可学的”往往难以事先切分。(2) 朴素计数在高维直接失效：像素状态下几乎每帧都是新的，$N(s)\equiv1$、$1/\sqrt N$ 恒为常数，bonus 完全丧失区分度；伪计数虽用密度模型救场，却把问题转嫁给”密度模型是否 learning-positive、是否泛化得当”——模型一差，bonus 就退化成噪声。所以”探索 bonus 鼓励探索”只在”新颖度代理恰好对齐 epistemic 不确定性”时才成立，这个前提远非默认满足。

10. 后验采样：自举 DQN

把 Thompson 采样搬进深度 RL，就得到自举 DQN（Bootstrapped DQN, Osband et al. 2016）。它维护 $K$ 个共享卷积主干、但各自独立的 Q 头 $\{Q_k\}$，每个头用自举（bootstrap） 的数据子集训练，从而近似 Q 函数的后验分布。每一幕（episode）开始时随机抽一个头 $k$，整幕都贪心地跟随 $Q_k$。

本质 Insight

这就是深度版的后验采样，也是实现深层探索的关键：因为在整幕内都坚持同一个采样出的 Q 函数，智能体会时间上一致地（temporally coherent） 去执行一个完整的”假设性策略”，而不是每步独立抖动。这正是 $\epsilon$-greedy 做不到、蒙特祖玛式长链任务所必需的。头之间的分歧（disagreement）度量了认知不确定性，分歧大处即值得探索。

深入：自举、随机先验与”深层探索”为何需要时间一致性

机制

训练时给每条转移一个 $K$ 维自举掩码 $m\in\{0,1\}^K$（各头以概率 $p$ 独立选入），头 $k$ 只用 $m_k=1$ 的样本更新，各头因此看到不同的数据重采样，其分歧近似 $Q$ 的后验宽度。

随机先验函数（randomized prior functions, Osband 2018）。 纯自举在从未见过的状态上分歧会塌成 0（网络外推趋同），恰恰在最该探索处失去不确定性。补救：令每个头 $Q_k=f_k+\beta\,p_k$，其中 $p_k$ 是一个固定不训练的随机先验网络。未访问处 $f_k$ 尚未抵消 $p_k$，各头因 $p_k$ 不同而保持分歧 ⇒ 保留 epistemic 不确定性（与 RND 的”固定随机网络”精神一致）。

为什么必须”整幕锁定一个头”。 深层探索要求策略在长时间尺度上连贯地贯彻同一个假设：只有沿一条完整轨迹坚持”假设走廊尽头有奖励”，才可能真的走到尽头去验证它。若每步重采样（像 $\epsilon$-greedy 独立抖动），走对长序列的概率随长度指数衰减。整幕固定 $k$ = 一次时间一致的后验采样（temporally-coherent posterior sampling），这正是 PSRL（后验采样 RL）在深度网络上的落地。

图 6：自举 DQN 用 K 个头近似 Q 的后验；整幕锁定一个采样头，实现 ε-greedy 做不到的时间一致探索。

11. Go-Explore：记住并返回

Go-Explore（Ecoffet et al. 2019/2021） 直击深层探索的另一痛点——“脱离/遗忘（detachment & derailment）“：内在奖励方法一旦离开某个有前途的状态，往往因为奖金被”用掉”而再也回不去，导致探索前沿丢失。Go-Explore 的两阶段方案：

1. 探索阶段： 把访问过的状态归入”单元格（cell）“存进档案（archive）；每次不是从零随机探索，而是先确定性地”返回（go）“到一个有前途的已存单元格（依靠可复位模拟器或学到的返回策略），再从那里向外随机探索（explore）。这样把探索前沿牢牢”锚住”，不会遗忘。
2. 鲁棒化阶段： 把找到的高分轨迹用模仿学习/RL 变成一个抗噪声的策略。

本质 Insight

Go-Explore 点破一个常被忽视的真理：探索的瓶颈往往不是”找到”新状态，而是”可靠地回到”你曾经到过的有希望的地方再继续。“先返回、再探索”把随机游走的指数难度，降为”档案里线性积累前沿 + 局部随机扩展”。

12. 无监督技能发现：DIAYN

如果连外部奖励都没有呢？——那就让智能体自己”给自己找事做”，学出一批多样化、可复用的行为，这叫无监督技能发现（unsupervised skill discovery）。代表作 DIAYN（Diversity Is All You Need, Eysenbach et al. 2018） 把技能 $z$ 作为策略的条件 $\pi(a\mid s,z)$，用一个互信息（mutual information） 目标鼓励”不同技能到达可区分的状态”：

$$\mathcal{I}(S;Z)=\mathcal{H}(Z)-\mathcal{H}(Z\mid S)\;\ge\; \mathbb{E}_{z,s}\big[\log q_\phi(z\mid s)-\log p(z)\big] \tag{10.18}$$

推导骨架：把互信息变成可优化的内在奖励

$\mathcal H(Z\mid S)$ 含无法计算的后验 $p(z\mid s)$。用一个学到的判别器（discriminator） $q_\phi(z\mid s)$ 做变分下界（Barber–Agakov）：$-\mathcal H(Z\mid S)\ge \mathbb E[\log q_\phi(z\mid s)]$。固定技能先验 $p(z)$（均匀）使 $\mathcal H(Z)$ 为常数。于是最大化 $\mathcal I(S;Z)$ 归结为：让判别器能从状态反推出是哪个技能。据此给策略的内在奖励为

$$r_z(s)=\log q_\phi(z\mid s)-\log p(z). \tag{10.19}$$

再加一项条件策略熵 $\mathcal H(A\mid S,Z)$，鼓励给定技能时的策略保持随机性。含义：每个技能都努力去到”最能暴露自己身份”的状态区域，从而彼此在状态空间里自动分散、覆盖不同区域。

局限

(1) 技能倾向于”占领静态可区分的状态”，未必对应有用的动态行为；(2) 学到的技能多样但不一定与下游任务对齐；(3) 判别器质量决定一切，状态表示差则技能坍缩。尽管如此，它给出了”没有奖励时探索=最大化状态覆盖/可控多样性”的漂亮范式。

换一个等价写法更能看清直觉：$\mathcal I(S;Z)=\mathcal H(S)-\mathcal H(S\mid Z)$。第一项 $\mathcal H(S)$ 要求所有技能合起来覆盖尽量多样的状态（别都挤在一处），第二项 $-\mathcal H(S\mid Z)$ 要求给定技能后状态可预测（每个技能各自专一、稳定到达自己那片区域）。二者合力 = “各据一方、互不重叠地铺满可达状态空间”，这正是判别器 $q_\phi(z\mid s)$ 能从状态反推出技能的几何图像。而目标里用的 $\log q_\phi(z\mid s)$ 恰是 $\mathcal I(Z;S)=\mathcal H(Z)-\mathcal H(Z\mid S)$ 一侧的变分下界——两种写法（$I(S;Z)=I(Z;S)$）本是同一个互信息。

本质 Insight

无监督技能发现把探索推到极端：探索不再是为某个任务服务的手段，而成了目标本身——尽可能多样地、可控地覆盖你能到达的世界。这与”信息增益/减少不确定性”是一脉相承的：最大化 $\mathcal I(S;Z)$ 等价于让技能承载尽量多的”关于状态的信息”。

13. 信息论探索的统一：VIME、empowerment 与贝叶斯惊奇

第 6 节把探索归结为”减少不确定性”。但可减的不确定性有三种不同对象，信息论各给一个可优化的互信息 / 熵变量，正好把前面所有启发式统一起来。

13.1 信息增益与 VIME：关于模型参数的不确定

把动态模型参数化为 $\theta$（转移 $p_\theta(s'\mid s,a)$），维护其后验 $p(\theta\mid\mathcal D)$。一次交互 $(s,a,s')$ 的信息增益就是后验相对先验被推动的 KL 距离，取作内在奖励：

$$r^i(s,a,s')=D_{\mathrm{KL}}\!\big(p(\theta\mid\mathcal D\cup\{s,a,s'\})\;\big\|\;p(\theta\mid\mathcal D)\big). \tag{10.20}$$

VIME（Variational Information Maximizing Exploration, Houthooft et al. 2016） 用贝叶斯神经网络的变分后验 $q_\phi(\theta)$ 近似它，内在奖励 $\approx$ 观测前后变分参数的 KL。直觉：哪个转移最能改变我对世界动态的信念，就最值得去。这与伪计数（密度提升）、RND（拟合难度）本质同类——都在估计 epistemic 不确定性，只是 VIME 直接对模型后验下手。

13.2 贝叶斯惊奇：信念被推动的幅度

上式的 $D_{\mathrm{KL}}(\text{后验}\,\|\,\text{先验})$ 有个名字叫贝叶斯惊奇（Bayesian surprise）。要害在于它不同于香农惊奇 $-\log p(s')$：

• 香农惊奇只看”这个观测有多罕见”——噪声电视每帧都罕见，香农惊奇恒高。
• 贝叶斯惊奇看”这个观测让我改变了多少信念”——面对纯随机源，后验早已收敛到”它就是随机的”，再看一帧不再更新信念，贝叶斯惊奇 $\to0$。

在模型能够正确表示随机机制、后验可识别且随数据收敛等条件下，纯随机源带来的后验更新会渐近趋零，因此贝叶斯惊奇可能减轻 noisy-TV；这不是无条件保证。RND 则只是拟合误差型新颖度代理，并非校准后的 epistemic 不确定性。

13.3 empowerment：关于自身控制力的信息

empowerment 换了个问题——不问”我了解世界多少”，而问”我能对世界施加多少可控影响”。它定义为动作（序列）$a$ 与其 $k$ 步后果 $s'$ 之间的信道容量（对动作分布取最大的互信息）：

$$\mathcal E(s)=\max_{\omega(a\mid s)} I(a;s'\mid s)=\max_{\omega}\Big[\mathcal H(s'\mid s)-\mathcal H(s'\mid s,a)\Big]. \tag{10.21}$$

高 empowerment 的状态 = “我的动作能造成多样而可预测的后果”的状态（站在很多扇门的门厅，而非墙角）。它无需任何外部奖励，就把智能体推向”最有掌控感”的状态。它与 DIAYN 是近亲：DIAYN 最大化 $I(z;s)$（技能 ↔ 所到状态），empowerment 最大化 $I(a;s')$（动作 ↔ 后果）——一个让不同技能占据不同状态，一个让单步动作尽可能”说了算”。

本质 Insight · 一根主线

部分探索方法可从信息论视角联系起来：信息增益 / VIME 直接度量模型参数后验变化，empowerment 与 DIAYN 显式最大化互信息；UCB、计数奖金和 RND 的直接目标并不是互信息，只能在特定假设下与不确定性或信息增益建立等价、界或启发式类比。

图 7：三条信息论探索主线并置——对象不同（模型参数 / 控制力 / 技能），数学母题相同（最大化互信息）。

方法溯源：动机 · 启发 · 局限

把本模块的探索算法按”为什么被提出 → 受什么启发 → 卡在哪 → 逼出下一个”串起来，会看到一条清晰的演进链：干净的 bandit 理论被一步步搬进高维深度 MDP，每次搬迁都撞上新障碍，于是催生下一个方法。

方法 / 代表作（年代）	为何提出（动机）	启发 / 脉络	关键局限（→ 引出谁）
UCB（Auer 2002）	bandit 有限预算下平衡探索-利用，要可证明的对数遗憾	Lai–Robbins 下界 + Hoeffding 集中不等式；“面对不确定性时乐观”	依赖精确计数 $N_a$、奖励有界 i.i.d.；高维 MDP 里 $N(s)$ 退化 → 计数/伪计数
Thompson 采样（Thompson 1933）	用更简单的随机化规则达到同样的最优遗憾	贝叶斯后验 + 概率匹配（比 UCB 早了数十年，后被重新发掘）	需维护后验，深度网络里后验难算 → 自举 DQN
计数探索（count-based bonus）	把 UCB 的 $1/\sqrt{N}$ 乐观直接搬进 MDP	UCB 置信半径 $\propto 1/\sqrt{N}$ 的 MDP 类比	高维/连续下 $N(s)$ 恒为 0 或 1、失去区分度 → 伪计数
伪计数 pseudo-counts（Bellemare 2016）	在像素状态里恢复”访问频次”这一概念	“计数 = 概率的代理”，用密度模型的 recoding probability 反推 $\hat N(s)$	依赖 learning-positive 密度模型、归一化敏感 → 更朴素的预测误差
ICM 好奇心（Pathak 2017）	彻底绕开数状态，用”预测不了 = 新颖”当内在奖励	预测误差 = 惊奇；逆向模型学”可被动作影响”的特征	noisy-TV——把 aleatoric 噪声误当 epistemic、盯着随机源 → RND
RND（Burda 2018）	去掉 ICM 对环境随机性的敏感	用固定随机网络的确定性目标，度量”离训练分布多远”（与随机先验同精神）	内在奖励尺度需归一化；仍是无向新颖度 → Go-Explore 补”回得来”
自举 DQN（Osband 2016）	把 Thompson 后验采样落到深度 Q、实现深层探索	自举集成近似 $Q$ 后验；随机先验函数保住未访问处的分歧	纯自举在未见状态分歧塌陷（靠随机先验补救）→ 与 RND 精神合流
Go-Explore（Ecoffet 2019）	解决”脱离/遗忘”：找到前沿却回不去	先返回再探索、把前沿存进档案	依赖可复位/可返回性；两阶段方案较工程化
DIAYN（Eysenbach 2018）	连外部奖励都没有时如何探索、攒技能	最大化技能与状态的互信息 $\mathcal I(S;Z)$（与 empowerment 亲缘）	技能未必对下游有用；判别器质量决定成败

演进故事线 · 从乐观到新颖度代理

探索的理论内核诞生在多臂老虎机：UCB 用 Hoeffding 界把”不确定”翻译成一份可加的乐观奖金，Thompson 采样则用后验采样达到同样的最优遗憾——一个确定性乐观、一个随机化乐观，是同一枚硬币的两面。真正的麻烦发生在把它们搬进深度 MDP 时：bandit 里良定义的计数 $N_a$，在像素状态里几乎恒为 1，UCB 的乐观半径瞬间失去区分度。

演进故事线 · 计数失效如何逼出预测误差

伪计数用密度提升反推 $\hat N(s)$，但密度模型难训。ICM 改用预测误差，却会混淆可学习未知与转移随机性。RND 再把目标换成固定随机网络，避免“同一输入的随机标签”，实现更简洁；它仍可能把随机生成的新观测当作持续新颖，故 noisy-TV 是被缩小而非彻底解决。

演进故事线 · 后验、返回与无奖励的极限

另一条支流沿着 Thompson 走：自举 DQN 用集成 + 随机先验近似 $Q$ 的后验，靠”整幕锁定一个头”实现 $\epsilon$-greedy 做不到的时间一致深层探索。Go-Explore 则点破一个被忽视的真相——探索的瓶颈常不是”找到”而是”回得来”，于是先返回再扩展。最后 DIAYN 把探索推向极端：没有奖励时，最大化”技能 ↔ 状态”的互信息本身就是探索。九个方法、跨越近一个世纪，最终都收敛到同一句话——下一步该去消除哪一份不确定性？

图 8：探索方法家谱。主线（上）从 bandit 乐观搬入高维、遇到 noisy-TV、由 RND 部分缓解；支线（下）是后验采样、“回得来”与无奖励技能发现。

14. 方法族对比与总结

方法族	代表	新颖度/探索信号	能否深层探索	关键弱点
随机抖动	$\epsilon$-greedy、动作噪声	无（盲目）	否	长链任务指数失效
乐观初始化	$Q_0=Q_{\max}$	未压低的估计	弱	一次性、非平稳失效
乐观置信界	UCB / UCB-VI	$1/\sqrt{N}$ 置信半径	是（表格）	高维计数退化
后验采样	Thompson、自举 DQN	后验分歧	是（幕内一致）	后验近似难
计数/伪计数	count bonus、CTS/PixelCNN 伪计数	$\beta/\sqrt{\hat N(s)}$，recoding prob	较好	依赖密度模型质量
预测误差	ICM	前向动力学误差	较好	noisy-TV 坍缩
预测误差（固定目标）	RND	拟合随机投影误差	较好	仍可能受 noisy-TV 影响，奖励尺度需归一化
返回+扩展	Go-Explore	档案单元格新颖度	强	依赖可返回性
无监督技能	DIAYN	互信息 $\mathcal I(S;Z)$	—（无奖励）	技能未必有用

前沿实践

• 稀疏奖励与好奇心： RND 及其后继把内在、外在探索与元控制结合，在 Atari 等基准上展示了稀疏奖励探索的效果；能否迁移到具体机器人任务仍取决于观测、动力学和安全约束。
• 探索与 LLM 后训练： 在 RLHF/RLVR 中，采样温度、top-p 与每题多条 rollout 会影响输出多样性。DAPO 的 Clip-Higher 为低概率 token 留出更大的上升空间，Dynamic Sampling 则过滤全对或全错的组；它没有独立的熵或多样性正则 ^[4]。详见模块 13。
• 好奇心作为通用预训练： 无监督技能发现（DIAYN、APT、CIC）被用来在无奖励阶段预训练一个”会动”的策略，再微调到下游任务，与自监督预训练思路合流。

前沿实验室视角

经典内在奖励、后验采样与返回式探索在不同基准上各有作用；在基础模型后训练中，采样策略与可验证奖励又提供了不同的探索信号。二者所处的问题设定不同，不能据此推断某类方法已在产业中被普遍采用或取代。

收束：一句话记住探索

所有探索算法都在回答同一个问题——“我下一步最该去消除哪一份不确定性？” 乐观（UCB）、随机化（Thompson/自举）、密度（伪计数）、预测难度（RND）只是对”不确定性”的四种可计算近似；而 Go-Explore 提醒我们，找到未知之后还得回得来；DIAYN 则告诉我们，在没有奖励的世界里，最大化对世界的信息掌控本身就是最好的探索。

本质 Insight · 乐观与悲观的镜像

把本模块的探索机器与离线 RL（模块 9）并置，会看到一个惊人的对称：二者是同一台”不确定性机器”的正负两号。在线探索取乐观——UCB 的置信半径、count/伪计数 bonus、RND 的预测误差，都是对高不确定处 $u(s,a)$ 加一份奖励 $r+\beta\,u$，主动去访问以消解未知；离线 RL 取悲观——CQL/BCQ 等对分布外、高不确定处压低估值 $r-\beta\,u$，主动去回避以免被幻觉外推坑害。同一个认知不确定性信号 $u$，仅仅因为”还能不能再采数据”而反号。这条正负号对称正是全课的统一母题之一，详见 模块 15 · 乐观 vs 悲观。

编者按 · 批判性视角

编者判断： RND、计数与信息增益在基准上的成功不应被视为通用解决方案。机器人与基础模型后训练的问题结构、数据来源和安全约束差异很大，探索信号需要按具体场景重新验证。