迁移与多任务 RL：让经验复用起来

标准 RL 为每个任务从零学起，样本代价高得离谱。但人类学新技能几乎从不从零开始——我们复用旧知识。本模块讨论如何让 RL 也做到：多任务学习（一次学多个任务）、目标条件 RL 与 HER（把”目标”作为输入、从失败中榨取学习信号）、后继特征（把奖励与动态解耦以便秒级迁移）、元强化学习（学会如何快速学习），以及把仿真里学到的东西搬到真机上的 sim-to-real。贯穿始终的主线是：当任务身份需要通过交互辨识时，部分 meta-RL 问题可解释为任务层探索。

学习目标

• 把”迁移/多任务”统一为”任务作为上下文变量”的条件策略问题。
• 理解 UVFA 如何用目标条件值函数实现对未见目标的泛化。
• 推导 HER 的重标机制，理解它为何把稀疏奖励变稠密。
• 推导后继特征分解 $Q=\psi^\top w$，说明它为何支持零样本换奖励迁移。
• 厘清 meta-RL 三范式（黑箱 RL²、基于梯度 MAML、作为推断 PEARL）及统一视角。

1. 泛化与迁移的动机

先厘清术语（首次给英文）：

• 泛化（generalization）： 在训练任务分布内、对新情形表现好。
• 迁移（transfer）： 把源任务（source task）学到的知识用于加速目标任务（target task）。衡量指标：零样本迁移（zero-shot，不再训练直接用）、少样本迁移（few-shot，微调很少步）、渐近性能。
• 多任务 RL（multi-task RL）： 同时优化一批任务的联合表现，期待任务间共享结构带来正迁移。

本质 Insight

迁移之所以可能，是因为不同任务共享底层结构：同一套物理动态、同一批可复用的技能基元、相似的感知表示。RL 的样本效率瓶颈（模块 11 的 $\sqrt{SA}$、$\frac{1}{1-\gamma}$）恰恰可以靠”把学过的表示/技能带过来”来缓解——迁移是对抗样本复杂度的最实际武器。关键设计问题始终是：“什么”应该被迁移（表示？值函数？动态模型？探索策略？），以及如何避免负迁移。

2. 多任务 RL 与任务上下文

处理多任务最统一的技巧：把”当前是哪个任务”编码成一个上下文变量（context）$\omega$，喂给策略与值函数。于是一个”多任务 MDP”可看成一个更大的 MDP，其状态被增广为 $\tilde s=(s,\omega)$：

$$\pi(a\mid s,\omega),\qquad Q(s,a,\omega),\qquad \tilde s=(s,\omega)\in\mathcal S\times\Omega. \tag{12.1}$$

上下文 $\omega$ 可以是任务 ID、语言指令、目标状态、奖励参数等。这一视角把”多任务/迁移/目标条件/元学习”全部收编为 “学一个能被上下文调制的策略”。剩下的区别只在于 $\omega$ 是给定的（多任务、目标条件）还是需要推断的（元 RL 里任务未知，得从交互中猜）。

为什么这样 · 能不能不这样

为什么把”当前是哪个任务”编码成上下文 $\omega$、只学一个被调制的策略 $\pi(a\mid s,\omega)$（式(12.1)），而不是每个任务各训一个独立策略？（1）上下文条件化这个形式让所有任务共享同一套参数与表示：相近的任务/目标自然获得相近的行为，知识在任务间自动复用，甚至能对训练时没见过的 $\omega$ 做泛化（见下节 UVFA）；它还把”多任务/迁移/目标条件/元学习”统一成同一个问题。（2）每任务一策略会怎样：参数量与样本代价随任务数线性膨胀（$N$ 个任务 = $N$ 次从零训练），且彼此完全不共享——一个任务学到的动态与感知表示帮不了另一个，等于把模块 11 的 $\sqrt{SA}$ 样本瓶颈重复付 $N$ 遍。代价对照：共享一个条件策略的风险是负迁移与梯度冲突（见下方陷阱），但只要任务确有共享结构，用任务加权、梯度手术等少量手段即可压住，收益远大于代价。

局限 / 陷阱

天真的多任务联合训练常出现负迁移（negative transfer） 与梯度冲突：不同任务的梯度方向相反，互相拉扯，联合训练反而不如单独训练。缓解手段：任务加权、梯度手术（PCGrad 投影掉冲突分量）、共享底层+任务专属头、课程学习。这说明”共享结构”是把双刃剑——有共享才有正迁移，冲突太大则伤害彼此。

3. 目标条件 RL 与 UVFA

一类特别重要的多任务设定：目标条件 RL（goal-conditioned RL）。任务由一个目标状态 $g$ 指定，奖励通常是稀疏的”到达即得”：

$$r_g(s,a,s')=\begin{cases}0,&\|s'-g\|\le\varepsilon\ (\text{达成})\\-1,&\text{否则}\end{cases} \tag{12.2}$$

式中 $\varepsilon>0$ 是判定”到达目标”的距离阈值：是什么——$s'$ 落进以 $g$ 为心、半径 $\varepsilon$ 的邻域即算达成；怎么取——一个小容差超参，太小则几乎永远达不成、太大则目标形同虚设；为何引入——把连续状态下几乎不可能的”精确命中”放宽为”足够接近”，否则奖励恒为 $-1$、无从学起。（此 $\varepsilon$ 是空间容差，与模块 11 的精度 $\epsilon$ 无关。）

UVFA（Universal Value Function Approximator, Schaul et al. 2015） 把目标 $g$ 作为值函数的额外输入，学一个通用值函数 $V(s,g)$ 或 $Q(s,a,g)$。关键在于——用神经网络对 $g$ 做泛化：训练时见过一些目标，测试时对未见过的目标也能给出合理估计，实现零样本的目标泛化 ^[1]。

本质 Insight

UVFA 把”每个目标一个策略”压缩成”一个以目标为条件的策略”，从而把目标空间的结构（相近目标需要相似行为）编码进网络权重。这是”任务作为上下文”最干净的实例：$\omega=g$。但它有一个致命的实践难题——稀疏奖励下，随机策略几乎永远达不到指定目标，采到的几乎全是 $-1$，学不到东西。解决它的正是 HER。

4. 事后经验回放 HER

事后经验回放（Hindsight Experience Replay, HER, Andrychowicz et al. 2017） 是稀疏奖励目标条件 RL 的神来之笔。核心思想一句话：“失败也是成功——只是成功地到达了另一个目标。”

假设智能体想去 $g$ 却没到，最后停在了 $s_T$。这条轨迹对”到 $g$“毫无信号（全 $-1$）。但如果我们事后（in hindsight）把目标重标（relabel）为它实际到达的状态 $g'=s_T$，那么这同一条轨迹就变成了一次成功到达 $g'$ 的示范！

为什么这样 · 能不能不这样

为什么 HER 要把失败轨迹”事后重标”成到达了别的目标，而不是干脆丢弃这些失败数据？（1）重标这个形式的关键在于：环境转移 $(s_t,a_t,s_{t+1})$ 本身不含目标，把目标从 $g$ 换成实际到达的 $g'$ 后，这一步在动态上依旧真实可达，用同一个奖励函数（式(12.2)）重算即得目标 $g'$ 下正确的奖励——于是一条”对 $g$ 全是 $-1$“的废轨迹，摇身变成”对 $g'$ 百分百成功”的有效示范。（2）丢弃失败会怎样：在稀疏、到达型奖励下，早期策略几乎永远达不到指定 $g$，采到的绝大多数是失败轨迹；把它们扔掉等于扔掉几乎全部数据，回放池里长期没有一个成功样本，$Q(s,a,g)$ 学不到任何梯度。代价对照：重标的代价是引入目标分布偏移（系统性偏向易达目标，见下方批判性追问），而丢弃的代价是根本学不起来——两害相权，把失败”追认为成功”显然划算得多。

举例

像练投篮：你瞄准正中那个篮筐出手，球没进，却不偏不倚砸中了旁边那个筐。对”投进中间那个筐”这个目标，这次是彻底失败、零收获；可要是把目标事后改成”投进旁边那个筐”，这一投立刻成了一次完美的成功示范——你顺带学会了”想砸旁边那个筐，手该怎么发力、抛物线该怎么走”。HER 就是这样：不浪费任何一次出手，凡是实际到达过的地方，都被追认成”本来就想去的目标”，稀疏的失败瞬间被榨成稠密的成功经验。

推导 / 机制：HER 的重标

输入： 一条用目标 $g$ 收集的转移 $(s_t,a_t,s_{t+1},g)$，奖励几乎全为 $-1$。

第 1 步（选替代目标）。 从这条轨迹里采一批”事后目标” $g'$。常用 future 策略：对时刻 $t$，从其之后访问到的状态里随机取一个 $s_k\ (k>t)$ 作为 $g'$。

第 2 步（重算奖励）。 用同一个奖励函数对新目标重新打分：$r' = r_{g'}(s_t,a_t,s_{t+1})$。因为 $g'$ 是真的被到达过的，轨迹后段会出现 $r'=0$ 的”成功”信号。

第 3 步（存入回放池）。 把重标后的转移 $(s_t,a_t,s_{t+1},g')$ 和原始 $(\cdot,g)$ 一起放进 replay buffer，用任意 off-policy 算法（DQN/DDPG/SAC）训练 UVFA $Q(s,a,g)$。

为什么合法（重标不改变可达性）： 关键在于把一条转移拆成物理动态 $(s_t,a_t,s_{t+1})$ 与目标标签/奖励 $(g,r)$。若环境转移不依赖目标，把 $g$ 换成 $g'$ 后，这条转移在动力学上仍是真实数据，奖励也可按新目标重算 ^[2]。但这不等于统计上无偏：事后目标的选择会改变轨迹的条件分布，标准 HER 在随机环境中可能产生 hindsight bias ^[3]。

局限

(1) 依赖可参数化、可事后重算的目标/奖励（“到达某状态”类）；不适用于难以用状态表达的抽象奖励；(2) future/final/episode 等重标策略与比例是超参，影响很大；(3) 重标引入的目标分布可能与测试目标分布不一致，产生偏移。

图 1：HER 的事后重标。off-policy + 目标条件让”每条轨迹至少成功到达了自己的终点”这一事实变成免费监督。

本质 Insight

HER 之所以强大，是把探索难题转化为学习信号丰富度问题：即便策略还不会到达目标 $g$，它总归到达了某处；把实际到达的状态作为事后目标，通常可产生一部分含成功信号的重标样本。这在精神上与离线 RL 的”充分利用已有数据”、以及模块 10 探索的”覆盖状态空间”都相通。

批判性追问 · “HER 总是有帮助”？

HER 把失败榨成成功样本，但这份”免费监督”并非无代价、无前提。(1) 偏向易达目标。 future / final 重标只会把实际到达过的状态追认成目标，而智能体早期只会到达”离出发点近、容易到”的地方——训练目标分布因此被系统性地拉向易达目标，对真正困难、远处的测试目标反而采样不足，形成”越会的越练、越难的越荒”的偏置。(2) 重标合法性依赖”目标可达性 / 可重算”假设。 它要求目标能用状态表达、奖励 $r_g$ 能对任意事后目标重新计算（式(12.2)那类”到达型”奖励），且被重标的目标天然是”曾被到达”的可达点；一旦奖励是难以从状态反推的抽象量（如”让用户满意”），或目标空间与状态空间不一致，重标便无从谈起。(3) 目标分布偏移会反噬。 重标制造的目标边际分布 $\ne$ 测试目标分布（推导中局限已点出），在某些任务里这种偏移会让策略过度偏向近端行为、损害对远目标的泛化。结论：HER 在”稀疏 + 到达型 + 目标可参数化”的任务上近乎神器，但它不是无条件的加速器，用错场景可能无效甚至有害。

5. 后继特征与快速迁移

如果任务之间只有奖励不同、动态相同（同一个机器人，今天让它去 A、明天去 B），能不能换个奖励就秒出新策略、不用重训？后继特征（successor features, SF） 正是为此而生。前提假设：奖励可线性分解为特征 $\phi(s,a)\in\mathbb R^d$ 与任务权重 $w$ 的内积 ^[4]：

$$r(s,a)=\phi(s,a)^\top w. \tag{12.3}$$

举例

把后继特征想成背熟了一张地铁线路图：哪站到哪站怎么换乘、要坐几站（这就是”动态”，藏在 $\psi$ 里），只要线路不改，这张图永远管用。有一天规则变了——不再是”去某个固定终点”，而是”各站票价/优惠不同，想让总花费最低”（这就是换了奖励，只改任务权重 $w$）。你完全不用重新认路：拿着同一张线路图，把每条路线的票价一算（$\psi^\top w_{\rm new}$）就知道怎么走最划算，秒出新策略。反过来，只有当线路真被改造了（动态变了），这张图才需要重画——这正是”动态相同才能复用 $\psi$“的含义。

推导：$Q^\pi=\psi^\pi(s,a)^\top w$

第 1 步（代入线性奖励）。 把线性奖励式(12.3)代入 $Q$ 的定义，并用期望的线性性把常向量 $w$ 提到求和外：

$$Q^\pi(s,a)=\mathbb E_\pi\Big[\sum_{t\ge0}\gamma^t r(s_t,a_t)\ \big|\ s_0=s,a_0=a\Big]=\mathbb E_\pi\Big[\sum_{t\ge0}\gamma^t \phi(s_t,a_t)\Big]^{\!\top} w. \tag{12.4}$$

第 2 步（定义后继特征）。 括号里那个”折扣累积特征”就是后继特征：

$$\psi^\pi(s,a):=\mathbb E_\pi\Big[\sum_{t\ge0}\gamma^t\phi(s_t,a_t)\ \big|\ s_0=s,a_0=a\Big]. \tag{12.5}$$

它满足一个贝尔曼方程（把 $r$ 换成向量 $\phi$）：$\psi^\pi(s,a)=\phi(s,a)+\gamma\,\mathbb E[\psi^\pi(s',a')]$，因此可以用标准 TD 学习。

第 3 步（分解）。 把定义式(12.5)代回式(12.4)，即得

$$\boxed{\;Q^\pi(s,a)=\psi^\pi(s,a)^\top w\;} \tag{12.6}$$

动态（藏在 $\psi$ 里）与奖励（$w$）被彻底解耦。

第 4 步（零样本迁移）。 来了新任务，只变了奖励 ⇒ 只变 $w\to w_{\rm new}$（用少量样本线性回归即可估出，甚至已知）。$\psi^\pi$ 完全复用，由式(12.6)立刻得到新任务下该策略的 $Q$，无需重新做完整的 RL。

第 5 步（换策略更优：GPI）。 若手上有一组旧策略的后继特征 $\{\psi^{\pi_i}\}$，用广义策略改进（Generalized Policy Improvement, GPI） 在新任务上取

$$\pi_{\rm new}(s)=\arg\max_a\ \max_i\ \psi^{\pi_i}(s,a)^\top w_{\rm new}, \tag{12.7}$$

可证其性能不劣于任一旧策略——把”技能库”零样本组合出新任务的好策略 ^[4]。

局限

(1) 依赖奖励线性可分解假设，$\phi$ 的选择决定一切（学得差则迁移差）；(2) 动态必须相同——换了环境物理就失效；(3) GPI 只保证不劣于旧策略集合，不保证全局最优。

深入：GPI 的性能下界（为什么”取 max 组合”不会更差）

GPI 定理（Barreto et al. 2017）

给定策略集合 $\{\pi_i\}$ 及其在新任务 $w$ 下的（近似）值 $\{\hat Q^{\pi_i}_w\}$，令 $\pi(s)=\arg\max_a\max_i \hat Q^{\pi_i}_w(s,a)$，则新策略满足

$$Q^{\pi}_w(s,a)\ \ge\ \max_i Q^{\pi_i}_w(s,a)-\frac{2}{1-\gamma}\max_i\big\|Q^{\pi_i}_w-\hat Q^{\pi_i}_w\big\|_\infty. \tag{12.8}$$

式(12.8)读法： 若各 $\hat Q^{\pi_i}_w$ 估得准（右边误差项 $\to0$），则组合策略价值不低于任一成员策略——这是普通策略改进”$\pi'$ 不劣于 $\pi$“在一整组策略上的推广。用后继特征时，换新任务只需按式(12.6)把 $w_{\rm new}$ 点乘每个 $\psi^{\pi_i}$ 即得 $Q^{\pi_i}_{w_{\rm new}}=\psi^{\pi_i}(s,a)^\top w_{\rm new}$，零训练地组合出一个”至少和最好的旧技能一样好”的新策略。误差项里的 $\frac{1}{1-\gamma}$ 再次是有效视野——逼近误差被长视野放大（呼应模块 11 第 6 节）。

图 2：后继特征把 $Q$ 分解为”与动态有关的 $\psi$“和”与任务有关的 $w$“，实现换奖励即换 $w$ 的迁移。

深化拓展 · 后继特征迁移的适用边界：线性精确 vs 非线性只是近似

式(12.6)的漂亮分解 $Q^\pi=\psi^\pi(s,a)^\top w$ 藏着一个硬前提：奖励必须对特征严格线性（式(12.3) $r=\phi^\top w$）。这个前提成立与否，决定了”换奖励零样本迁移”是精确还是仅仅近似。

线性时精确。 若 $r(s,a)=\phi(s,a)^\top w$ 精确成立，则由期望的线性性 $Q^\pi=\mathbb E_\pi[\sum_t\gamma^t\phi_t]^\top w=\psi^\pi(s,a)^\top w$ 逐点精确——换任务只改 $w$、$\psi$ 完全复用，没有任何近似误差。

非线性时只是近似，且误差被视野放大。 真实奖励一般得写成 $r(s,a)=\phi(s,a)^\top w+\underbrace{\delta(s,a)}_{\text{线性拟合残差}}$，其中 $\delta$ 是奖励中无法被特征线性表达的部分。把它代进 $Q$ 的定义，残差同样被折扣累积：

$$\big|Q^\pi(s,a)-\psi^\pi(s,a)^\top w\big|=\Big|\mathbb E_\pi\!\sum_{t\ge0}\gamma^t\,\delta(s_t,a_t)\Big|\le\frac{\|\delta\|_\infty}{1-\gamma}. \tag{12.8a}$$

误差直觉：(1) 迁移误差正比于奖励的线性拟合残差 $\|\delta\|_\infty$——特征 $\phi$ 越贴合真实奖励结构，$\delta$ 越小、迁移越准；若奖励本质非线性（涉及特征的乘积、阈值、异或等），再怎么调 $w$ 也消不掉 $\delta$。(2) 残差还被有效视野 $\frac{1}{1-\gamma}$ 放大（与模块 11 第 6 节、以及 GPI 式(12.8)里出现的同一个 $\frac{1}{1-\gamma}$ 同源）：单步一点点的建模偏差，会沿长视野累积成可观的 $Q$ 误差。(3) 于是后继特征的适用边界清晰浮现——它最适合”动态相同、奖励是若干可解释特征的线性组合”的一族任务（如同一房间里换不同的目标位置 / 物品权重）；一旦动态改变，$\psi$ 直接失效；一旦奖励强非线性，$\psi^\top w$ 就退化为一个可能相当粗糙的近似，需要非线性的通用价值函数（如 UVFA）或重新学习来补足。

6. 元强化学习总览

前面都假设”任务已知”（$g$ 或 $w$ 给定）。元强化学习（meta-RL） 面对更难的设定：任务从一个分布 $p(\mathcal M)$ 中抽取、但具体是哪个任务未知，智能体必须在少量交互中同时”搞清楚是什么任务”并”把它做好”。目标是学一个”会快速学习”的智能体：

$$\max_\theta\ \mathbb E_{\mathcal M_i\sim p(\mathcal M)}\Big[\ \mathbb E\big[\text{回报}\mid \mathcal M_i,\ \text{适应过程}(\theta)\big]\ \Big]. \tag{12.9}$$

即：在任务分布上、经过一个适应过程后的期望回报最大。适应过程如何实现，区分出三大范式。

为什么这样 · 能不能不这样

为什么要”元学习”一套快速适应的能力，而不是遇到每个新任务都用标准 RL 从零训一遍？（1）元学习这个形式优化的不是某个具体策略，而是”适应过程本身”（式(12.9)：在任务分布上、经过一次适应后的期望回报）：它把”面对陌生任务该怎么先试探、再利用”预编译进权重或一次前向传播，于是新任务上只需少量交互就能上手。（2）每个新任务从零训会怎样：每次都要重新支付完整的 RL 样本代价（模块 11 的 $\frac{1}{1-\gamma}$、$\sqrt{SA}$ 一分不少），完全无视”这些任务其实来自同一分布、共享大量结构”这一事实，在需要频繁适应的场景里代价高到不可接受。代价对照：元学习要预先在任务分布上做昂贵的元训练，且对分布外任务容易失效（见下方批判性追问）；但只要后续要面对该分布里的大量新任务，把适应成本摊销进元训练就非常值得——这正是”学会如何学习”的经济学。

举例

普通 RL 好比”苦学一门法语，学完只会法语”；meta-RL 要学的是 “怎么快速学会任何一门新语言”——掌握了通用的学习套路（先摸清发音规律、高频词、语法骨架），换到西班牙语，几天就能上手，而不必从字母表重头啃。这里”每一门语言”就是从任务分布 $p(\mathcal M)$ 里抽到的一个具体任务，而元学习真正优化的是那套适应流程本身：面对陌生任务，头几步先高效地”搞清楚这是什么任务”，随即把它做好。

7. 三大范式与统一视角

范式	代表	“适应”怎么实现	优点	缺点
黑箱 / 循环（context-based）	RL²、$\text{RNN}$-meta	用 RNN/Transformer 把整段交互历史 $(s,a,r,\dots)$ 喂进隐状态 $h_t$，网络在序列前向计算中隐式实现学习算法，权重不变	无需参数更新、可端到端	需大量元训练、外推差、隐式算法不可控
基于梯度（optimization-based）	MAML、Reptile	学一个好的初始参数 $\theta$，使新任务上做几步梯度下降就到好解：$\theta_i'=\theta-\alpha\nabla_\theta \mathcal L_{\mathcal M_i}(\theta)$	就是标准 RL 微调、外推较好、有归纳偏置	需二阶梯度、适应慢于黑箱、稀疏奖励下内层难
作为推断（inference-based / POMDP）	PEARL	把任务当隐变量 $z$，从历史推断后验 $q(z\mid \text{context})$，再用 $z$ 条件化策略	解耦推断与控制、off-policy 样本高效、后验采样式探索	需良好的隐变量编码器、推断误差影响策略

图 3：meta-RL 三范式。黑箱把学习算法藏进 RNN，梯度法学好初始点，推断法把任务当隐变量。

统一视角：部分 meta-RL 可视为任务层探索

当任务是需要通过交互辨识的隐变量时，meta-RL 智能体面对新任务往往需要收集能揭示任务身份的信息：
• 黑箱 RNN：为了让隐状态 $h_t$ 尽快编码出任务身份，RNN 被迫学出”先做信息量大的动作”。
• PEARL：显式地把任务当隐变量 $z$，通过后验采样进行结构化探索，并随新上下文更新后验 ^[5]。
• MAML：学习易于用少量数据更新的初始点，但不必然学到主动信息采集策略。
因此，任务层探索是适用于部分 meta-RL 设定的解释，不是三类算法的一般等价关系。

本质 Insight · meta-RL 摊销的是”RL 算法本身”

再往上抽一层看：meta-RL 真正摊销（amortize） 掉的，不是某个具体策略，而是 “学习/探索这件事本身”——它把”面对新任务时该如何试错、如何适应”的整套 RL 过程，预编译进一组权重或一次前向传播。所以”学会快速适应 $\approx$ 学会探索”（上一条）与”摊销”其实是同一枚硬币：适应过程被提前算好、折叠进网络了。**编者判断：**部分预训练模型表现出可被解释为隐式元学习的上下文适应能力；这不意味着模型只要足够大就必然成为元学习器。摊销这一母题详见 模块 15 · 摊销。

批判性追问 · “meta-RL 真的学会了’学习’吗？”

“学会学习（learning to learn）“是个诱人的说法，但要注意其适用范围。(1) MAML 学到的是易于少量梯度步骤微调的初始化。 原论文证明其目标覆盖分类、回归与强化学习，但这并不等同于学到适用于任意任务的通用学习算法 ^[6]。(2) 适应能力受元训练任务分布约束。 元训练与元测试任务接近时更符合其优化目标；分布外的新奖励结构或新动态不在该保证之内。(3) “适应”有时可能退化为任务识别。 当任务分布较窄时，策略可能先辨识任务、再调用已学行为。更稳妥的说法是：meta-RL 学到的是”针对某个任务分布、被摊销的快速适应先验”。

8. 三范式深入：MAML 的二阶梯度、PEARL 的隐变量、RL² 的黑箱

第 7 节的表格给了全景，这里补上每条范式的机理骨架——尤其是三者”如何实现适应”的数学差异。

8.1 MAML：对”初始化”求梯度（二阶）

MAML（Model-Agnostic Meta-Learning, Finn et al. 2017） 学一个初始参数 $\theta$，使其对元训练分布中的任务 $\mathcal M_i$ 只做一步（或几步）内循环梯度就得到较好的适应结果 ^[6]。内外两层：

$$\theta_i'=\theta-\alpha\nabla_\theta \mathcal L_{\mathcal M_i}(\theta)\ \ (\text{内循环})\ ;\qquad \min_\theta\ \textstyle\sum_i \mathcal L_{\mathcal M_i}\big(\theta_i'\big)\ \ (\text{外循环}). \tag{12.10}$$

式中 $\alpha>0$ 是内循环步长（适应时做梯度下降的学习率）：是什么——它决定”从初始 $\theta$ 出发走一步（或几步）迈多远”；怎么取——一个较小的固定超参，对应”用少量数据快速适应”；为何引入——外循环要找的初始 $\theta$，正是”只用步长 $\alpha$ 走一步后、在各任务上损失都小”的那个点，所以 $\alpha$ 直接刻画了”允许适应多少”。（外循环对 $\theta$ 的更新另有自己的学习率，通常与 $\alpha$ 不同。）

推导骨架：外循环梯度里的二阶项

外循环要对初始化 $\theta$ 求梯度，而损失是在更新后的 $\theta_i'$ 上算的。链式法则：

$$\nabla_\theta \mathcal L_{\mathcal M_i}(\theta_i')=\frac{\partial\theta_i'}{\partial\theta}\ \nabla_{\theta'}\mathcal L_{\mathcal M_i}(\theta_i'). \tag{12.11}$$

由内循环式(12.10) $\theta_i'=\theta-\alpha\nabla_\theta\mathcal L_{\mathcal M_i}(\theta)$ 对 $\theta$ 求导，故雅可比含二阶导（Hessian）——这就是外循环梯度里不可回避的二阶项：

$$\frac{\partial\theta_i'}{\partial\theta}=I-\alpha\,\nabla^2_\theta \mathcal L_{\mathcal M_i}(\theta)\quad\Longrightarrow\quad \nabla_\theta \mathcal L_{\mathcal M_i}(\theta_i')=\big(I-\alpha\,\nabla^2_\theta\mathcal L_{\mathcal M_i}(\theta)\big)\,\nabla_{\theta'}\mathcal L_{\mathcal M_i}(\theta_i'). \tag{12.12}$$

Hessian-向量积可用二次反向传播算，无需显式构造 $\nabla^2$。一阶近似（FOMAML） 直接令 $I-\alpha\nabla^2\approx I$（丢掉 Hessian），外循环退化为”把 $\theta_i'$ 处的梯度搬回 $\theta$“；Reptile 更省：直接朝 $\theta_i'$ 方向平移 $\theta$。实践中一阶近似常与完整二阶效果相当，说明好初始化的信号主要来自一阶。

RL 版的难处

内循环损失是 RL 目标，其”梯度”本身是策略梯度、高方差且需采样；对它再求二阶（含对采样过程的依赖）使 MAML-RL 的外循环梯度噪声很大、稀疏奖励下内循环一步几乎学不到东西——这是 MAML 在 RL 上不如监督学习顺畅的主因。

图 4：MAML 的双层结构。内循环对每个任务走一步梯度，外循环对初始化 θ 求梯度（含 Hessian）以最小化适应后的损失。

8.2 PEARL：把任务当隐变量 + off-policy 元训练

PEARL（Rakelly et al. 2019） 属”作为推断”范式：显式引入任务隐变量 $z$，用一个置换不变的上下文编码器 $q_\phi(z\mid c_{1:t})$ 从已收集的转移 $c=\{(s,a,r,s')\}$ 推断任务后验，再用 $z$ 条件化 SAC 策略 $\pi(a\mid s,z)$ 与评论家 $Q(s,a,z)$。

机制三要点

• 后验编码器：$q_\phi(z\mid c)\propto\prod_{i}\Psi_\phi(z\mid s_i,a_i,r_i,s_i')$ 取高斯乘积——对上下文置换不变（顺序无关），转移越多、后验越窄。训练用变分下界，含信息瓶颈项 $D_{\mathrm{KL}}\big(q(z\mid c)\,\|\,p(z)\big)$。
• 后验采样式探索（深层）： 适应时从后验采一个 $z$、用它行动以收集新上下文，再更新后验并重新采样。该机制带来结构化探索，但标准 PEARL 目标并不显式选择动作来最大化信息增益或最小化后验熵 ^[5]。
• off-policy 元训练（关键卖点）： 因为 $z$ 把”任务身份”从策略里解耦，收集上下文的分布与训练 SAC 的分布可以不同 ⇒ 能用 replay buffer 做 off-policy 更新 ⇒ 比 on-policy 的 RL²/MAML 样本效率高 20–100 倍。这是 PEARL 相对黑箱 / 梯度范式的最大优势。

8.3 RL²：把整个 RL 算法塞进一个 RNN

RL²（Duan et al. 2016 / Wang et al. 2016） 是黑箱范式的原型：把跨多幕的整段交互序列 $(\dots,s_t,a_t,r_t,d_t,\dots)$ 依次喂给一个 RNN，隐状态 $h_t$ 在幕与幕之间不清零。策略 $a_t=\pi_\theta(h_t)$ 的权重 $\theta$ 在一次”试验（trial，含多幕）“内完全不变——适应只发生在隐状态的前向演化里。

举例

“不改权重、看几个例子就现学现用”其实你天天在体验：给大模型的提示里塞三条”输入→输出”示例，第四条它就照着格式答对了——它没有重新训练、参数一个都没动，只是把示例读进上下文，在这一次前向计算里”临时领会”了任务。RL² 正是同一件事的雏形：把 $(s,a,r)$ 的交互历史当”示例”喂进 RNN，隐状态 $h_t$ 边读边更新内部信念，权重 $\theta$ 全程冻结，适应完全靠这一路前向传播完成——“学习”被折叠进了”读上下文”的过程里。

本质 Insight

RL² 的惊人之处在于：它不显式规定快速学习算法，而是让元训练把适应过程编码进 RNN 权重。 适应无需参数更新，但隐状态会在每个时间步、跨多幕历史持续更新，因此不是 $O(1)$ 的总适应过程 ^[7]。把序列模型用于训练历史可得到 Algorithm Distillation 一类 in-context RL；Decision Transformer 则是回报条件的离线序列建模方法，二者不能混为同一机制。

图 5：RL² 把多幕历史喂进权重固定的 RNN，隐状态跨幕保留；网络在前向传播中隐式执行一个被元训练学出来的 RL 算法。

前沿实践 · 从 RL² 到 in-context RL

RL² 的”用序列模型隐式实现学习算法”与当代 in-context RL 有相通之处：Algorithm Distillation 用 RL 训练历史训练因果 Transformer，并展示无需参数更新的上下文内策略改进 ^[8]；Decision Transformer则按目标回报、状态与动作进行条件生成，本身不等同于在线改进算法 ^[9]。基础模型的 few-shot / in-context learning 还提供了另一条无需梯度更新的快速适应路线。

9. sim-to-real 与域随机化

迁移最有经济价值的场景：仿真到现实（sim-to-real）。仿真里可以海量、廉价、安全地采数据，但仿真与真实之间存在现实鸿沟（reality gap）——摩擦、质量、传感器噪声、延迟都对不齐，直接搬到真机往往崩掉。

主力方法 域随机化（domain randomization）：训练时把仿真参数 $\xi$（质量、摩擦、光照、纹理、延迟…）大范围随机化，逼策略在”一大族仿真环境”上都生效。其思想可写成对参数分布 $p(\xi)$ 求鲁棒策略：

$$\max_\theta\ \mathbb E_{\xi\sim p(\xi)}\big[J_\xi(\pi_\theta)\big]. \tag{12.13}$$

本质 Insight

域随机化的妙处在于把”迁移”重新表述为”把真实世界当作训练分布里的又一个随机样本”。如果随机范围足够宽、覆盖了真实参数，那么真机对策略来说就”不算新环境”，从而零样本可用。这与多任务的”任务作为上下文”、meta-RL 的”任务分布”是同一思想：不追求对单点最优，而追求对一个分布鲁棒。更进一步，可让策略在线辨识真实参数（系统辨识/自适应），这又回到了”探索以消解不确定性”。

局限

随机范围太窄→迁移不过去；太宽→策略过度保守、牺牲性能（鲁棒性-最优性权衡）。还有 sim-to-real 里难以随机化的”结构性偏差”（仿真里根本没建模的现象）。实践常配合真实数据微调、域自适应、可微仿真等。

方法溯源：动机 · 启发 · 局限

把本模块的迁移 / 元学习方法按”为解决什么痛点而生 → 受什么启发 → 卡在哪 → 逼出下一个”排开，浮现一条主线：单任务从零重训之痛 → 目标条件化与迁移 → meta-RL 三范式的不同思路 → 被大模型 in-context learning 部分取代。

方法 / 代表作（年代）	为何提出（动机）	启发 / 脉络	关键局限（→ 引出谁）
UVFA（Schaul 2015）[1]	别为每个目标各训一个策略	值函数逼近 + 把目标 $g$ 当输入，用网络对目标泛化	稀疏奖励下几乎采不到成功样本 → HER
HER（Andrychowicz 2017）	稀疏目标条件里”全是失败”、学不到东西	事后重标——把失败当”成功到达了别的目标”；off-policy 学习的合法性	需可事后重算的”到达型”奖励；重标带来目标分布偏移
后继特征（Barreto 2017）[4]	同动态、只换奖励时能否零样本迁移	解耦 $Q=\psi^\top w$（动态归 $\psi$、任务归 $w$）；GPI 推广策略改进	依赖奖励线性可分解、动态相同 → 迁移仅限一类结构
RL²（Duan / Wang 2016）	让智能体”学会快速学习”新任务	把整个 RL 过程塞进 RNN、隐状态跨幕保留（黑箱 meta）	需海量元训练、外推差、隐式算法不可控 → 更有归纳偏置 / 更省样本的范式
MAML（Finn 2017）[6]	用标准微调实现快速适应、带归纳偏置	对”初始化”求二阶梯度，找一个易微调的 $\theta$	RL 内循环高方差、稀疏奖励难；二阶昂贵 → 一阶近似 / 其他范式
PEARL（Rakelly 2019）	on-policy meta-RL 太耗样本	把任务当隐变量 $z$ + 后验采样探索 + off-policy 训练	依赖好的上下文编码器；推断误差会传导进策略
Decision Transformer（Chen 2021）	把 RL 当序列建模	回报条件的自回归序列建模	条件回报外推有限、离线数据质量决定上限
Algorithm Distillation（Laskin 2022）	无参数更新地重演策略改进	用训练历史训练因果 Transformer	依赖训练历史分布与上下文长度

演进故事线 · 从”每任务重训”到”目标即输入”

起点是一个朴素之痛：标准 RL 为每个任务从零学起，样本代价高到离谱。UVFA 迈出第一步——把目标 $g$ 当输入、用网络对目标泛化，“每目标一策略”压成”一条目标条件策略”。但它撞上稀疏奖励的墙：随机策略几乎永远到不了指定目标，采到的全是失败。HER 用一记巧劲破局——把失败轨迹事后重标为”成功到达了别处”，让每条数据都变成 100% 有效的成功样本。

演进故事线 · 解耦迁移与”学会学习”的三条路

当任务差异不止于目标、而在奖励时，后继特征把 $Q=\psi^\top w$ 拆成”动态的 $\psi$“与”任务的 $w$“，换奖励只改 $w$、零样本迁移。而更根本的野心是”学会快速学习”，于是 meta-RL 分出三条路：RL² 把学习算法整个塞进 RNN（黑箱）、MAML 学一个易微调的初始化（梯度）、PEARL 把任务当隐变量做后验推断（推断，且 off-policy 省样本）。三者形态迥异，却共享一个内核——适应 = 主动探索以辨识任务。

演进故事线 · 基础模型提供另一条路线

在基础模型语境下，in-context learning 提供了另一条快速适应路线。Algorithm Distillation 展示了上下文内策略改进，Decision Transformer 展示了回报条件序列建模；它们与经典 meta-RL 有联系，但不能据此断言后者已被普遍取代。

图 6：迁移与元学习的家谱。上排是目标条件化与解耦迁移，下排是 meta-RL 三范式，最终汇入大模型的 in-context 适应。

10. 对比与总结

方法	迁移”什么”	关键假设	迁移速度	适用
多任务联合训练	共享表示/策略	任务有共享结构、冲突可控	—	一批相关任务同时学
UVFA（目标条件）	目标条件值函数	目标可参数化、可泛化	零样本换目标	导航、机械臂到达
HER	数据（事后重标）	稀疏、可事后重算奖励	—（提升学习）	稀疏目标条件任务
后继特征 + GPI	动态表示 $\psi$	奖励线性、动态相同	零样本换奖励	同环境多奖励
meta-RL（三范式）	学习/探索算法本身	任务来自一个分布	少样本适应	快速适应新任务
域随机化	鲁棒策略	真实参数在随机范围内	零样本 sim→real	机器人部署

前沿实践

• HER 在机器人： HER 可用于稀疏奖励的机械臂到达、推物与抓取任务。公开的灵巧手工作使用 PPO 与域随机化，未将 HER 列为其方法组成 ^[10]。
• meta-RL ↔ in-context learning / LLM： 黑箱 meta-RL 用 RNN/Transformer”在前向传播里实现学习算法”——这正是当今 LLM 上下文学习（in-context learning） 的雏形！把交互序列喂给 Transformer、无需更新权重就适应新任务，是 meta-RL 与大模型的深刻交汇（Algorithm Distillation、Decision Transformer、in-context RL）。参见 模块 13。
• 目标条件 + 语言： 把 $\omega$ 换成自然语言指令，得到语言条件策略（language-conditioned policy），是通用机器人智能体（RT-2、多任务 policy）的主干范式。

前沿视角 · in-context learning 与快速适应

GPT-3 论文展示了语言模型无需梯度更新、仅凭上下文中的少量示例完成多种任务的 few-shot 设定 ^[11]。这说明 in-context learning 可作为快速适应的一种路线，但公开产品交互方式不足以推出机构内部是否使用 MAML、PEARL、RL²，也不足以证明预训练规模已经取代专门元训练。

收束 Insight

本模块所有方法都在回答同一个问题：“如何不从零开始？” 答案层层递进——共享上下文（多任务）、共享目标泛化（UVFA）、榨取一切数据（HER）、解耦动态与奖励（后继特征）、直接学会学习与探索（meta-RL）、对分布而非单点鲁棒（域随机化）。而它们最终都汇入同一条河：好的迁移=好的表示 + 高效的（任务层面的）探索。

编者按 · 批判性视角

编者判断： 在基础模型语境下，in-context learning 提供了不同于 MAML、PEARL 与 RL² 的快速适应路线。两类方法的训练目标、交互设定与适用范围并不相同；当前公开证据不足以判断经典 meta-RL 在产业中的采用率，更不能笼统断言其已被取代。