大模型与多模态的 RL：从 RLHF / RLVR 到 VLM / VLA

这是本资料的旗舰模块。我们把前面 12 讲学到的策略梯度、PPO、信赖域、基线与优势估计、KL 正则、离线 RL 等全部工具，落到大模型后训练，并继续追到多模态与机器人闭环。从 RLHF、DPO、GRPO/DAPO 与 RLVR，到 VLM 的视觉依赖性和 VLA 的连续控制，本讲逐条给出推导、失败模式与工程权衡。读完你应能回答：“我该选 PPO、DPO 还是 GRPO？文本 RL 哪些可迁移到视觉，哪些会在物理环境处断裂？”

四层阅读 · canonical 技术入口

15 分钟必修主线： 问题设定 → RLHF/RM → DPO → GRPO → RLVR → 选型。完整推导： 展开各节 derive/foldout。工程诊断： 奖励、KL/长度/熵。活跃前沿附录： critic-free 变体、R1 配方、Agentic、VLM/VLA。

职责： 本页是 RLHF、RM、PPO/DPO、RLVR、GRPO/DAPO、Agentic 与 VLM/VLA 技术机制的 canonical 位置；模块 14 只维护开放问题，模块 15 只做跨域抽象，模块 16 只记录媒体/产业观点。【A 原始论文】【B 官方报告/代码】【C 多方工程经验】【D 媒体/编者判断】 前沿主张最后核验：2026-07-10。

学习目标

• 把自回归文本生成严格建模为 token-level MDP，理解序列级奖励与稀疏性问题；说清 SFT 为何不够。
• 推导 Bradley-Terry 偏好模型与奖励模型（RM）损失；讲清 RLHF 三阶段管线与 KL 正则动机。
• 把模块 06 的 PPO 落到 LLM：per-token KL 惩罚、GAE、actor+critic+ref+RM 四模型的显存/工程代价。
• 从 KL 约束 RLHF 的闭式最优解出发，逐步推出 DPO 损失——本模块最重要的推导之一。
• 写出并逐项解释 GRPO（组归一化优势、无 critic）与 DAPO（Clip-Higher / 动态采样 / token 级损失 / 超长塑形）的目标函数。
• 理解 RLVR（可验证奖励）如何缩小 reward hacking 的攻击面，以及 R1-Zero 如何放大基座已有的长 CoT/自检行为。
• 沿“多模态 SFT → VLM reasoning RL → VLA/机器人闭环”理解视觉奖励、grounding 与连续控制为何不能照搬文本 RL。
• 用一张选型大表，在 SFT / PPO / DPO / GRPO / DAPO / RLVR 之间做工程决策。

编者判断：2024–2026 的活跃方向

公开工作形成了 RLHF（2022）^[1]、DPO（2023）^[2]、GRPO（2024）^[3]、DeepSeek-R1 与 DAPO（2025）^{[4] [5]} 等路线。它们共同处理显存、长序列、奖励可靠性和训练稳定性问题。本模块按时间线与逻辑线展开。

1. 动机与问题设定：语言生成即 MDP

1.1 把自回归生成写成 token-level MDP

一个大语言模型 $\pi_\theta$ 在给定提示（prompt）$x$ 后，逐个 token 采样输出 $y=(y_1,y_2,\dots,y_T)$，概率按链式法则分解：

$$\pi_\theta(y\mid x)=\prod_{t=1}^{T}\pi_\theta\big(y_t\mid x,\,y_{<t}\big). \tag{13.1}$$

这天然是一个（确定性转移的）马尔可夫决策过程（Markov Decision Process, MDP）$\mathcal{M}=(\mathcal{S},\mathcal{A},P,r,\rho_0)$：

• 状态 $s_t$：到第 $t$ 步为止的全部上下文，$s_t=(x,y_{<t})$。初始状态 $s_1=x$ 由 prompt 分布 $\rho_0$ 给出。
• 动作 $a_t$：下一个 token，$a_t=y_t\in\mathcal{V}$（词表，动作空间极大，$|\mathcal{V}|\sim 10^5$）。
• 转移 $P$：确定性拼接，$s_{t+1}=(x,y_{\le t})=s_t\oplus a_t$。这是 LLM-RL 与机器人 RL 的一大区别——环境动力学是已知且确定的，随机性只来自策略的采样。
• 奖励 $r$：通常只在序列结束（EOS）时给出一个标量 $r(x,y)$（来自奖励模型或验证器），中间步奖励为 0。这是典型的稀疏、终局（terminal）奖励。
• 回合 $\tau$：一次完整生成 $\tau=(s_1,a_1,\dots,s_T,a_T)$，与序列 $(x,y)$ 一一对应。$\gamma$ 常取 $1$（有限长）。

图 1：把 prompt+已生成 tokens 作为状态、下一 token 作为动作、序列级标量作为终局奖励。

本质 Insight：一个”温柔”的 MDP

LLM-RL 的 MDP 有两个特殊结构：(1) 转移确定且已知——不需要探索环境动力学，无需 model-based 里的世界模型；(2) 巨大的离散动作空间但策略是可微 softmax——可以精确算 $\log\pi_\theta(a_t\mid s_t)$。这让”策略梯度 + 采样”极其自然。真正的难点不在动力学，而在奖励从哪来（人类偏好难以标注、易被 hack） 与稀疏终局信号的 credit assignment。这解释了后文所有算法为何都围绕”奖励怎么给”和”优势怎么估”做文章。

1.2 为什么监督微调（SFT）不够

监督微调（Supervised Fine-Tuning, SFT）用人类示范数据做最大似然：$\max_\theta\ \mathbb{E}_{(x,y)\sim\mathcal{D}}\log\pi_\theta(y\mid x)$。它是行为克隆（behavior cloning）在文本上的化身，也因此继承了模仿学习的全部局限：

• 不直接优化外部奖励：SFT 拟合示范数据；能否超过单个示范者取决于数据覆盖、模型先验与泛化。在线 RL 则提供持续利用新采样反馈的一条途径。
• 只有正例，没有对比：SFT 告诉模型”这样答是对的”，却从不说”那样答更差”。而人类对质量的判断天然是相对/排序的（“A 比 B 好”比”A 的绝对分数是 7.3”容易得多）。
• 分布漂移（distribution shift）：训练时喂真实前缀（teacher forcing），推理时喂自己生成的前缀，误差累积——这正是模仿学习的经典病（见模块 01）。
• 目标错位：MLE 最小化 $\mathrm{KL}(p_{\text{data}}\|\pi_\theta)$，是”覆盖数据的所有模式”；而对齐真正想要的是”最大化一个质量/偏好度量”。两者不同。

RL 恰好补上这些缺口：它优化一个标量目标（奖励/偏好），能利用负例与排序信号，在自己的采样分布上训练（on-policy 缓解分布漂移），并允许模型探索出优于示范的行为。这就是”用 RL 做对齐/推理增强”的根本动机。

澄清一个误解

RL 不是”取代 SFT”，而是”接在 SFT 之后”。实践中几乎总是 先 SFT（给一个像样的起点、缩小动作分布），再 RL（在此基础上优化偏好/正确性）。纯从 base model 直接 RL 也能work（R1-Zero），但收敛更慢、格式更乱——下文会详述这个”冷启动”的取舍。

为什么这样 · 能不能不这样

为什么”SFT 之后还要接 RL”这个形式？ SFT 拟合给定示范，不直接优化外部奖励；训练时喂真实前缀、推理时喂自采前缀也可能产生分布差异。RL 按标量反馈调整自己采样答案的概率，因而提供了在当前策略分布上持续纠偏和探索新解法的一条途径，但不是超过示范者的唯一机制。

能不能只 SFT、干脆不做 RL？ 能近似，但要付代价。最接近的替代是拒绝采样 / best-of-N 回灌（用当前模型多采样、只留验证通过或高分的样本，再拿去 SFT，见 §8）：它确实能吃到一部分”超越示范”的红利，工程上也更稳、更好并行。但它本质是离线一步的策略改进——每轮只在”已经采出来的好样本”上学，看不到成对负例的对比信号、也不会主动去补自身低估的区域；想持续逼近在线 RL，就得反复”采样→筛选→再 SFT”，用更笨重的外循环手工模拟 on-policy 优化。所以”只 SFT”不是不行，而是把 RL 的在线探索与相对信号，折价换成了实现上的简单。

1.3 目标函数与 token-MDP 上的策略梯度

把上面的 MDP 装进标准 RL 目标：最大化期望（序列级）回报

$$J(\theta)=\mathbb{E}_{x\sim\rho_0}\ \mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\big[R(x,y)\big],\qquad R(x,y)=\sum_{t=1}^{T}r_t. \tag{13.2}$$

由于转移确定、随机性只来自策略，序列的对数似然可逐 token 分解，策略梯度定理（见模块 04）落到 token 级的形式格外干净：

推导：token-MDP 上的策略梯度（为什么优势按 token 求和）

关键假设

转移确定；$\gamma=1$；奖励仅依赖 $(x,y)$。用 log-derivative trick 与因果性（causality，$t$ 时刻的动作不影响其之前的奖励）。

第 1 步（对 式(13.2) 用 log-derivative）。 $\nabla_\theta J=\mathbb{E}_{x,y\sim\pi_\theta}\big[R(x,y)\,\nabla_\theta\log\pi_\theta(y\mid x)\big]$。

第 2 步（链式法则展开对数）。 $\log\pi_\theta(y\mid x)=\sum_{t}\log\pi_\theta(y_t\mid x,y_{<t})$，于是

$$\nabla_\theta J=\mathbb{E}\Big[\sum_{t=1}^{T}\nabla_\theta\log\pi_\theta(y_t\mid s_t)\;R(x,y)\Big]. \tag{13.3}$$

第 3 步（因果性 + 控制变量）。 对式(13.3)去掉与 $t$ 时刻动作无关的过去奖励；再减满足条件正交的控制变量（$b(s_t)$ 是常用充分条件）。只有当数值估计的条件期望等于 $A^\pi$ 时才可称为 $A^\pi$ 的无偏数值估计；否则下式是使用优势估计器的算法形式，未必仍是精确恒等式：

$$\boxed{\ \hat g=\sum_{t=1}^{T}\nabla_\theta\log\pi_\theta(y_t\mid s_t)\,\hat A_t,\qquad \mathbb E[\hat g]=\nabla_\theta J\ \text{仅在相应无偏条件下}\ } \tag{13.4}$$

这就是后文一切算法的公共骨架：PPO 用 GAE 估 $\hat A$、GRPO 用组归一化估 $\hat A$、DPO 则把它整个替换成一个闭式偏好损失。差别只在”$\hat A$ 怎么来”与”怎么加信赖域”。

本质 Insight：三根轴

贯穿本模块，请始终追问三件事：①奖励 $r$ 从哪来（人类 / RM / 验证器）？②优势 $\hat A$ 怎么估（critic / 组基线 / 隐式）？③如何稳住更新（KL / clip / 离线一步）？下表所有方法都只是这三根轴上的不同取值。

2. RLHF 全流程与奖励建模

基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）在 InstructGPT 中采用 SFT、奖励模型与 PPO 三阶段管线 ^[1]：

图 2：SFT → 奖励模型 → RL 微调。三个阶段共享同一个 π_SFT 作为起点/参考。

2.1 奖励建模：Bradley-Terry 偏好模型的完整推导

人类很难给一段回答打绝对分，但很容易说”A 比 B 好”。因此我们收集成对偏好数据 $\mathcal{D}=\{(x,y_w,y_l)\}$，其中 $y_w$（winner）被偏好于 $y_l$（loser）。我们假设存在一个潜在的标量”质量” $r^\star(x,y)$，人类的选择概率是它的函数。Bradley-Terry（BT）模型给出这个映射：

推导：Bradley-Terry → sigmoid → RM 损失

假设（Bradley-Terry）。 每个回答有一个潜在实数得分 $r^\star(x,y)$；人类选择 $y_w$ 优于 $y_l$ 的概率只依赖两者得分，且服从”得分越高越可能被选”的 logistic 形式（等价于给每个选项加独立 Gumbel 噪声后取 argmax）：

$$P(y_w\succ y_l\mid x)=\frac{\exp\!\big(r^\star(x,y_w)\big)}{\exp\!\big(r^\star(x,y_w)\big)+\exp\!\big(r^\star(x,y_l)\big)}. \tag{13.5}$$

第 1 步（用代数恒等式：对 式(13.5) 分子分母同除 $\exp(r^\star(x,y_w))$）。 得

$$P(y_w\succ y_l\mid x)=\frac{1}{1+\exp\!\big(-(r^\star(x,y_w)-r^\star(x,y_l))\big)}=\sigma\!\big(r^\star(x,y_w)-r^\star(x,y_l)\big), \tag{13.6}$$

其中 $\sigma(z)=1/(1+e^{-z})$（sigmoid 的定义）。关键结论：偏好概率只取决于两个回答的得分之差，因此 $r^\star$ 只能被辨识到相差一个与 $y$ 无关的常数（后面 DPO 会用到这一点——正是它让 式(13.18) 里的配分项抵消）。

第 2 步（用最大似然估计 MLE：对 式(13.6) 取对数似然并取负）。 用带参奖励模型 $r_\phi$ 拟合，最大化偏好数据的对数似然，即最小化负对数似然：

$$\mathcal{L}_{\text{RM}}(\phi)=-\,\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\Big[\log\sigma\big(r_\phi(x,y_w)-r_\phi(x,y_l)\big)\Big]. \tag{13.7}$$

实现。 $r_\phi$ 常用 SFT 模型加一个标量输出头（取最后 token 的隐状态过线性层），初始化自 $\pi_{\text{SFT}}$。这是一个成对 logistic 回归（pairwise ranking loss）。

局限。 BT 假设偏好可传递且单峰（存在全局一致的标量排序）；真实人类偏好常不传递、有噪声、依赖标注者；RM 只在训练分布附近可靠，一旦策略把它推到分布外就会失真（→ reward hacking，见 §8）。

图 3：Bradley-Terry 把”得分差”经 sigmoid 映射为偏好概率。

举例

对同一个问题拿到 A、B 两个回答，10 个标注者里 8 个更爱 A。BT 做的事就是给每个回答拟合一个分数、让 A 的分高于 B：比如拟合出 $r(A)=1.5$、$r(B)=0.0$，分差 $\Delta r=1.5$，则模型预测”人选 A”的概率 $\sigma(1.5)\approx 0.82$，正好贴近 8/10 的观测频率。若两个回答其实一样好，就会被拟合成 $\Delta r=0$、$\sigma(0)=0.5$——五五开。训练 RM 无非是反复把”被选中那个”的分往上推、另一个往下压，直到分差能解释人类的选择比例。注意分数只被”差”决定：整体给 A、B 各加 100 分不改变任何偏好概率。

批判性追问：RLHF 真的”让模型对齐了人类偏好”吗？

课程与业界惯常一句话概括 RLHF——“让模型对齐人类偏好”。这句话在两层上都值得追问。第一层，RM 只是”人类偏好”的漏水代理（leaky proxy）。 我们训练的从来不是”人类偏好”本身，而是一个在有限、带偏、分布内的成对标注上拟合出的标量函数 $r_\phi$；它与真实意图之间的每一道缝隙，都会被下游的优化压力精确撬开——这正是 reward hacking / 谄媚（sycophancy）的来源：模型学会的往往是”讨好 $r_\phi$ 的表面特征”（长度、格式、附和用户），而非”更好地满足人的真实需求”。把”对齐 $r_\phi$“直接读成”对齐人类偏好”，是把代理当成了本体。第二层，更根本的是”人类偏好”这个被对齐的目标本身就不干净。 标注是有噪声的（同一对回答不同标注者常给相反判断）、不一致的（同一人不同时间/情绪下也会翻转）、且未必构成一个自洽的效用函数——BT 模型（式(13.6)）默认存在全局一致、可传递的标量排序，但真实人类偏好经常不可传递（A≻B、B≻C 却 C≻A）、语境依赖、群体内部严重冲突。因此”对齐人类偏好”隐含了一个可能并不成立的前提：存在一个良定义的”人类偏好”可供对齐。清醒的说法是：RLHF 对齐的是某个标注流程在某个分布上诱导出的偏好代理，既非”人类”整体、也非稳定”偏好”本身。

2.2 RL 目标与 KL 正则动机

有了 $r_\phi$，第三阶段就是最大化期望奖励，同时用 KL 把策略拴在参考模型 $\pi_{\text{ref}}=\pi_{\text{SFT}}$ 附近：

$$\max_{\theta}\ \ \mathbb{E}_{x\sim\mathcal{D},\,y\sim\pi_\theta(\cdot\mid x)}\Big[r_\phi(x,y)\Big]\;-\;\beta\,\mathbb{E}_{x}\Big[\mathrm{KL}\big(\pi_\theta(\cdot\mid x)\,\|\,\pi_{\text{ref}}(\cdot\mid x)\big)\Big]. \tag{13.8}$$

这里的 $\beta>0$ 是KL 正则系数：它是一个人为设定的超参（可手动固定，也可用自适应控制器盯着实测 KL 动态调整），量纲上把”偏离参考”折算成可与奖励相加减的分数。它衡量”有多看重贴近 $\pi_{\text{ref}}$”——$\beta$ 越大越不敢偏离参考、越小越放开去追高奖励。之所以要引入它，是为了在”提升奖励”与”别把语言能力/分布跑坏”之间留一个可调的权衡旋钮（$\beta$ 的取值如何影响最优策略，§4 的闭式解会看得更清楚）。

KL 项有三重动机，缺一不可：

• 防 reward hacking / 分布外：$r_\phi$ 只在 $\pi_{\text{ref}}$ 附近可靠。KL 惩罚让策略不敢跑到 RM 没见过、会给虚高分的区域。
• 保留语言能力：不加约束地最大化标量奖励，模型会退化成重复某几句”高分咒语”、丢失多样性与流畅度。KL 保住预训练/SFT 学到的语言先验。
• 信赖域（trust region）意味：把优化限制在参考策略的邻域，稳定训练——与模块 06 TRPO/PPO 的”别一步走太远”精神一致（但锚点是固定的 $\pi_{\text{ref}}$，不是上一步策略）。

本质 Insight：KL 正则的双重身份

这里的 KL 同时扮演两个角色：作为目标的一部分（我们真的想要”高奖励且不偏离 SFT”的策略——这会在 §4 给出闭式最优解），以及作为优化的信赖域（稳定 RL）。这两个身份在 PPO 里被拆开实现——per-token KL 惩罚管前者，clip 管后者；理解这一点是看懂 DPO/GRPO 差异的钥匙。

3. PPO for LLM

RLHF 的第三阶段最经典的做法是把模块 06 的近端策略优化（Proximal Policy Optimization, PPO）搬到 LLM 上。核心思路不变：用 clip 的重要性采样比构造代理目标，用 GAE 估计优势。但落到 token-level MDP 有若干关键适配。

3.1 把序列级奖励拆成 per-token 奖励（含 KL 惩罚）

RM 只在 EOS 给一个标量。为了做 credit assignment，我们把 §2.2 的 KL 正则拆解成每个 token 的即时惩罚，得到 per-token 奖励：

$$r_t \;=\; \underbrace{r_\phi(x,y)\cdot\mathbb{1}[t=T]}_{\text{仅终局的 RM 分}}\;-\;\beta\Big(\log\pi_\theta(y_t\mid x,y_{<t})-\log\pi_{\text{ref}}(y_t\mid x,y_{<t})\Big). \tag{13.9}$$

推导：为什么 per-token 的 log-ratio 之和等于序列 KL 惩罚

对整条序列，KL 惩罚 $-\beta\,\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$ 在期望意义下等于

$$-\beta\,\mathbb{E}_{y\sim\pi_\theta}\!\left[\log\frac{\pi_\theta(y\mid x)}{\pi_{\text{ref}}(y\mid x)}\right] =-\beta\,\mathbb{E}_{y\sim\pi_\theta}\!\left[\sum_{t=1}^{T}\log\frac{\pi_\theta(y_t\mid x,y_{<t})}{\pi_{\text{ref}}(y_t\mid x,y_{<t})}\right], \tag{13.10}$$

用到链式法则 $\log\pi(y\mid x)=\sum_t\log\pi(y_t\mid x,y_{<t})$。因此把 $-\beta\log\frac{\pi_\theta}{\pi_{\text{ref}}}$ 摊到每个 token 上作为即时奖励，其（策略下的）总和正好还原序列级 KL 惩罚。这样 KL 就变成了一个密集（dense）的 per-token 信号，缓解稀疏奖励，并让 credit assignment 更平滑。

举例

per-token KL 惩罚像给模型配了个”原来的自己”当陪跑教练：每吐一个词都回头对一眼参考模型 $\pi_{\text{ref}}$——这个词它以前也大概率会说吗？说得越离谱，当场扣的分越多。这就逼着模型”别跑太偏、始终贴着原模型的说话方式”。比如某个位置原模型给这个词的概率是 $0.4$，新策略为了讨好 RM 把它飙到 $0.9$，则这一步的 KL 惩罚约 $\log(0.9/0.4)\approx 0.81$ 再乘系数 $\beta$，实时把它往回拽。于是模型可以为高奖励微调措辞，却不敢整段崩坏成谁也读不懂、只会刷分的”高分咒语”。

为什么这样 · 能不能不这样

为什么要把 KL-to-ref 摊成 per-token 惩罚（式(13.9)），而不让奖励自由优化？ RM/验证器只在 EOS 给一个标量，若放任策略顶格最大化它，模型会滑向 RM 打高分却语义崩坏的”高分咒语”、丢掉预训练与 SFT 学到的语言先验。把 $-\beta\log\frac{\pi_\theta}{\pi_{\text{ref}}}$ 摊到每个 token，等于给每一步都配一个”贴着原模型说话”的密集约束，既压制过优化、又顺手把稀疏的终局奖励补成 dense 信号。

能不能不加这一项 KL？ 可以，而且要看奖励来源。不少 RLVR 配方（如 DAPO 一系）确实调小甚至去掉 KL-to-ref——外部验证通常比学得的 RM 更接近任务结果，松开锚点能换来更大的探索与更高上限。但代价立现：奖励一旦可被 hack，去掉 KL 会让过优化与分布漂移迅速失控；即便使用验证器，测试覆盖漏洞、熵坍缩与语言风格漂移仍在。还要把它和 clip 分清楚——clip 约束的是”离上一步策略别太远”（式(13.12) 的信赖域），KL-to-ref 约束的是”离SFT 起点别太远”；只留 clip 能稳住单步更新，却拦不住策略沿多步累积地漂离参考模型。两把锁管的是不同方向的”跑偏”。

随后用广义优势估计（Generalized Advantage Estimation, GAE）从 per-token 奖励与价值网络 $V_\psi(s_t)$ 得到优势 $\hat A_t$：

$$\delta_t=r_t+\gamma V_\psi(s_{t+1})-V_\psi(s_t),\qquad \hat A_t=\sum_{l\ge 0}(\gamma\lambda)^l\,\delta_{t+l}. \tag{13.11}$$

3.2 PPO 的 clipped 代理目标（token 级）

有了每个 token 的优势 $\hat A_t$（式(13.11)），最直接的想法是沿 $\hat A_t\,\nabla\log\pi_\theta$ 做策略梯度上升；但纯策略梯度一步容易走太远、把策略更新崩坏。于是照搬模块 06 的思路：用新旧策略的重要性比 $\rho_t=\pi_\theta/\pi_{\theta_{\text{old}}}$ 把更新幅度裁剪（clip） 在信赖域内，得到与经典 PPO 完全同构、只是逐 token 展开的代理目标：

$$\mathcal{L}^{\text{PPO}}(\theta)=\mathbb{E}_t\Big[\min\big(\rho_t\hat A_t,\ \mathrm{clip}(\rho_t,1-\epsilon,1+\epsilon)\hat A_t\big)\Big],\qquad \rho_t=\frac{\pi_\theta(y_t\mid s_t)}{\pi_{\theta_{\text{old}}}(y_t\mid s_t)}. \tag{13.12}$$

其中 $\rho_t$ 是第 $t$ 个 token 在新旧策略下的概率之比（$=1$ 表示没变），$\epsilon$ 是裁剪半径；$\min$ 与 $\mathrm{clip}$ 合起来的作用是——当某步想改得太多（$\rho_t$ 跑出 $[1-\epsilon,1+\epsilon]$）时就不再给额外收益，逼迫策略”小步慢走”。直觉上就是模块 06 那句”别一步迈太远”，只不过锚点是上一步策略 $\pi_{\theta_{\text{old}}}$。

价值网络用回归损失 $\mathcal{L}^V=\mathbb{E}_t[(V_\psi(s_t)-\hat R_t)^2]$ 训练，$\hat R_t$ 为 return（或 $V+\hat A$ 的目标）。clip 提供信赖域，KL-in-reward 提供对齐约束——两个”KL 身份”在此分工。整体训练循环如下：

for iteration in range(N):
    # 1) rollout：用当前策略对一批 prompt 采样（on-policy）
    prompts = sample_batch(D)
    responses = actor.generate(prompts)              # y ~ π_θ_old
    logp_old  = actor.logprobs(prompts, responses)   # log π_θ_old
    logp_ref  = ref.logprobs(prompts, responses)     # log π_ref (冻结)
    scores    = RM(prompts, responses)               # 终局标量 (冻结)

    # 2) 构造 per-token 奖励：终局 RM 分 + per-token KL 惩罚
    r = zeros_like(responses)
    r[:, -1] += scores
    r += -beta * (logp_old - logp_ref)               # 密集 KL 信号

    # 3) 优势 & return：用 critic + GAE
    values = critic(prompts, responses)              # V_ψ(s_t)
    adv, ret = gae(r, values, gamma, lam)
    adv = whiten(adv)                                # 标准化，降方差

    # 4) 多个 epoch 的 PPO 更新（重用同一批 rollout）
    for _ in range(ppo_epochs):
        logp = actor.logprobs(prompts, responses)    # log π_θ
        ratio = exp(logp - logp_old)                 # ρ_t
        L_clip = -mean(min(ratio*adv,
                           clip(ratio, 1-eps, 1+eps)*adv))
        L_v = mean((critic(...) - ret)**2)
        loss = L_clip + c_v * L_v - c_ent * entropy(logp)
        loss.backward(); opt.step()

3.3 工程现实：四个模型同时在显存里

图 4：Actor + Critic（可训练）+ Ref + RM（冻结）——PPO-LLM 的四模型代价。

局限 / 陷阱：PPO-in-LLM 的痛点

• 显存与工程复杂度爆炸：需同时持有 Actor、Critic、Ref、RM 四个大模型；Actor/Critic 还要存优化器状态与梯度。分布式采样（rollout）+ 训练的流水线很难调。
• Critic 难训：value 网络要在稀疏终局奖励上学好逐 token 价值，本身很不稳定，且它的偏差直接污染优势估计。
• 超参敏感：$\beta$、$\epsilon$、GAE 的 $\lambda$、value loss 系数、KL 目标控制器……任何一个没调好都可能熵坍缩或不收敛。
• reward hacking：策略会找到 RM 的漏洞（如特定措辞、超长、谄媚）刷分——KL 只是缓解不是根治。

正是这些痛点，催生了后面 DPO（去掉 RL+RM）和 GRPO（去掉 Critic）两条减负路线。

4. DPO：直接偏好优化

直接偏好优化（Direct Preference Optimization, DPO；Rafailov et al., 2023）给出一条“数学捷径”：在特定的 Bradley–Terry 偏好模型与 KL 正则目标下，可把显式奖励模型和在线 RL 折叠成一条类似分类的离线损失 ^[2]。这里的“同解”是理想化目标层面的结论，依赖数据覆盖、模型可表达性与优化充分等条件，并不表示有限离线数据上的 DPO 与 PPO/RLHF 实际训练等价。

4.1 第一块拼图：KL 约束 RLHF 的闭式最优策略

推导（一）：从 KL 约束目标解出最优策略 π*（点开看完整步骤）

推导（一）：从 KL 约束目标解出最优策略 π*

目标（对每个 prompt $x$ 独立；即 式(13.8) 逐 $x$ 展开成对 $y$ 的求和）。

$$\max_{\pi}\ \sum_y \pi(y\mid x)\,r(x,y)\;-\;\beta\sum_y \pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi_{\text{ref}}(y\mid x)},\quad \text{s.t. } \sum_y\pi(y\mid x)=1. \tag{13.13}$$

第 1 步（用”取负号翻转 max/min”+ 除以常数 $\beta>0$，再用对数恒等式 $\log a-c=\log\frac{a}{e^{c}}$ 把 $-\tfrac1\beta r$ 收进对数）。 最大化 式(13.13) 等价于最小化

$$\min_\pi\ \sum_y \pi(y\mid x)\left[\log\frac{\pi(y\mid x)}{\pi_{\text{ref}}(y\mid x)}-\frac{1}{\beta}r(x,y)\right] =\min_\pi\ \sum_y \pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi_{\text{ref}}(y\mid x)\exp\!\big(\tfrac{1}{\beta}r(x,y)\big)}. \tag{13.14}$$

第 2 步（用”归一化技巧”：给分母配一个与 $\pi$ 无关的配分函数 $Z(x)$，使 $\pi_{\text{ref}}e^{r/\beta}/Z$ 成为合法概率分布）。 定义

$$Z(x)=\sum_y \pi_{\text{ref}}(y\mid x)\exp\!\Big(\tfrac{1}{\beta}r(x,y)\Big),\qquad \pi^\star(y\mid x)=\frac{1}{Z(x)}\pi_{\text{ref}}(y\mid x)\exp\!\Big(\tfrac{1}{\beta}r(x,y)\Big). \tag{13.15}$$

把 式(13.15) 的 $Z(x)$（与 $\pi$ 无关，故 $\log Z(x)$ 可作常数提出）代入 式(13.14)，目标恰好凑成一个 KL：

$$\min_\pi\ \sum_y\pi(y\mid x)\log\frac{\pi(y\mid x)}{\pi^\star(y\mid x)}-\log Z(x)=\min_\pi\ \mathrm{KL}\big(\pi(\cdot\mid x)\,\|\,\pi^\star(\cdot\mid x)\big)-\log Z(x). \tag{13.16}$$

第 3 步（用 Gibbs 不等式：$\mathrm{KL}\ge 0$，等号当且仅当两分布相等）。 式(13.16) 中 $-\log Z(x)$ 不含 $\pi$，而 KL $\ge 0$ 当且仅当 $\pi=\pi^\star$ 取到 $0$。故最优策略为

$$\boxed{\ \pi^\star(y\mid x)=\frac{1}{Z(x)}\,\pi_{\text{ref}}(y\mid x)\,\exp\!\Big(\tfrac{1}{\beta}r(x,y)\Big)\ } \tag{13.17}$$

解读。 最优对齐策略 = 参考策略按”奖励的指数”重加权（reweighting）。$\beta\to\infty$ 退回 $\pi_{\text{ref}}$（不敢动），$\beta\to0$ 变成把全部概率压在最高奖励回答上（贪心）。问题：式(13.15) 的 $Z(x)$ 要对整个指数级大的输出空间求和，无法计算——这正是 DPO 要绕过的障碍。

4.2 第二块拼图：把奖励用策略反解出来，代入 Bradley-Terry

推导（二）：π* → 反解 r → 代入 BT → DPO 损失（本模块最重要的推导）

推导（二）：π* → 反解 r → 代入 BT → DPO 损失

第 4 步（用对数运算把 式(13.17) 取对数，再移项反解出 $r$）。 对 式(13.17) 两边取 $\log$，把 $\tfrac1\beta r$ 单独移到一侧再乘 $\beta$：

$$\log\pi^\star(y\mid x)=\log\pi_{\text{ref}}(y\mid x)+\tfrac{1}{\beta}r(x,y)-\log Z(x) \ \Longrightarrow\ r(x,y)=\beta\log\frac{\pi^\star(y\mid x)}{\pi_{\text{ref}}(y\mid x)}+\beta\log Z(x). \tag{13.18}$$

即：奖励可以用”最优策略相对参考策略的对数比”隐式表示，外加一个只依赖 $x$ 的项 $\beta\log Z(x)$。

第 5 步（用 式(13.6) 的 BT”只依赖得分之差”性质，代入 式(13.18)，使 $\log Z(x)$ 抵消）。 由 式(13.6)，$P(y_w\succ y_l\mid x)=\sigma\big(r(x,y_w)-r(x,y_l)\big)$；把 式(13.18) 的 $r$ 代入，两个 $\beta\log Z(x)$（同一个 $x$，故完全相等）相减恰好为零：

$$r(x,y_w)-r(x,y_l)=\beta\log\frac{\pi^\star(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)}-\beta\log\frac{\pi^\star(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}. \tag{13.19}$$

因此偏好概率完全由策略表示，不再出现 $Z(x)$、也不再需要 RM（把 式(13.19) 塞回 sigmoid）：

$$P(y_w\succ y_l\mid x)=\sigma\!\left(\beta\log\frac{\pi^\star(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)}-\beta\log\frac{\pi^\star(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\right). \tag{13.20}$$

第 6 步（用 MLE：把未知的 $\pi^\star$ 换成待训练的 $\pi_\theta$，对 式(13.20) 取负对数似然）。 得到 DPO 损失：

$$\boxed{\ \mathcal{L}_{\text{DPO}}(\theta)=-\,\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\left[\log\sigma\!\left(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)}-\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\right)\right]\ } \tag{13.21}$$

假设与前提。 (1) 偏好服从 Bradley-Terry；(2) 目标是该 KL 正则 RLHF 目标；(3) $\pi_{\text{ref}}$ 固定且在相关回答上有支撑；(4) 偏好数据能识别相关比较、模型有足够容量且优化到总体风险最优。在这些理想条件下，两种表述对应同一最优策略；有限数据、分布偏移或优化误差会打破“同解”。

4.3 DPO 的梯度直觉与为何有效

记隐式奖励 $\hat r_\theta(x,y)=\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\text{ref}}(y\mid x)}$。DPO 损失的梯度为

$$\nabla_\theta\mathcal{L}_{\text{DPO}}=-\beta\,\mathbb{E}\Big[\underbrace{\sigma\big(\hat r_\theta(x,y_l)-\hat r_\theta(x,y_w)\big)}_{\text{当前判错的程度（权重）}}\big(\nabla_\theta\log\pi_\theta(y_w\mid x)-\nabla_\theta\log\pi_\theta(y_l\mid x)\big)\Big]. \tag{13.22}$$

即：提升 winner 的对数概率、压低 loser 的对数概率，且用”模型当前把偏好搞反的程度”作自适应权重——已经分对的样本权重趋近 0，难例权重大。这与一个带隐式奖励的加权对比学习完全一致。

图 5：DPO 用”策略隐式表示奖励 + BT”把 RLHF 的 RM 与在线 RL 折叠成一条离线分类损失。

本质 Insight：DPO 与 PPO 到底”等价”在哪、何时不等价

等价处：在”BT 假设成立 + 同一 KL 约束目标 + 相同 $\pi_{\text{ref}}$ + 无限数据/容量”下，两者的最优解相同。DPO 的关键洞见是”奖励模型和策略其实是同一枚硬币的两面”——由 式(13.18)，$r$ 可被 $\beta\log(\pi/\pi_{\text{ref}})$ 隐式参数化。

不等价处（实践差异巨大）：

• DPO 是离线的：只在给定的偏好数据 $\mathcal{D}$ 上学，永远看不到策略自己新采样的样本；PPO 在线采样、能主动探索并被 RM 现场评分。分布覆盖不足时 DPO 会把没数据支撑的区域概率乱推。
• 泛化 vs 记忆：显式 RM 能对新样本泛化打分；DPO 的隐式奖励只在偏好对附近可靠。
• DPO 会”降低 winner 绝对概率”：它只约束 $\log\frac{\pi_\theta(y_w)}{\pi_\theta(y_l)}$ 的差，可能同时压低 $y_w$ 与 $y_l$（只要 $y_l$ 压得更狠），导致过优化与分布退化。

局限 / 陷阱

DPO 依赖数据分布覆盖；对 $\beta$ 敏感；容易过拟合偏好对、把两者概率一起拉低（likelihood displacement）；对 BT 假设与标注噪声不鲁棒。改进变体：IPO（换损失防过优化）、KTO（用二元 good/bad 而非成对）、ORPO（无 ref、把 SFT 与偏好合一）、在线/迭代 DPO（补上探索）。工业界常把 DPO 当”便宜稳妥的第一版对齐”，把 PPO/GRPO 留给要压榨性能或做推理的场景。

DPO 之后的分叉：它们主要在改“监督格式或正则”，不是恢复在线探索

方法	被什么失败信号推动	关键转念	仍然没有什么
IPO	DPO 的 logistic margin 可持续变大、易过拟合确定性偏好	改成有目标间隔的回归式偏好损失，限制无限拉开 winner/loser	仍依赖固定偏好数据与覆盖
KTO	成对偏好昂贵，现实常只有“好/坏”单样本反馈	借前景理论式效用处理非成对 desirability 标签	不是 on-policy RL，不能主动发现新回答
SimPO	固定 reference 增加存储/计算，序列长度影响隐式奖励尺度	用平均 log-prob 作隐式奖励并设显式 margin，不再需要 reference	仍受离线数据和长度归一选择支配
ORPO	“先 SFT、再偏好优化”两阶段繁琐	在 SFT 正例似然上加 chosen/rejected odds-ratio 惩罚，一阶段完成	简化训练不等于获得环境反馈或探索

别把损失创新误读成数据创新

IPO/KTO/SimPO/ORPO 改善了偏好数据的用法、正则或工程成本，但它们共享 DPO 的根边界：训练信号仍来自一批已有答案。只有迭代采样、在线反馈或环境交互，才把“策略当前会犯的新错”重新带回训练分布。

为什么这样 · 能不能不这样

为什么要保留”在线 RL（PPO/GRPO）“这一形式，而不直接用 DPO 免掉 RL？ 在线 RL 的核心资产是 on-policy 采样：模型每步都拿自己最新采出的样本去被 RM/验证器现场评分，因而能主动探索、在没人标注过的区域也拿到信号——这有助于在当前策略分布上持续纠偏与探索，但是越过示范的途径之一，而非唯一必要条件。DPO 用 式(13.21) 把奖励隐式参数化、省掉 RM 与采样循环，便宜又稳，但它是离线的：只在给定的偏好对上学，永远看不到策略新采出的样本。

换成 DPO 会怎样（具体代价）？ 覆盖不足的区域没有数据支撑，DPO 会把那里的概率乱推；它只约束 $\log\frac{\pi_\theta(y_w)}{\pi_\theta(y_l)}$ 的差，可能把 $y_w$ 一起压低（likelihood displacement）而过优化；且隐式奖励只在偏好对附近可靠，泛化不如一个能对新样本打分的显式 RM。于是常见的折中是”先 DPO 拿便宜的第一版、再用 PPO/GRPO 压性能”，或做迭代/在线 DPO——不断用新策略采样补数据。后者其实是把 DPO 丢掉的”在线探索”一点点加回来，也从反面说明了：真正拉开差距的不是损失长什么样，而是看不看得到策略自己的新样本。

5. GRPO：组相对策略优化

组相对策略优化（Group Relative Policy Optimization, GRPO；DeepSeekMath, 2024，后用于 DeepSeek-R1）省去价值网络（critic），对同一个 prompt 采样一组回答，用组内奖励的相对高低构造优势 ^{[3] [4]}。

5.1 核心机制：组采样 + 组内标准化优势

对每个 prompt $x$，用旧策略采样一组 $G$ 个回答 $\{y_1,\dots,y_G\}$，各得奖励 $\{r_1,\dots,r_G\}$（来自 RM 或验证器）。这里的 $G$ 是组大小——即”同一个 prompt 采样几个回答”，是一个由实现与预算确定的超参。为什么要一组而非一个？因为下文拿这 $G$ 个回答奖励的组统计量构造相对权重。需注意：把样本自身同时用于组均值/标准差会产生有限组耦合，标准差归一还改变随机尺度；它不是“任意 $G$ 下严格无偏”的自动保证。$G$ 越大，组统计通常更稳定、优势噪声更小，但每步的采样开销也随之线性增大，于是 $G$ 成了”基线质量 vs 采样成本”的权衡。组内标准化得到每个回答的优势，并赋给该回答的所有 token：

$$\hat A_i=\begin{cases} \dfrac{r_i-\bar r}{\operatorname{std}(\{r_1,\dots,r_G\})+\varepsilon},&\operatorname{std}>0,\\[4pt] 0,&\operatorname{std}=0, \end{cases} \qquad \bar r=\operatorname{mean}(\{r_1,\dots,r_G\}),\quad \hat A_{i,t}=\hat A_i. \tag{13.23}$$

GRPO 的目标（clipped，含 KL 到参考）：

$$\mathcal{J}_{\text{GRPO}}(\theta)=\mathbb{E}\Bigg[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y_i|}\sum_{t=1}^{|y_i|}\Big(\min\big(\rho_{i,t}\hat A_{i},\ \mathrm{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)\hat A_{i}\big)\Big)-\beta\,\mathbb{D}_{\text{KL}}\big(\pi_\theta\|\pi_{\text{ref}}\big)\Bigg], \tag{13.24}$$ $$\rho_{i,t}=\frac{\pi_\theta(y_{i,t}\mid x,y_{i,<t})}{\pi_{\theta_{\text{old}}}(y_{i,t}\mid x,y_{i,<t})}. \tag{13.25}$$

其中优势沿用式(13.23) 的组内标准化 $\hat A_i$；实现也可过滤奖励全同的组。KL 使用无偏且恒非负的 k3 估计器：

$$\mathbb{D}_{\text{KL}}\big(\pi_\theta\|\pi_{\text{ref}}\big)=\frac{\pi_{\text{ref}}(y_{i,t}\mid\cdot)}{\pi_\theta(y_{i,t}\mid\cdot)}-\log\frac{\pi_{\text{ref}}(y_{i,t}\mid\cdot)}{\pi_\theta(y_{i,t}\mid\cdot)}-1. \tag{13.26}$$

记单 token 对数比 $s=\log\frac{\pi_\theta}{\pi_{\text{ref}}}$、反比 $u=\frac{\pi_{\text{ref}}}{\pi_\theta}$，则式(13.26) 即 k3$=u-1-\log u=(u-1)+s$。它在 k1$=s$ 上加了期望为零的控制变量 $u-1$，因而保持无偏且逐样本非负；当策略与参考分布接近时通常有较低方差，但不存在对任意分布都优于 k1 的保证。k1 单样本可为负也不意味着其期望或相应梯度必然有偏；KL 数值估计与把估计器作为可微损失时的梯度性质应分开分析。

逐项解说 GRPO 目标

• $\frac{1}{G}\sum_i$：对组内 $G$ 个回答求平均（样本级平均）。
• $\frac{1}{|y_i|}\sum_t$：对第 $i$ 个回答的 token 求平均（每个回答等权，无论长短——这一点 DAPO 会批评并改掉）。
• $\min(\rho\hat A,\ \mathrm{clip}(\rho,1-\epsilon,1+\epsilon)\hat A)$：与 PPO 相同的 clipped 重要性采样，提供信赖域。
• $\hat A_i=(r_i-\mu)/\sigma$：组归一化优势——比组内均值高就是”正优势”（该拉高），低就是”负优势”（该压低）。均值 $\mu$ 扮演组相对控制变量；它与同组样本耦合，严格无偏边界应与 leave-one-out/RLOO 区分（见 模块 03 权威表）。
• $-\beta\,\mathbb{D}_{\text{KL}}$：直接把 KL 作为损失项（不像 PPO 摊进 reward），把策略拴向 $\pi_{\text{ref}}$。

举例（组基线的微型演算）

同一道题采 $G=4$ 个回答，奖励为 $[\,1,0,0,1\,]$。组均值为 $0.5$，组标准差为 $0.5$，故优势为 $[\,+1,-1,-1,+1\,]$。若 4 个全对，原始分式是未定义的 $0/0$；按式(13.23) 的实现约定将该组置零，或直接过滤该组，因此不产生策略梯度。

与 PPO 对照，GRPO 的训练循环少了整个 critic 分支，多了”组采样 + 组内归一”：

for iteration in range(N):
    prompts = sample_batch(D)
    for x in prompts:
        group = [actor.generate(x) for _ in range(G)]   # 同一 prompt 采 G 个
        r = [reward(x, y) for y in group]               # RM 或 验证器
        mu, sd = mean(r), std(r)
        A = [(ri - mu) / (sd + 1e-8) for ri in r]       # 组内标准化优势
        for (y_i, A_i) in zip(group, A):
            for t in range(len(y_i)):                    # 优势广播到每个 token
                ratio = exp(logp_theta[i,t] - logp_old[i,t])
                Lc = min(ratio*A_i, clip(ratio,1-eps,1+eps)*A_i)
                loss += -(Lc) / (G * len(y_i))           # 样本级平均
        loss += beta * KL_k3(pi_theta, pi_ref)           # 直接作为损失项
    loss.backward(); opt.step()                          # 无 critic 需更新

图 6：同一 prompt 采样一组回答，用组内均值/标准差归一得到每个回答的优势。

图 7：GRPO 用”组采样 + 组归一化”替代 PPO 的价值网络。

本质 Insight：为什么去掉 critic 反而在 LLM 上更好？

(1) critic 在 LLM 上特别难学。 奖励极稀疏（只有终局）、序列很长、动作空间巨大，让 value 网络给出低偏差的逐 token 价值几乎是奢望；一个坏 critic 会往优势里注入系统性偏差，比”没有 critic”更糟。

(2) 同组样本提供免学习的基线。 严格的无偏控制变量要求给第 $i$ 个回答使用“不含自身”的留一均值；GRPO 常用含自身的组均值，未除标准差时只把留一优势缩放 $(G-1)/G$，梯度方向不变。进一步除以同组标准差后，随机尺度依赖整组奖励，不能再直接套用“基线与动作无关，因此严格无偏”的证明。它仍是有效的 critic-free 估计，但要把实践近似与严格结论分开。

(3) 用采样换估计。 代价是每个 prompt 要采 $G$ 个样本，但推理采样在 LLM 里高度可并行、且比”训练并维护一个和 Actor 同尺寸的 critic”便宜得多。省显存、少一个易崩的组件、还天然契合”可验证奖励”（同一题采多解、按对错归一）。

推导：组基线为何无偏——GRPO 就是 leave-group-out 的 REINFORCE

关键假设

组内 $G$ 个回答独立同分布采自同一 $\pi_{\theta_{\text{old}}}(\cdot\mid x)$；基线只依赖 prompt $x$（不依赖被更新回答本身）。

第 1 步（用 log-derivative 恒等式 $\nabla_\theta\pi_\theta=\pi_\theta\nabla_\theta\log\pi_\theta$ 与”概率求和为 1”）。 策略梯度里减去任何只依赖状态的 $b(x)$ 都不改变期望，因为

$$\mathbb{E}_{y\sim\pi}\big[b(x)\,\nabla_\theta\log\pi_\theta(y\mid x)\big]=b(x)\,\nabla_\theta\!\!\sum_y\pi_\theta(y\mid x)=b(x)\,\nabla_\theta 1=0. \tag{13.27}$$

第 2 步（用蒙特卡洛估计把 $V(x)$ 换成组均值）。 取 $b(x)=\operatorname{mean}(\{r_j\})$——它是 $V(x)=\mathbb{E}_{y\sim\pi}[r(x,y)]$ 的蒙特卡洛估计。严格无偏版本应对第 $i$ 个样本用”其余 $G-1$ 个”的均值（leave-one-out），避免把 $r_i$ 自己算进它的基线里：

$$\hat A_i^{\text{loo}}=r_i-\frac{1}{G-1}\sum_{j\ne i}r_j. \tag{13.28}$$

量化：全组均值 vs 留一法差多少。 GRPO 实际用含自身的全组均值 $\bar r=\tfrac1G\sum_j r_j$，且 $r_i-\bar r=\tfrac{G-1}{G}\hat A_i^{\text{loo}}$。因此若只减均值，它是严格留一估计的确定性缩放（$G=8$ 时 $0.875$），可由学习率吸收，并不会改变期望梯度方向。GRPO 还除以随机的组标准差；此时不再只是常数缩放，可能改变 prompt 权重并引入归一化偏置。故准确结论是：GRPO 属于 REINFORCE-with-sample-baseline 家族，省掉 critic 的代价是组采样成本及有限组归一化效应。

深化拓展：组大小 $G$ 与优势估计方差的定量

上面把 $G$ 定性成”基线质量 vs 采样成本”的旋钮，这里给它一个定量骨架。设同一 prompt 下各回答奖励 $r_i$ 独立同分布、方差为 $\sigma_r^2$。GRPO 用组均值 $\bar r=\tfrac1G\sum_j r_j$ 当基线，而严格无偏的留一法（式(13.28)）用 $b_i^{\text{loo}}=\tfrac1{G-1}\sum_{j\ne i}r_j$。这两个”基线估计量”本身都是随机的，其自身方差随 $G$ 单调下降：

$$\operatorname{Var}\big[\bar r\big]=\frac{\sigma_r^2}{G},\qquad \operatorname{Var}\big[b_i^{\text{loo}}\big]=\frac{\sigma_r^2}{G-1}. \tag{13.28'}$$

读法一（基线噪声 $\propto 1/G$）。 用有限样本的组均值代替”理想基线”$V(x)=\mathbb{E}_{y}[r]$，会给优势注入一份额外的估计噪声，其量级正是 $\operatorname{Var}[\bar r]=\sigma_r^2/G$——$G$ 翻倍，这份基线噪声减半。$G$ 太小时它不可忽略：极端地 $G=2$，基线只由”另一个样本”决定，$\operatorname{Var}[b_i^{\text{loo}}]=\sigma_r^2$，基线本身和信号一样吵；$G$ 增大则迅速收敛到 $0$，组均值趋近理想基线，优势方差逼近”已知真实 $V(x)$“的下限。

读法二（留一 vs 全组只差一个 $\tfrac{G-1}{G}$ 缩放）。 前面已证 $r_i-\bar r=\tfrac{G-1}{G}\,\hat A_i^{\text{loo}}$：全组均值相比严格无偏的留一法，只是把优势整体乘了 $\tfrac{G-1}{G}$（$G=8$ 约 $0.875$、$G=64$ 约 $0.984$、$G\to\infty$ 趋于 $1$）。这个缩放是确定性常数、会被学习率吸收，所以两者在实践中几乎等价；真正随 $G$ 变化的是上面那份 $\propto 1/G$ 的随机基线噪声。

权衡与呼应。 于是 $G$ 的取舍很清楚：$G$ 太小 → 基线噪声大（$\sigma_r^2/G$ 项主导）、优势失真、且更易碰上”全对/全错组 $\sigma\to0$“的退化；$G$ 太大 → 每个 prompt 要多跑 $G$ 次采样，rollout 成本线性上涨、边际收益按 $1/G$ 递减（从 $8$ 加到 $16$ 削掉一半噪声，从 $64$ 加到 $128$ 几乎白花）。这与 模块 03 · §8 的”用大 batch 压 $T^2$ 方差”是同一母题的两个投影：那里靠更多轨迹的平均压低策略梯度的 $O(T^2)$ 方差，这里靠更大组把基线自身的方差压到 $\sigma_r^2/G$——都是”以采样量换估计方差”，边际收益都按 $1/(\text{样本数})$ 衰减。常见取值 $G\in[8,64]$ 正落在”基线已足够稳、采样还没贵到离谱”的拐点附近。

局限 / 陷阱：GRPO 的已知问题（DAPO 的动机）

• 长度偏置：目标里对每个回答做 $\frac{1}{|y_i|}$ 平均，使长回答里每个 token 的梯度权重被稀释；对负优势的长回答惩罚不足，训练久了输出越来越长（length hacking）。
• std 归一化的问题：当组内奖励几乎全对或全错时 $\sigma\to0$，$\hat A$ 会爆炸或除零；且除以 $\sigma$ 会给”简单/困难”prompt 不同的有效学习率（difficulty bias）。
• 全对/全错组无梯度：若 $G$ 个回答奖励全相同，$\hat A_i\equiv 0$，该 prompt 对梯度零贡献——大量样本被浪费。
• 熵坍缩：对称 clip 会过度抑制低概率 token，探索减少、多样性下降。

这四条正是下一节 DAPO 要逐条修的。

6. DAPO：大规模 RL 配方

展开工程诊断：DAPO 大规模配方

DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization，2025）公开了代码与数据，并在 GRPO 基础上提出四项技术：Clip-Higher、动态采样、token 级策略梯度损失和超长奖励塑形 ^[5]。论文配方还去掉了 KL 项（$\beta=0$）；这是其具体实验设置中的设计选择，不是所有长 CoT 训练的通用结论。

DAPO 目标（对同一 prompt $q$、答案 $a$，采样组 $\{o_i\}$）：

$$\mathcal{J}_{\text{DAPO}}(\theta)=\mathbb{E}\Bigg[\frac{1}{\sum_{i}|o_i|}\sum_{i=1}^{G}\sum_{t=1}^{|o_i|}\min\Big(\rho_{i,t}\hat A_{i,t},\ \mathrm{clip}\big(\rho_{i,t},\,1-\varepsilon_{\text{low}},\,1+\varepsilon_{\text{high}}\big)\hat A_{i,t}\Big)\Bigg] \tag{13.29}$$ $$\text{s.t.}\quad 0<\big|\{\,o_i:\ \text{is\_correct}(o_i,a)\,\}\big|<G, \tag{13.30}$$

其中 $\hat A_{i,t}=(r_i-\operatorname{mean}(\{r_j\}))/\operatorname{std}(\{r_j\})$ 仍是 式(13.23) 的组内标准化优势；$\varepsilon_{\text{low}}$、$\varepsilon_{\text{high}}$ 则是重要性比 $\rho_{i,t}$ 的下、上裁剪阈值——DAPO 把 GRPO/PPO 里那个对称的 $\epsilon$ 拆成了下限、上限两个可分别设定的超参（取值动机与”为何上限要更大”见 §6.1）；约束 式(13.30) 里的 $\text{is\_correct}(o_i,a)$ 是”回答 $o_i$ 对照标准答案 $a$ 是否正确”的判定，$0<|\{\cdot\}|<G$ 即”这一组既非全对也非全错”（见 §6.2）。下面逐项拆解四项技术。

图 8：DAPO 的四项技术分别对应 GRPO 的四类失败模式。

6.1 Clip-Higher：解耦上/下 clip 阈值

GRPO/PPO 用对称阈值 $[1-\epsilon,1+\epsilon]$。问题：对一个当前概率很低的 token（$\pi_{\text{old}}$ 小），即使它是好 token（正优势），$1+\epsilon$ 的上限也把它的概率提升卡死——低概率 token 很难被”扶起来”，高概率 token 却能继续被压，于是分布越来越尖、熵坍缩、探索枯竭。DAPO 把上限调高、与下限解耦：

$$\mathrm{clip}\big(\rho_{i,t},\,1-\varepsilon_{\text{low}},\,1+\varepsilon_{\text{high}}\big),\qquad \varepsilon_{\text{high}}>\varepsilon_{\text{low}}. \tag{13.31}$$

放宽上限给”有潜力的低概率 token”更大的上探空间，维持策略熵与多样性；保持下限较紧，避免把 token 概率一次砍太狠。

图 9：抬高 clip 上限，让低概率但有益的 token 得到更充分的正向更新。

6.2 Dynamic Sampling：动态过滤”全对/全错”的组

在可验证奖励下，若一个组的 $G$ 个回答全部答对（accuracy=1）或全部答错（accuracy=0），则组内奖励相同、$\hat A_i\equiv0$、该 prompt 梯度为零。随着训练进行这类”饱和” prompt 越来越多，有效 batch 越来越小、梯度信号越来越弱。DAPO 的做法：丢弃 accuracy $\in\{0,1\}$ 的组，持续重采直到凑满一个都是”有区分度”（$0<\text{acc}<1$）的 batch。这保证每一步都有非零、稳定的梯度信号，加速收敛。

6.3 Token-Level Policy Gradient Loss：按 token 而非样本平均

对比：样本级平均 vs token 级平均

GRPO（样本级）：先在每个回答内部对 token 平均，再对 $G$ 个回答平均：

$$\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y_i|}\sum_{t=1}^{|y_i|}(\cdots). \tag{13.32}$$

后果：一个 100 token 的回答与一个 1000 token 的回答对 loss 贡献相同 → 长回答里每个 token 的有效权重被除以 $|y_i|$ 稀释。好的长推理 token 学不动、坏的长啰嗦 token 罚不够 → 助长冗长与 length hacking。

DAPO（token 级）：把整个 batch 的所有 token 放进同一个池子，按总 token 数归一：

$$\frac{1}{\sum_{i}|y_i|}\sum_{i=1}^{G}\sum_{t=1}^{|y_i|}(\cdots). \tag{13.33}$$

后果：每个 token 权重相等，与所在回答长短无关。长 CoT 里的每个正确推理步都得到应有的正向梯度、每个冗余 token 都被公平惩罚，长度增长更受控、训练更稳。

6.4 Overlong Reward Shaping：超长软惩罚

被最大长度截断（truncated）的回答往往并非”答错”，只是”没说完”，却常被判为负奖励，给训练注入噪声。DAPO 先做 overlong filtering（对被截断样本屏蔽损失），再引入 软性长度惩罚：在一个缓冲区间内随长度线性增加惩罚，超过硬上限才给足额惩罚：

$$r_{\text{len}}(|y|)=\begin{cases}0,& |y|\le L_{\max}-L_{\text{cache}}\\[2pt] \dfrac{(L_{\max}-L_{\text{cache}})-|y|}{L_{\text{cache}}},& L_{\max}-L_{\text{cache}}<|y|\le L_{\max}\\[6pt] -1,& |y|>L_{\max}\end{cases} \tag{13.34}$$

它温和地”提醒模型收尾”，而不是把接近上限的长回答一刀切成噪声——降低长度信号的方差、稳住训练。

表 1：GRPO → DAPO 的逐项差异

维度	GRPO	DAPO	解决的失败模式
clip 阈值	对称 $[1-\epsilon,1+\epsilon]$	解耦 $[1-\varepsilon_{\text{low}},1+\varepsilon_{\text{high}}]$，$\varepsilon_{\text{high}}>\varepsilon_{\text{low}}$	熵坍缩、探索不足
采样	固定 batch，含饱和组	过滤 acc∈{0,1}，重采到满 batch	零梯度、样本浪费
损失归一	样本级 $\frac1G\sum_i\frac1{\vert y_i\vert }\sum_t$	token 级 $\frac{1}{\sum_i\vert y_i\vert }\sum_{i,t}$	长度偏置
长度处理	无（截断=负奖励）	超长过滤 + 软惩罚塑形	长度奖励噪声
KL 项	保留 $-\beta\,\mathbb{D}_{\text{KL}}$	去掉（$\beta=0$）	约束推理策略过紧

前沿实践

DAPO 公开了数据、代码和配方，并报告了其模型与评测设置下的结果 ^[5]。这些技术是否适合作为其他任务的默认组件仍需逐项验证。同期的 Dr.GRPO 研究去除标准差和长度归一化 ^[6]；GSPO 在其论文设置中采用序列级重要性比与裁剪 ^[7]。

7. RLVR 与推理模型

可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards, RLVR）是 2025 年推理模型浪潮的引擎。核心极其朴素：在有客观对错的任务上（数学、代码、形式证明），用规则/验证器直接给二元奖励，彻底不用奖励模型。

7.1 用验证器代替 RM：为什么能绕过 reward hacking

回想 §2 的痛点：RLHF 要先训一个奖励模型 $r_\phi$ 去近似人类偏好，而这个学出来的近似天然有漏洞、会被策略钻空子刷分（reward hacking）。但对数学、代码这类有客观对错的任务，我们根本不需要”猜”人类会不会喜欢——答案对不对、单测过不过是可以直接验证的。于是奖励退化成最朴素的一个二元指示：验证通过给 $1$、否则给 $0$：

$$r(x,y)=\begin{cases}1,& \text{验证器判定 }y\text{ 正确（如答案匹配 / 单测全过）}\\ 0,& \text{否则}\end{cases} \tag{13.35}$$

式中 $x$ 是题目（附带标准答案或测试集）、$y$ 是模型的完整回答，判定完全交给一个不含可学参数的验证器。为什么这一步换掉 $r_\phi$ 就能挡住 reward hacking，下面的 Insight 给出根因。

本质 Insight：RLVR 为何通常更抗 reward hacking

RM 是人类偏好的可学近似，策略容易利用其分布外误差；验证器则把信号接到更接近任务结果的外部判定：标准答案、隐藏测试或形式检查，因此较难靠措辞、谄媚直接刷分。但除形式证明等接近完备判定的场景外，验证结果不等于完整真值：单测覆盖、答案抽取与执行环境都可能漏掉真实语义。更准确的结论是：RLVR 缩小并转移了 Goodhart 攻击面，而非让它消失。代价还包括适用域窄与二元奖励稀疏。

举例

给模型一道有标准答案的题，比如”求 $\int_0^1 2x\,\mathrm{d}x$“，标准答案是 $1$。让模型采样 5 条带推理的回答，末尾报出 $1$ 的判对、给奖励 $1$；报出 $0.5$ 或 $2$ 的判错、给 $0$——完全不管中间措辞漂不漂亮、篇幅长不长。因为”答案等于 $1$“是客观真值，模型没法靠谄媚、堆字数或套模板骗到这一分，只能真的把积分算对。代码任务同理：不去猜”人类喜欢什么风格”，而是直接跑单元测试，全过给 $1$、挂一个给 $0$。这就是 RLVR——把”标准答案/单测”直接当奖励，从源头堵死了 reward hacking。

批判性追问：“RLVR 绕过 reward hacking”是有条件的

上一段的 Insight 说 RLVR”从根上抑制 reward hacking”，这个论断需要一个前提：只有当”验证器确实存在、且难被钻”时才成立——它抑制的是”针对学出来的 RM 的 hacking”，而不是”针对奖励信号的 hacking”这一类问题本身。验证器把 Goodhart 的攻击面从”模型化的偏好”搬到了”验证器的实现”，攻击面缩小了、却没有消失：(1) 过测不过意——单测只覆盖部分行为，模型可以写出恰好过测但语义错误的代码（hard-code 测试用例、特判输入、利用测试覆盖的盲区）；数学里也有”答案对而推理全错/蒙对”。(2) 蒙对——二元奖励无法区分”真的推理出来”与”瞎猜/走捷径撞对”，$G$ 个里蒙中一个就得正优势，长期会强化投机式作答而非可靠推理。(3) 抽取/环境漏洞仍在——若验证发生在模型可触及的环境里（读到答案文件、篡改评测脚本、调用返回真值的工具），模型会去攻击验证过程而非解题（参见 §10 “连真值也会被 hack：验证器漏洞”、以及 OpenAI 2025 对推理模型在代码任务里特判/篡改单测的观察）。所以更准确的表述是：RLVR 把奖励从”易被 hack 的可学代理”换成”更难被 hack、但仍非绝对可靠的验证器”——它大幅缩小而非消灭了 reward hacking，且这份可靠性完全押在”验证器有多难被钻”这一工程前提上。

图 10：RLVR 用客观验证器给二元奖励，配 GRPO 即可训练。

7.2 DeepSeek-R1-Zero / R1：纯 RL 放大长 CoT 行为

R1-Zero：从 base 模型不做 SFT 冷启动，直接使用规则奖励和 GRPO。公开报告观察到训练后回答变长，并更常出现自检、回溯与换路；更克制的解释是 RL 提高了这些轨迹的采样概率，而不是仅凭该观察断言产生了全新认知机制 ^[4]。

R1（生产级）：R1-Zero 虽强但可读性差、语言混杂。R1 采用冷启动（cold-start）配方：先用少量高质量长 CoT 数据做 SFT 打好格式与可读性底子，再大规模 RLVR 提升推理，其间穿插拒绝采样 + SFT、以及面向通用对齐的 RLHF 阶段。

R1 冷启动 + RL 配方（简化）

1. 冷启动 SFT：少量人工整理的长 CoT 样本 → 稳住输出格式、语言一致性、可读性。
2. 面向推理的 RLVR：GRPO + 可验证奖励（数学/代码），主力提升推理；加语言一致性奖励抑制中英混杂。
3. 拒绝采样 + SFT：用当前模型采样、只留答对的高质量样本，扩到更广任务再 SFT。
4. 全场景 RLHF：结合可验证奖励与偏好 RM，兼顾有用性与无害性。

前沿实践

RLVR 在 DeepSeek-R1 的公开配方中用于数学、代码等可验证任务 ^[4]。OpenAI 也公开说明 o1 使用大规模 RL 训练推理，但没有据此公开其完整奖励配方 ^[8]。可验证性既是优势也是边界：开放式写作与多轮对话通常仍需偏好或评审信号。

8. 其他相关方法与前沿

8.1 RLAIF 与 Constitutional AI

基于 AI 反馈的 RL（RL from AI Feedback, RLAIF）用模型产生偏好标注。Anthropic 的 Constitutional AI（CAI） 先依据一组自然语言原则自我批评并修订回答，再用 AI 偏好训练偏好模型并进行 RLAIF；其实验中的有用性反馈仍来自人类，因此属于混合偏好模型 ^[9]。

8.2 reward hacking 与 over-optimization（Goodhart 与 KL 预算）

在 RLHF 中，策略可能把 RM 推到分布外而获得虚高代理分。Gao 等在合成 gold RM／proxy RM 设置中观察并拟合了随 $d=\sqrt{\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})}$ 变化的过优化曲线，且 RL 与 best-of-N 的经验函数不同 ^[10]。这不是“偏离参考必然先升后降”的普适定律；KL 可作为该类实验中的监控量之一。

典型失败模式清单

• 谄媚（sycophancy）：迎合用户观点而非说真话，因为标注者/RM 偏好被认同。
• 长度 hacking：更长的回答常被 RM 打高分 → 输出越来越啰嗦（GRPO/DAPO 专门处理）。
• 格式/措辞刷分：学到 RM 偏爱的模板、列表、免责声明。
• 熵坍缩：策略过快收敛到少数高分模式，多样性与探索消失，之后再也学不动。

举例

假设 RM 偷偷学到了”回答越长评分越高”的相关性（因为标注时详尽的回答常被选中）。策略很快嗅到这个漏洞——不去把内容答得更对，而是拼命灌水：把一句"$2+2=4$"扩写成三段客套话加免责声明，字数翻了十倍，RM 分从 $0.6$ 飙到 $0.9$，可人读起来又臭又长、信息密度反而更低。模型并没”作弊”，它只是比你更彻底地读懂了”按字数给分”这条规则。这正是 Goodhart：一旦”字数”成了被优化的目标，它就不再是”质量”的好代理——也是 GRPO/DAPO 要专门处理长度偏置的原因。

8.3 过程奖励（PRM）vs 结果奖励（ORM）

结果奖励模型（Outcome Reward Model, ORM） 只看最终答案对错；过程奖励模型（Process Reward Model, PRM） 对推理链的每一步打分。PRM 提供更密集的信号、能定位错在哪一步、利于 credit assignment 与”过程监督”；但需要昂贵的步级标注，且 PRM 本身也会被 hack。实践权衡：RLVR 用最省的 ORM（0/1 结果）配组基线往往就很强；PRM 更适合搜索/验证（如 best-of-n 重排、树搜索引导）。

8.4 拒绝采样、best-of-n 与过程监督

Best-of-$n$（BoN）：采 $n$ 个回答、用 RM/验证器选最好的一个——一种推理期（inference-time）的”用算力换质量”。拒绝采样微调（rejection sampling / RAFT / STaR）：把 BoN 选出的高分样本回灌做 SFT，是介于 SFT 与在线 RL 之间的轻量方案（R1 管线就用到）。它稳定、易实现，是很多团队的性价比之选。

8.5 近期方向速览

• GSPO（序列级）：把重要性采样比与裁剪从 token 级提升到序列级，缓解长序列/MoE 下 token 级比值方差过大导致的不稳定。
• Dr.GRPO：去掉 GRPO 中 std 归一化与长度归一，纠正难度/长度偏置。
• 熵管理与探索：显式熵正则、Clip-Higher、KL 退火等对抗熵坍缩，是长训练能否持续进步的关键。
• 多轮 / agentic RL：把 RL 用于工具调用、代码执行、网页浏览等多步交互，奖励来自任务成功率；credit assignment 跨越多轮，是当前最活跃的前沿之一。
• 迭代 / 在线 DPO：给离线 DPO 补上采样探索，逼近在线 RL 的收益同时保留简洁。

9. 对比与选型

把本模块方法放到一张表里做工程决策。核心权衡永远围绕三问：奖励从哪来？需要 critic 吗？在线还是离线？

表 2：LLM 后训练方法选型对比

方法	需要 RM？	需要 critic？	在线/离线	显存/成本	稳定性	最适用场景
SFT	否	否	离线（示范）	低（1 模型）	高	打底、格式对齐、冷启动；有高质量示范时的第一步
PPO (RLHF)	是	是	在线	很高（4 模型）	中（超参敏感）	要压榨对齐上限、有成熟 RM 与工程能力的团队
DPO	否（隐式）	否	离线	低（策略+ref）	较高	有成对偏好数据、想便宜稳妥地对齐、无在线采样设施
GRPO	是/或验证器	否	在线	中（省 critic）	较高	推理/数学/代码，采样可并行、想要在线 RL 又省显存
DAPO	验证器为主	否	在线	中	高（专治 GRPO 失败模式）	大规模长 CoT RLVR，追求可复现的稳定配方
RLVR（配 GRPO/DAPO）	否（用验证器）	否	在线	中	取决于验证器覆盖与抗攻击性	可自动验证的任务：数学、代码、形式证明、可判定 agent 任务
拒绝采样/BoN-SFT	是/验证器	否	半离线	低	高	性价比之选；快速起量、稳定，常作 RL 前后的补充

选型决策速记

• 任务可自动验证（数学/代码）→ 首选 RLVR + GRPO/DAPO，奖励最干净、抗 hacking。
• 只有成对偏好数据、要快要稳、没有在线采样设施 → DPO（或其变体 KTO/ORPO）。
• 有成熟 RM、追求对齐上限、工程能力强 → PPO；想省 critic 显存 → 换 GRPO。
• 任何路线之前，先把 SFT 打好底；预算有限时 拒绝采样-SFT 往往是最优性价比第一版。

10. 奖励建模深水区：PRM/ORM · LLM-as-judge · 过优化

展开工程诊断：奖励建模深水区

§2 与 §8 已经点到”奖励从哪来”，但正如编者按将强调的：算法趋于成熟，真正决定成败的是奖励。这一节把奖励建模钻到底——从 Bradley-Terry 损失的工程细节，到过程 vs 结果奖励、LLM 当裁判、再到把 Goodhart 定律定量化的过优化曲线。

10.1 Bradley-Terry 损失的工程细节

§2.1 的 式(13.7) 给出了基础形式 $\mathcal{L}_{\text{RM}}=-\mathbb{E}\big[\log\sigma(r_\phi(x,y_w)-r_\phi(x,y_l))\big]$。落到工程还有几处关键改动：

• 置信 margin（Llama-2 式）：当标注同时给出偏好强度（“明显更好 / 稍好”）时，加一个 margin $m(r)$ 拉大得分差：$-\log\sigma\big(r_\phi(x,y_w)-r_\phi(x,y_l)-m(r)\big)$。强偏好对要求更大的分差，弱偏好对则宽松，抑制过拟合噪声对。
• K 路排序 → Plackett-Luce：若一次标注排了 $K$ 个回答（而非成对），BT 推广为 Plackett-Luce：把排序拆成”从剩余集合里逐位选最好”的连乘 softmax，一次利用 $K$ 个样本的全部序信息，比拆成 $\binom{K}{2}$ 个独立成对更省标注、更一致。
• label smoothing / 保守目标：人类偏好有噪声，把标签从硬 $1$ 软化为 $1-\varepsilon$（cDPO/保守 RM 同理），防止 RM 对困难/歧义对过度自信。
• RM 集成与不确定性：训练多个 RM（不同种子/数据划分），取均值降方差、取方差作为不确定性惩罚——策略被推到 RM 分歧大的区域时扣分，是抑制过优化最实用的手段之一。

10.2 过程奖励 PRM vs 结果奖励 ORM

§8.3 给了直觉，这里做结构化对比。核心矛盾：ORM 信号干净但极稀疏（只有终局对错），PRM 信号密集但标注贵且自身可被 hack。

表 3：过程奖励模型（PRM）vs 结果奖励模型（ORM）

维度	ORM（结果奖励）	PRM（过程奖励）
打分粒度	整条回答一个标量（答案对/错）	推理链每一步一个标量（步对/错）
信号密度	极稀疏（1 个终局信号）	密集（每步一个信号），credit assignment 更易
标注成本	低（只需最终答案/验证器）	高（需步级人工标注，如 PRM800K）或用 MCTS/蒙特卡洛自动标步（Math-Shepherd：某步”能否走到正确答案”的经验概率）
典型用途	RLVR 主力奖励（0/1 结果 + 组基线）	搜索引导 / best-of-n 重排 / 验证器；也可做密集 RL 奖励
失败模式	“答对但推理错”（蒙对）被判正；稀疏难学	PRM 自身被 hack（学到”看起来对”的步）；步边界难定义；分布外脆弱

本质 Insight：PRM 是把 credit assignment 外包给标注

深度 MDP 里 credit assignment 靠 TD/GAE 从终局回传；PRM 则用人工/搜索标注直接在每步注入监督，相当于把”信用分配”这件难事外包给数据。它更快更稳，但天花板受限于标注质量，且把”什么是好的推理步”这一主观判断重新引回了 reward hacking 的射程——这正是 RLVR 用纯结果奖励想要躲开的东西。

10.3 LLM-as-judge 与 RLAIF：用模型造偏好

§8.1 讲了 RLAIF / Constitutional AI 的框架。工程上更常见的是 LLM-as-judge：直接让一个强模型对成对回答打偏好，用来替代/补充人类标注、生成 RM 训练数据或做在线评测。它便宜、可扩展，但带着一批系统性偏置，必须校正：

• 位置偏置（position bias）：裁判倾向于选”排在前面/后面”的那个 → 对策：两种顺序各评一次取一致结果（swap 一致性）。

• 啰嗦偏置（verbosity bias）：更长、更多列表/免责声明的答案被判更好 → 与 §8.2 的 length hacking 同源，会把偏置灌进 RM 再灌进策略。

• 自我偏好（self-preference）：模型更偏爱与自己风格相近（甚至自己生成）的回答 → 用异构裁判/人审锚定校准。

前沿实践：生成式验证器

近期趋势是把裁判从”直接吐一个分数”升级为 generative verifier / LLM-as-a-judge with CoT：让裁判先写出评判理由再给结论，等价于把验证也变成一个可用 RLVR 训练的推理任务。这既提升了判别可靠性，也模糊了”奖励模型”与”策略”的边界——奖励本身正在变成一个会推理的模型。

10.4 奖励过优化：把 Goodhart 定律画成曲线

§8.2 给出的是特定实验中的经验观察。Gao et al.（2022）在合成 gold/proxy 奖励模型设置中，用 $\sqrt{\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})}$ 度量距离，并观察到代理奖励与 gold 奖励出现裂口；曲线形状和峰值依设置与优化方法而异 ^[10]。

图 11：过优化的定量图景——KL 是要精打细算的”预算”，越过峰值就是 reward hacking。

对策清单

• KL 预算管理：早停、调 $\beta$、监控 $\sqrt{\mathrm{KL}}$ 并在峰值前收手。
• 做大/集成 RM：更大的 RM 峰值更高、过优化更晚；集成方差可做不确定性惩罚。
• 换更硬的奖励源：可验证奖励（§13）减少学得 RM 的近似漏洞，但仍需隐藏测试、过程审计与对抗验证。

11. critic-free 家族全景：GRPO · RLOO · GSPO · Dr.GRPO

展开活跃前沿附录：critic-free 变体

§5–§6 讲了 GRPO 与 DAPO。但”砍掉 critic、用采样基线”已经长成一个家族，它们在三个维度上分道扬镳：①基线怎么算（组均值 / leave-one-out）②要不要 std 归一化 ③重要性比在 token 级还是序列级。看懂这三个开关，任何新变体都能被你一眼归位。

11.1 四位成员的机制差异

表 4：critic-free 家族对比（同宗但取值不同）

方法	基线 / 优势	归一化	重要性比 & 裁剪	主打修正
GRPO DeepSeekMath 2024	组均值基线 $\hat A_i=\frac{r_i-\mu}{\sigma}$	减均值 且 除 std	token 级 $\rho_{i,t}$，对称 clip	去 critic（省显存）
RLOO REINFORCE Leave-One-Out [11]	leave-one-out：$\hat A_i=r_i-\frac{1}{G-1}\sum_{j\ne i}r_j$	只减均值，不除 std	序列级（整条回答一个比）	严格无偏基线、更简
Dr.GRPO 2025 [6]	组均值基线（同 GRPO）	去掉 std 归一 与 长度归一	token 级	去难度偏置（÷σ）与长度偏置（÷|y|）
GSPO 2025 [7]	组基线（同 GRPO 家族）	组归一	序列级重要性比 $\big(\tfrac{\pi_\theta(y)}{\pi_{\text{old}}(y)}\big)^{1/\vert y\vert }$ 与序列级 clip	论文设置中改善长序列/MoE 训练稳定性

三个开关，逐一解说

• 基线：组均值 vs leave-one-out。 用全组均值（含自己）会引入轻微相关性偏差；RLOO 用”其余 $G-1$ 个”的均值当基线，是策略梯度里严格无偏的控制变量。GRPO 是它的方差归一化近似。
• ÷std：难度偏置的来源。 除以组标准差，会让”几乎全对/全错”（$\sigma$ 小）的 prompt 获得被放大的有效学习率，等于偷偷给不同难度的题不同权重。Dr.GRPO 直接去掉 ÷std（和 ÷|y|）来消除难度与长度偏置。
• token 级 vs 序列级重要性比。 GRPO 目标逐 token 使用并裁剪 $\rho_{i,t}$，并没有在损失里把这些比值连乘；问题在于逐 token 的局部比值可能让同一序列内部更新不一致，并对训练/推理实现偏差（尤其 MoE 路由变化）敏感。GSPO 改用整条序列似然比的长度归一化几何平均，并做序列级裁剪，使优化单位与序列奖励更一致；“更稳”是其论文设定下的经验结论，不是普适方差定理。

图 12：把重要性比从 token 级抬到序列级（GSPO），是长序列稳定性的关键开关。

本质 Insight：一族方法，一个骨架

RLOO / GRPO / Dr.GRPO / GSPO 都是 “REINFORCE + 组内蒙特卡洛基线” 的变体（§5 已证明这一点）。它们的全部分歧，只是在”基线要不要 leave-one-out、要不要除 std、比值放 token 还是序列”这三个旋钮上取了不同值。掌握骨架，你就不会被论文里的新缩写吓到——先问它拧了哪个旋钮。

12. 训练动力学的定量：KL 估计器 · 长度偏置 · 熵坍缩

展开工程诊断：KL、长度与熵

把前面反复出现的三个工程量拿出来定量化——它们是”为什么训着训着就崩/变长/不探索了”的直接答案，也串起了 DAPO 的 clip-higher 与动态采样为何有效。

12.1 per-token KL 的三种估计器

KL 惩罚要在每个 token 上估 $\mathrm{KL}(\pi_\theta\|\pi_{\text{ref}})$。记 log-ratio $\ell=\log\frac{\pi_\theta}{\pi_{\text{ref}}}$、ratio $u=\frac{\pi_{\text{ref}}}{\pi_\theta}$。三种常见估计器（Schulman “Approximating KL”）：

表 5：三种 per-token KL 估计器

估计器	公式（单样本）	无偏？	方差 / 符号
k1（朴素）	$\ell=\log\frac{\pi_\theta}{\pi_{\text{ref}}}$	是	方差大，可正可负（单样本可能给负 KL）
k2	$\tfrac12\ell^{2}$	近似（低偏）	方差小、恒非负，但有偏
k3	$u-1-\log u=\tfrac{\pi_{\text{ref}}}{\pi_\theta}-1-\log\frac{\pi_{\text{ref}}}{\pi_\theta}$	是	恒非负；分布接近时通常方差较小，不保证任意分布下优于 k1

为什么 k3 既无偏又非负

令 $u=\pi_{\text{ref}}/\pi_\theta$。在 $y\sim\pi_\theta$ 下 $\mathbb{E}[u]=1$，故 $\mathbb{E}[u-1]=0$；而 $\mathbb{E}[-\log u]=\mathrm{KL}$。于是 k3 无偏。又因 $u-1-\log u\ge0$，每个样本都非负。k1 单样本可为负不等于估计或梯度有偏；若把这些估计器直接作为可微损失，还需单独分析梯度。

12.2 长度偏置：一行公式看清 GRPO 为何越训越长

GRPO 的样本级归一 $\frac1G\sum_i\frac{1}{|y_i|}\sum_t(\cdots)$ 让第 $i$ 个回答里每个 token 的有效权重 $\propto 1/|y_i|$。于是：

• 对正优势的长回答：好 token 被 $1/|y_i|$ 稀释，学得慢；
• 对负优势的长回答：坏 token 同样被稀释，罚得轻 → 冗长几乎不受惩罚。

两头叠加，梯度系统性偏向”容忍变长”。DAPO 的 token 级归一 $\frac{1}{\sum_i|y_i|}\sum_{i,t}(\cdots)$ 让每个 token 等权、Dr.GRPO 干脆去掉 $1/|y_i|$，都是从这一行公式对症下药。

12.3 熵坍缩：成因与对策

熵坍缩（entropy collapse） 指策略熵 $\mathcal{H}(\pi_\theta)$ 在训练中快速下降、迅速收敛到少数高分模式，此后探索枯竭、再也学不动。三个成因：

1. 对称 clip 的不对称效果（§6.1）：$1+\epsilon$ 上限把低概率好 token 的提升卡死，高概率 token 却能继续被强化 → 分布越来越尖。
2. 负优势对低概率 token 的过度打压：本就稀有的 token 被进一步压低，多样性坍塌。
3. 饱和组的零梯度（§6.2）：全对/全错组不贡献梯度，剩下的更新集中在少数模式上。

图 13：熵坍缩是长训练停滞的直接信号；DAPO 三件套把熵稳在健康区间。

对策（呼应 DAPO）

Clip-Higher（放宽上限给低概率好 token 上探空间）+ 动态采样（过滤饱和组保证有效梯度）+ 显式熵正则/温度调度 + KL/熵退火，共同把熵稳在健康带。监控 $\mathcal{H}(\pi_\theta)$ 曲线是长 RLVR 训练最重要的”体温计”——熵一旦提前触底，后面基本白训。

13. RLVR × R1 配方精解：多阶段流水线与可验证性边界

展开活跃前沿附录：R1 配方精解

§7 讲了 RLVR 的原理与 R1 冷启动的四步。这一节把流水线画细、并诚实地划出可验证奖励的适用边界——它的护城河恰恰也是它的围墙。

13.1 R1 式多阶段流水线

图 14：R1 的多阶段配方——SFT 与 RL 交替、拒绝采样充当”把 RL 能力蒸回权重”的桥。

本质 Insight：拒绝采样是 SFT 与 RL 之间的桥

拒绝采样（用当前模型采样、只留验证通过的高分样本回灌 SFT）本质是一步 off-policy 的策略改进：它把在线 RL 探索到的好行为”固化”成监督数据，稳定、易并行、无需 critic。R1 用它在 RL 阶段之间穿插，既拿到 RL 的探索红利，又享受 SFT 的稳定——这也解释了编者按的判断：“扎实的 SFT + 拒绝采样能逼近 RL”。

四种工具各司其职，而非互相替代

SFT/蒸馏负责能力注入：把教师、工具或人类示范中基座原本低覆盖甚至没有的知识与轨迹压进参数；偏好优化/拒绝采样负责概率锐化：把已有候选中更好的答案提到前面；在线 RL 负责探索与分布自适应：持续看到当前策略自己会产生的新轨迹、新错误；环境/验证器负责数据生成与闭环纠错：提供模型外的新信息。生产流水线常是蒸馏/SFT 冷启动 → 在线 RL 探索 → 拒绝采样回灌，而不是四选一。

13.2 可验证奖励的适用边界

RLVR 之所以通常更抗 hacking，是因为奖励由确定性验证过程给出，而非学得的偏好代理（§7.1）。但“验证结果等同任务真值”是强前提：测试覆盖、答案抽取或执行环境有漏洞时，验证器仍会成为新的攻击面。

表 6：RLVR 的适用边界

区域	例子	RLVR 是否适用
强可验证	数学答案匹配、代码单测、形式化证明（Lean）	✓ 最受益；形式证明最接近完备判定，答案/单测仍受覆盖限制
弱/半可验证	agent 任务成功率、SQL 执行结果、可判定的工具调用	△ 需设计可靠判定器，注意”过测不过意”
难验证	开放写作、多轮对话、创意、共情、风格	✗ 无客观验证器 → 仍需 RM/偏好/judge

连”真值”也会被 hack：验证器漏洞

• 过测不过意：代码通过给定单测却没真正解决问题（对 test case 特判、打印期望输出）→ 需更强/隐藏测试集。
• 蒙对（spurious correctness）：答案对但推理链错——纯 ORM 无法分辨，会强化错误推理（PRM 或答案+过程双验证可缓解）。
• 格式/答案抽取漏洞：把答案塞进正则能匹配的位置刷分；语言混杂 → 需语言一致性等辅助奖励。

结论：可验证性把 Goodhart 的发力点大幅缩小，但没有归零——验证器本身的严密程度成了新的战场。

14. Agentic / 多轮 RL：长时程信用分配与工具调用

前面所有算法几乎都在单轮（single-turn）设定：一个 prompt、一次生成、一个终局奖励——本质是上下文老虎机（contextual bandit）（编者按会尖锐指出这点）。而当模型变成 agent——多轮与环境/工具交互、跨多步决策、只有任务最终成败给一个稀疏奖励——问题才真正回到深度 MDP：折扣、TD、多步 credit assignment 这些”课程重点”在此刻才真正被需要。这是当前最活跃、也最难的前沿。

14.1 从单轮 bandit 到多轮 MDP

Agentic 设定下，一条轨迹是”思考→调用工具→读取观测→再思考→…→给出答案”的多轮循环。状态不再只是”prompt + 已生成 token”，而包含历次工具返回的外部观测；转移也不再确定（工具/环境返回是外生的、可能随机的）。这两点把 §1 那个”温柔的 MDP”变回了一个真正的、随机转移的深度 MDP。

两个”照妖镜”问题：怎么一眼分清 bandit 还是 MDP

• 问题一：我的动作会改变”下一步看到什么”吗？ 单轮 LLM——不会（下一个 prompt 从数据集独立抽取，与你这次回答无关）→ 上下文老虎机；Agent——会（搜索结果 / 报错 / 网页 / 局面都由你的动作决定）→ MDP。
• 问题二：决策之间有没有一个”外部环境”在回应我，还是我只是在铺开自己的输出？ 单轮——只是把自己的 token 确定地拼接下去，没有外部动力学 → bandit；Agent——环境注入你无法预知的新信息（工具输出）→ 真动力学 → MDP。

形象记忆：单轮 RLHF/RLVR = 一次性考试（读题→写完整份答案→被打分→结束；下一题与你的作答无关，全程不与任何东西交互）；多轮 agent = 打游戏 / 侦探破案（每个动作都改变世界、揭示新线索，你必须临场适应回传的信息，成败只在最后揭晓，“哪几步关键”极难归因）。

图 15.5：同一套 RL 形式化，差别只在一条边——单轮（上）动作不连向”下一步看到什么”，退化成上下文老虎机；多轮 agent（下）动作经由环境改变后续观测，闭环回来，才是真正的深度 (PO)MDP，也才真正需要折扣、TD 自举与长时程信用分配。

一条光谱（附诚实的细节）

并非”非黑即白”，而是一条谱：① 单轮 RLHF/RLVR = 上下文老虎机（开环，回合内不与环境交互）；② 多轮 agent 但只有终局奖励 = “轨迹级的长程老虎机”——可把整条轨迹当一个大”动作”做轨迹级策略梯度，但回合内穿插了真实环境反馈、策略要闭环地对观测做反应，故就信用分配而言已是 (PO)MDP；③ 多轮 + 过程/回合级奖励 + 随机环境 = 完整 (PO)MDP，TD/值方法/层级真正派上用场。越往右，课程花大篇幅铺陈的”深度 MDP 机器”越是从”用不上”回归为”真需要”。

表 7：单轮 LLM RL vs 多轮 agentic RL

维度	单轮（RLHF / RLVR）	多轮 agentic RL
轨迹结构	一次生成，终局一个奖励	多轮”思考↔工具/环境”交互
转移	确定（token 拼接）	随机/外生（工具与环境返回）
本质模型	上下文老虎机	深度 MDP（真需要 γ、TD、GAE）
奖励	序列级/终局标量	稀疏终局成败；可选 step/turn-level 塑形
credit assignment	组基线广播到 token 即可	跨多轮回传到早期关键决策——真正的难点
主要难题	奖励可信度、过优化	长时程信用分配、多轮稳定性、工具误差累积

14.2 奖励粒度：trajectory-level vs step/turn-level

• Trajectory-level（轨迹级）：只在任务最终成败给一个 $0/1$（如 SWE 任务补丁是否过测、网页任务是否完成目标）。最干净、最抗 hacking，但极度稀疏——一条几十轮的轨迹只有一个终局信号，credit assignment 极难。GRPO 式做法：对同一任务采多条轨迹，用轨迹级组基线把成败归一后广播到轨迹内所有 token。
• Step/turn-level（步/轮级）：给每一步/每一轮一个中间奖励（如工具调用是否成功、子目标是否达成）。信号密集、credit assignment 易，但中间奖励是人造代理，重新引入 reward hacking 与错误塑形的风险——这与 PRM vs ORM（§10.2）是同一个张力在多轮上的翻版。

为什么这里深度 MDP 机器”才真正需要”

单轮里转移确定、只有终局奖励，$\gamma$、TD 自举、GAE 大多退化（编者按点出的”bandit 化”）。但多轮 agent 里：(1) 早期的一个工具调用/子决策会通过随机环境影响很多轮之后的成败——这正是折扣 $\gamma$ 与 $\frac{1}{1-\gamma}$ 视野、以及多步 return 要处理的长时程 credit assignment；(2) 有了真实的中间状态与随机转移，价值自举（用后续估计回传信用）重新变得有意义。换言之，课程花大篇幅铺陈的深度 RL 机器，在 agentic 设定里从”用不上”回归为”真需要”。

图 15：多轮 agent RL——稀疏终局奖励要跨越多轮工具交互回传，是长时程信用分配的真实战场。

多轮的新难题

• 长时程稀疏 + 高方差：几十轮才一个 0/1，组基线的方差随轮数放大，训练不稳。
• 工具/环境误差累积：随机外生返回让同一策略的轨迹差异巨大；一次工具失败可能毁掉整条轨迹的信用。
• off-policy 与吞吐：多轮 rollout 慢且长，异步采样带来 on/off-policy 偏差，需重要性校正与稳健裁剪。
• 上下文爆炸：观测不断追加进上下文，长度与显存随轮数增长。

前沿实践

多轮/agentic RL 是 2025–2026 最热的方向：把 RLVR 的可验证信号（单测是否通过、任务是否达成）用作轨迹级奖励，配 GRPO 式组基线训练能调用工具、写代码、浏览网页、操作电脑的 agent（代表评测如 SWE-bench、WebArena、τ-bench 等交互任务）。工程上依赖高吞吐的多轮 rollout 基础设施与异步 off-policy 校正。这也是编者按与模块 14 反复强调的判断：深度 RL 的长时程 credit assignment 机器，正是在这里真正回归。

15. 从 VLM reasoning 到 VLA / 机器人：多模态 RL 的方法谱系

文本 RL 的成功很容易制造一个误解：给模型加一张图，再把 GRPO 原样搬过去即可。真正的演进更曲折。视觉编码器 + LLM 对齐、多模态 SFT先让模型学会“在图像条件下生成像样答案”；它仍主要是行为克隆/条件生成。随后偏好优化与 RLVR 开始优化 OCR、定位、计数、图表和视觉数学等可判定结果；这又暴露出“答对但没看图”的语言捷径。再往 VLA/机器人走，动作不再只是文本 token，环境也不再是确定拼接，经典 BC→DAgger→offline/model-based RL 的整条谱系重新回归。

一条连续的演进链，而不是三个孤岛

视觉编码器 + LLM 对齐 → 多模态 SFT（会描述/会按示范答） → 视觉偏好优化 / RLVR（按结果锐化） → grounded/process reward（确认真的看图） → VLA 行为克隆（输出动作） → DAgger/在线纠偏 → offline RL / world model / sim-to-real（闭环、长时程、安全）。 每一步都在补上一代的缺口：先补接口，再补目标，再补视觉因果依赖，最后补真实环境闭环。

15.1 VLM reasoning RL：为什么“答案对”还不够

前情。 多模态预训练与 SFT 通常把图像/视频编码成视觉 token，与文本一起做 next-token likelihood。它能高效注入“图像—文字—回答”的对应模式，但训练分布来自已有标注，因而继承 SFT 的 teacher ceiling、exposure bias 与伪相关。

失败信号。 在 OCR、定位、计数、视觉数学/图表题上，答案可匹配或程序化核验，于是自然想到直接迁移 RLVR。然而同一个结果奖励可能同时奖到两类轨迹：一类真的读取图像，另一类靠题型、字幕、数据集偏置或语言先验猜中。视觉输入还多了一层不可约噪声：裁剪、分辨率、OCR 错误、遮挡与标注歧义会污染奖励；“文本答案匹配”只验证结论，不验证视觉证据。

关键转念。 优化目标必须从“答对”升级为“基于这张图答对”。可行信号包括 bounding box / point grounding 的 IoU 或距离、OCR 字符级核验、可执行图表读数、对关键区域的过程奖励，以及成对图像反事实的一致性检查。它们不是保证视觉因果性的银弹，却比单一答案奖励更接近要优化的量。

视觉捷径的三项反事实验收

• 遮挡 / 去图： 遮掉关键区域或移除图像后，答案置信度是否显著下降？若几乎不变，模型可能只靠语言先验。
• 反事实换图： 只改图中的数字、对象位置或数量、保持题干不变，答案能否随视觉事实同步改变？
• grounding 对齐： 最终答案正确时，引用区域、框/点或中间读数是否也正确？“答对 + 指错地方”仍是伪成功。

15.2 从 VLM 到 VLA：为什么机器人把经典 RL 难题全部请了回来

第一代：BC / ACT / Diffusion Policy。 机器人示范先把 $(\text{视觉},\text{语言指令},\text{本体状态})\mapsto\text{动作块}$ 当监督学习。ACT 用 action chunk 降低长时序误差，Diffusion Policy 用多峰生成分布表达“一件事有多种可行动作”。它们的关键贡献是更强的动作建模，不是消除了 BC 的分布漂移：机械臂一旦偏到专家数据外，后续观测随动作改变，误差仍会复合。

第二代：DAgger / 在线纠偏。 自采轨迹暴露“模型真正会去的状态”，专家或安全控制器在这些状态重标动作，直接对症分布漂移。但真机查询昂贵、危险且吞吐低，所以它不像 LLM group sampling 那样能轻易扩大 $G$。

第三代：offline RL / world model / sim-to-real。 当在线试错不可承受，研究转向复用历史机器人数据，用行为约束/保守价值避免 OOD 动作；或在学到的世界模型、仿真器中规划和造 rollout，再用少量真机校准。这里重新遇到模块 08–09 的老债：模型误差随 horizon 复合、离线 Q 对未见动作外推、仿真到现实存在结构性偏差。

具身 Agentic VLM。 视频观察只给出世界的部分切片，遮挡、接触状态和对象持久性使问题天然是 POMDP；记忆与状态估计不是“加长 prompt”就自动解决。动作反馈、工具调用和失败恢复把它变成多轮闭环，环境/模拟器也从评测台变成数据生成器。长时信用、安全约束与异步 rollout 的 staleness 因而同时出现。

LLM RL vs VLM / VLA RL：哪些能迁移，哪些在接口处断裂

维度	文本 LLM RL	VLM reasoning RL	VLA / 机器人 RL
状态 / 观察	prompt + 已生成 token；单轮多为完整上下文	文本 + 图像/视频 token；感知可能错误或缺失	视频、语言、本体/触觉；通常部分可观测，需记忆/状态估计
动作	离散文本 token	多为文本/grounding token，偶有框/点	连续控制、离散技能或 action chunk；执行会改变真实世界
奖励	偏好 RM、答案/代码验证器	答案 + OCR/定位/计数/图表/grounding；受感知与标注噪声污染	任务成功、进度、能耗、碰撞/安全成本；稀疏且多目标
验证器	答案匹配、隐藏单测、形式检查	答案核验 + 视觉依赖性/区域一致性/反事实图像	仿真/传感器判定与人工审计；现实成功常难自动完整判定
数据成本	生成可大规模并行，主要付推理算力	图像尚可批量，视频/grounding 标注更贵	真机慢、有磨损与安全风险；环境并行度有限
主要失败	RM hacking、长度偏置、熵坍缩、离线覆盖不足	语言先验捷径、幻觉 grounding、视觉噪声被当奖励差异	分布漂移、长 horizon、模型误差、OOD 动作、sim-to-real 与安全事故
常用方法	DPO/PPO/RLOO/GRPO/DAPO/RLVR	多模态 SFT/DPO + verifier/grounded RL；可在可并行题目上用 group baseline	BC/ACT/Diffusion Policy → DAgger；offline RL、SAC/TD3、MPC/world model、域随机化

可直接迁移 vs 不能直接迁移

可迁移的原理： KL-to-reference 可保护预训练先验；同题多样本且奖励有区分度时可用 group baseline；OCR/定位/代码执行等有可靠判定时可用 verifiable reward；reward 上升仍需隐藏评测防 hacking。

断裂处： 文本 token 的可微 categorical policy 不等于连续力矩/轨迹分布；VLA 的一次 rollout 要消耗真实时间与安全预算，不能默认“采样比 critic 便宜”；视觉答案验证不等于感知过程正确；确定的 token 拼接也不等于接触丰富、随机且部分可观测的物理动力学。因此 GRPO 可用于 VLM 的“同题多回答”，却不能仅靠换 tokenizer 就成为通用机器人控制算法。

实践诊断：先用证据判断卡在哪一代

• VLM： 同时画原图、去图、关键区域遮挡、反事实换图四组准确率；记录 grounding IoU/点距、答案 reward、输出长度与熵。若答案升而视觉依赖性不升，是语言捷径，不是视觉推理提升。
• VLA 的 BC→DAgger： 比较离线 action loss 与闭环成功率、偏离专家流形后的恢复率。action loss 下降但 rollout 更差，是分布漂移的典型证据。
• offline/world-model： 看 OOD 动作比例、Q 值与真实回报相关性、多步预测误差随 horizon 的增长、ensemble 分歧，以及真实/模型数据比例消融。单步 reconstruction/prediction loss 好看，不等于能长时规划。
• 安全： 均值回报之外报告碰撞/越界率、最坏分位或 CVaR、人工接管次数；“任务成功率高”不能抵消低概率严重事故。

前沿实验室的顶级认知（OpenAI · Anthropic · DeepSeek · DeepMind）

前面各节讲的是”算法长什么样、怎么推”。这一节换一个视角：把几家最有代表性的前沿实验室，各自在公开论文/系统里沉淀下来的核心判断用自己的话综述一遍，并标注出处（公司 · 论文/系统名 · 年份）。这些不是又一批新公式，而是”为什么这样做”的认知层——它们解释了本模块诸多技术选择背后的动机，也预告了行业正在往哪走。下面所有观点均为对公开信息的转述与概括，机制以原文为准，不做逐字引用。

OpenAI：把偏好对齐做成工程，再发现它的定量边界

OpenAI 的四条公开认知

• ① RLHF 三阶段成为工业范式。 InstructGPT 把”SFT → 训练奖励模型（RM）→ PPO 优化”这条流水线做通并证明有效：在其 prompt 分布的人类评估中，较小的 InstructGPT 输出优于更大的纯预训练模型 ^[1]。这正是本模块 §2–§3 的现实来源。
• ② 奖励模型过优化存在 scaling law。 在”合成金标 RM”实验里，他们把策略与初始模型的 KL 距离当作优化预算的度量，发现真实目标随 KL 先升后降：优化越猛，代理奖励越高，但超过某个点真实质量反而下滑——这是 Goodhart 定律的定量化，并可用关于 $\sqrt{D_{\mathrm{KL}}}$ 的简洁函数拟合（OpenAI，Gao 等，2022）。它的直接含义是：存在一个最优 KL 预算，KL 惩罚系数不是越小越好。这为 §10 的”过优化”与 §12 的”KL 动力学”提供了第一性证据。
• ③ 特定数学实验中的过程监督结果。 Lightman 等在 MATH 子集上用奖励模型做 best-of-N 选择时，过程监督优于其结果监督基线；论文明确未证明该结论能泛化到数学之外或直接 RL 训练 ^[12]。
• ④ o1：对推理过程做 RL。 OpenAI 公开介绍称其用大规模 RL 训练推理，并报告在其评测中增加训练时 RL 计算和测试时思考可提升性能 ^[8]。

Anthropic：让 AI 监督 AI，同时正视对齐带来的新失效

Anthropic 的四条公开认知

• ① Constitutional AI / RLAIF：用”宪法”让模型自评自改。 与其为无害性收集海量人工标注，不如给模型一组书面原则（“宪法”），让它自己批评并修订自己的回答，再用 AI 生成的偏好训练奖励信号——即把 RLHF 里的”H（人）“大部分替换为”AI”（Anthropic，Bai 等，2022）。这是 §2 里”RM 从哪来”的一条重要替代路线。

DeepSeek：把 critic 砍掉，再证明”纯 RL 能自己长出推理”

DeepSeek 的公开认知

• ① GRPO：去 critic 的组相对优化。 同一 prompt 采样一组回答，用组内奖励的相对高低（组均值/标准差归一化） 当优势，省掉 PPO 里与策略同尺寸的价值网络并降低内存开销 ^[3]。这正是 §5/§11 的算法主角。
• ② R1 / R1-Zero：可验证奖励下的纯 RL 放大。 R1-Zero 在不做 SFT 冷启动、仅靠规则可验证奖励的 RL 下，公开报告显示长 CoT、自检与换路行为的采样概率上升；这证明了 RL 可显著锐化基座行为，但不单独证明这些行为训练前不存在。R1 再补冷启动与多阶段训练改善可读性与通用性（DeepSeek-R1，2025）。

DeepMind：奖励假说与自博弈，是推理型 RL 的思想源头

DeepMind 的公开认知

• ① “Reward is enough” 假说。 该论文提出假说：智能的诸多方面也许可以理解为在环境中最大化奖励的副产物；作者使用的是“hypothesise”“suggest”，并非报告已确立的实验结论 ^[13]。
• ② AlphaZero 自博弈：推理型 RL 的原型。 无人类棋谱、仅靠自博弈 + 搜索的强化学习就能超越人类顶尖水平（DeepMind，Silver 等，2017–2018）。“用可验证的胜负信号让模型自己越练越强”的范式，正是今天 RLVR / R1 在语言推理上的精神前身。
• ③ Gemini 的 RLHF。 Gemini 1 技术报告的后训练部分包含 SFT、奖励模型与 RLHF ^[14]。

一条综合认知：从”对齐偏好”走向”对齐可验证结果”

主线判断（跨实验室的共识轮廓）

编者判断： 公开研究从偏好奖励扩展到可验证结果奖励。过优化实验说明代理奖励可能与 gold 奖励分离 ^[10]；DeepSeek-R1 展示了规则奖励在数学与代码推理中的用法 ^[4]。这不构成跨实验室共识，也不能说明验证器天然不可作弊；代码环境中已有利用测试漏洞的公开观察 ^[15]。

表 8：前沿实验室 × 代表贡献 × 核心认知（均为公开信息的自述式综述）

实验室	代表贡献 · 年份	可迁移的核心认知
OpenAI	InstructGPT / RLHF 三阶段（2022）；RM 过优化实验（2022）；过程监督 PRM（2023）；o1 推理模型（2024）	在各自公开实验设置中研究了偏好对齐、过优化、MATH 上的 best-of-N 过程监督，以及训练/推理计算扩展。
Anthropic	Constitutional AI / RLAIF（2022）	依据书面原则生成批评、修订和 AI 偏好，并在实验中结合人类有用性反馈。
DeepSeek	GRPO（DeepSeekMath，2024）；R1 / R1-Zero（2025，开源配方）	去 critic 的组相对优化省显存；纯 RL + 可验证奖励可显著提高长 CoT、自检与换路行为的概率，但“是否创造新能力”仍需 pass@k 与基座覆盖分析。
DeepMind	“Reward is enough”（2021）；AlphaZero 自博弈（2017–2018）；Gemini RLHF（2023–2024）	提出“奖励足矣”研究假说；展示自博弈与可验证胜负的训练范式；Gemini 报告使用 RLHF。

交叉引用：本节的 KL 过优化对应 §10 与 §12，过程监督对应 §10 的 PRM/ORM，GRPO 对应 §5/§11，RLVR 与 R1 长 CoT 对应 §7/§13，多轮/agent 可验证奖励对应 §14。

方法溯源：LLM RL 的方法脉络（动机 · 启发 · 局限）

前面按逻辑线逐条讲清了每个方法”是什么、怎么推”。这一节换一个视角：把它们排成一条方法溯源（method genealogy） 的因果链，专门回答四个”为什么”——为什么被提出、解决前一个方法的什么问题、受什么思想启发、又留下什么关键局限催生下一个方法。你会看到，这不是一堆并列的技巧，而是一根”每一步都在还前一步的债”的演化链：RLHF（PPO，四模型重）→ DPO（去 RL 简化，但离线且易过优化）→ GRPO（去 critic 省显存）→ DAPO（修 GRPO 的失败模式）→ RLVR（用验证器绕过 RM 被 hack）。

表 9：LLM RL 方法溯源（动机 · 启发/脉络 · 关键局限 → 引出谁）

方法 / 代表作 · 年代	为什么被提出（动机）	受什么启发 / 脉络	关键局限 → 引出谁
RLHF Christiano 等 2017（偏好学习） InstructGPT 2022（落地）	SFT 不直接优化外部偏好目标；将成对偏好拟合为标量奖励，再优化当前策略。	偏好式强化学习叠加策略梯度与信赖域方法。	要训练并在线维护奖励模型（RM），PPO 四模型重、超参敏感，RM 可被 hack → 催生 DPO（去 RL/RM）与 GRPO（去 critic）。
Bradley-Terry 奖励建模 BT 1952；用作 RM 损失	需要把"$A\succ B$"的成对偏好转成一个可微、可拟合的标量奖励目标，才能训练 RM。	1952 年 Bradley-Terry 成对比较模型：偏好概率 $=\sigma$(得分之差)，本质是成对 logistic 回归。	假设偏好可传递、单峰、无噪声；RM 只在训练分布附近可靠 → 过优化/hacking。其”奖励只辨识到相差常数”这一性质，恰是 DPO 反解奖励的跳板。
PPO-for-LLM Schulman 等 2017；InstructGPT 采用	在 KL 约束下稳定地最大化 RM 奖励，把经典信赖域方法搬进 token-MDP。	TRPO → PPO 的 clip 代理目标（模块 06）+ GAE 优势估计；KL 把策略拴向 $\pi_{\text{ref}}$。	Actor+Critic+Ref+RM 四模型同驻显存、critic 在稀疏终局奖励上难训、工程复杂度爆炸 → GRPO 砍 critic、DPO 干脆去掉在线 RL。
DPO Rafailov 等 2023	既然 KL 约束 RLHF 有闭式最优解、且奖励能用策略隐式表示，何必还显式训 RM + 跑在线 RL？想用一条像 SFT 的分类损失直达同一最优解。	KL 约束目标的闭式最优策略 $\pi^\star\propto\pi_{\text{ref}}e^{r/\beta}$，用 $\pi$ 反解 $r$ 代入 Bradley-Terry（奖励-策略对偶），配分函数 $Z(x)$ 相减消去。	离线、只见数据集内样本、无探索；对 $\beta$ 敏感、易过优化与 likelihood displacement（把 winner 概率一起压低）→ 迭代/在线 DPO，以及重新拿回在线探索的 GRPO。
GRPO DeepSeekMath 2024；用于 R1	PPO 的 critic 在 LLM 上又难训又费显存；想保留在线 RL 的探索红利，却把 critic 整个砍掉。	REINFORCE-with-baseline / leave-one-out 控制变量——对同一 prompt 采一组回答，用组内同伴奖励的均值当免学习基线、组标准差做尺度归一。	长度偏置（$\tfrac{1}{\vert y_i\vert }$ 稀释长回答）、÷std 带来难度偏置、全对/全错组零梯度、对称 clip 引发熵坍缩 → DAPO 四项工程修补、Dr.GRPO 去归一化、GSPO 抬到序列级。
DAPO 2025	在论文的模型与评测设置中改进大规模长 CoT RLVR 训练，并公开配方。	对 GRPO 的四类问题分别采用 Clip-Higher、动态采样、token 级损失与超长塑形，并在该配方中去掉 KL 项。	仍依赖可靠验证器与充足采样；跨任务稳定性与采用范围需另行验证。
RLVR / R1 2025（R1-Zero / R1）	RM 只是人类偏好的可学近似。在可判定任务上，改用标准答案、隐藏测试或形式检查等更接近结果的奖励，减少针对 RM 的 hacking。	自我对弈/可判定博弈里”用胜负当奖励”的思路 + 用规则/单测/答案匹配代替 RM；credit assignment 全靠 GRPO 式组基线。	只适用于可自动验证领域、二元奖励极稀疏、验证器本身也有漏洞（过测不过意、蒙对）→ 生成式验证器、PRM、以及多轮 agentic RL。
PRM 过程奖励 Lightman 等 2023（PRM800K）；Math-Shepherd 自动标步	结果奖励（ORM）太稀疏、“蒙对但推理错”无法分辨；想对推理链每一步给密集信号、定位错在哪步。	过程监督 / step-level 标注；用 MCTS 或蒙特卡洛估计”某步能否走到正确答案”来自动标步。	步级标注昂贵、步边界难定义、PRM 自身也可被 hack → 实践中 RLVR 常回退到最省的 ORM + 组基线，PRM 更多用于搜索/best-of-n 重排。
RLAIF / Constitutional AI Bai 等 2022（CAI）；RLAIF 2023	人类偏好标注贵且难扩展；用 LLM 代替人类产生偏好/批评，把”人类价值”从逐条标注上移到”少量原则”。	给模型一部”宪法”（自然语言原则）做自我批评并改写，再用 AI 偏好训练偏好模型并进行 RLAIF；原实验的有用性反馈仍来自人类 [9]。	AI 反馈继承模型自身偏置（自我偏好、位置偏置、啰嗦偏置）、可扩展监督仍开放 → 生成式验证器、可扩展监督 / 弱到强泛化（见模块 14）。

图 16：方法演进的因果链——RLHF 的工程之重催生 DPO 的极简，DPO 的离线之限拉回在线的 GRPO，GRPO 的失败模式催生 DAPO，而 RM 可被 hack 的根病催生 RLVR。

演进因果链：每一步都在还前一步的债

① RLHF → DPO（工程之重 → 极简）。 RLHF 用”Bradley-Terry 训 RM + PPO 在线优化”第一次把人类偏好落成可优化目标，但代价沉重：四个大模型同驻显存、RM 要单独训练与在线维护、超参极敏感。DPO 的洞见是——那条 KL 约束 RLHF 目标本就有闭式最优解，而奖励可以被”策略相对参考的对数比”隐式表示。于是它把”训 RM + 跑 RL”两阶段折叠成一条像 SFT 的 sigmoid 分类损失：前者的工程之重，直接催生了后者的极简。

② DPO → GRPO（离线之限 → 回到在线、但去 critic）。 DPO 虽简，却是彻底离线的：它只在给定偏好对上学、永远看不到策略自己新采的样本，无法探索，且对 $\beta$ 敏感、易过优化并把 winner 概率一起压低（likelihood displacement）。要拿回在线探索的收益、又不愿背 PPO 那个”既难训又费显存”的 critic，GRPO 给出折中：保留在线采样，但用同一 prompt 组内同伴奖励的均值当基线（leave-group-out 的 REINFORCE-with-baseline），把 critic 整个省掉。DPO 的离线之限把路拉回在线，PPO 的 critic 之重则被组基线替代。

③ GRPO → DAPO（省了显存 → 暴露并修补失败模式）。 砍掉 critic 让 GRPO 轻装上阵，却也暴露一批新病：$\tfrac{1}{|y_i|}$ 归一带来长度偏置、÷std 带来难度偏置、全对/全错组零梯度、对称 clip 引发熵坍缩。DAPO 不发明新原理，而是逐条对症下药——Clip-Higher 给低概率好 token 上探空间、动态采样过滤饱和组、token 级损失消除长度偏置、超长塑形降低长度噪声，并去掉 KL 项。它把 GRPO”能跑”升级为大规模长 CoT”稳定且可复现”。

④ → RLVR（把奖励接到外部结果）。 至此 RLHF/DPO/GRPO/DAPO 都可能依赖 RM，而 RM 的分布外漏洞会被措辞、长度与谄媚利用。RLVR 在数学、代码、形式证明等可自动验证任务上改用答案、测试或形式检查，显著缩小攻击面；配组基线后，R1-Zero 式训练可提高长 CoT 与自我纠错轨迹的概率。代价是适用域窄、信号稀疏，且验证器实现仍可被钻，于是接力棒交给隐藏测试、PRM/生成式验证器与多轮 agentic RL。

编者按 · 批判性视角：这门课在 LLM RL 上的盲区

前面九节尽量忠实地讲清了”方法是什么、为什么这样设计”。这一节我要退后一步，讲讲我自己的独立判断——作为一门以经典深度 RL 为骨架的课程（CS285），它落到 LLM RL 这个战场时，存在哪些系统性的盲区与过时之处。批判不是否定，而是帮你把注意力放到当下真正要紧的地方。

编者按 · 批判性视角

1. “LLM RL ≈ contextual bandit，而不是课程用了约 80% 篇幅铺陈的深度 MDP。” 单轮 RLHF/RLVR 里，转移是确定的、奖励只在终局给一次，于是 TD 自举、折扣 $\gamma$、GAE 这些深度 MDP 的核心机器大多用不上。GRPO 本质就是REINFORCE + baseline 的一个上下文老虎机（contextual bandit）解法——把它硬塞进”马尔可夫决策过程”的宏大叙事，反而遮蔽了问题的真实结构。
2. PPO 中心主义已经过时。 教科书把 PPO 当作 RLHF 的默认解，但在 LLM 上，critic 是”既难训又费显存”的扩展负担；社区已明显转向 critic-free 路线（GRPO / RLOO / GSPO）。继续以 PPO 为中心来组织 LLM RL 的知识，更多是历史惯性而非当下最优。
3. DPO 家族直接绕过了 RL。 DPO / IPO / KTO / SimPO / ORPO 用一条分类损失就能对齐，“到底还需不需要 RL”是当下真实的路线之争。一门 RL 课很难中立地对待这件事，但你必须知道：在许多对齐场景里，最能打的方法根本不在”RL”这个框里。
4. 编者判断：奖励设计应占更大篇幅。 PPO/GRPO/DPO 之外，还需重视奖励来源与可靠性，包括 PRM / ORM、RLAIF / LLM-as-judge，以及特定合成设置中的 reward over-optimization 经验规律 ^[10]。
5. RLVR（可验证奖励）是当前推理模型的主线。 用规则/验证器把奖励接到可检查结果，显著减少针对学得 RM 的 hacking，是 R1 等公开方法学的核心；但验证覆盖与能力边界仍需独立审计。
6. 真正开放的前沿是 agentic / 多轮 / 长时程 RL。 恰恰在这里，课程重点讲的深度 RL 信用分配机器——多步 TD、折扣、long-horizon credit assignment——可能真正回归：跨越多轮工具调用与环境交互时，稀疏的终局奖励重新需要被回传到早期决策。这是深度 RL 与 LLM 最值得期待的交汇点。
7. 最后，诚实一点：不要神化 RL。 在某些 régime 下，扎实的 SFT + 拒绝采样（best-of-$n$ 回灌）能逼近甚至匹配 RL 的收益，而工程复杂度低得多。RL 的独特价值在于基于新采轨迹持续优化外部反馈，但它绝非万灵药。

把这七点收成一句：这门课教给你的是深度 RL 的”肌肉”，但 LLM RL 当下的胜负手，更多落在”奖励的可指定性”与”问题到底是不是 bandit”这两件课程没有充分展开的事情上。 带着这份清醒，再去读下面的知识地图与后续的《开放问题与前沿挑战》，你会看得更准。

16. 结语与知识地图

回看这条主线，你会发现所有算法都在回答同三个问题，而演化就是不断给出更省、更稳、更对齐的答案：

• 奖励从哪来？ 人类偏好 → RM（RLHF）→ 用策略隐式表示（DPO）→ 客观验证器（RLVR，抗 hacking）。
• 优势/基线怎么估？ 学一个 critic（PPO）→ 用组内同伴当基线（GRPO，leave-group-out）→ 修组基线的偏置（DAPO / Dr.GRPO）。
• 怎么稳住训练？ KL 正则 + clip 信赖域（PPO）→ 离线一步到位（DPO）→ 解耦 clip、动态采样、token 级损失、长度塑形（DAPO）。

一句话收束

LLM 的 RL 本质仍是模块 01–06 的策略梯度 + 基线 + 信赖域，只是被”巨大动作空间、稀疏终局奖励、易被 hack 的奖励源、超长序列”这四个约束重新塑形。把握”奖励来源 / 优势估计 / 稳定手段”这三根轴，任何新算法（GSPO、迭代 DPO、agentic RL……）都能被你迅速定位与理解。

本质 Insight · 旗舰：三条主线一眼收束

把本模块钉进全课的三根统一支柱，你就不会在术语的海洋里迷路：

• pretrain / SFT 与 RL 的目标不同。 预训练与 SFT 以最大似然拟合数据；它们能否超过单个示范者取决于数据覆盖、模型先验与泛化。RL 则提供用标量反馈持续优化当前策略的一条途径。
• GRPO 的组基线 = 无 critic 的样本控制变量。 留一组均值是严格合法的控制变量；常用的含自身均值在未除 std 时只差常数缩放，而再除组 std 会改变样本权重、不能宣称严格无偏（见 §11 与 模块 15）。
• per-token KL-to-ref = 信赖域母题。 RLHF/PPO 把策略拴向 $\pi_{\text{ref}}$ 的 KL 惩罚，与 TRPO/PPO 的”别一步走太远”、离线 RL 的保守约束，是同一个 “改进的同时贴近参考分布” 母题（见 模块 15 · KL 正则）。

一句话：LLM 的 RL 没有发明新原理，它只是把全课的母题在”巨大动作空间 + 稀疏终局奖励”这组新约束上重新实例化。

承上启下

本模块聚焦”已成型的方法”。仍然开放的硬问题——奖励的根本可指定性、过优化的理论边界、多轮/长时程 credit assignment、探索与熵、超对齐——将在下一讲《开放问题与前沿挑战》中系统展开。