Whatever Remains Must Be True: Filtering Drives Reasoning in LLMs, Shaping Diversity(在新窗口打开)
从过滤错误答案后的显式目标分布出发,用 α-divergence 族在精度与多样性间插值,在 Lean 定理证明上覆盖—精度 Pareto 前沿 SOTA。
- 指出 RL 微调隐式 mode-seeking 反向 KL 导致推理多样性显著损失
- 以保留正确答案相对概率的过滤目标分布为起点,统一 prior 方法
- 通过 α-divergence 直接控制精度—多样性权衡,在覆盖轴优于既有方法