研究设计、统计与论文写作：把“曲线涨了”变成可相信的知识

研究不是实现一个算法再挑最好 seed，而是提出可能被推翻的主张，设计能区分竞争解释的实验，并留下第三方可复现的证据链。本讲面向竞争前沿 LLM/VLM RL RS/RE：从可证伪问题、baseline 公平性、跨 seed 统计、多维 scaling、评测效度走到论文、rebuttal 与 12 周 capstone。统计公式服务于决策，不把显著性仪式化。

0. 学习目标、先修与研究契约

学习目标

把模糊想法改写为假设、否决条件、机制预测与最小区分实验。

按 claim–evidence ladder 控制结论强度，识别预算、数据、评测与 grader 混杂。

正确区分轨迹内不确定性和跨 seed 不确定性，使用 bootstrap CI、IQM、paired test、effect size 与 power。

设计模型×数据×rollout/G×更新步数的二维/三维 scaling，而非单轴扫点。

建立 reproducibility contract，完成 HW5→workshop paper 与 12 周 capstone。

先修与证据等级

先修：本材料至少一个 HW 报告，尤其 HW4 与 HW5。【A 原始方法/统计论文】【B 官方标准/代码】【C 跨项目工程惯例】【D 编者建议】。OpenAI/Anthropic 面试部分只依据公开职位与通用研究招聘形态，不声称知道内部 rubric。最后核验：2026-07-11。

研究方法审计提示（不含未公开入口）

可用本章的预算、统计、负结果与复现清单，审计任何已公开的实验报告：主张是否预注册、证据路径是否可访问、负结果是否保留、NOT RUN 配方是否被误写成已跑结果。不提供未随本站发布的代码目录、tests、demo 或内部 artifacts 入口；具体数字必须以已登记、可公开访问的来源为准。

研究契约 v1
主张：
主要指标与方向：
关键假设：
否决条件：
竞争解释：
最小实验：
预算上限：
隐藏测试解封规则：
允许/禁止的中途变更：
署名与负结果发布约定：

1. 从“有想法”到可证伪问题

前代失败。“把 PRM 加到 VLM 上应该更好”不可证伪：更好在哪、相对谁、预算是否相同、失败是否算数都没定义。研究化改写需要五层：

问题。 在高语言先验的图表问答中，现有答案 RL 是否提高真实视觉依赖？
假设。 显式 evidence reward 在同 rollout 预算下提高 hidden grounding 与遮挡敏感性。
否决条件。 hidden accuracy 提高但去图差值不变，或三 seed 的 grounding 效应跨零。
机制预测。 收益应集中在证据小、语言先验强的切片；去图/换图臂应退化更多。
最小实验。 同一 SFT 初始化，答案奖励 vs 答案+证据奖励；matched 图像、rollout token、更新步数；三 seed。

H_1:\ \Delta_{\rm ground}>0\ \land\ \Delta_{\rm visual\ dependency}>0,\qquad H_0:\ \Delta_{\rm ground}\le0\ \lor\ \Delta_{\rm dependency}\le0.\tag{22.1}

式 (22.1) 是联合方向性主张。若只满足一项，不能改写成“部分支持整体机制”；应降级结论。机制预测比主指标更有价值，因为它区分“方法真起作用”与“偶然多训了”。

图 22-1：研究循环的产物不是“正结果”，而是经过区分实验更新后的信念。

2. Claim–Evidence Ladder：禁止越级

层级	允许的说法	最低证据	禁止跃迁
L0 示例	“该案例能运行”	可重放轨迹/截图	示例 → 普遍有效
L1 趋势	“在该设置均值更高”	重复运行与原始点	趋势 → 稳健改进
L2 受控消融	“组件 X 在 matched 条件有贡献”	单变量/因子设计	消融 → 机制已证实
L3 统计	“效应及不确定性为……”	跨 seed CI、effect size	$p<.05$ → 重要
L4 因果/机制	“干预 X 导致 Y，替代解释受限”	干预、机制预测、负控制	相关 → 因果
L5 外部有效性	“跨任务/规模/域仍成立”	异质环境与独立复现	一个 benchmark → 通用

典型越级

单次训练曲线不是趋势；五个 checkpoint 不是五个 seed；受控仿真不是现实世界；grader 分数不是人类偏好；公开 benchmark 的 SOTA 不是未污染泛化；“未拒绝 $H_0$ ”不是证明无效。

写作时让动词匹配层级：L1 用“观察到”，L2 用“与……一致/组件贡献”，L3 用“估计效应”，L4 才用“导致/机制支持”，L5 才用“泛化”。

3. Baseline 公平性：预算是最常见的隐藏自变量

公平不等于每个方法使用相同超参，而是每个方法获得相同资源与合理调参机会。至少建立四种 matched 视图：

同算力： 总 FLOPs/GPU 小时/推理调用；适合系统效率主张。
同数据： 独立样本、环境步、视觉 token、专家分钟；适合样本效率主张。
同更新： optimizer steps、batch token、UTD；适合优化器诊断。
同 eval： 相同环境版本、初态、解码、预算和 grader；适合能力比较。

B_{\rm total}=B_{\rm train}+B_{\rm rollout}+B_{\rm verifier}+B_{\rm tune}+B_{\rm eval}.\tag{22.2}

只匹配训练步数会漏掉 rollout 与 verifier 成本。RL 方法多采 $G$ 个答案、model-based 方法做大量规划，均可能以隐藏推理预算取胜。

预算混杂案例：链接 HW4

在 HW4 中，CEM 若比 random shooting 使用更多候选、迭代与模型前向，回报提升不能单独归因于“优化器更聪明”。应同时比较：同候选总数、同 wall-clock、同环境数据、oracle dynamics 与 learned dynamics。若结论只在不等预算成立，正确标题是“更多规划预算提高回报”，不是“CEM 优于 random”。

主张	必须匹配	可不同但要报告
更样本高效	环境交互/独立数据	算力、模型大小
更算力高效	总训练+推理 FLOPs	数据量
算法更好	数据、模型、调参预算、eval	算法必要状态
系统更快	硬件、精度、batch、质量阈值	实现语言需说明

4. 随机性与统计：实验单位决定你能声称什么

4.1 Seed、轨迹与伪重复

训练 seed 是算法随机性的实验单位；同一 checkpoint 的 100 条评测轨迹主要估计环境/策略执行噪声，不能替代 5 个独立训练 seed。层级模型可写为：

Y_{s,e}=\mu+\alpha_s+\varepsilon_{s,e},\qquad \alpha_s\sim(0,\sigma_{\rm seed}^2),\quad \varepsilon_{s,e}\sim(0,\sigma_{\rm episode}^2).\tag{22.3}

若把所有 episode 当独立样本，置信区间会虚窄。先对每 seed 聚合，再跨 seed 推断；或使用尊重层级的 nested bootstrap。

4.2 Bootstrap CI、IQM 与 paired test

对共享初态/题目的 A、B，先算配对差 $d_i=Y_i^A-Y_i^B$ ，再对 item 与 seed 分层重采样。配对减少题目难度方差，但要求两方法严格共享评测项。

\hat\Delta=\frac1n\sum_i d_i,\qquad CI_{1-\alpha}=[Q_{\alpha/2}(\hat\Delta^\star),Q_{1-\alpha/2}(\hat\Delta^\star)].\tag{22.4}

RL 跨任务分数重尾、异方差；RL 基准中的 IQM 通常先按任务约定归一化分数，再在 task×run 分数集合上计算 25% trimmed mean。有限样本边界涉及分位数插值，不宜用简单整数索引代替；实践中应调用经过验证的实现（如 rliable）并报告聚合口径 ^[1]：

\mathrm{IQM}(X)=\operatorname{mean}\!\left(X\text{ 在第 }25\%\text{ 与 }75\%\text{ 分位数之间的部分}\right).\tag{22.5}

同时报均值、IQM、性能剖面与原始 seed 点。paired permutation/Wilcoxon 可作稳健性检查；选择检验应在看数据前决定。

4.3 Effect size、power 与多重比较

独立两组、每组样本量相等且近似正态、共同方差时，可用 pooled SD，并以双侧检验作先导估算：

d_{\rm independent}=\frac{\bar X_A-\bar X_B}{s_{\rm pooled}},\qquad n_{\rm per\ group}\approx \frac{2(z_{1-\alpha/2}+z_{1-\beta})^2\sigma^2}{\delta_{\min}^2}.\tag{22.6}

配对设计应先形成差值 $D_i=X_{A,i}-X_{B,i}$ ，使用 $d_{\rm paired}=\bar D/s_D$ ；相应近似样本量为 $n_{\rm pairs}\approx (z_{1-\alpha/2}+z_{1-\beta})^2\sigma_D^2/\delta_{\min}^2$ ，没有前导系数 2。单侧检验须在看数据前预注册，并将 $z_{1-\alpha/2}$ 改为 $z_{1-\alpha}$ 。标准化效应便于比较，但在成功率等有界指标上应同时给原始百分点；这些公式仅用于先导估算，更可靠做法是用 pilot 的经验分布模拟 power。

将 $m$ 个 $p$ 值排序为 $p_{(1)}\le\cdots\le p_{(m)}$ ，取满足下式的最大 $k$ ，再整体拒绝排序后前 $k$ 个假设；若不存在这样的 $k$ ，则不拒绝任何假设 ^[2]：

k^\star=\max\left\{k:p_{(k)}\le \frac{k}{m}q\right\},\qquad \text{拒绝 }H_{(1)},\ldots,H_{(k^\star)}.\tag{22.7}

大量任务、切片、超参会制造“总有一个显著”。预注册一个主指标；次要指标标注探索性；家族内用 Holm 控 FWER，或在独立性及相应正依赖条件下用 BH 控 FDR ^[2]。其他依赖结构需采用相应修正；不要把校正后不显著的结果藏进附录。

统计不是装饰

CI 跨零不代表无效，可能是功效不足；CI 不跨零也不代表实际重要。先定义最小实际重要差异 $\delta_{\min}$ ，再解释效应、成本与风险。

5. Scaling：模型、数据、rollout 与更新的二维/三维设计

只比较 7B 模型上 $G=8$ 与 $G=1$ ，无法知道收益来自组比较还是 8 倍采样。一个最小因子设计：

Y=\beta_0+\beta_M\log M+\beta_D\log D+\beta_G\log G+ \beta_S\log S+\beta_{MG}\log M\log G+\beta_{DG}\log D\log G+\epsilon.\tag{22.8}

$M$ 模型规模， $D$ 独立数据， $G$ 每 prompt rollout， $S$ 更新/训练计算。交互项回答“大模型是否更能利用 rollout”“数据丰富时 group sampling 边际收益是否下降”。这只是局部响应面，不应外推到观测范围外。

5.1 可执行设计

先导。 选 $2\times2$ ：小/中模型 × 小/大 $G$ ，识别明显交互与系统瓶颈。
主设计。 三轴各 3 点会有 27 cells；资源不足用 fractional factorial/拉丁超立方，但保留关键交互。
等成本切面。 在固定总 rollout token 下改变 $G$ 与 prompt 数，区分“每题深搜”与“更多题覆盖”。
饱和诊断。 报告边际收益 $\partial Y/\partial\log B$ 与成本前沿，而非只画终点。

\mathrm{Efficiency}(B)=\frac{\Delta Y}{\Delta\log B},\qquad B\in\{\text{FLOPs, tokens, env steps, dollars}\}.\tag{22.9}

停止规则

预先定义“连续两档边际收益低于阈值且 CI 覆盖零”再停止扩展；若看到负结果才临时加大规模，会把研究变成无限预算找正例。

6. Eval Validity：测量系统本身也是模型

威胁	问题	检测	缓解
Construct	指标是否测到声称能力？	反事实/负控制/人工审计	多指标与机制预测
Contamination	训练是否见过题/模板？	近邻、时间切分、canary	hidden/dynamic sets
Saturation	榜单是否失去区分度？	ceiling、难度分层	更难/组合/OOD 项
Grader bias	偏好风格还是内容？	交换顺序、长度控制、盲审	多 grader 与校准
External validity	是否跨域成立？	任务/模型/规模异质性	独立复现与限制声明

人评不是无噪真值。双人/多人标注需盲化系统名与顺序，定义 adjudication，并报告一致性：

\kappa=\frac{p_o-p_e}{1-p_e}.\tag{22.10}

Cohen’s $\kappa$ 受类别不平衡影响，应同时报原始一致率与每类混淆。LLM grader 要做位置交换、答案长度匹配、注入攻击和人类校准；grader 与被评模型同源会产生相关误差。

隐藏集治理

隐藏不是“只有作者知道答案”。应固定访问权限、解封次数、提交日志与 evaluator 版本；动态生成器也要留 seed 和模板 hash。否则 hidden set 会在反复提交中变成新的训练集。

7. Ablation Tree、Negative Result 与失败 taxonomy

复杂系统不应一次做“去掉所有组件”的平面消融。用树分层定位：

总收益
├─ 数据：新增样本 / 过滤 / curriculum
├─ 目标：answer / process / KL / safety
├─ 优化：group baseline / clip / update ratio
├─ 表示：视觉 encoder / history / action chunk
└─ 系统：更快 rollout / 更长训练 / 更大 eval budget

先用粗粒度父节点排除，再在有贡献分支细化。全因子设计可估交互，但成本指数增长；至少保留理论上关键的二阶交互。

Y_{ijk}=\mu+\alpha_i^{\rm data}+\beta_j^{\rm obj}+ \gamma_k^{\rm opt}+(\alpha\beta)_{ij}+\epsilon_{ijk}.\tag{22.11}

7.1 Debug run 与 research run 分离

类型	允许	不可用于	保存
Debug	看测试样例、反复改 config、单 seed	最终效应与显著性	错误、修复、最小日志
Pilot	估方差、筛预算/范围	与主实验合并当独立样本	power 参数、决策记录
Research	仅预注册改动	中途挑 seed/指标	完整 immutable artifact

负结果至少分为：实现失败、优化失败、统计功效不足、代理指标不变、机制预测失败、外部有效性失败、成本不合算。只有最后几类能支持“方法在条件 X 下无实用收益”；代码 bug 不能写成算法反证。

负结果模板

“在模型/数据/预算范围 X 内，方法 A 相对调优 baseline B 的主效应为 $\hat\Delta$ （CI），未达到预注册 $\delta_{\min}$ ；机制指标 M 同样未变化。该结论不覆盖更大规模/不同数据，且功效对效应小于 Z 不足。”

8. Reproducibility Contract：复现是接口，不是压缩包

artifact/
├── README.md                 # 一条命令复现实验/表格
├── environment.lock         # 精确依赖与 CUDA/驱动说明
├── Dockerfile               # 可选；镜像 digest
├── manifest.json            # 数据、许可、hash、split
├── configs/                 # 每个表格 cell 的不可变配置
├── src/                     # commit + dirty 状态
├── checkpoints/INDEX.json   # URI、SHA256、父 checkpoint
├── logs/                    # 原始事件，不只截图
├── eval/                    # evaluator 版本与单测
├── reports/                 # 聚合脚本、图表、统计
└── MODEL_CARD.md

每个 run 的最小身份：

\mathrm{RunID}=H(\text{commit},\text{config},\text{data manifest}, \text{environment},\text{seed},\text{parent checkpoint}).\tag{22.12}

环境锁。 包版本、CUDA/cuDNN、driver、硬件、容器 digest；Docker 不能自动消除 GPU 非确定性。
数据版本。 来源、许可证、下载时间、hash、过滤/去重脚本、训练统计与 split。
配置。 解析后的最终 config，而非只保存命令行；敏感信息用引用，不入仓库。
日志。 逐步 reward/KL/entropy/loss/throughput 与系统告警；统一时钟和权重版本。
CI。 schema、verifier、tiny overfit、checkpoint load、deterministic smoke test；CI 不是完整训练复现。
模型卡。 用途、限制、数据、评测、安全、成本、已知失败和回滚方式。

复现等级

R0 图可见；R1 配置可见；R2 代码+数据可跑；R3 同环境数值近似；R4 独立团队同方向；R5 跨域复现。论文说“reproducible”时必须声明是哪一级。

9. 论文阅读与写作：论证链而非章节填空

9.1 阅读：claim → assumption → evidence → alternative

论文卡片
核心 claim（原句页码）：
成立所需 assumption：
最强 evidence：
最弱 evidence：
预算是否 matched：
可推翻它的 alternative explanation：
作者没测的关键切片：
我会做的一个最小复现实验：
与哪三篇工作构成方法/数据/评测边：

related work 不是按年份罗列摘要，而是图谱：节点为工作，边标“共享假设/数据/目标/评测/反证”。优先找到分歧轴，例如 online vs offline、verifier vs learned reward、单峰 vs 多模态动作。

9.2 写作：每节承担一种证明责任

部分	证明责任	常见失败
摘要	问题、方法、证据、边界各一句	只有结果数字，无条件
引言	建立 tension：重要但现法为何失败	宏大叙事替代具体缺口
方法	从问题推出设计；定义假设与代价	组件清单，无因果逻辑
实验	每个实验回答一个问题	榜单堆砌、baseline 不公平
局限	说明主张不覆盖哪里	模板化“未来工作”
附录	让第三方复现与审计	藏负结果、关键细节缺失

引言 tension 模板： 能力 X 重要；现有 Y 在条件 Z 失败；我们假设机制 M 是原因；提出干预 A；在 matched B 与 hidden C 下检验；结果支持到 L3/L4，但不覆盖 D。

9.3 Rebuttal

先复述 reviewer concern 到可验证命题，避免“感谢+不同意”。
用原文页码/表格回答；承认真实限制，不临时扩大 claim。
新增实验优先做能区分解释的最小实验，不做大而散的补榜。
若 reviewer 正确，明确将如何改标题、摘要和限制；可信度高于硬辩。

10. 具体练习：把 HW5 改写成 Workshop Paper

以 HW5 · Offline RL / Exploration 为原材料，不把作业报告简单换模板。论文问题可收窄为：“在相同离线数据与在线交互预算下，保守离线 RL 与 RND 探索如何影响导航任务的 OOD 恢复？”

10.1 重构步骤

资产审计。 列出已有 easy/medium/hard、random/RND、CQL/DQN/AWAC/IQL 结果；标记哪些只有单 seed，哪些图无法追溯原始日志。
主张降维。 只保留一个主 claim：数据覆盖与保守性存在交互；其余算法排名为次要。
重跑基线。 至少 5 seed（预算不足则 3 seed 并明确功效）；同离线 transition、同网络、同 gradient updates、同 eval episodes。
新增区分实验。 固定数据量，改变 RND vs random 的状态覆盖；固定 coverage，比较 CQL/IQL/BC，区分“数据好”与“算法好”。
统计。 跨任务 IQM、paired 初态 bootstrap、概率改进与性能剖面；定义 $\delta_{\min}$ 。
失败分析。 将 density 图与失败轨迹对齐，区分 coverage hole、Q 过估计、终止处理、奖励稀疏。
写限制。 二维导航、合成奖励、规模小，不外推到机器人或 LLM。

论文图/表	研究问题	需要的原始数据
图 1 覆盖热图+失败轨迹	探索改变了哪些状态支持？	逐步坐标、访问计数、终止原因
图 2 性能剖面	收益是否跨任务，而非均值驱动？	每 seed×任务 return
表 1 matched baseline	算法贡献还是预算贡献？	数据/更新/网络/评测账
图 3 Q 校准	失败是否来自 OOD 过估计？	预测 Q、MC return、OOD 距离
表 2 负结果	在哪些条件下不工作？	所有预注册 cells

Workshop 验收

6–8 页正文；题目不含“通用/首次”除非证据足够；所有主图可由一条命令从原始日志重建；摘要中的每个数字可定位到表/图与配置；结果即便为负，仍因区分“coverage vs conservatism”而提供知识。

11. OpenAI/Anthropic 类岗位准备与 12 周 Capstone

11.1 面试准备：只说公开可泛化能力

环节	可能考查的通用能力	训练方式
研究讨论	问题拆解、证据边界、反例、下一实验	20 分钟 paper teardown + 白板实验
Coding	正确性、测试、数值稳定、清晰度	实现 replay/GAE/bootstrap；写单测与复杂度
系统设计	rollout/learner、数据版本、故障、安全、成本	设计百万 rollout 管线与权重一致性
沟通	承认未知、更新信念、跨职能决策	5 分钟 executive summary + 深挖问答

不编造内部标准

不同团队、级别和时期流程会变；公开招聘信息只能说明大类，不足以推断内部评分线。准备重点应是可迁移研究能力，而非背“某公司标准答案”。

高质量面试题

你有一个 reward 上升但 hidden eval 下降的 RL run。给出按信息增益排序的五步诊断。

三 seed 均值提高 5%，一个 seed 崩溃。你如何汇报、是否上线、下一实验是什么？

设计一个能区分“更多 rollout”与“GRPO 组基线”贡献的实验。

如何证明 VLM 真的看图？如何指出反事实遮挡的因果限制？

设计 offline-to-online 机器人系统，说明安全层、回滚、数据新鲜度与接管。

reviewer 指出 baseline 调参预算不公平，deadline 前只能补一个实验，做什么？

11.2 十二周 Capstone 模板

周	里程碑	退出标准
1	问题、文献图谱、研究契约	claim/否决/替代解释明确
2	数据与 eval validity 审计	schema、split、污染与许可清楚
3	可复现 baseline	一键跑通、结果接近公开范围
4	最小方法与单元测试	tiny overfit、梯度/奖励检查通过
5	Pilot 与 power/预算	方差、 $\delta_{\min}$ 、主设计冻结
6–7	主实验	预注册 cells、完整日志、多 seed
8	机制与消融树	至少一个负控制/区分实验
9	OOD/hidden/安全评测	解封一次、结果不可回写调参
10	统计、失败 taxonomy、成本	原始点、CI/IQM、负结果齐全
11	论文与 artifact	同伴可按 README 复现主表
12	答辩、rebuttal、复盘	能说明哪里错、下一实验为何

11.3 评分 Rubric（100 分）

维度	分值	满分标准
问题与可证伪性	15	否决条件、机制预测、竞争解释完整
Baseline 与公平性	15	数据/算力/更新/eval 账清楚，强基线已调优
技术与工程	15	实现正确、有单测、系统稳定且成本可追
实验设计	15	能区分关键解释，含负控制与 OOD
统计与证据	15	实验单位正确、CI/IQM/effect/power 恰当
复现与 artifact	10	第三方可复现主图表，数据/环境/日志锁定
写作与沟通	10	claim 与证据同级，局限真实，答辩清晰
负结果与研究品格	5	不隐藏崩溃/失败，不事后换主张

硬性封顶

数据泄漏、伪造/挑选 seed、不可追溯图表、测试集调参、隐瞒严重安全事件任一项，项目最高 50 分；无法运行 baseline，最高 60 分；没有独立 seed，统计证据项最高 3/15。

12. 一手来源、证据边界与最终复现清单

【A】 Agarwal et al., Deep Reinforcement Learning at the Edge of the Statistical Precipice（IQM、性能剖面、RL 统计）。
【A】 Henderson et al., Deep Reinforcement Learning that Matters。
【A】 Dodge et al., Show Your Work（实验预算与可复现报告）。
【A】 Pineau et al., Improving Reproducibility in Machine Learning Research。
【A】 Benjamini & Hochberg, Controlling the False Discovery Rate（1995）。
【B】 NeurIPS, Paper Checklist；具体年份要求以当届页面为准。
【D】面试与 capstone rubric 为公开研究能力的课程化建议，不代表任何公司的内部标准。

最终复现清单

主张、假设、否决条件、机制预测、 $\delta_{\min}$ 与主指标在主实验前冻结。

baseline 同数据/算力/更新/eval 四视图；调参预算与失败 run 纳入成本。

实验单位正确；跨 seed 推断；轨迹只估 eval 噪声；paired 条件保持配对。

原始点、均值/IQM、CI、effect size、power 与多重比较处理同时给出。

construct、污染、饱和、grader、人评、hidden set 均有审计。

debug/pilot/research 分离；负结果分类；不把实现失败包装成理论结论。

commit/config/data/environment/checkpoint/log/evaluator/model card 可追溯。

摘要、标题、结论的每个动词不超过证据阶梯；限制写明不覆盖的域。