Portfolio Labs：把课程机制变成可审计证据

本报告迁移自原型课程页面；课程背景参见 CS285 ^[1]。

两套 lab 保留三 seed 结果、负结果与 NOT RUN 配方；仅 LLM / Agent 部分公开测试日志。它们用于证明“能否提出并审计一个主张”，不是用 toy 环境替代大模型或机器人实验。

1. 为什么不是第六份教学作业

证据型项目

HW1–5 复现课程算法；Portfolio Labs 从 claim 开始，要求独立 endpoint、反事实、失败 taxonomy、成本账、可重放 artifact 与明确的外推禁区。正结果和负结果同等保留。

层	已真实执行	明确未执行
LLM / Agent	NumPy tiny policy + finite tabular agent；CPU；seeds 7/17/29；9/9 tests	Qwen 7B、verl、vLLM、FSDP、2×8 H100
VLM / VLA	合成视觉任务 + 8×8 闭环导航；CPU；seeds 0/1/2	Qwen2.5-VL-7B、8×H100、LIBERO/ManiSkill、4×A100 + 仿真集群

三层必须分开

Portfolio toy labs 是原两套证据型实验；Extended HW6–11 是独立的结构化作业与真实 demo；生产级 NOT RUN 配方只描述升级条件，不是运行结果。下文数字只支持各自 toy/scale-model 环境中的机制判断。

2. LLM / Reward-Eval / Agentic Lab

结构。 Lab A 用互斥的 train/hidden/audit 两位数加法任务，对比 SFT、strict rejection、strict/weak GRPO-style 更新与 oracle Best-of-16；Lab B 用可重放的 mini-tools-v1 环境研究终局 REINFORCE、过程塑形、瞬态 TRANSIENT_503 恢复与成本。

（此处的实现代码或复现命令不在本站发布。）

代表性完整运行：macOS arm64 / Python 3.13.5 / NumPy 2.3.2，seeds 7/17/29，实验本体 25.79 秒；测试日志记录 9 项测试通过。

证据	三 seed 聚合结果	允许的解释
RLVR hidden sampled pass@1	SFT 0.0590 [0.0460, 0.0729]；strict GRPO 0.0469 [0.0347, 0.0599]；weak GRPO 0.0495 [0.0365, 0.0634]	该 toy 设置下在线更新没有胜过 SFT
Strict rejection	0.0556 [0.0434, 0.0686]；相对 SFT −0.0035 [−0.0113, 0.0043]	没有可支持正增益的证据
Oracle Best-of-16	各 seed 0.625 / 0.583 / 0.667	16 倍部署采样下的覆盖率，不是 pass@1
弱 verifier hacking	可见 weak reward：SFT 0.0920 → weak GRPO 0.1276；strict pass@1：0.0590 → 0.0495	代理奖励与独立正确性发生分离
Agent success	BC 0.8194 [0.7222, 0.9028]；terminal / shaped 均 1.000 [1.000, 1.000]	有限状态工具环境中学会完成与恢复
过程塑形负结果	terminal cost 3.4375 [3.2917, 3.6042]；shaped 3.7292 [3.4861, 3.9722]，成功率相同	所选塑形增加成本，未增加成功

CI 是 3 seeds 共 72 个 task 的 task bootstrap，不是 seed→task hierarchical CI。两个 RL agent 的错误后成功恢复率均为 0.2917；首条 eval trajectory 已精确 replay。

7B 配方 NOT RUN

Qwen 7B / verl 配置只是假设 2×8 H100 拓扑的升级入口，没有产生训练、吞吐或显存结果。

3. VLM Reasoning RL + Mini-VLA Lab

结构。 Lab C 使用生成的 32×32 颜色/位置图像、答案、框和 4×4 grounding cells，执行无图、证据遮挡、换图、冲突 decoy 四类配对反事实；Lab D 在 8×8 障碍导航中比较 BC、DAgger 与域随机化，记录碰撞、干预、延迟、动作 slip、颜色域和 OOD walls。

（此处的实现代码或复现命令不在本站发布。）

代表性 CPU 运行耗时 49.1 秒，seeds 0/1/2。现有公开证据未包含测试日志，因此不保留测试通过数。

证据	三 seed 聚合结果	允许的解释
VLM SFT	accuracy 0.542；grounding 0.913；visual dependency 0.264	合成 hidden generator 上的基线
Strong-verifier RL	accuracy 0.523；grounding 0.821；visual dependency 0.245	负结果：两个主指标均未超过 SFT
Weak-verifier RL	accuracy 0.526；grounding 0.757	忽略 evidence 的 verifier 造成证据定位退化，未提高答案
Oracle Best-of-4	accuracy 0.741；grounding 0.786	四样本 oracle 选择的乐观上界，不可部署
BC → DAgger	ID 均 1.000；shift success 0.817 → 0.858；干预率 0.234 → 0.166	toy 闭环中 DAgger 改善 shifted dynamics
域随机化	颜色域 sim-to-real proxy：plain BC 0.000；domain-randomized BC 0.558	只支持该颜色域代理，不是真机迁移
OOD 失败	BC、DAgger、domain-randomized BC 的 OOD-layout success 均为 0.000	保留的外部有效性失败

DAgger 额外使用 expert labels；不是与 BC 等离线数据比较。安全 cost 定义为碰撞数。3 seeds、16-cell 粗 grounding、合成图像与导航环境都限制外推。

生产配方 NOT RUN

7B VLM / 8×H100 配方与 LIBERO/ManiSkill / 4×A100 配方没有执行；其中的模型、rollout、硬件和数据量均是计划条件，不是结果。

4. Extended HW Track · 结构化作业与真实 Demo

本材料扩展 · 非 Berkeley 官方

HW6–11 是独立报告，不是原两套 Portfolio toy labs 的重命名；其运行与证据口径以各自报告为准。

HW6 · 06/07PPO / SAC稳定性诊断与 rollout demo HW7 · 12HER / Transfer目标条件学习与 OOD demo HW8 · 18 + 13Reward / EvalVerifier、RLVR 与交互 demo HW9 · 19Agentic RL可重放多轮轨迹 demo HW10 · 20VLM Reasoning RL反事实与 grounding demo HW11 · 21VLA / 具身DAgger、OOD 与安全 demo

5. Claim–Evidence Ledger

Claim	直接证据	边界 / 不支持
弱 verifier 可让 reward 与真实 endpoint 分离	加法 toy 的 weak reward 上升、strict pass@1 下降；显式对抗单测	不估计真实 LLM hacking 的发生率或严重度
终局 agent RL 在有限环境改善完成率	三 seed success 与可重放错误恢复轨迹	不支持开放 Web/SWE 可靠性或安全性
答案 RL 不自动改善视觉 grounding	strong/weak RL 均未超过 SFT；配对反事实	不支持“大 VLM 的 RL 一般无效”
DAgger 可改善已覆盖的动力学偏移	shift success/干预率与额外 expert query 账	OOD layout 仍 0；不支持 LIBERO、接触操控或真机
生产方案仅形成 NOT RUN 配置，尚未证明可运行	三份标记 NOT RUN 的配置	没有 GPU dry-run、吞吐、显存、收敛或 benchmark 结果

6. 已公开证据

LLM / Agent

• 测试日志 · CPU 配置
• RLVR 结果 · Agent 结果 · 运行元数据 · Qwen 7B NOT RUN 配置

VLM / VLA

• 代表性配置 · VLM NOT RUN 配置 · VLA NOT RUN 配置
• 聚合结果 · VLM seed 结果 · VLA seed 结果 · 运行清单

7. 生产级 NOT RUN：满足什么条件后才能升级 Claim

• 真实 7B： 锁定模型/tokenizer/框架 commit 与数据许可；GPU memory dry-run；独立 hidden verifier；至少 3 seeds；报告 rollout、learner、KL、有效样本率、GPU-hours 与恢复演练。
• SWE / Web Agent： 版本化容器、repo commit 与工具权限；非 oracle hidden tests；环境错误与模型错误分离；可重放副作用；成本/安全 matched 的 SFT、search、RL 对照。
• LIBERO / ManiSkill： 官方版本和 action/observation contract；每 seed 足够 episode；DAgger expert minutes 单独核算；OOD object/layout、延迟、碰撞与 intervention；仿真成功不得写成真机结论。
• 真机： 独立安全层、急停、影子模式、低能量分阶段放权、校准与回滚；任何自动执行都不能由当前 NOT RUN 配方直接触发。

升级规则

配置文件只能证明实验被设计；dry-run 只能证明系统接通；单 seed 只能提供案例；只有 matched baseline、多 seed、独立评测与可审计失败共同成立，才可升级为方法性结论。