LIBERO 榜单是否已饱和，且不同训练/评测协议下成绩还可比吗？

站内人工整理的 LIBERO 静态榜（17 条，四套件 overall 为 Spatial/Object/Goal/Long 成功率算术平均）显示：名义百分制上头部已极度接近上限，但 Long 子项仍显著低于 Object/Goal，且 warm-up、演示规模、单/多视角、是否在线 RL、统一策略 vs 每任务 expert、评测是否取训练期最佳 等协议在 Top 名次间不一致；不能把 0.1–1.5 点的 overall 分差直接归因于模型能力。

数据与方法

数据截止 2026-10-21。自 content/benchmarks/libero/leaderboard.json 导出 JSON 至 data/，snapshot-manifest-2026-10-21.csv 记录源路径、synced_at、条数与 SHA-256（14c2836ea42d223f7f4568ea08f229971c20d38881e27df2942fe6ad23222463）；analyze.py 启动时校验 manifest 与源哈希，只读冻结文件。

Benchmark 构成（一手文献）：LIBERO 共 130 个语言条件操作任务、四套件——Spatial、Object、Goal 各 10 任务，LIBERO-100 再拆为 90 个短视界任务与 10 个长视界任务（站内 long 子项对应后者）^[1]。官方为每任务提供 50 条人工遥操作示范（§4.4）^[1]；仓库 README 与论文一致描述四套件与 LIBERO-90/10 划分 ^[2]。当前 VLA 论文常用的 40 任务评测即上述 Spatial/Object/Goal/Long 各 10 任务的四套件平均成功率（与 content/benchmarks/libero/meta.md 一致）。

饱和度指标（同 benchmark-maintenance-landscape）：distance_to_nominal_100 = 100 − 榜首 overall；runner_up_gap 为榜首减第二名；top5_range 为榜首减第五名。

协议特征：从 model、setting、notes 启发式提取（完整规则见 analyze.py 的 extract_protocol()，results/summary.json 的 protocol_extraction 为概述，逐条结果见 results/protocol_profiles.csv），包括 warm_up（如单轨迹 warm-up、每任务 50 demo、one-shot SFT、在线 RL 前 SFT 规模等）、cameras（单/双/多/腕部）、policy_scope（四套件统一策略 vs 每任务 LoRA expert）、online_rl、action_chunk、eval_selection（固定 test episode vs 训练期最佳等）。仅当 warm_up 与 cameras 均已识别（非 unspecified），且 warm_up、online_rl、cameras、policy_scope 四项都相同的条目至少 2 条时，在 comparable_protocol_pairs.json 中报告组内 overall 分差（analyze.py 的 comparable_pairs()；描述性，不做显著性检验）。

来源：按 source_type 统计；paper 多为 LaST-R1 一文 Table 1 转引他模，不等同独立第三方复测。

结果

距上限与头部分差

Overall 名义上几乎触顶，但 Top5 仍跨 1.5 个百分点；榜末与头部相差 20+ 点，说明 Benchmark 并未在全体条目上失去区分度，而是 头部分数密集、尾部分布仍宽。

四套件子项：Long 是主要未饱和区

Object/Goal 在头部频繁触及 100%，Spatial 亦接近上限；Long 全榜均值 85.76，比 Object 均值低 11.52 个百分点（long_minus_object_mean_pp）。榜首 LaST-R1 的 Long 为 99.8，但同榜 OpenVLA 的 Long 仅 53.7——子项方差远大于 overall 头部 0.2 点的名次差（Long 子项标准差 16.11）。因此「LIBERO 已饱和」若指 四套件聚合 overall，与 Long 仍有大跨度 需同时成立。

协议分组（描述性，非因果）

按 warm_up 分组（组内条目数见 warm_up_group_means.csv）：single_trajectory_warmup（4 条）均值 98.2、最高 99.9；full_expert_50_demos（5 条）均值 91.7；full_trajectory_warmup（3 条）均值 80.6。在 可比子集（warm_up、online_rl、cameras、policy_scope 均相同且 ≥2 条）中，单轨迹 warm-up + 在线 RL + 单视角组内 Top1−Top2 为 2.3 点（LaST-R1 99.9 vs RLinf-GRPO 97.6）；full-trajectory warm-up 组内仅 0.3 点。协议相近时名次差仍可为 2+ 点，协议不同时 0.2 点的榜首差更不宜解读为能力胜负。

其他异构示例（来自 notes，不参与组间因果比较）：dVLA-RL 使用 每套件 500 条 SFT + 统一 multi-task 策略 + 腕部相机，且 overall 取自 训练期间最佳 task-wise SR（非固定 checkpoint 独立测试）；CORAL 系为 每任务 LoRA expert；SRPO 含 action chunking；StarVLA-OFT 为 四套件联合数据 + 统一 policy。SimpleVLA-RL 在同一转引表与作者原文 Table 2（99.1）口径不一致，已在榜内 notes 标注——同一模型在不同表行不可直接比 rank。

来源构成与榜首演进

6 条 self_reported、11 条 paper（转引）；Top 5 全部为 self_reported，无 official / reproduced 前沿复测。排名更多反映 「谁在近期论文主表报告了更高四套件均值」，而非统一 harness 下的独立验证。

按 notes 中来源发布日期，冻结榜 3 次刷新榜首：2025-11-19 SRPO 99.2 → 2026-03-10 CORAL-SimVLA 99.3（+0.1）→ 2026-04-30 LaST-R1 99.9（+0.6）。近期边际抬升与 Top1−Top2（0.2）同量级，样本日期少、且每次可能伴随协议变化，不能外推为平台期定律。

讨论与局限

饱和度需分层：对 100 分名义上限，榜首距 100 仅 0.1 点、Top5 极差 1.5 点，头部 overall 高度密集；对 任务难度，Long 子项仍普遍低于 Object/Goal，全榜 Long 最低 53.7%，不能说四套件能力均已触顶 ^[1]。

排名还能说明什么：在现网 17 条、以自报/转引为主的静态榜下，overall 排序适合标注 「高 reported 四套件均值簇」 并并列报告 协议字段与子项；0.1–0.2 的榜首差不应写死为模型优劣。Long 子项仍是差异化与未饱和信号；full-trajectory warm-up + RL 条目 overall 集中在 80–81 簇，与 99+ 簇协议不同，不应混排归因。

局限：（1）仅 17 条，无逐任务/逐 episode 输出，未做显著性外推；（2）overall 为四套件算术平均，各文评测次数、相机与是否取训练最佳不一致；（3）协议标签为启发式，unspecified 仍占相当比例；（4）无统一第三方复测；（5）来源日期 ≠ 同协议复测日。