同一个分数，换个来源会差多少？

结论没有因为榜单扩到 27 个而变强：775 条成绩覆盖官方榜单、论文报告、模型方自报和第三方复现，但严格对齐后可直接相减的成绩仍为 0 对。现有数据不足以判断任何来源是否系统性偏高。

这不是“不同来源给出了相同分数”。恰恰相反，18 个 Benchmark 同时包含至少两类来源，却没有一组同时满足同模型版本、同 Benchmark、同子集与同评测协议。来源覆盖扩大了，交叉复测仍然缺失。

数据与方法

数据是 2026-10-20 对 27 份已同步 leaderboard.json 的一次性展开。冻结 CSV 有 775 条成绩；清单逐榜记录原始路径、synced_at、条数和 SHA-256。analyze.py 的截止日期是常量，只读冻结 CSV，不访问也不覆盖榜单输入。

对齐先做保守名称归一化：Unicode NFKC、大小写折叠、删除非字母数字符号。版本号、参数规模、thinking、Instruct、RL、PE 等语义标记全部保留。自动归一化没有发现跨来源同名组。

冻结输入除榜单快照外，还有从 manifest 同批 JSON 导出的 model-links-2026-10-20.csv（775 条 model_url；导出前逐文件校验 SHA-256 与 manifest 一致）。分析脚本不读取当前 content/benchmarks/。

高召回候选生成是确定性的：同一 Benchmark、不同 source_type 的两行，在以下前置过滤通过后，命中任一规则即生成候选（只生成、不自动接受）：

• 已知步数预算：两侧均写出步数且不相等 → 跳过。
• 推理档位：两侧 setting 均含「推理 max/high/medium/low/xhigh」且档位不同 → 跳过（避免 OSWorld-2 等同步数不同推理档的误配）。

规则列表（与 analyze.py 一致）：

1. exact_normalized：保守归一化后模型名完全相同。
2. protocol_suffix_stripped：消去明确协议后缀（括号内步数、[official PE]／[no PE]、+ TRM-guided RL 等）后名称相同。
3. wrapper_head_and_token_similarity：两侧都有 w/ 后端，且 w/ 前系统头相同且词元 Jaccard ≥ 0.65。
4. name_containment：两侧都无 w/ 包裹、较短候选名 ≥ 8 字符、一方名称包含另一方且词元 Jaccard ≥ 0.60。
5. token_and_sequence_similarity：词元 Jaccard ≥ 0.72 且消去协议后缀后的序列相似度 ≥ 0.80。
6. token_similarity：词元 Jaccard ≥ 0.60（单独成立即可）。
7. wrapper_backend_to_bare_model：去掉已知机构前缀后，一侧为 A w/ B、另一侧裸模型名（或 model_id）规范化后等于或包含后端 B。
8. wrapper_shared_backend_different_head：两侧均为 w/ 且后端 B 相同、系统头不同，且词元 Jaccard ≥ 0.72。
9. planner_model_in_notes：任一侧备注含「规划模型／planner model」 slug，且与另一侧裸模型名或 model_id 规范化后一致。
10. organization_prefix_identity_head：移除已知机构前缀（Simular Research／Simular）后，w/ 前系统头相同。
11. same_model_id：model_id 非空且完全相同。
12. same_model_url：冻结链接表中的 model_url 规范化后相同（去末尾斜杠、http→https、arXiv 统一为 arxiv:<id>；空链接不参与）。
13. manual_alias：两组人工登记的 entry_id 别名对。

脚本要求生成集合与决策表逐项一致，漏记或多记都会失败。直接相减仍必须同时满足：模型与后训练版本相同；Benchmark、题集版本、子集和指标相同；步数、采样次数、提示增强、harness、观察与动作接口相同。拿不准就排除。

若存在有效配对，脚本会按来源方向计算百分点差，报告均值、中位数、10,000 次配对自助法区间、方向比例的 Wilson 区间和双侧精确符号检验，随机种子固定为 20261020。本次有效配对为 0，因此不计算差值分布、置信区间或 p 值；null 表示不适用，不是零差异。

结果

四类来源都出现了，但不是交叉复测

775 条成绩中，官方榜单 380 条、论文报告 77 条、模型方自报 280 条、第三方复现 38 条。四类来源分别覆盖 15、7、20、6 个 Benchmark；18 个 Benchmark 至少有两类来源。

但 38 条第三方复现都是对该论文中的其他模型统一复测，没有同一模型的另一来源行可配对。来源类型的边际数量不能替代配对样本。

59 组高召回候选全部被排除

确定性步骤生成并人工复核 59 组候选：12 组因协议不同被排除，47 组因模型版本不同被排除，严格对齐为 0 组。

OSWorld 的 Jedi-7B w/ GPT-4o 名称与 15、50、100 步预算能对应；页面上可见的“官方减自报”表面差分别是 4.06、1.98、2.26 个百分点 ^[1]。但两侧没有共同记录题集版本、观察输入、动作接口和运行次数，所以这些数字只用于说明“差异存在”，不进入来源偏差统计。

同榜的 Simular Agent S2 与官方 Agent S2 都是 15 步，官方减自报的表面差为 7.64 个百分点 ^[1]。但自报行未披露基础模型，官方行明确为 Gemini 2.5 Pro；双方也没有共同记录题集版本、动作接口、harness 与运行次数，因此按版本不确定排除。

同一论文链接还召回 Kimi-VL 自报行与 15／100 步 official kimi-vl-a3b（均指向 arXiv:2504.07491）^[1]。自报未写 A3B 规格与步数，不能确认为同权重同协议。UI-TARS-1.5 自报（100 步）与 official uitars-1.5-7b 100 步共享 seed-tars.com/1.5，但自报备注参数量 >20B 而 official 为 7B。OpenAI CUA 4o（15 步）与 computer-use-preview 15 步共享 OpenAI CUA 发布页，但 API 名称与 harness 记录仍不足以对齐协议。

OSWorld-2 的 Sai w/ Claude Opus 5（self_reported）与裸 Claude Opus 5（official，推理 max）由 w/ 后端匹配与规划模型备注召回；500 步与推理 max 对齐，但 Sai agent 与含 batch tool 的裸模型行仍不能确认为同协议。

Qwen-Image 在 DPG-Bench 上的论文 no PE 为 88.32，第三方复现 official PE 为 87.20；按“复现减论文”，表面差为 -1.12 个百分点。在 GenEval 上两者为 87.00 与 91.00，表面差反转为 4.00 个百分点 ^[2]。模型相同，提示增强不同，正说明协议差不能归因于来源。

Flux2-Klein-9B 在 GEdit-Bench 的第三方 baseline 为 76.40，模型方 TRM-guided RL 版本为 78.20；ImgEdit 分别为 81.00 与 82.60 ^[3]。1.80 与 1.60 个百分点包含后训练改动，不是同版本的来源差。

六种来源差均无可计算分布

论文减官方、自报减官方、复现减官方、自报减论文、复现减论文、复现减自报的有效配对数全部为 0。因而没有均值、区间或符号检验结果，也不能排序哪类来源更高。

讨论与局限

样本限制

总成绩数从 499 增至 775，第三方复现从 0 增至 38，但严格配对仍为 0。这里不是“小样本功效不足”，而是没有估计目标所需的成对观测。任何“平均偏高几分”的数字都会混入模型或协议变化。

口径限制

official 表示官方榜单或团队结果，不保证与其他提交使用同一 harness；paper 可能是原论文自测，也可能转引其他论文；reproduced 只说明另一团队统一复测。本文依赖已同步字段与备注，缺失的 commit、随机种子、运行次数和 API 快照不能补猜。

外推限制

结论只适用于 2026-10-20 冻结的 27 个榜单。它说明当前数据结构不能识别来源偏差，不说明现实中不存在选择性报告或复现落差。

下一步最低缺口是：为同一 model_version 与 protocol_id 保留多条来源记录，并结构化登记题集版本、子集、harness、提示增强、采样预算、代码提交和运行次数。只有跨多个独立模型形成配对后，符号检验或配对差值区间才有解释力。