Benchmark 维护生态：哪些榜单真的还能持续跟踪？

截至 2026-10-20，本站有 27 个已开启同步且具备快照的榜单，共 775 条成绩，覆盖 12 个研究方向。覆盖面扩大了，但维护责任仍不均衡：只有 8 个榜单直接读取在线入口，其余 19 个依赖本站定期人工核查静态表。

“入口由作者或 Benchmark 团队承载”不等于“成绩由官方统一复现”。本次快照中，官方来源占 49.0%，模型方自报占 36.1%；判断一条成绩能否严格比较，仍要看具体来源类型、评测设置和复现责任。

数据与方法

数据截止 2026-10-20。一次性导出脚本把当时所有 sync_enabled: true 且存在 leaderboard.json 的榜单冻结为 data/leaderboard-snapshot-2026-10-20.csv，同时保存范围与方向快照。analyze.py 只读这三份 data/ 输入，分析日期固定为 2026-10-20，只重建 results/；此后仓库榜单或系统日期变化都不会改变本文结果。

维护入口分五类：6 个由作者或 Benchmark 团队承载、可直接同步，1 个同样在线同步但条目来源混合，1 个是项目页论文结果，5 个由本站人工截取团队来源表，14 个由本站从论文、自报与第三方复测中整理。这个分类只描述数据维护路径，不评价成绩质量。ScreenSpot、OSWorld、AndroidWorld、WebArena 与 OCRBench 的入口由相应团队承载；AndroidWorld 条目仍全部标为自报，WebArena 则按条目标记官方、论文或自报 ^{[1] [2] [3] [4] [5] [6]}。

“新鲜度”分两层：last_verified 是本站最近一次确认成绩仍在来源中的日期；静态表的 published_at 才近似表示成绩来源日期。在线入口没有统一提供逐条成绩发布日期，因此本文不把核验日龄称为成绩日龄。

“饱和度”只做榜内描述：距名义上限 100 的分差定义为 100 - 榜首 overall；Top 5 分差定义为榜首减第五名，少于五条时减最后一名；另计算榜首减第二名。accuracy 与成功率有明确百分比边界，但 CLIP 相似度、Elo 转换值和多指标复合分即使缩放到 0–100，也不保证存在可达到、可解释为“能力完全解决”的实质上限。

结果

在线入口只是少数，官方来源也未过半

27 个榜单中，8 个直接读取在线入口：其中 6 个由作者或 Benchmark 团队承载且条目只含官方／自报类型，WebArena 混合多种来源责任，OSWorld-G 读取固定论文结果页。其余 19 个采用人工静态快照；LiveCodeBench、SWE-bench Verified 与 OmniDocBench 等来自团队来源表 ^{[7] [8] [9]}，Design2Code 与 ChartMimic 等依赖论文表或统一复测 ^{[10] [11] [12]}。

775 条成绩中，官方 380 条（49.0%）、论文 77 条（9.9%）、模型方自报 280 条（36.1%）、第三方复现 38 条（4.9%）。AndroidWorld 的 47 条全部为自报；OSWorld 有 110 条官方、94 条自报；WebArena 有 9 条官方、37 条论文、2 条自报。这些数字来自冻结快照的 results/summary.json 与 results/benchmarks.json。

来源类型描述“谁对数字负责”，不是质量分。团队承载的社区表仍可能未经独立核验；同一论文的统一复测有时反而更可比。严格排名仍需固定版本、输入、预算、重试和评测设置。

核验日龄短，不代表成绩刚发布

27 个榜单的站内核验日龄为 1–4 天。19 个静态快照可恢复最新来源日期，距截止日 6–495 天；8 个在线入口缺少统一的逐条发布日期，无法可靠计算真实成绩日龄。last_verified: 2026-10-19 只能证明成绩在该日仍被确认，不能证明成绩在该日发布。

接近名义上限不等于能力已解决

AndroidWorld 榜首距名义上限 100 的分差为 0，Top 5 也同为 100，但这五条都是社区自报。LIBERO 的名义分差为 0.1、Top 5 分差为 1.5；OmniDocBench 分别为 3.09 和 1.69；ScreenSpot v2 分别为 4.72 和 1.18。这些榜单分别测动态任务、仿真操作、文档解析和静态定位，不能共享同一个“已饱和”结论。

另一端，OSWorld-G 与 OSWorld 2.0 距名义上限分别为 45.9 和 55.56 个百分点。它们只说明各自字段仍有名义空间，不能证明任务比高分榜更难。对于 CLIP 相似度和复合分，100 甚至不应被解释为可达到的实质上限。

Top 5 分差同样只是描述量：GPQA Diamond 为 0.4 个百分点，ScreenSpot v2 为 1.18，WebArena 为 18.1。没有逐题结果、重复运行和统一设置时，本文不把这些差距解释为统计显著。

12 个方向已有快照，两个方向仍空缺

27 个榜单覆盖文生图、图编辑、视频生成、3D 生成、Visual2Code、GUI Agent、世界模型、具身智能、VLM、OCR、音频和 LLM 共 12 个方向。

3D2Code 与统一多模态仍没有登记并开启同步的独立榜单。统一多模态模型可在理解与生成榜单中标记，但这不能替代专门衡量理解—生成协同的持续榜单。

讨论与局限

样本限制

本文只代表 2026-10-20 冻结的 27 个站内榜单，不代表全部公开 Benchmark。来源构成按成绩条目计数，OSWorld 等大榜会支配总数；380 条官方来源成绩不等于 380 次独立官方复现。

口径限制

official 表示成绩登记为官方来源，不必然表示 Benchmark 团队统一复现。paper、self_reported 与 reproduced 也只描述来源责任。本文没有把不同设置合并成公平排名，也不横向比较不同指标的绝对分差。

外推限制

距名义上限 100 的分差只对当前归一化字段做算术描述。CLIP 相似度、Elo 派生值与复合指标没有可保证达到的实质上限；零分差不代表真实任务已解决。Top 5 分差受提交池、筛选窗口与重复设置影响，核验日期也不能外推为成绩发布日期。

**编者观点：**可持续榜单至少应保存结果发布日期、题集版本、评测设置、预算、来源责任与是否独立复现。缺少关键字段时，可以展示参考成绩，但不应把“最新同步”“最新模型”和“严格可比”写成同一件事。