GUI Agent Benchmark 体系评估：排名差距有多少是真的？

GUI Agent 榜单能说明能力差异，但不能只看名次。七个榜单中，只有 WebArena 的榜首—第二名差距在本次聚合近似和 Holm 校正后仍可区分。其余头部相邻差距都不足以支持稳定排序。

更大的问题在统计之外。单步定位、离线下一步预测和在线端到端成功率测的是不同构念。最大步数、观察方式、工具权限、重试与来源类型又常被混在一张榜单里。一个更高的总分，可能来自更强的模型，也可能来自更宽的预算。

数据与方法

数据截止 2026-10-16。七份 CSV 由站内榜单快照导出，共 470 条记录。样本量来自一手论文、官方页面或官方数据集：ScreenSpot-Pro 1,581 条指令，ScreenSpot v2 1,272 条指令，OSWorld-Verified 361 个任务，OSWorld 2.0 108 个任务，OSWorld-G 564 例，AndroidWorld 116 个任务模板，WebArena 812 个任务 ^{[1] [2] [3] [4] [5] [6] [7]}。具体定位写在 data/sample_sizes.csv。

每个榜单取当前排序前 10 条；OSWorld-G 只有 5 条，因此全部纳入。对每个聚合分计算 95% Wilson 区间。对相邻名次做非配对两比例 z 检验，并在每个 Benchmark 内用 Holm 法校正。最小可检测差距采用双侧 α = 0.05、power = 0.8、最不利基准比例 0.5 的保守近似。排名不确定性用参数化二项模拟 2,000 次，随机种子为 20261015。

这些统计都基于同一个强假设：假设题目独立、两模型结果不配对。榜单没有逐题结果，无法做更有效率的配对比较，也无法验证题目间相关性。AndroidWorld 的 116 是动态任务模板数，不是每条社区提交的已知试验分母；它的区间尤其只能视为名义近似 ^[8]。

来源分析按 official、paper、self_reported、reproduced 描述榜首与 Top-10 构成，不把来源类型当成质量分数。设置分析直接统计榜单的 setting 字段，不从模型名称猜测缺失配置。全部统计数字见 results/。

Benchmark 逐个评估

ScreenSpot-Pro：高分辨率搜索，不是任务执行

它以 1,581 张唯一截图上的 1,581 条指令测单步定位，覆盖 23 个应用、3 个操作系统和六类软件。目标平均只占截图面积 0.07%。每例至少由两名标注者复核，但论文没有公开重测一致率 ^[1]。

指标是预测点落入目标框的微平均准确率。它直接测高分辨率 GUI 感知、指令消歧和坐标输出，却不测点击后果、跨步规划、记忆或错误恢复。迭代裁剪与多次模型调用会直接提高分数；官方榜单又没有统一登记缩放、裁剪轮数和调用预算 ^[1]。

**编者观点：**ScreenSpot-Pro 的建设目标合理，但总分应与 Text/Icon、目标框面积、输入分辨率和调用预算共同报告。否则指标会把“搜索策略”与“基础定位能力”压成同一分数。当前官方榜首 GroundCascade 的定位准确率为 85.1%（95% CI：83.3%–86.8%，n = 1,581，设置未注明，官方榜单）^[9]。

ScreenSpot v2：标注修订后，头部开始拥挤

ScreenSpot v2 保留原 ScreenSpot 的样本总量，修订约 11.32% 的错误标注。官方数据集三个 JSON 分别含 desktop 334、mobile 501、web 437 条，共 1,272 条；任务覆盖移动端、桌面和网页，分 Text 与 Icon/Widget ^{[10] [2]}。原版 ScreenSpot 使用 600 多张截图和 1,200 多条指令，预测点落入目标框即正确 ^[11]。

修订本身说明标注质量足以改变榜单解释。v1 与 v2 不能拼成同一时间序列。当前榜首 UI-Venus-72B 的定位准确率为 95.3%（95% CI：94.0%–96.3%，n = 1,272，设置未注明，官方榜单）^[12]。它离满分只差 4.7 个百分点，但这不等于 GUI Agent 已解决：该指标仍不测任务执行，且 28 条成绩都没有结构化设置。

**编者观点：**ScreenSpot v2 已有天花板迹象。下一步优化目标不应只是总分，而应转向小目标、Icon/Widget、拒识、界面变化和固定调用预算下的效率。

OSWorld-G：把拒识加入定位，但构念仍混合

OSWorld-G 从 OSWorld rollout 抽取 564 例，覆盖 Text Matching、Element Recognition、Layout Understanding、Fine-grained Manipulation 和 Refusal。非拒识题以点落入框内计分；拒识题要求识别不存在或不可执行的低层指令 ^[5]。

拒识只有 54 例，单例权重较大；论文也未公开跨标注者一致率。五条成绩都来自论文结果表，不是持续投稿和统一复现的官方榜单 ^[13]。榜首 Jedi-7B 的定位准确率为 54.1%（95% CI：50.0%–58.2%，n = 564，设置未注明，论文报告）。

**编者观点：**把不可行指令纳入评测是进步，但定位与拒识混成总分后，分数的能力含义不再单一。两项至少应并列为主指标。

OSWorld / OSWorld-Verified：构念较强，口径最杂

OSWorld 以最终环境状态的 execution-based checker 判断任务成功。原始题集有 369 个任务；8 个 Google Drive 任务受网络、限流和地区影响，Verified 默认分析采用 361 题。原论文设置为 1920×1080、最多 15 步、每题 30 分钟，并比较截图、a11y tree、组合观察和 SoM ^{[14] [3]}。

执行式成功率允许不同正确路径，构念效度高于参考轨迹匹配。但当前榜单有 15 种设置，最大步数从 15 到 150，还混有代码动作、多次采样和不同观察方式。榜首 Intelligence-Indeed Agent 的任务成功率为 90.2%（95% CI：86.7%–92.8%，n = 361，最多 100 步且额外使用代码动作，官方 OSWorld-Verified 结果数据表）^[15]。它在官方数据表中属于 Agentic framework；官方网页的结果表只展示 General／Specialized model，按网页口径的榜首是 claude-fable-5[1m]（86.0%，95% CI：82.0%–89.2%，最多 100 步、不使用代码动作）^[3]。该行官方汇总的有效分母为 358 题（Verified 名义题集为 361 题），按 358 计算的区间同为 82.0%–89.2%（results/denominator_sensitivity.json）。同一个“官方榜首”因口径不同而换人，这个分数不能直接解释成同预算下的模型能力。

**编者观点：**OSWorld-Verified 应作为当前主线，但严格排名必须先按题集版本、最大步数、观察方式、动作接口、工具权限和重试次数分层。

OSWorld 2.0：更接近真实工作，但预算就是处理变量

OSWorld 2.0 有 108 个长程任务。主指标是 binary completion；辅助 partial score 按任务特定检查点检查最终状态，平均每题 27.25 个检查点。论文还报告 150、300、500 步预算，并说明 11.53% 的总分来自模型式检查 ^[4]。

它比短任务更接近持续完成真实工作的目标，但二值分会把“接近完成”与“完全未做”归为同类；部分分又可能受 checkpoint 权重影响。当前 39 条记录有 28 种设置。榜首 Darwinx w/ Claude Opus 4.8 的 binary accuracy 为 44.4%（95% CI：35.4%–53.8%，n = 108，v2.1、450 步、thinking disabled，模型方自报）^[16]。排除自报成绩后，榜首变为 Claude Opus 5 的 44.3%。

**编者观点：**OSWorld 2.0 适合作为前瞻，不适合与 OSWorld-Verified 合并排名。binary、partial、步数、耗时和调用成本应联合报告。

AndroidWorld：动态设计与单次自报榜单相冲突

AndroidWorld 提供 116 个可参数化任务，覆盖 20 个真实 Android 应用。每个任务有初始化、成功检查和清理逻辑，官方社区榜单按 pass@1 排名；观察可为 screenshot、a11y tree 或两者组合 ^[6]。

参数动态生成本可测鲁棒性，但榜单 47 条记录全部是社区自报、未独立核验。当前有 5 个系统以 100.0% 并列第一；名义 Wilson 区间为 96.8%–100.0%（n = 116，三种观察设置混列，社区自报）^[8]。由于各提交实际实例与试验数未结构化公开，这个区间不能替代复现实验。

**编者观点：**AndroidWorld 没有被 100 分“解决”。应优先要求参数实例、随机种子、试验次数、失败轨迹与独立复现，再讨论排名。

WebArena：最终状态有效，但不等于纯视觉能力

WebArena 在自托管网站上设置 812 个长程任务。检查器读取数据库、API、页面或 URL 状态，再用 exact match、must include 或语义匹配判定成功 ^[7]。这种最终状态指标允许替代路径，但 exact match 可能漏掉语义等价答案，模型式匹配又引入 judge 误差。

观察可以是 DOM、截图或 a11y tree，动作可以按坐标或元素 ID。当前 48 条记录全部缺少结构化 setting，因此“网页任务能力”和“纯视觉 GUI 操作能力”无法分开。榜首 Narada AI Code 的任务成功率为 86.1%（95% CI：83.6%–88.3%，n = 812，设置未注明，榜单 Result Source 原文为 Narada AI Code）^[17]。

**编者观点：**WebArena 的主指标测到了功能完成，但未固定观察与动作表示。元素 ID 会把定位问题转成分类问题，不能与纯视觉坐标控制直接比较。

未跟踪但应保留在体系图中的对象

• Mind2Web / Online-Mind2Web：前者有 2,350 个离线任务，测参考轨迹上的下一步；后者有 300 个 live web 任务，主要由人工判断最终成功。Online-Mind2Web 对原数据抽查时发现 47% 已无效或轨迹过期，显示离线步骤准确率不能替代在线成功率 ^{[18] [19]}。
• VisualWebArena：910 个视觉网页任务，加入图像输入和视觉检查器，但仍可使用 SoM 与元素 ID。它补足 WebArena 的视觉语义，却没有消除动作表示混杂 ^[20]。
• AndroidControl：15,283 条人类演示、14,548 个唯一任务、833 个应用，适合研究离线数据规模与 OOD 泛化，不应和 AndroidWorld success rate 放在同一榜单。后续 Curated 版公开指出原版存在歧义和事实错误 ^{[21] [22]}。
• Windows Agent Arena：154 个 Windows 原生多步任务，以 execution-based reward 评测。它补足 OSWorld 的平台覆盖，但 UI tree、SoM 和高层 wrapper 同样会改变任务难度 ^[23]。

结果

头部差距多数小于可检测尺度

七个榜单的保守 MDE 分别为：ScreenSpot-Pro 5.0、ScreenSpot v2 5.6、OSWorld 10.4、OSWorld 2.0 19.1、OSWorld-G 8.3、AndroidWorld 18.4、WebArena 7.0 个百分点。相比之下，榜首—第二名差距依次为 0.1、0.2、4.2、0.1、3.2、0.0、11.8 个百分点；其中 OSWorld 的第一、二名分属“框架加代码动作”与“通用模型”，口径不同。

在每个 Benchmark 内对 Top-10 相邻名次做 Holm 校正后，ScreenSpot-Pro、ScreenSpot v2、OSWorld、OSWorld 2.0、OSWorld-G 和 AndroidWorld 都没有显著相邻差距。只有 WebArena 的第一—第二名差距仍可区分：11.8 个百分点，95% CI 为 7.9–15.6，Holm 校正 p < 0.000001。数字见 results/adjacent_comparisons.json。

排名模拟显示“榜首”常不是稳定名次

聚合近似下，ScreenSpot-Pro 榜首的 95% 排名区间为第 1–3，模拟榜首概率为 51.4%；ScreenSpot v2 为第 1–5，概率 45.2%；OSWorld 2.0 为第 1–7，概率 36.6%。OSWorld 为第 1–2，概率 95.2%；OSWorld-G 为第 1–2，概率 85.8%。WebArena 榜首在 2,000 次模拟中保持第一。

AndroidWorld 的五个 100.0% 条目是点估计并列。分析脚本将其共同标为第 1–5，不报告模拟榜首概率：模拟中并列条目随机打散，各自的榜首概率只反映并列本身，不代表能力差异。完整结果见 results/ranking_uncertainty.json。

来源类型会改变“谁是第一”

ScreenSpot-Pro、ScreenSpot v2、OSWorld 的当前榜首在排除 self_reported 后不变。OSWorld 2.0 的榜首从 44.4% 的 Darwinx w/ Claude Opus 4.8（模型方自报）变为 44.3% 的 Claude Opus 5（official）。AndroidWorld 排除 self_reported 后没有任何条目。WebArena Top-10 由 8 条 paper（按导出规则归类：Result Source 既非 Self-reported 也非 WebArena 团队）和 2 条 self_reported 构成，官方来源的最高分只有 14.9%；这更可能反映榜单时间与提交机制差异，不能直接解释成来源类型导致性能差异。

设置字段不足以支持公平排名

OSWorld 有 15 种设置，其中最大步数至少包含 15、30、50、100、150 五档；OSWorld 2.0 有 28 种设置，步数包含 150、300、450、500 四档。AndroidWorld 有三种观察设置。反过来，ScreenSpot-Pro 的 99 条、ScreenSpot v2 的 28 条、OSWorld-G 的 5 条和 WebArena 的 48 条记录全部未注明结构化设置。描述性计数见 results/source_and_settings.json。

饱和不是同一个概念

ScreenSpot v2 榜首离满分 4.7 个百分点，AndroidWorld 为 0.0，OSWorld 为 9.8，WebArena 为 13.9，ScreenSpot-Pro 为 14.9。OSWorld 2.0 与 OSWorld-G 分别还差 55.6 和 45.9 个百分点。AndroidWorld 同时出现五个 100.0% 并列，但这些条目全部是社区自报、未独立核验。静态定位题的高分、动态任务的自报满分和长程任务的低分，不能用同一种“饱和”解释。

讨论与局限

样本限制

本文只有聚合分，没有逐题预测、重复运行或失败轨迹。Wilson 区间、两比例检验和排名模拟都依赖二项近似。它们不能捕捉题目难度差异、共享题目带来的配对信息、环境随机性或同模型多次运行波动。AndroidWorld 的名义分母尤其不是逐提交的真实试验数。OSWorld 统一按 Verified 名义题集 361 题计算，个别条目的官方有效分母略小；本文核对的 claude-fable-5[1m]（有效分母 358）区间四舍五入后不变，其余条目没有逐条核对。

口径限制

榜单排序直接混合不同 setting。OSWorld 的步数、观察方式和代码动作，OSWorld 2.0 的版本、thinking 档位与 batch tool，都会改变可达分数。ScreenSpot-Pro、ScreenSpot v2、OSWorld-G 和 WebArena 又缺少结构化设置。本文的 Top-10 是“当前榜单顺序的统计审计”，不是同口径模型竞赛。

来源类型也不是可信度的充分条件。official 可能表示官方承载或统一复现；paper 可能有充分方法细节，也可能只给表格；self_reported 可能公开逐题预测，也可能没有。本文只描述构成，不估计来源偏差。

外推限制

单步定位分数不能外推到长程任务完成。自托管网页成功率不能直接外推到 live web。Ubuntu、Android 或 Windows 上的成绩也不能自动外推到其他平台。静态测试集上的提升只能说明对该评测分布的适配，不能在没有训练数据审计和逐题泄漏证据时称为“污染”。

最小报告协议

**编者观点：**GUI Agent 成绩至少应同时登记：

1. 题集名称、版本、样本数与排除规则；
2. 观察输入：截图、分辨率、缩放、a11y、DOM、SoM；
3. 动作接口：坐标、元素 ID、高层 wrapper、代码执行权限；
4. 最大步数、时间、token、模型调用与工具调用预算；
5. 重试次数、随机种子、参数实例和聚合方式；
6. 检查器类型、人工复核范围与已知误判率；
7. 分数来源类型、是否由 Benchmark 团队独立复现；
8. 总分、关键子项、95% 区间和逐题结果下载地址。

缺少题集版本、最大步数、观察方式或复现状态的成绩，应标为“参考结果”，不进入严格排名。OSWorld-Verified 可作为当前主线；OSWorld 2.0 作为长程前瞻。AndroidWorld 的 100 分并列必须持续显示“社区自报、未独立核验”。