搜索Ctrl K
  • 榜单数据10-28 11:35
  • 论文数据10-29 13:30
  • 周报10-26 15:29
收录成绩2020 个模型或系统
当前第一21.6MopenHands + Gemini-2.5-Pro
指标Overall % Resolved全部语言实例上测试通过的比例(%,Pass@1)
数据时效人工整理整理于 2026-10-27 · 2 个数据源

排名表

显示 20 / 20
难度
模型来源备注
1MopenHands + Gemini-2.5-Pro21.639.122.35.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 1 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
2MopenHands + Claude-3.7-Sonnet19.335.220.63.7官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 2 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
3MagentLess + Gemini-2.5-Pro18.034.518.13.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 3 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
4MSWE-agent + Claude-3.7-Sonnet17.232.617.73.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 4 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
5MagentLess + OpenAI-o116.231.716.72.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 5 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
6MagentLess + Doubao-1.5-thinking15.231.014.72.3官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 6 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
6MopenHands + Claude-3.5-Sonnet(Oct)15.228.416.12.6官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 7 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
8MSWE-agent + Gemini-2.5-Pro14.627.115.62.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 8 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
9MagentLess + DeepSeek-R114.428.514.71.7官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 9 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
10MagentLess + Claude-3.7-Sonnet14.330.513.51.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 10 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
11MagentLess + OpenAI-o3-mini-high13.729.812.61.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 11 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
12MagentLess + Claude-3.5-Sonnet(Oct)13.629.412.41.4官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 12 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
12MagentLess + Llama-4-Maverick13.630.512.10.9官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 13 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
14MagentLess + DeepSeek-V313.227.112.81.7官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 14 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
15MopenHands + Doubao-1.5-thinking11.524.310.02.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 15 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
16MagentLess + GPT-4o-112011.425.210.30.9官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 16 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
17MSWE-agent + Claude-3.5-Sonnet(Oct)11.220.412.02.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 17 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
18MSWE-agent + OpenAI-o111.120.611.52.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 18 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
19MSWE-agent + OpenAI-o3-mini-high10.722.59.62.1官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 19 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。
20MSWE-agent + Doubao-1.5-thinking10.520.610.51.5官方榜单2026-10-28定位:官方 Leaderboard Overall 降序第 20 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。

榜单说明

第 6 批接入

转录官方 Full 榜(访问于 2026-10-27):分数由 experiments 仓库 leaderboard.json 按站点 aggregateModelResults 逻辑聚合为 Overall/Easy/Medium/Hard 四项 resolved rate(×100 为百分制),与页面默认排序一致;Overall 只含覆盖全部 8 个语言区的提交,分母为聚合后的实例总数(2132),2025 年 9 月以后只覆盖单一语言的新提交不进入 Overall;模型列为「Agent 框架 + 基座模型」。按 Overall 降序连续取前 20 名;published_at 取 JSON 聚合后的 date 字段。

指标
  • Overall % Resolved:全部语言实例上测试通过的比例(%,Pass@1)(越高越好)
子项
难度EasyMediumHard
数据源
来源类型
官方榜单 20

分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。

更新记录

0 条

首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。