第 1 名
MopenHands + Gemini-2.5-Pro
21.6官方榜单
含 Python 在内 8 个语言区、2132 个 issue 修复实例;取官方 Overall resolved rate 前 20,官方榜单停在 2025 年 4 月。
第 1 名
MopenHands + Gemini-2.5-Pro
第 2 名
MopenHands + Claude-3.7-Sonnet
第 3 名
MagentLess + Gemini-2.5-Pro
排名表
| 难度 | ||||||||
|---|---|---|---|---|---|---|---|---|
| 模型 | 来源 | 备注 | ||||||
| 1 | MopenHands + Gemini-2.5-Pro | 21.6 | 39.1 | 22.3 | 5.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 1 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 2 | MopenHands + Claude-3.7-Sonnet | 19.3 | 35.2 | 20.6 | 3.7 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 2 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 3 | MagentLess + Gemini-2.5-Pro | 18.0 | 34.5 | 18.1 | 3.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 3 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 4 | MSWE-agent + Claude-3.7-Sonnet | 17.2 | 32.6 | 17.7 | 3.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 4 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 5 | MagentLess + OpenAI-o1 | 16.2 | 31.7 | 16.7 | 2.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 5 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 6 | MagentLess + Doubao-1.5-thinking | 15.2 | 31.0 | 14.7 | 2.3 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 6 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 6 | MopenHands + Claude-3.5-Sonnet(Oct) | 15.2 | 28.4 | 16.1 | 2.6 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 7 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 8 | MSWE-agent + Gemini-2.5-Pro | 14.6 | 27.1 | 15.6 | 2.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 8 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 9 | MagentLess + DeepSeek-R1 | 14.4 | 28.5 | 14.7 | 1.7 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 9 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 10 | MagentLess + Claude-3.7-Sonnet | 14.3 | 30.5 | 13.5 | 1.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 10 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 11 | MagentLess + OpenAI-o3-mini-high | 13.7 | 29.8 | 12.6 | 1.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 11 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 12 | MagentLess + Claude-3.5-Sonnet(Oct) | 13.6 | 29.4 | 12.4 | 1.4 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 12 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 12 | MagentLess + Llama-4-Maverick | 13.6 | 30.5 | 12.1 | 0.9 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 13 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 14 | MagentLess + DeepSeek-V3 | 13.2 | 27.1 | 12.8 | 1.7 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 14 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 15 | MopenHands + Doubao-1.5-thinking | 11.5 | 24.3 | 10.0 | 2.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 15 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 16 | MagentLess + GPT-4o-1120 | 11.4 | 25.2 | 10.3 | 0.9 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 16 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 17 | MSWE-agent + Claude-3.5-Sonnet(Oct) | 11.2 | 20.4 | 12.0 | 2.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 17 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 18 | MSWE-agent + OpenAI-o1 | 11.1 | 20.6 | 11.5 | 2.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 18 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 19 | MSWE-agent + OpenAI-o3-mini-high | 10.7 | 22.5 | 9.6 | 2.1 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 19 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-03-29;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
| 20 | MSWE-agent + Doubao-1.5-thinking | 10.5 | 20.6 | 10.5 | 1.5 | 官方榜单 | 2026-10-28 | 定位:官方 Leaderboard Overall 降序第 20 名(leaderboard.json 聚合),访问于 2026-10-27;来源发布日期:2025-04-26;Full 榜 Overall % Resolved(Pass@1、无 hints);七语言合计 2132 实例。 |
榜单说明
第 6 批接入转录官方 Full 榜(访问于 2026-10-27):分数由 experiments 仓库 leaderboard.json 按站点 aggregateModelResults 逻辑聚合为 Overall/Easy/Medium/Hard 四项 resolved rate(×100 为百分制),与页面默认排序一致;Overall 只含覆盖全部 8 个语言区的提交,分母为聚合后的实例总数(2132),2025 年 9 月以后只覆盖单一语言的新提交不进入 Overall;模型列为「Agent 框架 + 基座模型」。按 Overall 降序连续取前 20 名;published_at 取 JSON 聚合后的 date 字段。
分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。
更新记录
0 条首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。