SWE-bench Verified
500 个经人工筛查的真实 GitHub issue 修复任务;本站展示统一 mini-SWE-agent 口径。
收录成绩1313 个模型或系统
当前第一76.8Claude 4.5 Opus(high,mini-SWE-agent 2.0.0)
指标解决率通过容器测试并解决任务的实例比例(%)
最近同步10-19 14:311 个数据源 · 仓库级软件修复
排名表
显示 13 / 13
| 模型 | 机构 | 参数 | 开源 | 评测设置 | 来源 | 备注 | |||
|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude 4.5 Opus(high,mini-SWE-agent 2.0.0) | Anthropic | — | — | 76.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,Agent=mini-SWE-agent、Release=2.0.0,访问于 2026-10-19;来源发布日期:2026-02-17;SWE-bench 团队统一运行;500 题;minimal bash 环境;high。 |
| 2 | Gemini 3 Flash(high,mini-SWE-agent 2.0.0) | — | — | 75.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 2 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 | |
| 2 | MiniMax M2.5(high,mini-SWE-agent 2.0.0) | MiniMax | — | — | 75.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 3 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 4 | Claude 4.6 Opus(mini-SWE-agent 2.0.0) | Anthropic | — | — | 75.6 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 4 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash。 |
| 5 | GLM 5(high,mini-SWE-agent 2.0.0) | Z.ai | — | — | 72.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 5 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 5 | GPT-5.2 Codex(mini-SWE-agent 2.0.0) | OpenAI | — | — | 72.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 7 项;来源发布日期:2026-02-19;团队统一运行;500 题;minimal bash。 |
| 5 | GPT-5.2(high,mini-SWE-agent 2.0.0) | OpenAI | — | — | 72.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 6 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 8 | Claude 4.5 Sonnet(high,mini-SWE-agent 2.0.0) | Anthropic | — | — | 71.4 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 8 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 9 | Kimi K2.5(high,mini-SWE-agent 2.0.0) | Moonshot AI | — | — | 70.8 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 9 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 10 | DeepSeek V3.2(high,mini-SWE-agent 2.0.0) | DeepSeek | — | — | 70.0 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 10 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 11 | Gemini 3 Pro(high,mini-SWE-agent 2.0.0) | — | — | 69.6 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 11 项;来源发布日期:2026-02-26;团队统一运行;500 题;minimal bash;high。 | |
| 12 | Claude 4.5 Haiku(high,mini-SWE-agent 2.0.0) | Anthropic | — | — | 66.6 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 12 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash;high。 |
| 13 | GPT-5 mini(mini-SWE-agent 2.0.0) | OpenAI | — | — | 56.2 | — | 官方榜单 | 2026-10-19 | 定位:官方 Verified 榜单,同一筛选,第 13 项;来源发布日期:2026-02-17;团队统一运行;500 题;minimal bash。 |
榜单说明
第 3 批接入- 指标
- 解决率:通过容器测试并解决任务的实例比例(%)(越高越好)
- 数据源
- 来源类型
- 官方榜单 13
分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。
更新记录
0 条首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。