第 1 名
OpenAI o3(Multi-Agent)
5.1官方榜单
200 题宽域检索与表格整理,以 SR Avg@4 成功率(%)为总分;官方榜单停在 2025 年 8 月。
第 1 名
OpenAI o3(Multi-Agent)
第 2 名
OpenAI o3(Single Agent)
第 3 名
Gemini 2.5 Pro(E2E System)
排名表
| 成功率 | Row F1 | Item F1 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 模型 | 机构 | 来源 | 备注 | ||||||||
| 1 | OpenAI o3(Multi-Agent) | OpenAI | 5.1 | 9.5 | 37.8 | 50.5 | 57.3 | 68.9 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 1 名,访问于 2026-10-27;来源发布日期:2025-08-28;总分=Success Rate Avg@4(%);作者统一评测,4 次独立运行取均值。 |
| 2 | OpenAI o3(Single Agent) | OpenAI | 4.5 | 9.0 | 34.0 | 44.1 | 52.6 | 62.3 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 2 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 3 | Gemini 2.5 Pro(E2E System) | 4.3 | 8.0 | 36.6 | 45.4 | 59.1 | 67.2 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 3 名,访问于 2026-10-27;来源发布日期:2025-08-28 | |
| 4 | Claude Sonnet 4 (Thinking)(Multi-Agent) | Anthropic | 3.6 | 6.5 | 38.5 | 52.2 | 62.2 | 73.1 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 4 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 5 | Kimi K2(Multi-Agent) | Moonshot AI | 3.0 | 6.5 | 36.2 | 49.6 | 61.2 | 70.7 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 5 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 5 | OpenAI o3(E2E System) | OpenAI | 3.0 | 5.5 | 23.9 | 36.0 | 45.5 | 56.5 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 6 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 7 | Doubao-Seed-1.6 (Thinking)(Single Agent) | ByteDance | 2.6 | 5.0 | 30.0 | 44.1 | 48.3 | 63.9 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 7 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 8 | Claude Sonnet 4 (Thinking)(E2E System) | Anthropic | 2.5 | 5.0 | 24.1 | 33.5 | 48.4 | 58.5 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 9 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 8 | Doubao-1.6(Multi-Agent) | ByteDance | 2.5 | 5.5 | 34.0 | 48.9 | 54.6 | 69.7 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 8 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 10 | Claude Sonnet 4 (Thinking)(Single Agent) | Anthropic | 2.3 | 5.0 | 31.7 | 41.9 | 57.9 | 66.7 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 10 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 11 | Doubao-Seed-1.6 (Non-Thinking)(Multi-Agent) | ByteDance | 2.1 | 4.5 | 29.7 | 42.7 | 52.8 | 65.1 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 11 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 12 | Gemini 2.5 Pro(Multi-Agent) | 2.0 | 6.5 | 33.5 | 44.6 | 57.4 | 66.3 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 12 名,访问于 2026-10-27;来源发布日期:2025-08-28 | |
| 13 | Gemini 2.5 Pro(Single Agent) | 1.5 | 5.0 | 30.0 | 41.4 | 51.0 | 63.6 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 13 名,访问于 2026-10-27;来源发布日期:2025-08-28 | |
| 14 | Kimi K2(Single Agent) | Moonshot AI | 1.1 | 3.5 | 29.7 | 41.4 | 54.4 | 65.1 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 14 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 15 | Doubao-Seed-1.6 (Non-Thinking)(Single Agent) | ByteDance | 1.0 | 3.5 | 27.2 | 39.9 | 49.0 | 62.0 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 15 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 16 | DeepSeek-R1(Multi-Agent) | DeepSeek | 0.8 | 3.0 | 22.9 | 36.6 | 44.3 | 60.3 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 16 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
| 17 | DeepSeek-R1(Single Agent) | DeepSeek | 0.4 | 1.5 | 20.7 | 31.7 | 41.3 | 55.1 | 官方榜单 | 2026-10-28 | 定位:Leaderboard 表按 SR Avg@4 降序第 17 名,访问于 2026-10-27;来源发布日期:2025-08-28 |
榜单说明
第 6 批接入官方项目页 Leaderboard 于 2026-10-27 访问;收录作者统一评测的 17 条结果(Single / Multi-Agent / E2E 三种设置分列),按 SR(Avg@4)降序全收。总分为 SR Avg@4(%),分项含 Pass@4、Row/Item F1 的 Avg@4 与 Max@4。页面未见 2026 年更新,与论文 arXiv:2508.07999(2025-08-28)一致;published_at 统一用论文公告日。
分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。
更新记录
0 条首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。