搜索Ctrl K
  • 榜单数据10-28 11:35
  • 论文数据10-29 13:30
  • 周报10-26 15:29
收录成绩1717 个模型或系统
当前第一5.1OpenAI o3(Multi-Agent)
指标成功率 Avg@4Success Rate 四次独立运行均值(%),需与标准答案表完全匹配
数据时效人工整理整理于 2026-10-27 · 3 个数据源

第 3 名

Gemini 2.5 Pro(E2E System)

Google

排名表

显示 17 / 17
成功率Row F1Item F1
模型机构来源备注
1OpenAI o3(Multi-Agent)OpenAI5.19.537.850.557.368.9官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 1 名,访问于 2026-10-27;来源发布日期:2025-08-28;总分=Success Rate Avg@4(%);作者统一评测,4 次独立运行取均值。
2OpenAI o3(Single Agent)OpenAI4.59.034.044.152.662.3官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 2 名,访问于 2026-10-27;来源发布日期:2025-08-28
3Gemini 2.5 Pro(E2E System)Google4.38.036.645.459.167.2官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 3 名,访问于 2026-10-27;来源发布日期:2025-08-28
4Claude Sonnet 4 (Thinking)(Multi-Agent)Anthropic3.66.538.552.262.273.1官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 4 名,访问于 2026-10-27;来源发布日期:2025-08-28
5Kimi K2(Multi-Agent)Moonshot AI3.06.536.249.661.270.7官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 5 名,访问于 2026-10-27;来源发布日期:2025-08-28
5OpenAI o3(E2E System)OpenAI3.05.523.936.045.556.5官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 6 名,访问于 2026-10-27;来源发布日期:2025-08-28
7Doubao-Seed-1.6 (Thinking)(Single Agent)ByteDance2.65.030.044.148.363.9官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 7 名,访问于 2026-10-27;来源发布日期:2025-08-28
8Claude Sonnet 4 (Thinking)(E2E System)Anthropic2.55.024.133.548.458.5官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 9 名,访问于 2026-10-27;来源发布日期:2025-08-28
8Doubao-1.6(Multi-Agent)ByteDance2.55.534.048.954.669.7官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 8 名,访问于 2026-10-27;来源发布日期:2025-08-28
10Claude Sonnet 4 (Thinking)(Single Agent)Anthropic2.35.031.741.957.966.7官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 10 名,访问于 2026-10-27;来源发布日期:2025-08-28
11Doubao-Seed-1.6 (Non-Thinking)(Multi-Agent)ByteDance2.14.529.742.752.865.1官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 11 名,访问于 2026-10-27;来源发布日期:2025-08-28
12Gemini 2.5 Pro(Multi-Agent)Google2.06.533.544.657.466.3官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 12 名,访问于 2026-10-27;来源发布日期:2025-08-28
13Gemini 2.5 Pro(Single Agent)Google1.55.030.041.451.063.6官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 13 名,访问于 2026-10-27;来源发布日期:2025-08-28
14Kimi K2(Single Agent)Moonshot AI1.13.529.741.454.465.1官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 14 名,访问于 2026-10-27;来源发布日期:2025-08-28
15Doubao-Seed-1.6 (Non-Thinking)(Single Agent)ByteDance1.03.527.239.949.062.0官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 15 名,访问于 2026-10-27;来源发布日期:2025-08-28
16DeepSeek-R1(Multi-Agent)DeepSeek0.83.022.936.644.360.3官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 16 名,访问于 2026-10-27;来源发布日期:2025-08-28
17DeepSeek-R1(Single Agent)DeepSeek0.41.520.731.741.355.1官方榜单2026-10-28定位:Leaderboard 表按 SR Avg@4 降序第 17 名,访问于 2026-10-27;来源发布日期:2025-08-28

榜单说明

第 6 批接入

官方项目页 Leaderboard 于 2026-10-27 访问;收录作者统一评测的 17 条结果(Single / Multi-Agent / E2E 三种设置分列),按 SR(Avg@4)降序全收。总分为 SR Avg@4(%),分项含 Pass@4、Row/Item F1 的 Avg@4 与 Max@4。页面未见 2026 年更新,与论文 arXiv:2508.07999(2025-08-28)一致;published_at 统一用论文公告日。

指标
  • 成功率 Avg@4:Success Rate 四次独立运行均值(%),需与标准答案表完全匹配(越高越好)
子项
成功率SR Pass@4Row F1Row F1 Avg@4Row F1 Max@4Item F1Item F1 Avg@4Item F1 Max@4
数据源
来源类型
官方榜单 17

分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。

更新记录

0 条

首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。