第 1 名
Muse Spark
82.2第三方复现
在 36 个真实 MCP 服务器、自然语言任务上评测多步跨服工具调用,以 claim 覆盖率阈值下的通过率与平均覆盖率计分。
部分条目由管线从新发表的论文中发现,经独立的 AI 核查后自动并入(备注中注明),未经人工逐条审核;分数以原文为准。
第 1 名
Muse Spark
第 2 名
Claude Opus 4.7
第 3 名
Gemini 3.1 Pro Preview
排名表
| 分项 | 覆盖率阈值 | |||||||
|---|---|---|---|---|---|---|---|---|
| 模型 | 来源 | 备注 | ||||||
| 1 | Muse Spark | 82.2 | 86.2 | 89.6 | 71.2 | 第三方复现 | 2026-10-26 | 定位:Table 8,Muse Spark 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 2 | Claude Opus 4.7 | 79.1 | 83.8 | 89.5 | 63.2 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Opus 4.7 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 3 | Gemini 3.1 Pro Preview | 78.2 | 83.9 | 90.6 | 61.8 | 第三方复现 | 2026-10-26 | 定位:Table 8,Gemini 3.1 Pro Preview 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 4 | Claude Opus 4.6 | 76.8 | 82.7 | 88.6 | 61.1 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Opus 4.6 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 5 | GLM-5.1 | 75.6 | 81.8 | 88.5 | 59.0 | 第三方复现 | 2026-10-26 | 定位:Table 8,GLM-5.1 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 6 | GPT-5.5 | 75.3 | 82.1 | 90.2 | 56.4 | 第三方复现 | 2026-10-26 | 定位:Table 8,GPT-5.5 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 7 | GPT-5.4 | 70.6 | 78.5 | 87.2 | 48.9 | 第三方复现 | 2026-10-26 | 定位:Table 8,GPT-5.4 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 8 | Gemini 3 Pro Preview | 70.3 | 79.0 | 85.9 | 52.7 | 第三方复现 | 2026-10-26 | 定位:Table 8,Gemini 3 Pro Preview 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 9 | Claude Opus 4.5 | 69.8 | 76.9 | 82.4 | 53.9 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Opus 4.5 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 10 | Claude Sonnet 4.6 | 69.5 | 78.0 | 84.1 | 55.0 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Sonnet 4.6 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 11 | GPT-5.2 | 67.6 | 75.5 | 81.4 | 50.6 | 第三方复现 | 2026-10-26 | 定位:Table 8,GPT-5.2 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 12 | Kimi K2.5 | 64.4 | 72.5 | 78.6 | 47.9 | 第三方复现 | 2026-10-26 | 定位:Table 8,Kimi K2.5 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 13 | Gemini 3 Flash Preview | 62.0 | 72.0 | 78.2 | 47.5 | 第三方复现 | 2026-10-26 | 定位:Table 8,Gemini 3 Flash Preview 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 14 | Claude Sonnet 4.5 | 59.5 | 69.7 | 75.7 | 45.0 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Sonnet 4.5 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 15 | GLM-4.7 | 58.1 | 68.5 | 74.1 | 43.7 | 第三方复现 | 2026-10-26 | 定位:Table 8,GLM-4.7 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 16 | Gemini 3.1 Flash Lite Preview | 57.1 | 68.6 | 75.1 | 40.2 | 第三方复现 | 2026-10-26 | 定位:Table 8,Gemini 3.1 Flash Lite Preview 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 17 | GPT-5.4 Mini | 56.7 | 68.2 | 76.8 | 36.4 | 第三方复现 | 2026-10-26 | 定位:Table 8,GPT-5.4 Mini 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 18 | GPT-5.1 | 50.1 | 61.5 | 66.6 | 35.3 | 第三方复现 | 2026-10-26 | 定位:Table 8,GPT-5.1 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 19 | o3 Pro | 44.5 | 54.2 | 58.4 | 31.6 | 第三方复现 | 2026-10-26 | 定位:Table 8,o3 Pro 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
| 20 | Claude Haiku 4.5 | 40.2 | 51.7 | 55.8 | 27.1 | 第三方复现 | 2026-10-26 | 定位:Table 8,Claude Haiku 4.5 行;来源发布日期:2026-02-03;经 AI 核查自动并入(2026-10-26);表中为 0–1 小数,已换算为百分制 |
榜单说明
第 5 批接入本榜单由管线根据论文 arXiv:2602.00933 的 Table 8 自动整理,经独立的 AI 核查后上线(开发计划 D20),未经人工逐条审核;条目为论文作者统一评测的结果,分数以原文为准。
分数取自数据源原文;同一模型在不同评测设置或不同来源下分别列出,来源冲突时全部保留并标注来源类型。
更新记录
0 条首次同步作为基线,之后新上榜、分数变化和移除的条目会记录在这里。