第 1 名
Qwen3.5-397B-A17B
87.9官方榜单
τ²-bench
双控制客服工具交互基准；三域 Pass^1 均值为总分，转录 taubench.com τ² 榜。
收录成绩1918 个模型或系统
当前第一87.9Qwen3.5-397B-A17B
指标Pass^1单次试验任务成功率（%）；总分为 retail、airline、telecom 三域 Pass^1 未加权平均
数据时效人工整理整理于 2026-10-22 · 3 个数据源
第 2 名
Gemini 3.0 Pro
85.4官方榜单
第 3 名
Claude Opus 4.5
85.3官方榜单
排名表
显示 19 / 19
| 领域 | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| 模型 | 机构 | 来源 | 备注 | ||||||
| 1 | Qwen3.5-397B-A17B | Alibaba Cloud | 87.9 | 84.4 | 81.5 | 97.8 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 1 位，访问于 2026-10-22；来源发布日期：2026-03-02；提交目录 qwen3.5-397b-a17b-think_sierra_2026-03-02；user simulator=gpt-5.2；reasoning=enabled；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 2 | Gemini 3.0 Pro | 85.4 | 85.3 | 73.0 | 98.0 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 2 位，访问于 2026-10-22；来源发布日期：2025-11-18；提交目录 gemini-3-pro_google_2025-11-18；user simulator=Gemini-3.0-Pro；reasoning=未说明；tau2 版本=v0.1.3。官方 submission 标注 modified_prompts=true（与标准 Sierra 脚手架不完全一致）。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 | |
| 3 | Claude Opus 4.5 | Anthropic | 85.3 | 79.6 | 84.0 | 92.3 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 3 位，访问于 2026-10-22；来源发布日期：2026-02-26；提交目录 claude-opus-4-5_sierra_2026-02-26；user simulator=gpt-5.2；reasoning=high；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 4 | GPT-5.2 (reasoning high) | OpenAI | 84.8 | 81.6 | 83.0 | 89.7 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 4 位，访问于 2026-10-22；来源发布日期：2026-02-26；提交目录 gpt-5-2_sierra_2026-02-26；user simulator=gpt-5.2；reasoning=high；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 5 | Claude-Sonnet-4.5 | Anthropic | 84.7 | 86.2 | 70.0 | 98.0 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 5 位，访问于 2026-10-22；来源发布日期：2025-09-29；提交目录 claude-sonnet-4-5_anthropic_2025-10-02；user simulator=None；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 6 | Gemini 3 Flash | 83.5 | 76.8 | 82.5 | 91.2 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 6 位，访问于 2026-10-22；来源发布日期：2026-03-02；提交目录 gemini-3-flash_sierra_2026-03-02；user simulator=gpt-5.2；reasoning=high；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 | |
| 7 | Gemini 3 Pro | 82.5 | 75.9 | 80.5 | 91.0 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 7 位，访问于 2026-10-22；来源发布日期：2026-03-02；提交目录 gemini-3-pro_sierra_2026-03-02；user simulator=gpt-5.2；reasoning=high；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 | |
| 8 | Qwen3-Max-Thinking | Qwen | 82.2 | 79.4 | 69.0 | 98.3 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 8 位，访问于 2026-10-22；来源发布日期：2026-01-26；提交目录 qwen3-max_qwen_2026-01-23；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=v0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 9 | GLM-5 | Zhipu AI | 81.0 | 73.7 | 82.5 | 86.8 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 9 位，访问于 2026-10-22；来源发布日期：2026-03-02；提交目录 glm-5-think_sierra_2026-03-02；user simulator=gpt-5.2；reasoning=enabled；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 10 | DeepSeek-V3.2 | DeepSeek | 80.4 | 81.1 | 63.8 | 96.2 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 10 位，访问于 2026-10-22；来源发布日期：2025-12-01；提交目录 deepseek-v3.2_deepseek_2025-12-01；user simulator=DeepSeek-V3.2；reasoning=未说明；tau2 版本=v0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 11 | GPT-5 | OpenAI | 80.0 | 81.6 | 62.5 | 95.8 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 11 位，访问于 2026-10-22；来源发布日期：2025-10-02；提交目录 gpt-5_sierra_2025-08-09；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 12 | Claude Sonnet 4.5 | Anthropic | 76.4 | 72.4 | 72.0 | 84.9 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 12 位，访问于 2026-10-22；来源发布日期：2026-02-26；提交目录 claude-sonnet-4-5_sierra_2026-02-26；user simulator=gpt-5.2；reasoning=enabled；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 13 | Qwen3-Max | Qwen | 72.0 | 72.2 | 59.5 | 84.2 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 13 位，访问于 2026-10-22；来源发布日期：2024-09-23；提交目录 qwen3-max_qwen_2024_09_23；user simulator=None；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 14 | Kimi-k2 | Moonshot AI | 64.3 | 70.6 | 56.5 | 65.8 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 14 位，访问于 2026-10-22；来源发布日期：2025-07-28；提交目录 kimi-k2_moonshot-ai_2025-07-11；user simulator=None；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 15 | Claude-3.7-Sonnet | Anthropic | 61.8 | 72.1 | 64.2 | 49.0 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 15 位，访问于 2026-10-22；来源发布日期：2025-06-09；提交目录 claude-3-7-sonnet_anthropic_2024-06-20；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 16 | GPT-5.2 (reasoning none) | OpenAI | 61.6 | 75.0 | 52.5 | 57.2 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 16 位，访问于 2026-10-22；来源发布日期：2026-02-26；提交目录 gpt-5-2-none_sierra_2026-02-26；user simulator=gpt-5.2；reasoning=none；tau2 版本=1.0.1。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 17 | o4-mini | OpenAI | 56.9 | 68.3 | 52.1 | 50.2 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 17 位，访问于 2026-10-22；来源发布日期：2025-06-09；提交目录 o4-mini_openai_2024-06-20；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 18 | GPT-4.1 | OpenAI | 54.7 | 74.0 | 56.0 | 34.0 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 18 位，访问于 2026-10-22；来源发布日期：2025-06-09；提交目录 gpt-4-1_openai_2024-06-20；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
| 19 | GPT-4.1-mini | OpenAI | 53.0 | 61.4 | 48.7 | 48.9 | 官方榜单 | 2026-10-22 | 定位：τ²-bench（core）Overall Pass^1 排名第 19 位，访问于 2026-10-22；来源发布日期：2025-06-09；提交目录 gpt-4-1-mini_openai_2024-06-20；user simulator=gpt-4.1-2025-04-14；reasoning=未说明；tau2 版本=0.1.3。 总分=retail、airline、telecom 三域 Pass^1 未加权平均（与 taubench.com Leaderboard.jsx 一致）。 |
榜单说明
第 4 批接入τ²-bench（Sierra / τ-bench 系列）在零售、航空、电信三类客服场景中评测文本智能体：智能体需遵循领域策略、调用工具，并在 双控制（dual-control） 设定下与用户协作——用户也可通过工具改变环境状态（电信域尤为典型）。任务奖励通常为 Pass^k（至少 k 次独立试验中成功一次）；官方 τ² core 榜以 Pass^1 排序。
数据规模（论文 Table 1 摘要）：retail 115 任务、airline 50 任务、telecom 114 任务；各域附带合成用户/订单/线路等数据库与读写工具集。官方 UI 中 Overall 为 retail、airline、telecom 三域 Pass^1 的未加权平均（不含 τ³-Banking 知识检索域）。
本站静态表按上述 Overall 分数降序收录 manifest 中全部具备三域 Pass^1 的标准（standard）提交（含 legacy 目录中仍展示的条目），分数与 web/leaderboard/public/submissions/*/submission.json 一致，来源页面为 taubench.com τ²-bench（benchmark=core）。同一模型不同 user simulator、reasoning 或脚手架设置为不同提交时保留为独立条目。
- 指标
- Pass^1：单次试验任务成功率（%）；总分为 retail、airline、telecom 三域 Pass^1 未加权平均（越高越好）
- 子项
- 领域RetailAirlineTelecom
- 数据源
- τ-bench 官方 τ²-bench（core）榜单（在新窗口打开）（官方榜单）
- τ²-bench 官方仓库（在新窗口打开）（官方仓库）
- τ²-bench 论文（在新窗口打开）（论文或项目页）
- 来源类型
- 官方榜单 19
分数取自数据源原文；同一模型在不同评测设置或不同来源下分别列出，来源冲突时全部保留并标注来源类型。
更新记录
0 条首次同步作为基线，之后新上榜、分数变化和移除的条目会记录在这里。