DynamicMCPBench: A Trace-Grounded, Effect-Scored Benchmark for LLM Agents over Live MCP Servers(在新窗口打开)
可复用框架在真实 MCP 上按效果检查点而非最终答案评分,暴露长工具链任务普遍失败。
- 提出可在你方 MCP 与任务上重跑的 benchmark 框架,非固定数据集
- 从成功轨迹蒸馏路径无关的效果检查点,以 pass^3 评估是否复现效果
- 大规模实验显示最强 agent 约解一半任务,工具链越长准确率显著下降