Quantifying infrastructure noise in agentic coding evals
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告在 Terminal-Bench 2.0 上对六种资源 enforcement 做对照，报告成功率与基础设施错误率及统计检验，并在 SWE-bench 上变 RAM 做交叉实验，属代理编码评测基础设施方法学分析。
关键要点
- 该文在 GKE 上运行 Terminal-Bench 2.0，在六种资源配置下保持同一 Claude 模型、同一 harness 与同一任务集。
- 基础设施错误率随资源 headroom 单调下降，严格 enforcement 时为 5.8%，完全无上限时为 0.5%。
- 从严格 enforcement 到 3x headroom，基础设施错误率从 5.8% 降至 2.1%。
- 无上限资源相对 1x 的总成功率提升为 +6 个百分点（p < 0.01）。
- 从 1x 到 3x，成功率波动处于噪声边际内（p=0.40）。
- SWE-bench 上将总可用 RAM 增至基线 5x 时，分数较 1x 仅高 1.54 个百分点。