GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents(在新窗口打开)
提出 GAUGE 协议,揭示 LLM 用户仿真+Judge 门控与可验证奖励错位及近邻 Agent 分辨力不足。
- 可复用离线协议 GAUGE,分离排序有效性与构念有效性
- 满意度与任务成功几乎无关,盲评满意对话中多数仍任务失败
- 提出 calibrate-then-trust,用无 Judge 完成位作截断回归零成本检测