The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs(在新窗口打开)
提出开放域反事实因果推理基准 WhatIfBench 与 PRISM 评测框架,最强模型仅约 64.62%。
- WhatIfBench:220 道 what-if 题,覆盖 STEM/HSS/混合开放长程反事实推理
- PRISM:将自由回答转为语义因果图,联合过程指标与 rubric 指标评测
- 揭示因果缺口、前提漂移与拓扑碎片化,流畅叙事常掩盖脆弱因果过程