AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling(在新窗口打开)
首个系统评测 LLM 评判者在工具调用 DAG 工作流上可靠性的基准,揭示难度与天花板。
- 3808例、六种DAG拓扑与三档难度的Agent评判数据集
- 多生成器与多规模评判者在有/无真值下的对齐分析
- 给出结构化rubric等缓解策略与评测实践建议
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新:2026-10-16 13:30
这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。
共 14 篇
首个系统评测 LLM 评判者在工具调用 DAG 工作流上可靠性的基准,揭示难度与天花板。
为 VLA 引入 Retry/Reset,用扰动演示与 MLLM 分析 OOD 失败并调度复位技能,提升接触丰富任务成功率。
MedREAL 用 SARP 从 [SEG] 隐状态抽推理证据,R2V 注入分割头,文本诊断与证据 mask 一致。
在严格对照的310M双语模型上,伴学语言会系统性改变英语概念在隐层中的语义位置。
发布 2700 张古文物文字识别基准与介质定制标注规范,系统评测显示该任务仍未被现有模型很好解决。
FMF 与 GACA 增强 DCT 低频与图文对齐,并用 GPT-4o 构建 SynMed-VQA,小模型达 competitive 性能。
元级同时优化攻击策略提示与攻击者权重,在 MM-SafetyBench 上显著提升对前沿 VLM 的 jailbreak 成功率。
PRISM 将人设保真度评测改为 SFL 三维结构化逆推理,比整体式 LLM 评判更准更稳。
提出按输入生成评价维度与权重的成对奖励模型,在文生图与指令编辑评测上优于现有专用奖励模型。
机器人-centric 框架含数据集、层次语义-声学对齐与扩散运动生成,在 Unitree G1 上实现更安全、同步的手势响应。
Echo-GRPO 将教师离策略轨迹改写为学生 idiolect 再蒸馏,VideoEcho-R1 在多视频基准上稳定提升。
将步骤建模为层次依赖图,结合 MLLM 解读第一视角执行,识别错误类型并给出恢复干预。
首个系统基准,评测 LLM 智能体能否基于长期可穿戴信号预测 wellbeing 并给出证据化理由。
提出 Image Bundle Composition 范式与 BundleWeaver,用 LLM 补关系角色、VLM 验整束,优于原子打分检索。
没有符合条件的论文。