GUI-GenBench: Evaluating Image Generation Models as Interactive GUI Environments
本条目由 AI 按收录标准筛选与撰写,经独立的 AI 核查在原文中逐条找到依据,未经人工审核;数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 论文,提出 GUI 生成评测基准 GUI-GenBench 与基于 VLM 的五维 rubric 指标 GUI-Score,覆盖单步、多步、虚构应用、真实轨迹与坐标 grounding 等任务,并对商业与开源图像生成模型进行生成与 VLM 裁判评测。
关键要点
- GUI-GenBench 含 700 个 curated samples,跨越五类 task suites。
- 五类任务包括 single-step、multi-step、fictional-app、real-app 与 grounding-based generation。
- GUI-Score 从 Goal Achievement、Interaction Logic、Content Consistency、UI Plausibility 与 Visual Quality 五维评估生成结果。
- 中英文子集最高聚合 GUI-Score 分别为 69.62 与 63.16。
- Leading models 在 single-step transitions 上 score above 80,但多数模型 multi-step planning 得分更低。
- 定性分析指出文本渲染、图标解释与 coordinate-conditioned transitions 等方面的失败。