文生图评测的口径：GenEval 与 DPG-Bench 各自测什么

GenEval 与 DPG-Bench 都叫“文图对齐”，但目标不同。GenEval 用检测器检查短提示词中的对象、数量、颜色、位置和属性绑定；DPG-Bench 把长而密集的场景描述拆成问题图，再由多模态模型逐问判定。前者适合诊断对象组合，后者适合筛查密集语义遗漏；两者都不直接衡量审美、真实感或用户偏好。

两个冻结榜单的榜首也没有脱离统计与设置形成稳定优势。GenEval 榜首比第二名高 3.0 个百分点，DPG-Bench 高 2.4 个百分点；按提示词数做保守二项近似并对 Top 10 相邻比较做 Holm 校正后，两项差距都不显著。Qwen-Image 的提示词接口在 GenEval 上对应 0.0 至 +7.0 点差异，在 DPG-Bench 上却对应 -1.1 至 +2.4 点，不能把 [PE] 与 [no PE] 混成同一模型排名。

数据与方法

数据截止 2026-10-20。本文把站内独立核查通过的 GenEval 17 条与 DPG-Bench 18 条榜单一次性冻结到 data/；分析脚本只读快照。GenEval 有 553 个提示词，DPG-Bench 有 1,065 个提示词 ^{[1] [2]}。成绩来自当前冻结榜登记的六份模型或方法报告 ^{[3] [4] [5] [6] [7] [8]}；来源类型沿用榜单登记：模型方自报、论文转引和第三方复现。

只有聚合分、没有逐提示词结果，因此本文按提示词数计算 95% Wilson 区间；Top 10 的九组相邻名次使用非配对两比例 z 检验，并在每个 Benchmark 内用 Holm 法校正。MDE 采用双侧 α = 0.05、power = 0.8、p = 0.5 的保守近似。假设提示词独立、两模型结果不配对。

这只是近似。GenEval Overall 是六类任务准确率的等权平均，每个提示词生成 4 张图；DPG-Bench 则先把一个提示词对应的问题图聚合成连续 prompt score，再对提示词求均值。两者都不是真正的独立同分布二项观测。没有逐题结果时，区间用于提示排名分辨率，不能替代原始样本上的 bootstrap 或配对检验。

提示词敏感性只比较同一来源表中的 Qwen-Image 四种接口：无 PE、官方 PE、匹配长度的自然语言重写、结构化重写 ^[3]。这仍不是严格消融：结构化重写器与自然语言接口属于不同系统设置，本文只报告关联差值，不做因果归因。

结果

GenEval：对象组合检查，不是整体画质评分

GenEval 包含单对象、双对象、计数、颜色、位置、属性绑定六类模板任务，题量分别为 80、99、80、94、100、100。对象从 MS COCO 类别中采样；Mask2Former 检查对象存在、计数和位置，颜色与属性绑定再用 CLIP ViT-L/14 对分割后的对象做零样本颜色分类。单图只有所有指定元素都正确才记 1，先计算六类任务分数，再等权平均为 Overall ^{[1] [9]}。

原论文用 1,200 张图、6,000 次标注做人工核对：GenEval 与人类判断总体一致率为 83%，标注者两两一致率为 88%；在人类一致同意的 860 张图上，GenEval 一致率为 91% ^[1]。这支持它作为对象组合诊断器，但不等于对“好图”的完整判断。

冻结榜首 Structured Prompter + Qwen-Image 为 94.0%（二项近似 95% CI：91.7%–95.7%），第二名 Matched NL + Qwen-Image 为 91.0%（88.3%–93.1%）。差 3.0 点，差值近似区间为 -0.1–6.2，原始 p = 0.058，Holm p = 0.524；Top 10 九组相邻比较均不显著。保守 MDE 为 8.4 点 ^[3]。

高分不代表问题消失。GenEval 只识别检测器覆盖的对象粒度；原论文明确指出 MS COCO 类别有限，不能检查手指数等细节。重叠同类对象可能被合并，clip art 等非照片风格也可能超出检测器分布，分割孔洞会干扰颜色分类 ^[1]。

DPG-Bench：密集提示词遵循，分数依赖模型判分

DPG-Bench 有 1,065 个长提示词，平均 67.12 个词、83.91 个 CLIP token，覆盖 5 个一级和 13 个二级类别。提示词由 GPT-4 基于 COCO、PartiPrompts、DSG-1k 与 Object365 扩写并经人工验证；随后再由 GPT-4 生成类别、问题与依赖图。每个提示词生成 4 张图，mPLUG-large 回答指定问题，按 DSG 规则先得到 prompt score，再对全部提示词求平均 ^{[2] [10]}。

它测的是“场景图中的细节是否被图像满足”，不是检测器能否找到固定 COCO 类别。代价是分数依赖问题生成、依赖图和 mPLUG-large 判分器。原论文也指出自动量化不一定全面，因此另做用户研究；人工偏好与 DPG-Bench 的相对结果一致，但没有把模型判分变成人类偏好本身 ^[2]。

冻结榜首 Structured Prompter + Qwen-Image 为 90.7%（二项近似 95% CI：88.8%–92.3%），第二名 Qwen-Image [no PE] 为 88.3%（86.3%–90.1%）。差 2.4 点，差值近似区间为 -0.2–5.0，原始 p = 0.072，Holm p = 0.646；Top 10 九组相邻比较均不显著。保守 MDE 为 6.1 点 ^[3]。

提示词增强不是固定加分项

同一个 Qwen-Image 家族在 GenEval 上，无 PE 为 87.0%，官方 PE 与匹配长度自然语言重写均为 91.0%，结构化重写为 94.0%；相对无 PE 分别对应 +4.0、+4.0、+7.0 点。DPG-Bench 上，无 PE 为 88.32%，官方 PE 为 87.20%，匹配长度重写为 87.80%，结构化重写为 90.71%；对应 -1.12、-0.52、+2.39 点 ^[3]。

方向不一致说明“提示词增强”不是可从模型能力中剥离的固定常数。短模板扩写可能显式补足对象关系，也可能改变原任务；面对本来就很长的 DPG 提示词，通用 PE 未必保留全部约束。榜单应把 prompt rewriter 的名称、版本、预算与原始／改写提示词同时视为评测设置。

分类表只把原文明确标注 PE／rewriter 的条目记为“明确有增强”，把有明确 w/o PE 或无 rewriter 证据的条目记为“明确无增强”；no reported rewriter、no reasoning prompt 与原文未披露推理重写状态的 APT 均归为“未说明”。修订后 GenEval 三类分别为 8、6、3 条，DPG-Bench 为 8、6、4 条。APT 的冻结榜显示名不作为分类证据。上述 Qwen-Image 四个设置都有明确标签，分差不受未知项重分类影响。

榜单混合了自报、转引与复现

GenEval 的 17 条成绩由 7 条模型方自报、9 条论文转引、1 条第三方复现组成；DPG-Bench 的 18 条由 8 条自报、9 条论文转引、1 条复现组成。两榜都没有来自统一官方评测管线的成绩。顶部还同时出现不同提示词设置，因此排序比较的是“模型 + 提示接口 + 报告管线”，不是受控实验中的裸模型。

站内整理规则不收录直接以目标 Benchmark 评分或奖励训练的结果。GenEval 核查因此排除了直接优化其二值奖励的条目。这个规则减少把“适配考题”误写成通用进步的风险，但也改变了榜单问题：它展示的是未直接用该评分训练的可核查结果，不是允许 benchmark-specific optimization 时的最高可达分。

讨论与局限

样本限制

本文没有逐提示词输出、四图重复结果或判分器原始回答。Wilson 区间、两比例检验与 MDE 都把聚合分近似为提示词级二项比例；GenEval 的六任务等权和 DPG-Bench 的连续 graph score 都违反严格二项假设。模型实际面对同一批提示词，若取得逐题结果，应按提示词做 bootstrap，并对模型差值使用配对方法。

口径限制

GenEval 的总体分等权汇总六类任务，不按提示词数加权；DPG-Bench 汇总依赖图问题。[PE]、[no PE]、结构化重写与“未报告 rewriter”也不是同一设置。来源类型不同，生成张数、随机种子、分辨率、采样器与判分器版本未全部结构化；本文不能把分差归因于模型架构。

外推限制

GenEval 只覆盖有限对象类别与组合模板；DPG-Bench 虽更密集，仍由自动扩写、问题图和单一 MLLM 判分。两者都不直接评估审美、照片真实感、文字渲染、文化语境、安全性、编辑可控性或人类创作偏好。高分只支持“在该提示词与判分管线中更常满足可检查约束”，不能推出“整体文生图更好”。

**编者观点：**文生图最小报告协议应把短组合对齐与密集提示遵循分开，固定模型版本、原始提示、重写器、生成参数、每题样本数和判分器；同时报告子项、逐提示词结果、随机种子与人评抽查。细小分差低于统计分辨率时，应写“未区分”，不应只按小数点排序。