MMMU 与 MathVista 榜单是否已饱和，还能区分前沿模型？

站内人工核查后的 MMMU（16 条，验证集）与 MathVista（17 条，testmini）静态榜显示：两榜头部仍能在名义百分制上继续抬分，但相邻前沿名次的差距已接近榜单的统计分辨率；MathVista 更接近“百分制上限”，MMMU 则仍低于原论文公布的验证集专家上限。两榜条目几乎全部为模型方自报，thinking、PaCoRe、instruct 等设置混排，不能把排名直接等同于统一协议下的真实次序。

数据与方法

数据截止 2026-10-20。从 content/benchmarks/mmmu/ 与 content/benchmarks/mathvista/ 各导出一份 JSON 快照至 data/，manifest 记录源路径、synced_at、条数与 SHA-256；analyze.py 启动时校验 manifest 与源文件哈希，只读冻结文件。

MMMU 原论文共 11,550 题，验证集约 900 题、测试集 10,500 题 ^[1]；划分与任务说明亦见官方项目页 ^[2]。MathVista 共 6,141 例，其中 testmini 1,000 例用于开发/资源受限评测 ^[3]。站内 MMMU 行均标注为 val，MathVista 行均标注 testmini（1000 例），与 meta.md 一致。

饱和度指标与 benchmark-maintenance-landscape 一致：distance_to_nominal_100 = 100 − 榜首分；runner_up_gap 为榜首减第二名；top5_range 为榜首减第五名。

参照上限（一手论文，非站内榜）：MMMU 验证集上随机选项约 22.1%，三名领域专家（Worst / Medium / Best）分别为 76.2%、82.6%、88.6%（Table 2 validation 列）^[1]。MathVista testmini 上，随机启发式 17.9%，受控人工标注者整体 60.3%（Table 2）^[3]。

只有聚合准确率时，按题量（MMMU 900、MathVista 1000）做 Wilson 95% 区间，并对各榜 Top 5 的相邻名次做非配对两比例 z 检验与 Holm 校正；双侧 α = 0.05，MDE 按 power = 0.8 保守近似。假设题目独立、模型间不配对——多选题与自由题混排、子任务未拆分，区间只作排名分辨率参考。

可比性：按 source_type 统计来源；从模型名与 notes 启发式标注推理设置（thinking、instruct、PaCoRe 等）。同一 source_key 下若恰有一对 thinking 与 instruct 行，报告分差，不做因果断言。

时间维度：用 notes 中的「来源发布日期」（多为 arXiv v1）排序，记录刷新榜首时的分数与边际抬升；这是描述性观察，不是统一 harness 的纵向实验。

结果

距上限与头部分差

Benchmark	榜首 / 模型	距 100	Top1−Top2	Top5 极差
MMMU val	Kimi K2.5，84.3	15.7	3.7	6.19
MathVista testmini	Kimi K2.5，90.1	9.9	4.3	6.13

距名义上限 100 的分差数据来源：content/insights/vlm-reasoning-saturation/results/saturation.csvPolySight 自绘

MathVista 榜首距百分制上限更近，但 Top 5 仍横跨约 6.1 个百分点；MMMU Top 5 极差约 6.2 点，头部分数同样密集。

相对论文基线：MMMU 榜首 84.3% 仍低于验证集专家 Best 88.6% 约 4.3 点，高于专家 Medium 82.6% 约 1.7 点 ^[1]。MathVista 榜首 90.1% 高于论文报告的人工整体 60.3% 约 29.8 点，但站内榜为 2025–2026 模型自报、论文人工为 2023 协议，不能把差值读成同一评测下的进步幅度 ^[3]。

统计分辨率与相邻名次

Top 5 与 95% 二项近似区间数据来源：content/insights/vlm-reasoning-saturation/results/top5_intervals.csvPolySight 自绘

保守 MDE 约 6.6（MMMU）与 6.26（MathVista）个百分点。Top 5 相邻比较中，仅 MathVista 第 1–2 名（Kimi K2.5 对 Qwen3-VL thinking，差 4.3 点）在 Holm 校正后仍显著（p_holm ≈ 0.013）。MMMU 第 1–2 名差 3.7 点，原始 p ≈ 0.039，Holm 后 不显著；其余相邻对均不显著。因此两榜大多只能粗分“第一梯队”，难以稳定区分第 2–5 名。

来源与设置

成绩来源构成数据来源：content/insights/vlm-reasoning-saturation/results/source_composition.csvPolySight 自绘

MMMU 16/16 为 self_reported。MathVista 15 条自报、2 条为 2024 年官方页转录的 InternVL2 参照（约 65–66 分），与前沿簇（约 84–90 分）相隔较远 ^[4]。Top 5 内 thinking、PaCoRe、instruct/标准推理并存；同报告内 Qwen3-VL（MathVista）thinking 比 instruct 高 0.9 点，MiniCPM-o 4.5 在 MMMU / MathVista 分别高 2.6 / 0.9 点——小于相邻名次的典型差距，说明协议差可改写次序。

榜首演进（按来源日期）

榜首按来源日期演进数据来源：content/insights/vlm-reasoning-saturation/results/frontier_updates.csvPolySight 自绘

按 arXiv v1 日期，MMMU 冻结榜有 3 次刷新榜首，最近两次边际抬升 2.9 与 3.7 点；MathVista 有 4 次，早期一次跃升 16.86 点（自低基线官方参照到 2025 自报簇），近期边际 3.1–4.3 点。近期抬升与 Top1−Top2 差距同量级，未观察到大于 MDE 的连续跃迁，但样本日期跨度短、点数少，不能外推为平台期。

讨论与局限

是否“饱和”需分两层：对 100 分名义上限，MathVista（9.9 点）比 MMMU（15.7 点）更接近，但两榜 Top 5 极差仍约 6 点，榜首优势未扩大到“断层”。对 MMMU 专家验证集上限（88.6%），当前榜首仍低约 4.3 点，尚不能称触及人类专家天花板 ^[1]。MathVista 模型分数已远高于论文人工基线，但 testmini 子集、判分器与模型代际均已变化，不能把 90% 与 60.3% 直接对比 ^[3]。

区分度：在现有样本与自报口径下，两榜对“谁是第一”有一定信号（MathVista 显著），对“第二梯队内部谁更强”分辨率不足；thinking / 扩推理设置带来的同报告增益往往小于头部分差。

局限：（1）仅 16–17 条，无逐题输出，不能做配对或 bootstrap；（2）几乎无 official / reproduced 前沿复测，Holm 显著性只适用于假设独立二项近似；（3）来源日期 ≠ 同协议复测日；（4）未检验训练集污染；（5）MathVista 底部两行官方参照与上部自报簇不可直接比 rank。

[!编者解读] 若目标是区分 2026 年的前沿 VLM，单靠这两张静态自报榜应并列报告分差、区间与协议标签，并优先补充统一 harness 的第三方复测；MMMU 仍保留相对专家上限的 headroom，MathVista testmini 则更像“高分密集区”，需防聚合分饱和带来的排名噪声。