OCR 与文档解析 Benchmark 体系评估：一个总分测不完一份文档

OCR 与文档解析不缺总分，缺的是对“到底测了什么”的边界说明。OCRBench 把识别、问答、信息抽取与公式识别相加；OmniDocBench 把文本、表格和公式等权汇总；DocVQA 则回答文档中的问题。三者都合理，但优化目标不同，不能压成一个方向总榜。

统计上也应克制。OCRBench 榜首比第二名高 2.8 个百分点，但在只有聚合分的非配对近似下，95% CI 为 -0.4–6.0，Holm 校正后 p = 0.803；这不足以支持稳定的能力排序。OmniDocBench 榜首差距更小，且缺逐页结果，不能计算有意义的置信区间。

数据与方法

数据截止 2026-10-19。OCRBench 的 29 条成绩由站内榜单导出；OmniDocBench 的 12 条成绩来自官方仓库 v1.6_full 静态表 ^{[1] [2]}。设计参数另整理为 CSV：OCRBench 有 1,000 个问答对；OCRBench v2 有 10,000 个公开 QA 和 1,500 张私有测试图像；OmniDocBench 论文初版有 981 页，截至 2026-10-19 官方当前版本为 1,651 页；DocVQA 有 12,767 张文档图像和 50,000 个问题 ^{[3] [4] [5] [2] [6]}。

OCRBench 每题按答案是否出现在模型输出中计 0/1，五类题量分别为 300、200、200、200、100。因此本文把总分视作 1,000 次二项结果，计算 95% Wilson 区间；Top 10 相邻名次采用非配对两比例 z 检验，并在榜单内用 Holm 法校正。最小可检测差距采用双侧 α = 0.05、power = 0.8、p = 0.5 的保守近似。所有近似都假设题目独立、两模型结果不配对。

OmniDocBench Overall 是文本准确度、表格 TEDS 与公式 CDM 的等权平均。它是连续分数的再聚合，现有静态表没有逐页结果，因此本文只做描述性拆分和秩相关，不套用二项置信区间。脚本、输入和完整结果均在本文目录中。

Benchmark 逐个评估

OCRBench：广度强，但权重就是目标函数

OCRBench 汇集 29 个数据集，最终筛成 1,000 个经人工核查的问答对。它覆盖文字识别、场景文字问答、文档问答、关键信息抽取与手写公式识别；统一规则是检查标准答案是否出现在模型输出中 ^[3]。

这种设计低成本、易复现，也避免了自由生成答案的严格全匹配问题。但“子串包含”可能奖励带有多余内容的答案，也无法区分识别、定位与推理分别出了什么错。题量还隐含权重：文字识别占 30%，三个 200 题能力各占 20%，手写公式只占 10%。总分因此不是自然单位，而是设计者选择的能力配方。

榜首 Minicpm-V 2.6 为 85.2%（95% CI：82.9%–87.3%，n = 1,000，官方榜单）；第二名 granite-vision-3.3-2b 为 82.4%（95% CI：79.9%–84.6%）。榜首在场景文字问答、文档问答和 KIE 领先，却只有 48.0% 的 HMER；第二名 HMER 为 75.0% ^[1]。同一个总分差距掩盖了方向相反的能力剖面。

**编者观点：**OCRBench 适合作为 OCR 广度筛查，不适合单独回答“谁的文档能力最好”。榜单至少应同时展示五类子项、输入分辨率、提示模板和输出解析规则。

OCRBench v2：覆盖更完整，复现边界更窄

OCRBench v2 扩展到 31 个场景、23 类任务与八项核心能力，并按任务采用 TEDS、IoU、F1、BLEU／METEOR／编辑距离、归一化 L1、精确匹配或 ANLS 等六类指标。它把旧版缺少的文字定位、spotting、结构解析、计算与推理纳入评测 ^[4]。

改进的代价是总分更难解释。不同单位经归一化后再平均，等权并不表示同等业务价值。另有 1,500 张人工标注私有测试图像，能减轻公开集适配，却使外部研究者不能逐题复算私有结果。公开集适合诊断，私有集适合防适配；二者应分开报告，不能只保留一个 Average。

OmniDocBench：测解析链路，但 Overall 漏掉阅读顺序

OmniDocBench 论文初版覆盖九类文档来源，提供 19 类版面区域、阅读顺序、文本、公式和表格标注；标注流程包含自动预标、人工修正和专家复核 ^[5]。官方仓库当前版本为 1,651 页，覆盖 10 类文档、5 类版式和 5 类语言，并提供端到端与模块级评测 ^[2]。

v1.6_full 的 Overall 对文本准确度、表格 TEDS 和公式 CDM 等权平均。这个公式把三类核心内容放在同一尺度，但没有纳入阅读顺序；页面结构错乱而局部内容正确的系统仍可能获得高分。PDF 原生文本、OCR、版面模型与端到端 VLM 的输入权限也必须固定，否则排名同时比较了系统能力和可用工具。

静态表中 TeleOCR 为 96.91，第二名 OvisOCR2 为 96.47，差 0.44 个百分点；12 条结果首尾只差 3.58 个百分点。公式 CDM 的最高分属于 PaddleOCR-VL-1.6，而表格两项最高分属于 TeleOCR ^[2]。由于没有逐页分数，这些差距没有可报告的置信区间，不能据此断言细小排名稳定。

**编者观点：**OmniDocBench 的价值主要在细粒度错误诊断。严格榜单应同时报告文本、表格、公式、阅读顺序、版面检测和文档类型拆分，并提供逐页结果。

DocVQA：回答问题，不等于还原文档

DocVQA 以文档图像上的抽取式问答为目标，主指标 ANLS 对轻微 OCR 字符差异给予部分分。数据经过问答收集、独立复答和作者复核三阶段；问题覆盖表单、表格、版面、手写和段落等类型 ^[6]。

它测的是“能否找到并输出问题所需答案”，不是“能否完整恢复页面结构”。一个系统可以在 DocVQA 上表现良好，却漏掉未被提问的内容、阅读顺序或表格结构。它应作为下游可用性的补充指标，而不是 OmniDocBench 的替代品。

结果

OCRBench 的相邻名次均未被聚合近似区分

OCRBench 的保守 MDE 为 6.3 个百分点，榜首—第二名差距只有 2.8 个百分点。Top 10 的九组相邻比较在 Holm 校正后均不显著。榜首差值的 95% CI 跨过 0，说明当前聚合分不足以支持“第一名稳定优于第二名”的表述。

这不等于模型能力相同。它只说明：在没有逐题配对结果、只按两个独立比例近似时，名次间隔小于当前数据能可靠分辨的尺度。取得逐题预测后，应改用配对检验，并按五类能力分别报告。

总分领先与单项领先不是同一件事

OCRBench 五个子项由三个模型占据：Minicpm-V 2.6 领先三项，H2OVL-Mississippi-0.8B 领先文字识别，granite-vision-3.3-2b 领先手写公式。OmniDocBench 也出现 Overall 榜首与公式榜首不同。总分适合压缩展示，不适合替代能力画像。

当前体系存在三条互补评测线

1. 识别与理解广度：OCRBench／v2，覆盖场景文字、文档问答、KIE、定位与推理；
2. 端到端结构恢复：OmniDocBench，覆盖文本、表格、公式、版面与阅读顺序；
3. 任务驱动问答：DocVQA，用 ANLS 测用户问题能否被正确回答。

方向级建设目标应是三条线都可诊断，而不是寻找一个跨线总分。

讨论与局限

样本限制

OCRBench 只有聚合分，没有本文可用的逐题预测或重复运行。Wilson 区间与两比例检验假设题目独立，忽略同一来源数据集内的相关性；模型在同一批题上评测，本应优先使用配对方法。OmniDocBench 只有 12 条静态聚合结果，没有逐页分数，因此本文没有为均值或差距计算区间。

口径限制

OCRBench 的子串包含规则可能产生误判；OCRBench v2 混合六类指标；OmniDocBench Overall 不含阅读顺序。榜单还没有结构化记录输入分辨率、PDF 原生文本权限、OCR／版面工具、提示模板、解码参数和重试次数。本文比较的是已报告结果，不是统一受控复测。

外推限制

场景文字、扫描文档、数字原生 PDF、表格、公式和手写材料属于不同分布。公开集高分不能自动外推到多页长文档、低质扫描、其他语言或业务流程；私有集能降低针对性适配，却不能证明没有训练数据重叠。

**编者观点：**OCR 与文档解析成绩的最小报告协议应包括题集版本、文档类型与语言、输入权限、图像分辨率、外部 OCR／解析工具、提示与解码设置、逐题／逐页输出、总分与全部关键子项、失败类型以及复现责任。缺少这些字段的成绩只宜作为参考结果。