论文页面 - MonkeyOCRv2: 面向文档AI的视觉-文本基础模型

来源: https://huggingface.co/papers/2607.11562 作者:

,

,

,

,

,

,

,

,

,

,

,

,

摘要

主流视觉编码器在自然图像上预训练，若不经过面向文档的适配，则无法有效应用于文档图像，因为密集文本和精细字符笔画需要字符级视觉感知能力。我们提出MonkeyOCRv2，一个面向文档AI的视觉-文本预训练模型。首先，我们构建了MonkeyDocv2，据我们所知，这是最大的文档图像预训练语料库，包含1.13亿张图像，涵盖17种语言。其次，我们提出一种预训练策略，联合学习图像到文本生成和像素级文档重建：前者将视觉表示与文本内容对齐，后者保留字符笔画和布局细节。我们在五个代表性文档分析任务上进行了广泛实验，包括文本识别、公式识别、文本检测、文档篡改检测和重叠文本分割。将原始编码器替换为MonkeyOCRv2后，所有五个任务的性能均得到一致提升。最后，我们验证了其作为多模态大语言模型视觉编码器在更具挑战性的文档解析和文档理解任务中的有效性。保持冻结并与轻量级语言模型配对，它产生了一个0.7B的文档解析模型，在MDPBench（一个涵盖17种语言的数字原生和拍摄文档的最新基准）上创造了新的开源最佳水平，以约11倍小的视觉编码器，在绝对性能上超越先前最好的3B模型2.8%。该冻结编码器还驱动了一个文档理解模型，在相同训练设置下跨越八个基准，超越了基于CLIP、DINO和SAM构建的同类模型。这些结果表明，面向文档的视觉预训练本身可以作为文档智能的基础。

查看arXiv页面 (https://arxiv.org/abs/2607.11562)查看PDF (https://arxiv.org/pdf/2607.11562)GitHub144 (https://github.com/Yuliang-Liu/MonkeyOCRv2)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11562)

引用此论文的模型7个

zenosai/MonkeyOCRv2-B-Parsing 图像-文本-到-文本• 0.9B• 更新于1天前 • 16 • 2 (https://huggingface.co/zenosai/MonkeyOCRv2-B-Parsing)

zenosai/MonkeyOCRv2-S 图像-文本-到-文本• 28.5M• 更新于1天前 • 6 • 2 (https://huggingface.co/zenosai/MonkeyOCRv2-S)

zenosai/MonkeyOCRv2-B 图像-文本-到-文本• 0.1B• 更新于1天前 • 16 • 2 (https://huggingface.co/zenosai/MonkeyOCRv2-B)

zenosai/MonkeyOCRv2-S-Parsing 图像-文本-到-文本• 0.8B• 更新于1天前 • 15 • 1 (https://huggingface.co/zenosai/MonkeyOCRv2-S-Parsing)

浏览引用此论文的7个模型 (https://huggingface.co/models?other=arxiv:2607.11562)## 引用此论文的数据集0个

没有与此论文关联的数据集

在数据集README.md中引用arxiv.org/abs/2607.11562，以便在此页面链接。

引用此论文的Spaces1个

包含此论文的收藏1个