ForMaT:视觉引导的多语言PDF翻译数据集

arXiv cs.CL 论文

摘要

本文介绍了ForMaT,一个包含15个语言对、3,956个PDF文件的平行语料库,专为视觉引导的多语言翻译而设计,保留了布局元数据,用于对布局感知的机器翻译系统进行基准测试。

arXiv:2605.15794v1 公告类型:新 摘要:我们提出了ForMaT(格式保留的多语言翻译),一个包含15个语言对、3,956个PDF文件的平行语料库,保留了原始布局元数据,专为多模态机器翻译而设计。为确保数据集的结构多样性,我们采用了基于45个几何特征的K-Medoids采样方法,捕捉嵌套表格和公式等复杂元素,只关注视觉多样的PDF文档。我们的评估表明,当前的机器翻译系统在空间定位和几何同步方面存在困难,常常丢失文本与其视觉上下文之间的联系。ForMaT为开发整合视觉和文本上下文的布局感知翻译模型提供了基准,以实现高保真度的文档重建。
查看原文
查看缓存全文

缓存时间: 2026/05/18 06:34

# ForMaT:面向视觉基础的多语言PDF翻译数据集
来源:https://arxiv.org/html/2605.15794
Michał Ciesiółka¹,², Dawid Wiśniewski¹,³, Adrian Charkiewicz¹, Kamil Guttmann¹,²
¹Laniqo,波兰波兹南
²亚当·密茨凯维奇大学数学与计算机科学学院,波兰波兹南
³波兹南理工大学
\{名\}\.\{姓\}@laniqo\.com

###### 摘要

我们提出**ForMaT**(格式保留多语言翻译),这是一个包含15个语言对、共3956份PDF文件的平行语料库,保留了原始版面元数据,专为多模态机器翻译设计。为确保数据集的结构多样性,我们采用基于45个几何特征的K-Medoids采样方法,重点选取包含嵌套表格和公式等复杂元素的视觉多样化PDF文档。我们的评估表明,当前机器翻译系统在空间定位和几何同步方面存在困难,常常丢失文本与其视觉语境之间的联系。ForMaT为开发整合视觉和文本上下文的版面感知翻译模型提供了基准,以实现高保真文档重建。

## 1 引言

现代机器翻译系统越来越多地利用多模态信号来提升翻译准确性。例如在音频领域,说话人识别、性别和情感语调等副语言特征提供了关键语境,有助于消除意图歧义并细化目标语言表达细节。同样,在处理PDF等视觉丰富的文档时,视觉和空间线索常常对于解决词汇歧义和选择恰当的形态形式不可或缺。这种向语境依赖的多模态翻译的转变已成为机器翻译研究的重要前沿[16, 5]。

本文通过引入一个包含3956份PDF文档的平行语料库(命名为ForMaT,即格式保留多语言翻译),聚焦视觉语境。该数据集涵盖涉及英语、德语、西班牙语、法语、意大利语和波兰语的15个语言对。与仅限于纯文本的传统平行语料库不同,我们的数据集保留了原始源文档丰富的版面和格式信息。

我们的贡献有三方面:第一,论证现代机器翻译需要版面感知资源的必要性;第二,详细说明数据集收集的方法论,并对语料库的结构特性进行深入分析;第三,通过多维度分析确立数据集的多样性,将其定位为评估下一代版面感知和文档级翻译系统的基准。为展示该基准的实际效用,我们最后评估了若干最先进的PDF翻译系统,重点分析它们在保留语言意义和复杂文档版面两方面的能力。

### 1.1 动机

在机器翻译中,源文档中的视觉线索对于生成准确的目标输出往往至关重要。处理PDF文件时,以下几个用例说明了视觉和空间语境的关键作用:

- •**图片标题** – 视觉语境有助于消除多义词和人称代词的歧义。例如,描绘女性的图片可以提示在从性别中立语言(如土耳其语、匈牙利语或巴斯克语)翻译时使用阴性代词“她”。类似地,短标题通常缺乏足够的文本语境;一张图片可以澄清医学文档中的“head”一词是指解剖学身体部位、团队领导者还是设备的顶部元件。
- •**文本位置** – 空间定位有助于识别命名实体和文档语义。例如,在发票中,公司名称通常预期出现在顶部,而特定区域的数值更可能是金额而非日期或数量。
- •**表格** – 表格单元格的翻译通常依赖于相邻单元格或表头提供的语境。根据布局,这些表头可能出现在顶部行(列式表示)或两侧列(行式表示)。此类结构带来了独特挑战[19],因为PDF的视觉布局帮助模型识别文本片段属于表格的一部分,从而使其能够专注于正确的关系语境以理解单元格内容。
- •**文本分段** – 词与词、段落与段落之间的间距是语境的关键指标。当文本采用非标准间距两端对齐、以创意或非线性格式(例如每行一个词)书写或垂直旋转时,传统OCR工具配合机器翻译模型常常失败。通过视觉分析识别文本簇,模型可以将文档分割为有意义的单元,保留预期的翻译语境。
- •**几何约束** – 文档布局可作为翻译长度和文本适配的指南。由于目标语言在词长上可能存在显著差异,布局决定了翻译必须如何对齐。通过分析PDF的视觉属性,模型可以选择更贴合可用空间的翻译,从而减少不自然的间隙或更有效地管理分页。

为应对这些挑战,机器翻译数据集必须进化以包含图像和丰富的格式(如原始PDF)。这种整合能够更稳健地评估翻译模型在文档结构与意义密不可分时的表现。

## 2 相关工作

机器翻译的发展以语境窗口的不断扩大为标志,从孤立句子到整个文档,再到最近的多模态输入。ForMaT位于文档级机器翻译、多模态学习和视觉丰富文档理解的交叉点。

### 2.1 多模态与文档级机器翻译

多模态机器翻译的早期工作主要聚焦于图像描述的视觉基础,以Multi30K[4]数据集为代表。这些任务利用图像来消除词汇歧义(例如性别或实体类型),但仅限于简短的孤立句子。近期研究已转向更依赖语境的方法,利用多种模态,研究者利用非文本信号来改进特定领域的翻译质量[16, 5]。

虽然文档级机器翻译解决了长距离文本依赖问题,但大多数现有基准(包括大规模的DocHPLT[15])依赖于“扁平化”的网络爬取文本。这些语料库缺乏对解释技术手册或法律文件等高重要性文档逻辑流程至关重要的二维空间信息(页眉、页脚、侧边栏)。

### 2.2 视觉丰富文档理解

视觉丰富文档理解领域已确立空间坐标和排版线索与文本本身同等重要,用于理解复杂布局。LayoutLM系列(v1, v2, v3)[10]开创性地使用二维位置嵌入来建模文本与视觉结构之间的关系。最近,版面感知的大语言模型已证明,将文档几何编码为专用标记可以显著提升信息抽取和文档视觉问答的性能[13]。

其他专注于视觉丰富文档理解任务的流行模型包括:TaBERT[19],专注于文本和表格数据的联合理解;以及DocLayout-YOLO[23]、PP-DocLayout[17]和PaddleOCR 3.0[3],均聚焦于版面理解。

然而,仍存在一个差距:虽然视觉丰富文档理解模型在抽取方面表现出色,但很少在生成式翻译上进行评估。ForMaT提供了必要的平行数据来弥合这一差距,将翻译不仅视为语言任务,更视为版面保留任务。

### 2.3 多模态大语言模型

现代方法利用多模态大语言模型——一种能够理解文本之外其他模态的语言模型[20]。近期聚焦图像的模型引入了各种优化以帮助理解不同模态,例如利用视觉指令微调[12]和面向高分辨率图像的全局-局部双感知[14]。像InImageTrans[24]、TranslateGemma[6]或Gemini[1]等近期系统展示了大型语言模型处理“视觉情境化”文本并进行语言间翻译的潜力。此外,零样本多模态机器翻译[7]和单模态对齐[21]的研究旨在减少对昂贵监督平行数据的依赖。

### 2.4 文档图像翻译基准

该领域的最新前沿是文档图像机器翻译,由ICDAR 2025 DIMT挑战赛[22]所强调。当前最先进的基准如DIMT-WebDoc-300K和DIMT-arXiv-124K主要侧重于将文档图像翻译成中文,往往优先考虑规模而非结构多样性。

类似地,虽然M3T[8]引入了文档级多模态机器翻译基准,但仍需要一个专门针对结构难度进行采样的语料库。ForMaT通过使用严格的K-Medoids采样方法[11],基于45个结构特征收集多样化的PDF文档,填补了这一空白,确保该语料库能够成为下一代版面感知翻译模型的压力测试。

### 2.5 评估多模态模型

虽然传统指标仍然标准,但[18]的最新发现表明,BLEU等n-gram重叠分数常常无法捕捉文档级连贯性,主张更细致、多维度的评估。这一转变在ICDAR 2025 DIMT挑战赛[22]中得到体现,该挑战赛强调了翻译复杂布局的持续困难。多模态推理和双感知架构等方法试图解决这一挑战[9, 14]。

与现有文献相比,ForMaT提供了三个显著优势:

1. **语言多样性**:我们提供15个语言对,重点关注近期DIMT挑战赛中常被忽视的欧洲语言。
2. **结构复杂性**:与依赖随机爬取的数据集不同,我们采用基于45个结构特征的K-Medoids采样,确保我们的语料库包含复杂表格、行内公式、多栏和带标题图像等具有挑战性的案例。
3. **高保真元数据**:我们提供与平行文本一起的原始版面元数据,支持开发能够以像素级精度重建目标PDF的模型。

## 3 数据集

数据集的收集过程包括几个阶段,如图1所示。首先,我们确定提供符合我们选择标准的PDF文档的网站;然后,使用配额抽样方法采样第一批广泛的文档集合。最后,我们对广泛的文档集合进行过滤,只保留在视觉复杂性和构成方面最多样化和最有趣的文档。最终的ForMaT数据集包含3956份文档。

### 3.1 数据来源

为了创建我们的数据集,我们针对两个具有不同语言特征和视觉格式的领域:法律文件和技术用户手册。

对于法律领域,我们从以多语言格式发布官方文档的国际和国家机构整理了一个语料库。这些数据的主要部分来自欧盟存储库,具体聚焦于三个不同的法律背景:通过EUR-Lex的立法法案、通过欧洲议会门户网站的议会程序以及通过欧洲电子司法门户的司法文件。为确保更广泛的地理和行政多样性,我们还加入了来自联合国数字图书馆、瑞士联邦法律库(Fedlex)和美国社会保障管理局的文档。

为了整理用户手册领域,我们利用电子品牌全球索引¹¹¹https://en.wikipedia.org/wiki/List_of_electronics_brands作为搜索的基本蓝图。为便于下游文档处理和对齐,我们仅选择发布独立单语言文件的制造商,而非合并的多语言卷。虽然初始搜索针对电子产品领域,但我们将范围扩大到主要汽车制造商,以增加说明版式的多样性。最终选择包括华为、联想、飞利浦、日产和丰田的文档,提供了多样化的技术术语和视觉示意图。两个领域的完整来源集合总结于表1。

领域和数据来源的选择取决于文档的许可;我们仅收集可用于研究目的的文档。

表1:数据集来源和网址
对于每个领域,我们仅收集了有多种语言版本的平行数据,其中源文档和目标文档使用以下语言:英语、法语、德语、意大利语、波兰语和西班牙语。这组语言被认为是具有代表性的,因为尝试向集合中添加新语言会导致在采样阶段语言对无法得到充分代表。

参见图注
图1:ForMaT数据集收集过程。每个操作对每个领域中的每个语言对独立执行。

### 3.2 数据采样

为了在两个主要领域和十五个语言对之间平衡数据,我们设定每个领域每个语言对的目标样本为1000份文档。

我们采用配额抽样策略[2],并进行两项修改以解决来源代表性不足的问题。首先,我们按来源和语言对分组文档,然后按可用文档数量的升序进行采样。这确保在从较大来源抽取之前,代表性不足的组已完全被纳入。其次,当一个来源未能满足其配额时,剩余容量动态重新分配给较大的来源。

为了捕捉文档随时间可能发生的变化,我们按年份均匀采样EUR-Lex语料库。鉴于其独特的规模,我们从2005年至2025年每年选择两个搜索结果页面,具体选择每个文档在所有六种目标语言中都可用的集合。这种方法使我们能够观察官方语言和结构的演变。

相似文章

DocAtlas:跨越80多种语言的多语言文档理解

Hugging Face Daily Papers

DocAtlas是一个框架,通过差异渲染和合成生成,构建了覆盖82种语言的高保真OCR数据集和基准。它表明,直接偏好优化能够改善多语言模型的适配,而不会降低基础语言的性能。

MultiSynt/MT:跨越36种语言的万亿标记多平行预训练数据

arXiv cs.CL

本文介绍了MultiSynt/MT,这是一个通过将英语预训练数据翻译成36种语言而创建的万亿标记多语言平行语料库。实验表明,在此翻译数据上训练的大语言模型在更少的标记下实现了与原生数据相当的性能,但仍存在一些评估盲点和文化差距。

提升科学论述:科学领域的机器翻译

arXiv cs.CL

本文介绍了针对西班牙语-英语、法语-英语和葡萄牙语-英语的科学机器翻译平行语料库和单语语料库的开发,涉及四个领域:癌症研究、能源研究、神经科学和交通运输。这些语料库用于微调神经机器翻译系统,以解决科学文本中专业词汇和句法带来的挑战。