Khondo：孟加拉语表单文档包分割的多模态基准

# 孟加拉语表单文档包分割的多模态基准
来源：https://arxiv.org/html/2607.21780
Abu Tyeb Azad¹, \(🖂\), Fahim Ahmed², Ishita Sur Apan², Ezharuddin Jubaer²,Sumaiya Karim Katha², Armun Alam², Amin Ahsan Ali², Aman Chadha³,†,‡,Md Mofijul Islam³,†,‡, AKM Mahbubur Rahman²,†¹美国威奇塔州立大学，²孟加拉国独立大学CCDS，³美国亚马逊GenAI

###### 摘要

文档包（将多个文档拼接成一个文件）在政府和管理工作流程中十分常见，但将其拆分为组成文档却很困难，尤其对于低资源语言而言。我们提出了Khondo（孟加拉语中意为“拆分/分割”），这是首个针对孟加拉国政府表单的文档包分割基准。与之前的英文和基于OCR文本的数据集不同，Khondo是双语（孟加拉语-英语）且视觉原生的；模型直接操作页面图像。它涵盖五种连接方案（从顺序到完全打乱），跨越14个行政领域，并包含真实边界、领域类型和页面顺序。对多模态大语言模型（MLLM）的零样本评估表明，它们能将页面较好地聚类到其源文档，但在打乱后恢复原始页面顺序方面表现不佳。为了探究这一困难的根源，我们进行了两项控制性分析：变化提示指令，然后变化包的语言。两者主要影响排序而非聚类：(a) 明确的页面顺序指令是必要的但不足够，(b) 英文包的排序比孟加拉语包更可靠，这使得页面排列成为主要挑战，而语言是次要但一致的因素。Khondo将页面顺序重建确立为基于视觉的低资源文档理解中的一个关键开放问题，并提供了一个用于衡量解决该问题进展的受控基准。我们的数据集和代码发布在：https://huggingface.co/datasets/Mausul/khondo

††脚注：† 共同指导。 ‡ 在亚马逊任职范围外完成的工作。(🖂) 通讯作者：[email protected]

## 1 引言

参见图注

图1：Khondo数据集构建流水线概览。文档包通过连接真实的孟加拉国政府表单生成，从而在组装过程中记录真实文档归属和页面顺序。从左到右，流水线包括：(1) 文档收集与整理；(2) 选择符合条件的多页表单；(3) 划分为互斥、无泄漏的训练/验证/测试集；(4) 在多种连接方案下生成包。面板(5)展示了包分割任务：多个文档的页面被连接并可能被打乱。目标是恢复文档级别的聚类以及文档内原始页面顺序。颜色表示源文档，数字表示真实页面索引。

在政府和管理工作流程中，文档很少被单独处理。申请和案件文件通常被扫描并以“包”的形式归档：即多个表单和支持材料拼接成一个文件，页面顺序可能错乱[31 (https://arxiv.org/html/2607.21780#bib.bib3)]。恢复组成文档（识别文档边界、按文档分组页面、推断原始顺序）是下游处理的前提，但这一步骤仍然主要依赖人工。

我们将此问题研究为“文档包分割”：将页面聚类到其源文档，分类文档类型，并重建原始页面顺序，即使页面被打乱[16 (https://arxiv.org/html/2607.21780#bib.bib7)]。该设置的几个特征推动了我们方法的形成。首先，文档主要是孟加拉语表单，这是一个低资源领域，OCR仍不可靠。因此，我们将任务视为“视觉原生”的，直接操作页面图像。其次，包分割需要结构化的生成式输出，而现有文档模型无法直接提供。判别式编码器无法生成这些输出[14 (https://arxiv.org/html/2607.21780#bib.bib1),35 (https://arxiv.org/html/2607.21780#bib.bib34),12 (https://arxiv.org/html/2607.21780#bib.bib35)]，而生成式文档模型通常需要任务特定的预训练，并非为基于提示的使用而构建[29 (https://arxiv.org/html/2607.21780#bib.bib2),36 (https://arxiv.org/html/2607.21780#bib.bib36),18 (https://arxiv.org/html/2607.21780#bib.bib38)]。相比之下，多模态大语言模型（MLLM）可提示、推理时无需训练、并通过API可访问[39 (https://arxiv.org/html/2607.21780#bib.bib5),6 (https://arxiv.org/html/2607.21780#bib.bib6)]，因此自然适合。我们评估了旗舰级的现成MLLM，并微调了较小的开源模型以测试该任务的可学习性。

尽管文档理解领域的兴趣日益增长，现有资源却很大程度上未探索这一设置。先前关于包分割的工作主要关注英文商业文档[16 (https://arxiv.org/html/2607.21780#bib.bib7),19 (https://arxiv.org/html/2607.21780#bib.bib39)]。与此同时，孟加拉语文档理解研究（尽管孟加拉语是世界上最广泛使用的语言之一）仍以文本任务为主[23 (https://arxiv.org/html/2607.21780#bib.bib4)]，而多语言文档理解基准通常排除孟加拉语[40 (https://arxiv.org/html/2607.21780#bib.bib30),33 (https://arxiv.org/html/2607.21780#bib.bib40),28 (https://arxiv.org/html/2607.21780#bib.bib41)]。据我们所知，目前没有针对文档包分割或类似表单理解任务的孟加拉语基准。

为了填补这一空白，我们提出了Khondo，一个以孟加拉国政府表单为中心的文档包分割基准。据我们所知，这是首个针对低资源语言的此类基准。在不进行任务特定训练的情况下评估旗舰MLLM，我们发现聚类相对稳健，而页面排序在页面被打乱后则崩溃。这与基于文本的包分割形成对比，后者中页面排序被认为已基本解决[16 (https://arxiv.org/html/2607.21780#bib.bib7)]。两项进一步的分析探究了这一排序差距。要求重新排序页面的明确指令缩小了差距但并未消除，表明困难是内在的而非提示的伪影。该差距也部分源于语言：相同包在英文下的排序比孟加拉语更准确，尽管页面排列仍然是主导因素。

我们的主要贡献如下：

1. 我们提出了Khondo，一个针对孟加拉国政府表单的文档包分割基准，包含1,950个双语文档包，跨越14个行政领域和5种连接方案（从顺序到完全打乱）。
2. 我们评估了旗舰MLLM，并显示它们能较好地将页面聚类到文档，但在打乱下难以恢复原始页面顺序。
3. 我们在Khondo上微调了小型开源MLLM，这使排序性能大大高于零样本基线，但在打乱变体上仍存在较大差距。
4. 我们进行了两项控制性研究，变化提示措辞和包的语言，发现两者对排序的影响远大于聚类。

## 2 相关工作

**文档包分割与页面流分割：** 页面流分割（PSS），即将连续的页面流拆分为其组成文档，有着悠久的历史，从联合分割和分类文档的数字邮件室系统[8 (https://arxiv.org/html/2607.21780#bib.bib17)]，到融合OCR文本和页面图像的多模态CNN[37 (https://arxiv.org/html/2607.21780#bib.bib14),38 (https://arxiv.org/html/2607.21780#bib.bib15)]、基于聚类的方法[5 (https://arxiv.org/html/2607.21780#bib.bib16)]，以及TABME等基准[21 (https://arxiv.org/html/2607.21780#bib.bib9)]。近期的研究应用了仅解码器的LLM，其性能优于基于编码器的方法[11 (https://arxiv.org/html/2607.21780#bib.bib12)]，以及多模态Transformer[22 (https://arxiv.org/html/2607.21780#bib.bib19)]，而另一条研究线则建模更丰富的页面间结构[24 (https://arxiv.org/html/2607.21780#bib.bib11),2 (https://arxiv.org/html/2607.21780#bib.bib18),32 (https://arxiv.org/html/2607.21780#bib.bib10)]。然而，PSS假设页面是“按顺序”到达的；它被视为边界检测问题而非顺序重建问题。文档包分割概括了这种设置[16 (https://arxiv.org/html/2607.21780#bib.bib7)]：页面可能被打乱或交错，因此除了文档聚类和文档类型分类外，还需要重建每个文档的页面顺序。DocSplit形式化了该问题并评估了MLLM，但仅针对从英文商业文档中OCR提取的文本[10 (https://arxiv.org/html/2607.21780#bib.bib8)]。我们在视觉原生、低资源（孟加拉国政府表单）的设置中采用了相同的表述。

**用于文档理解的MLLM：** MLLM越来越多地被应用于文档理解，无论是在已部署的代理系统[34 (https://arxiv.org/html/2607.21780#bib.bib20)]中还是在文档专用模型中。由于高分辨率页面会产生数千个视觉标记，处理多页文档在计算上开销很大；最近的无OCR MLLM通过标记压缩应对这一挑战[13 (https://arxiv.org/html/2607.21780#bib.bib21)]。多页面理解本身要求很高：多页文档VQA的基准[30 (https://arxiv.org/html/2607.21780#bib.bib22)]和长上下文多模态文档的基准[20 (https://arxiv.org/html/2607.21780#bib.bib23)]表明，推理必须跨越多页，并且即使是前沿模型也会随着上下文长度增加而退化。小型MLLM提供了高效的替代方案[1 (https://arxiv.org/html/2607.21780#bib.bib25)]，包括文档专用变体[9 (https://arxiv.org/html/2607.21780#bib.bib24)]。然而，这一工作集中于文档问答、信息抽取和解析，而非包分割，并且绝大多数以英语为中心。

**孟加拉语与低资源文档理解：** 以孟加拉语为中心的NLP涵盖了广泛的任务，但仍然主要以文本为主。区域印度语言倡议已经产生了跨多种语言的语料库、基准和模型[7 (https://arxiv.org/html/2607.21780#bib.bib28)]，而孟加拉语专用模型涵盖了判别式[3 (https://arxiv.org/html/2607.21780#bib.bib27)]和生成式[4 (https://arxiv.org/html/2607.21780#bib.bib29),25 (https://arxiv.org/html/2607.21780#bib.bib42)]范式。然而，这些工作侧重于纯文本理解而非文档理解。在文档方面，孟加拉语资源仅扩展到布局分析[27 (https://arxiv.org/html/2607.21780#bib.bib26)]；据我们所知，目前尚无针对孟加拉语关键信息抽取、表格理解或包分割的基准。鉴于多语言文档理解研究的成熟度，这一空白尤为显著：流行的基准涵盖多种语言[40 (https://arxiv.org/html/2607.21780#bib.bib30),28 (https://arxiv.org/html/2607.21780#bib.bib41),33 (https://arxiv.org/html/2607.21780#bib.bib40)]，但排除孟加拉语，而包分割仅在英文文档上被评估[16 (https://arxiv.org/html/2607.21780#bib.bib7)]。Khondo通过引入首个针对孟加拉语为主的孟加拉国政府表单的包分割基准，以及首个针对任何低资源语言的此类基准，填补了这一空白。

## 3 预备知识

遵循DocSplit[16 (https://arxiv.org/html/2607.21780#bib.bib7)]，我们将“文档包分割”形式化为恢复拼接成单个包的各个文档。与在OCR标记上操作的DocSplit不同，Khondo直接操作页面图像。

一个“包”是一个由nn个页面图像组成的序列P=⟨p1,…,pn⟩P=\langle p_{1},\dots,p_{n}\rangle，通过连接kk个源文档形成。页面可能无序出现，并且不必形成连续块。包分割旨在恢复：

- **聚类**：{1,…,n}\{1,\dots,n\}的一个划分D={D1,…,Dk}\mathcal{D}=\{D_{1},\dots,D_{k}\}，其中DiD_{i}是文档ii的页面位置。
- **定型**：一个映射tt，为每个文档ii分配一个领域t(i)∈Yt(i)\in\mathcal{Y}。
- **排序**：对于每个文档ii，一个置换σi:Di→{1,…,|Di|}\sigma_{i}:D_{i}\to\{1,\dots,|D_{i}|\}，给出其原始页面顺序。

给定PP，一个方法预测(D^,t^,{σ^i})(\hat{\mathcal{D}},\hat{t},\{\hat{\sigma}_{i}\})，近似于真实情况(D,t,{σi})(\mathcal{D},t,\{\sigma_{i}\})。恢复每种结构的难度取决于包的组装方式。

我们使用五种拼接变体，每种由领域组成和页面排列给出。“Mono”（单一）变体从同一个领域抽取所有kk个文档（t(1)=⋯=t(k)t(1)=\cdots=t(k)）；“Poly”（多样）变体从至少两个领域抽取（|{t(1),…,t(k)}|≥2|\{t(1),\dots,t(k)\}|\geq 2）。

令di=⟨(i,1),…,(i,mi)⟩\mathbf{d}_{i}=\langle(i,1),\dots,(i,m_{i})\rangle表示文档ii按真实顺序的页面，⊕\oplus、RR\mathrm{RR}和shuf\mathrm{shuf}分别表示连接、轮询交错和均匀打乱。因此变体为：

MonoSeq：P=d1⊕⋯⊕dk,\displaystyle P=\mathbf{d}_{1}\oplus\cdots\oplus\mathbf{d}_{k},MonoRand：P=shuf(d1)⊕⋯⊕shuf(dk)\displaystyle P=\mathrm{shuf}(\mathbf{d}_{1})\oplus\cdots\oplus\mathrm{shuf}(\mathbf{d}_{k})PolySeq：P=d1⊕⋯⊕dk,\displaystyle P=\mathbf{d}_{1}\oplus\cdots\oplus\mathbf{d}_{k},PolyInt：P=RR(d1,…,dk),\displaystyle P=\mathrm{RR}(\mathbf{d}_{1},\dots,\mathbf{d}_{k}),PolyRand：P=shuf(d1⊕⋯⊕dk).\displaystyle P=\mathrm{shuf}(\mathbf{d}_{1}\oplus\cdots\oplus\mathbf{d}_{k}).MonoSeq和PolySeq使用相同的连接方式，仅在组成上不同；两种随机化变体在打乱的范围上不同：在每个文档块内（MonoRand）或在整个包范围内（PolyRand）。(RR\mathrm{RR}先发出每个文档的第一页，然后是第二页……)

排列本身，独立于组成，决定了页面顺序。对于文档A=⟨A1,A2,A3⟩A=\langle A_{1},A_{2},A_{3}\rangle和B=⟨B1,B2⟩B=\langle B_{1},B_{2}\rangle：

有序：A1,A2,A3,B1,B2,\displaystyle A_{1},A_{2},A_{3},B_{1},B_{2},块内打乱：A2,A1,A3,B2,B1,\displaystyle A_{2},A_{1},A_{3},B_{2},B_{1},轮询：A1,B1,A2,B2,A3,\displaystyle A_{1},B_{1},A_{2},B_{2},A_{3},全局打乱：A2,B1,A1,A3,B2.\displaystyle A_{2},B_{1},A_{1},A_{3},B_{2}.两种打乱排列仅展示了其中一种可能的实现，因为对应打乱所允许的任何顺序都是等可能的。相反，有序和轮询在给定文档顺序下是确定性的。

这些变体隔离了不同的困难来源。排序仅在打乱破坏了页面顺序时才非平凡，即MonoRand和PolyRand。聚类在文档交错（PolyInt、PolyRand）或所有文档共享同一领域从而消除类型线索（MonoSeq、MonoRand）时最为困难。

## 4 数据集

### 4.1 数据收集与包组装

图1 (https://arxiv.org/html/2607.21780#S1.F1)总结了Khondo的构建流水线。该数据集基于