低资源Tangkhul-英语神经机器翻译

# 低资源唐库尔语-英语神经机器翻译
来源：https://arxiv.org/html/2606.25365
Chormi Zimik Vashai 独立研究员 美国卡拉马祖 czimik94@gmail\.com Agniva Maiti KIIT大学 印度布巴内斯瓦尔 2205964@kiit\.ac\.in

###### 摘要

我们介绍了一项针对唐库尔语-英语（nmf–en）语言对的低资源机器翻译研究。唐库尔语是一种严重缺乏资源的藏缅语族语言，主要使用于印度曼尼普尔邦，几乎没有现成的自然语言处理基础设施。我们描述了两种系统：（1）基于ByT5-large微调的主系统，使用了38,336个唐库尔语-英语平行句对；（2）基于mT5-small微调的对比系统，使用了相同的语料。我们的主系统ByT5-large在保留的3,856个测试句子上取得了语料级BLEU分数39.97、chrF++ 58.07、BERTScore F1 0.8104以及COMET（wmt22-comet-da）0.7302。我们进一步讨论了唐库尔语拉丁字母中特有的正字法挑战（尤其是变音符号）、我们训练语料的领域偏差（包括圣经文本、故事和对话数据），以及通过数据多样化和领域适应进行未来改进的途径。

**关键词**：低资源机器翻译·唐库尔语·ByT5·mT5·藏缅语族语言·神经机器翻译

## 1 引言

低资源语言的机器翻译（MT）仍然是自然语言处理领域最紧迫的开放问题之一。尽管神经机器翻译（NMT）在高资源语言对（如英语-德语和英语-中文）上取得了显著成绩，但由于缺乏大规模平行语料、预训练表征和标准化正字法，全球约7,000种语言中的绝大多数在现代NLP系统中实际上仍然不可见。

唐库尔语（ISO 639-3: nmf）属于汉藏语系唐库尔语支，约有150,000-200,000人使用（Ethnologue, 2015 (https://arxiv.org/html/2606.25365#bib.bib25); Lisam, 2011 (https://arxiv.org/html/2606.25365#bib.bib28)），主要分布在印度东北部曼尼普尔邦的乌克鲁尔地区，在缅甸也有较小的社区（Ethnologue: Languages of the World, 2016 (https://arxiv.org/html/2606.25365#bib.bib32)）。唐库尔一名是邻近的梅泰人给的外名，普遍认为源自梅泰语单词tāng（“稀缺”）和khūl（“村庄”）（Sanyu, 1996 (https://arxiv.org/html/2606.25365#bib.bib26)），或者来自Than-khul（“Than村庄”）（Shimray, 2001 (https://arxiv.org/html/2606.25365#bib.bib27)）。该语言于1897年首次被书写成文字，当时传教士威廉·佩蒂格鲁编纂了《唐库尔入门》（S, 2023 (https://arxiv.org/html/2606.25365#bib.bib30); Pettigrew, 1897 (https://arxiv.org/html/2606.25365#bib.bib36)）。与许多那加语类似，唐库尔语具有主-宾-谓（SOV）语序、粘着形态和语法声调系统，但标准正字法中不标记声调（Ahum, 1997 (https://arxiv.org/html/2606.25365#bib.bib33)）。该语言使用基于拉丁字母的文字，包含两个音位上独特的变音符号：上划线（ā，Unicode U+0101）表示长元音，下组合变音符号（a̱，Unicode U+0331）表示不同的元音音质。这些字符虽然属于Unicode标准，但不在基本多文种平面可打印ASCII范围内，给基于主要欧洲语料库训练的字节对编码（BPE）和SentencePiece词表带来了分词挑战。

在这项工作之前，唐库尔语几乎没有任何专门的NLP资源：没有公开可用的平行语料库，没有训练好的翻译模型，没有形态分析器，也没有预训练语言模型。我们的贡献填补了这一空白：（i）据我们所知，我们首次汇编了一个公开可用的大规模唐库尔语-英语平行语料库；（ii）在此数据上微调了两个最先进的多语言序列到序列模型；（iii）使用BLEU、chrF++、BERTScore和COMET进行了全面评估；（iv）通过Hugging Face Hub向研究社区发布了我们最好的模型。

## 2 相关工作

### 2.1 唐库尔语的语言学概况

唐库尔语属于汉藏语系的唐库尔语支，包括Kabonglo和Lairamlo等多种方言（Devi, 2019 (https://arxiv.org/html/2606.25365#bib.bib34); Chanu, 2019 (https://arxiv.org/html/2606.25365#bib.bib35)）。它具有广泛的粘着形态，单个动词复合体可以通过一系列粘附词缀编码时态、体、语气、一致关系和方向性（Ahum, 1997 (https://arxiv.org/html/2606.25365#bib.bib33)）。这种高度的形态合成性对传统的子词分词器（如BPE或SentencePiece）造成了严重的稀疏性问题，这些分词器依赖于在大型语料库中发现重复的文本片段。由于唐库尔语缺乏用于预训练的大规模未标注文本语料，从严重倾斜的多语言数据集（如用于mT5的mC4语料库）学到的子词词表无法捕捉这些形态边界，导致任意且碎片化的分词结果。此外，唐库尔语是一种声调语言，但19世纪末引入的基于拉丁字母的正字法并不标记声调，而是依靠上下文消歧。这种正字法歧义使翻译任务复杂化，因为序列到序列模型必须完全依靠周围的句法线索来推断语义意图。

### 2.2 低资源神经机器翻译

自Transformer架构引入以来，神经机器翻译取得了巨大进步（Vaswani等人, 2017 (https://arxiv.org/html/2606.25365#bib.bib20)）。然而，不同资源水平之间的收益极不均衡。对于低资源语言对，几种策略已被证明有效：来自多语言预训练模型的迁移学习（Zoph等人, 2016 (https://arxiv.org/html/2606.25365#bib.bib24); Gu等人, 2018 (https://arxiv.org/html/2606.25365#bib.bib5)）、通过反向翻译进行数据增强（Sennrich等人, 2016 (https://arxiv.org/html/2606.25365#bib.bib19)）以及基于单语数据的无监督MT（Lample等人, 2018 (https://arxiv.org/html/2606.25365#bib.bib6); Artetxe等人, 2018 (https://arxiv.org/html/2606.25365#bib.bib3)）。针对印度和南亚/东南亚低资源语言的具体挑战，IndicTrans（Ramesh等人, 2022 (https://arxiv.org/html/2606.25365#bib.bib16)）和IndicTrans2（Gala等人, 2023 (https://arxiv.org/html/2606.25365#bib.bib4)）系统已在22种印度宪法规定的语言及其他一些印度语言上建立了强大的多语言基线。然而，唐库尔语并未包含在这些系统中，反映出东北印度部落语言在NLP文献中的普遍不可见性。WMT共享任务历来关注欧洲和东亚语言对。近年来，专门的低资源赛道（例如WMT 2023、2024、2025的IndicMT）开始纳入印度语言，但东北印度的藏缅语族语言在大多数基准测试中仍然缺席。

### 2.3 字节级和字符级模型

ByT5（Xue等人, 2022 (https://arxiv.org/html/2606.25365#bib.bib22)）是T5（Raffel等人, 2020 (https://arxiv.org/html/2606.25365#bib.bib14)）的字节级变体，直接操作原始UTF-8字节序列，无需词表，因此对任何书面语言、字符集或正字法都具有固有的鲁棒性。ByT5特别适合低资源和形态丰富的语言，因为在这些语言中，子词分词可能会产生过度碎片化的表示，或无法捕捉能产的形态过程。对于真正的零资源场景，ByT5的无分词方法意味着它可以无需预处理地立即处理任何文本。

mT5（Xue等人, 2021 (https://arxiv.org/html/2606.25365#bib.bib21)）是T5的多语言变体，在覆盖101种语言的mC4语料库上进行了预训练。它使用SentencePiece一元语言模型分词，共享词表大小为250,112个词元（Hugging Face配置中基础250,100个词元加上12个特殊词元）。虽然mT5涵盖了拉丁文字和常见的变音符号，但其预训练数据中不包含唐库尔语文本，因此在没有微调的情况下是一个零样本基线。这两个模型此前已被应用于低资源MT。Adelani等人（2022 (https://arxiv.org/html/2606.25365#bib.bib1)）证明mT5和ByT5在非洲低资源语言上取得了有竞争力的性能。Edman等人（2024 (https://arxiv.org/html/2606.25365#bib.bib37)）表明，字符级和字节级模型在翻译质量上比mT5这样的子词模型具有明显优势，特别是在罕见词和形态复杂场景中。

### 2.4 低资源NLP中的圣经语料库

平行圣经语料库长期以来一直是低资源语言的多语言最后资源。平行圣经语料库（Mayer和Cysouw, 2014 (https://arxiv.org/html/2606.25365#bib.bib9)）覆盖了1,000多种语言。类似地，Agić和Vulić（2019 (https://arxiv.org/html/2606.25365#bib.bib2)）从耶和华见证人出版物中编译了JW300平行语料库，涵盖300多种低资源语言。这种基于宗教的训练数据的关键局限性在于领域特定性：词汇、语域和句法结构与日常对话或新闻语言有很大不同。我们在分析中明确承认了这一局限性（第6.5节 (https://arxiv.org/html/2606.25365#S6.SS5)）。

## 3 数据集

### 3.1 数据收集与结构

我们的语料库主要由平行圣经翻译组成的对齐唐库尔语-英语句对构成，并辅以故事和对话数据（从第31,095行开始）。原始数据由项目团队编译和清理，并以电子表格（XLSX）形式存储，包含以下列：

- • verse_text_t: 唐库尔语源句（每行一个圣经经文）
- • verse_text_e: 对应的英语翻译

加载电子表格后，我们应用了以下预处理流程：

1. 1.空格标准化：将所有空格字符序列替换为单个空格。
2. 2.唐库尔语字符过滤：仅保留可打印ASCII字符（U+0020–U+007E）、长元音上划线ā（U+0101）和下组合变音符号（a̱，U+0331）。删除所有其他Unicode字符（主要是标点伪影和编码错误）。
3. 3.英语字符过滤：仅保留可打印ASCII字符。
4. 4.去重：删除重复的源句。
5. 5.删除空行：删除清理后任一列为空或为空的各行。

最终清理后的语料库包含38,336个句对。表1 (https://arxiv.org/html/2606.25365#S3.T1)总结了语料库统计信息¹。¹ 表1中的词表大小是通过简单的空格分词和小写化估计的。唐库尔语的词表（约18,200个词形）比英语（约14,300个词形）相对较大，反映了唐库尔语的高度粘着形态。

表1: 语料库统计信息

1-5 | 6-10 | 11-15 | 16-20 | 21-25 | 26+
0.5 | 1 | 1.5 | 2 | 2.5 | 3 | 3.5 | 4 | ×10⁴

每个句子的词元数 | 句子数量
唐库尔语 | 英语

图1: 唐库尔语-英语平行语料库中每个句子的词元数分布。

### 3.2 数据集划分

我们采用90/5/5的训练/验证/测试划分，使用固定随机种子（42）并进行分层随机划分，以保持各分区中经文长度的分布。在使用推理流程进行全语料评估时，我们使用了完整清理数据集的10%（3,856个句子），以提供更大、统计上更稳定的模型性能估计。

表2: 数据集划分。主要测试集为1,917个句子；全语料评估使用3,856个句子。

### 3.3 正字法考量

唐库尔语的两个非ASCII变音符号带来了非平凡的分词挑战：

- • ByT5: 在字节级别操作，因此ā（2字节）和a̱（基础字母加1个组合字节）被自然地处理为短字节序列。无需特殊预处理。
- • mT5/SentencePiece: 在mC4上训练的SentencePiece词表包含ā，但缺少下组合变音符号（a̱）。由于mT5使用字节回退，它将无法识别的a̱字素拆分为其基础字符a和原始UTF-8字节词元（<0xCC><0xB1>）。这种碎片化将语音修饰符与其基础字符分离，并使唐库尔语文本的有效序列长度增加约10-15%。

表3 (https://arxiv.org/html/2606.25365#S3.T3)提供了这一现象的具体示例，展示了与ByT5干净的字节级表示相比，mT5的SentencePiece分词器如何碎片化包含a̱变音符号的常见唐库尔语单词。

表3: 唐库尔语单词tara̱（“水”）的分词。下组合变音符号在mT5中回退为字节词元，与其基础字符a分离。ByT5将整个序列原生编码为字节。

## 4 系统描述

我们为此任务开发了两个系统。

### 4.1 主系统：ByT5-large（微调）

#### 架构。

ByT5-large是一个编码器-解码器Transformer，约有12.3亿参数。它直接处理原始UTF-8字节序列，无需任何分词步骤，固定词表为259个字节值（0-255加上三个特殊词元）。

唐库尔语输入: tara̱（“水”）
SentencePiece (mT5): [tar][a]<0xCC><0xB1>
子词编码器（标准自注意力）
子词拆分
UTF-8字节 (ByT5): 74 61 72 61 cc b1
字节编码器（局部注意力 + 深层）
原始UTF-8编码
次优碎片化（变音符号分离为字节词元）
完整的语音和正字法信息干净保留

图2: 具有变音符号的唐库尔语单词（例如tara̱）的子词级（mT5）与字节级（ByT5）表示对比。子词分词器将罕见的组合变音符号碎片化为回退字节词元，将语音修饰符与其基础字符分离。ByT5将这些字符原生处理为多字节序列。

模型名称: tangkhul-byt5

#### 预处理。

如第3节所述。任务前缀"translate Tangkhul to English: "被添加到每个源句前，遵循标准T5指令格式。

#### 训练配置。

模型从google/byt5-large预训练检查点进行微调。关键超参数见表4 (https://arxiv.org/html/2606.25365#S4.T4)。

表4: ByT5-large 训练超参数

#### 推理。

推理时，使用num_beams=4和early_stopping=True的波束搜索。翻译从字节序列解码回UTF-8字符串。

#### 模型发布。

微调后的ByT5-large模型tangkhul-byt5以及一个实时演示Gradio界面已公开可用。

### 4.2 对比系统：mT5-small（微调）

#### 架构。

我们微调了google/mt5-small（3亿参数）作为对比系统，以研究字节级和子词级表示之间的权衡，并评估我们新收集的数据集在显著更小的模型上微调时的表现。