跨语言同形词的标记化

# 跨语言同形异义词的分词处理
来源：https://arxiv.org/html/2607.17689
Rotem Brillant Yuval Pinter Stein 内盖夫本-古里安大学计算机与信息科学学院 以色列贝尔谢巴 \{brillant@post,uvp@cs\}.bgu.ac.il

###### 摘要

多语言语言模型依靠共享的子词词汇表，用有限数量的词元单元来表示多种语言。虽然这种共享通常是有益的，但它也可能导致相同的表面形式在不同语言中被过于统一地对待，即使它们的含义或用法有所不同。我们通过跨语言同形异义词和假朋友来研究这一局限，并考察在分词过程中更早地引入语言信息是否能改善对它们的处理。我们提出一种基于语言线索的简单分词器层级干预：用特定于语言的字符替换共享词汇单词的起始字符，从而在词汇表构建过程中减少常见的同一性。在内在分析中，我们通过分词器层级的统计发现，BPE 和 UnigramLM 经常以很大程度上与语言无关的方式处理跨语言同形异义词，而上下文敏感的 SaGe 分词器则表现出更强的差异性；我们的干预措施消除了这一差距。在下游的英语到X机器翻译任务中，我们的线索在若干设置下带来了适度的改进，尤其是在 BPE 下，但这种效果并非在所有语言和评估集上都是一致的。总体而言，研究结果表明，在分词器层级添加轻量级的语言信息是一个值得进一步探索的有前景方向。

## 1 引言

多语言大语言模型通过使单个模型能够在共享参数空间内表示多种语言，显著推进了自然语言处理（Aharoni 等人，2019 (https://arxiv.org/html/2607.17689#bib.bib2)；Conneau 等人，2020 (https://arxiv.org/html/2607.17689#bib.bib4)）。这些模型的一个核心组成部分是分词过程，该过程构建一个子词词汇表，用于对跨语言的文本输入进行编码。分词在平衡计算效率与语言表达能力方面起着至关重要的作用，尤其是在多语言设置中（Limisiewicz 等人，2023 (https://arxiv.org/html/2607.17689#bib.bib15)）。

参照图注：图1：在分词器训练前将语言线索应用于共享同形异义词的示意图。由于词汇表大小有限，选择合适的分词器配置成为一个关键架构决策（Liang 等人，2023 (https://arxiv.org/html/2607.17689#bib.bib14)）。多语言环境引入了独特的设计考量，例如词汇表容量应如何在各语言间分配、是训练共享分词器还是聚合特定语言的分词器，以及增加语言数量如何影响跨语言迁移性能。

在共享词汇表中，当对多种相关语言训练分词器时，出现了一个重要挑战：共享词元的存在。相关语言通常包含相同的表面形式，这些形式在学得的词汇表中被分配单个子词单元。例如单词 "barn"，在英语和瑞典语中都存在。这些共享词元获得一个单一的嵌入表示，在预训练期间跨语言联合训练（Vernikos 和 Popescu-Belis，2021 (https://arxiv.org/html/2607.17689#bib.bib24)）。然而，这种共享表示可能无法同等地捕捉所有贡献语言的含义和用法模式。这种不平衡可能源于各语言间语料库大小、词元频率或上下文使用模式的差异。

我们通过一类特定的词来研究共享词元现象：跨语言同形异义词，即在不同语言中具有相同表面形式的词。虽然许多这样的词在不同语言中保留了相似的含义（或表示相同的实体），但它们可能出现在不同的上下文分布中。此外，一些同形异义词对应于"假朋友"，尽管表面形式相同，却携带不同的含义。例如，英语中的形式 "bank" 可以指金融机构或河岸，如 "They sat by the river bank to rest."（他们坐在河岸边休息）。然而，在德语中，"bank" 通常指一条长凳，如 "Ich bin auf der Bank mit dem Kopf gestoßen."（我的头撞到了长凳上）。假朋友给多语言分词带来了额外的复杂性：单个共享词元如何表示依赖语言的含义和用法模式？

我们首先表明，主流的切词算法，如字节对编码（BPE；Sennrich 等人，2016 (https://arxiv.org/html/2607.17689#bib.bib21)）和一元语言模型（ULM；Kudo，2018 (https://arxiv.org/html/2607.17689#bib.bib9)），在词汇表构建过程中通常以与语言无关的方式处理同形异义词。由于分词器是在拼接的多语言语料库上训练的，没有显式的语言条件，相同的表面形式通常被分配一个单一的共享子词单元。因此，下游的嵌入表示聚合了来自多种语言的信号，可能加剧了我们描述的不平衡。相比之下，SaGe 分词器（Yehezkel 和 Pinter，2023 (https://arxiv.org/html/2607.17689#bib.bib26)）在词汇表构建过程中融入了上下文信息，创建出的词汇表更频繁地跨语言对共享表面形式进行不同的切分。

为了进一步改善同形异义词的处理，我们在分词器训练过程中引入了"语言线索"。这些线索是注入训练语料库中的特定于语言的 Unicode 字符。对于每个共享的同形异义词，其首字符被映射到一个语言唯一的线索，使得分词器在词汇学习过程中能够观察到最小但系统的语言区别。从而鼓励多语言分词器区分跨语言的同形异义词，可能为每种语言分配不同的子词单元，并实现更平衡的嵌入。

为了考察这种方法在词汇表构建本身之外是否有用，我们在多语言机器翻译环境中评估了所提出的语言线索。我们比较了基于基线和基于线索的英语到X翻译模型，涉及多种目标语言，使用了 BPE 和 ULM 切词，并在通用测试集以及聚焦同形异义词的测试集上进行了评估。虽然结果并不表明在所有设置下都有统一改进，但确实表明语言线索可以带来微小而令人鼓舞的收益，特别是在某些涉及同形异义词的评估条件下以及更具挑战性的基准测试中。这些发现提供了初步证据，表明在切词过程中引入轻量级语言信号可能有助于缓解多语言下游任务中有问题的共享词元行为。

## 2 分词中的同形异义词

多年来，人们提出了各种方法来改进多语言语言模型。研究涉及专门的词汇表分配方案、从单语言分词器组成多语言分词器、增加多语言词汇表、替代编码方法、词汇表扩展以及针对低资源语言的数据平衡或适应策略。这些方法共同解决了诸如词汇表瓶颈、跨语言不公平分配以及对代表性不足语言性能较弱等重要挑战。同时，它们大多将多语言分词视为一个全局词汇表设计、语料库平衡或模型适应的问题。

多语言语言建模中的一个常见假设是，跨语言一定程度的词汇重叠是有用的。Pires 等人（2019 (https://arxiv.org/html/2607.17689#bib.bib19)）表明，多语言 BERT（Devlin 等人，2019 (https://arxiv.org/html/2607.17689#bib.bib5)）甚至在没有显式跨语言训练的情况下也能在语言间传递知识，这表明共享结构在多语言模型中可能是有用的。Limisiewicz 等人（2023 (https://arxiv.org/html/2607.17689#bib.bib15)）显示，词汇重叠在某些设置下可能是有益的，特别是对于句子级别的跨语言任务，尽管并非对所有任务都同样有帮助。Kallini 等人（2025 (https://arxiv.org/html/2607.17689#bib.bib7)）通过追问哪种重叠实际上是有帮助的，进一步完善了这一图景。他们表明，重叠通常比拥有完全独立的词汇表更好，但主要针对具有相似含义的词。而含义不同的词之间的重叠则用处小得多，这突出了对同形异义词和假朋友的担忧。

表1：在 BPE 和 BPE_SaGe 下假朋友的分词模式分布。最近，Kitamura 等人（2025 (https://arxiv.org/html/2607.17689#bib.bib8)）和 Tanwar 等人（2026 (https://arxiv.org/html/2607.17689#bib.bib22)）表明，模型通常难以区分跨语言同形异义词，可能过度依赖正字法相似性而非语义解释，这进一步增强了本工作的动机。我们不仅仅将词元共享视为词汇表大小、聚类或词汇表分配的问题。相反，我们关注的是，即使含义或用法在不同语言间有所不同，相同的表面形式也可能以相同方式被切分的情况。我们的目标不是完全消除重叠，而是向分词器提供信号，以便潜在误导性的共享形式能够在流程早期被区分。从这个意义上说，所提出的语言线索在不同于 Lample 和 Conneau（2019 (https://arxiv.org/html/2607.17689#bib.bib11)）等方法层级上运作，后者在模型预训练过程中引入了语言嵌入。而在这里，语言信号直接在输入数据中引入，就在首次创建共享子词单元的地方。

### 2.1 同形异义词分词分析

为了进一步激励所提出的方法，我们首先考察现有的子词切词器在单语言和双语言设置中如何对跨语言同形异义词进行切分。如果多语言分词器倾向于以与其单语言对应版本相同的方式切分同形异义词，即使含义在不同语言间有所不同，这将表明相同的书面形式正在被类似地切分，无论语言如何。这种模式将支持在分词器训练期间需要显式语言信号的观点。

我们使用一个假朋友数据集（aari1995，2026 (https://arxiv.org/html/2607.17689#bib.bib1)；维基词典贡献者，2026 (https://arxiv.org/html/2607.17689#bib.bib25)）来聚焦于最清晰的情况：即相同的表面形式不一定需要在不同语言中以相同方式切分。表1 (https://arxiv.org/html/2607.17689#S2.T1) 比较了在此子集上、在两种设置下的单语言和多语言分词器：BPE 和用 BPE 初始化词汇表的 SaGe。所有切词器均在单语言和拼接的多语言训练语料库（Goldhahn 等人，2012 (https://arxiv.org/html/2607.17689#bib.bib6)；莱比锡语料库集，2021 (https://arxiv.org/html/2607.17689#bib.bib13)）上训练。由每种设置（英语、L2∈{德语, 法语}、双语言）产生的词元序列三元组被分为几个情况：`same_splits` 表示英语单语言、L2单语言和多语言分词器都产生相同切分的情况；`en_t=mult_t` 和 `L2_t=mult_t` 表示多语言分词器仅与其中一个单语言分词器匹配的情况；`en_t=L2_t` 表示两个单语言分词器彼此一致但与多语言分词器不同的情况；`different_splits` 表示所有三个切分都不同的情况。

比较显示分词器系列之间有明显对比。标准 BPE 在单语言和多语言设置中经常产生相同的切分，而 SaGe 则表现出更强的差异性。为了确定这种模式是否超出假朋友子集，我们接下来考察更广泛的同形异义词集。我们使用一个词典库（Altun，2026 (https://arxiv.org/html/2607.17689#bib.bib3)）构建了一个同形异义词数据集，向我们集合中增加了四种语言，并使用推土机距离（EMD）来比较 BPE 和 SaGe 分词器系列产生的切分分布。与精确的类别计数不同，EMD 提供了总体切分模式差异程度的单一度量。我们的 EMD 函数详见附录 B (https://arxiv.org/html/2607.17689#A2)。

表2：BPE（左）和 ULM（右）下同形异义词的分词模式分布。表2 (https://arxiv.org/html/2607.17689#S2.T2) 显示，更广泛的同形异义词集遵循了在假朋友中观察到的相同总体模式。在所有语言对中，BPE 在 `same_splits` 类别中产生更多情况，表明单语言和多语言分词器经常保留相同的切分。相比之下，SaGe 变体在 `different_splits` 类别中产生显著更多的情况，表明单语言和多语言切分之间存在更大差异。UnigramLM（表2 (https://arxiv.org/html/2607.17689#S2.T2)，右）遵循与 BPE 类似的模式，单语言和多语言分词器经常对同形异义词产生相同切分，而 SaGe 则扭转了这一趋势。综合来看，这些结果表明标准 BPE 和 ULM 倾向于以更与语言无关的方式处理跨语言同形异义词。

## 3 同形异义词的语言线索

参照图注：图2：多语言语言模型流水线概览：标准流程 vs. 语言线索注入。我们在分词器训练期间引入轻量级的特定于语言线索，即在从文本中学习子词单元的阶段。首先，我们为英语和每个目标语言构建特定语言对的同形异义词集。使用这些集合，我们通过将选定的每个标记同形异义词的首字符替换为一个语言唯一的线索，将特定于语言的 Unicode 线索插入训练语料库。然后，我们在修改后的语料库上训练分词器，并将其用于下游的机器翻译场景，在此我们比较基于线索的系统与基于标准基线的系统，涵盖多个英语到L2语言对。

### 3.1 同形异义词集构建

为了构建本工作中使用的同形异义词集，我们从 all-words-in-all-languages 仓库（Altun，2026 (https://arxiv.org/html/2607.17689#bib.bib3)）中提取候选词。对于每个英语-L2 语言对，我们找到英语词列表与相应目标语言词列表的交集，从而得到一个共享表面形式的集合。然后我们应用了两个过滤步骤：首先，我们删除长度少于三个字符的词，以避免不规则形式如罗马数字（例如 ii）。然后，我们过滤掉在任一特定语言训练语料库中出现少于5次的词。