词汇规范化中的多语言诅咒

# 词汇归一化中的多语言诅咒  
来源：https://arxiv.org/html/2609.00329  

###### 摘要  
词汇归一化将用户生成文本中充斥的非标准、嘈杂词汇（如 *tmrw*、*u*、*gr8*）改写为标准形式。由于大多数语言的标注数据稀缺，一种流行捷径是同时在多语言数据上训练单一模型。我们提出一个简单问题：这类模型应训练多少种语言？我们使用一个固定容量的字符级模型和标准基准中的12种语言，将联合训练的语言数量从1种变化到12种，并测量每种语言的准确率。我们发现了明显的**多语言诅咒**：当一种语言仅与少数其他语言（通常仅1-4种）共同训练时，其准确率最高；随着更多语言加入，准确率持续显著下降，在包含所有语言时下降约40%。控制实验（保持总训练数据量不变）表明下降更早且更显著，这指向不同语言对固定模型容量的竞争，而非数据量的影响。我们还测试了语言类型学距离是否能预测其理想协同训练语言数量，但未发现可靠规律：任何表观关系都依赖少数语言，且不具备普适性。对于紧凑型归一化模型，**少即是多**：少数语言优于将所有语言混合到单一模型中。  

## 1 引言  
人们在线撰写的文本（社交媒体帖子、评论、消息）充满缩写、拼写错误、语音拼写和创意变形。**词汇归一化**的任务是将每个非标准词转换为其标准形式，例如将 *tmrw* 映射到 *tomorrow* 或 *u* 到 *you*，以便下游工具能够处理干净文本。这是嘈杂文本自然语言处理中长期存在的预处理步骤（Han and Baldwin, 2011），也是独立的共享任务（Baldwin et al., 2015）。  

主要障碍是数据。人工标注的归一化语料库规模小，且仅覆盖少数语言。通常的解决方案是同时在多语言上训练一个模型，希望它们能相互增强：在一种语言中学到的拼写错误模式可能迁移到其他语言，且合并后的数据量大于任何单一语言。MultiLexNorm共享任务正是基于此设定组织的（van der Goot et al., 2021），其最强系统是一个在所有语言上联合微调的单一多语言字节级模型（Samuel and Straka, 2021）；这种“全数据混合”方案也支撑着更广泛的多语言预训练（Conneau et al., 2020）。  

但“越多越好”吗？在机器翻译和大语言模型中，研究者反复观察到**多语言诅咒**（Conneau et al., 2020; Chang et al., 2024）：当固定容量的模型训练语言越多，每个单独语言的表现最终会**下降**，因为语言间竞争有限容量。据我们所知，词汇归一化中是否存在这种权衡尚未被研究。归一化是一项小型字符级任务，模型小、输出短，拥挤容量的说法似乎不一定适用：模型可能远未达到容量极限，或跨语言的共享字符模式可能使额外语言完全有益。  

我们直接研究此问题。固定一个小型字符级模型，在保持其大小不变的情况下，从MultiLexNorm基准中选取语言，训练语言数量从1种到12种，并测量其对每个独立语言的归一化效果。我们的贡献包括：  

- • 绘制词汇归一化的准确率-语言数量前沿曲线，显示单语言准确率在少量语言时达到峰值，随后持续下降，证实多语言诅咒存在（第4.1节）。  
- • 通过控制总训练数据量不变，表明性能下降并非由数据量导致，而是由多种语言共享固定容量模型所致（第4.2节）。  
- • 检验但未证实一个直觉假设：语言的类型学孤立程度能预测其理想协同训练语言数量；任何表观效应都脆弱且依赖少数语言（第4.3节）。  

## 2 相关工作  
#### 词汇归一化  
用户生成文本的归一化研究可追溯至对短信和推文的处理（Han and Baldwin, 2011），并受W-NUT共享任务（Baldwin et al., 2015）和覆盖性系统如MoNoise（van der Goot and van Noord, 2017）影响。我们直接基于MultiLexNorm（van der Goot et al., 2021），该任务将12个归一化数据集统一为词语对齐格式，采用同一评估指标，首次实现跨语言比较。其最强系统在所有语言上联合微调字节级模型ByT5（Samuel and Straka, 2021; Xue et al., 2022）。我们正是拆解这一设定：基准固定了语言和指标，但语言数量从未被视为变量。  

#### 多语言诅咒  
向固定容量模型增加语言会先有益后损害各语言性能。这一现象已在海量多语言翻译（Arivazhagan et al., 2019）、跨语言语言模型（Conneau and Lample, 2019; Conneau et al., 2020）以及一项涵盖250种语言的语言模型困惑度研究（Chang et al., 2024）中被记录。通常归因于**负干扰**：当容量分配不足时，语言开始相互退化（Wang et al., 2020），常见解决方案是为每种语言分配少量私有容量，如适配器模块（Pfeiffer et al., 2020）。所有这些结果均来自执行词级或子词级任务的大型模型。归一化则不同：模型极小，字母表共享，输出仅少数字符。在此规模下是否出现诅咒仍是开放问题，正反皆有合理依据——小模型可能远离容量极限，或共享字符模式可能使每种额外语言成为礼物。  

#### 类型学距离  
若语言间存在竞争，相似语言可能竞争更弱。语言距离可通过URIEL及其lang2vec接口（Littell et al., 2017）量化，我们用此探究语言的类型学孤立程度能否说明其需要多少协同训练伙伴。  

## 3 实验设置  
#### 数据与指标  
使用MultiLexNorm全部12种语言数据集：丹麦语、德语、英语、西班牙语、克罗地亚语、印尼语-英语、意大利语、荷兰语、斯洛文尼亚语、塞尔维亚语、土耳其语和土耳其语-德语（两组为语码转换对）。数据经预分词和词语对齐：每个输入词与标准归一化形式配对，且多数词已是标准形式（映射到自身）。表1列出数据集规模，它们在大小（训练词数从约6k到57k）和所需归一化程度（需修改的词数比例从6.6%到37%）上差异显著，这影响语言从协同训练中的受益程度。我们保留官方训练/测试划分，确保每语言指标与已发布的MultiLexNorm结果可比；对于无开发集的五种语言，我们从训练集中保留10%作为开发集。任何实验均不使用训练划分外数据：模型无预训练阶段，所有运行从随机初始化开始。  

报告基准官方**错误减少率**（ERR），衡量系统在可实现归一化范围内的改进程度（相对于直接复制输入）：  
$$\text{ERR}=\frac{\text{acc}-\text{LAI}}{1-\text{LAI}}$$  
其中acc为词准确率，LAI（“保持原样”）为直接复制输入的准确率。ERR=1为完美；ERR=0等同于复制；ERR<0表示系统修改造成的错误多于修正。  

表1：MultiLexNorm十二个数据集：训练与测试词数，以及训练集中标准形式不同于输入的词比例（“修改比例”）。  
#### 模型  
所有实验使用**相同模型**：一个字符级编码器-解码器Transformer（Vaswani et al., 2017），逐字符读取原始词并生成归一化形式。编码器和解码器各含三层，模型宽度128，四个注意力头，前馈宽度512；共享单一字符词表（包含所有语言字符加上起始、结束和填充符号）。总参数量1.49M（表2）。固定模型不变是本研究的关键：随语言增加出现的每语言准确率变化，反映的是固定容量如何共享，而非模型大小变化。我们选择小型模型并从头训练，而非微调预训练字节级模型（如ByT5），原因在于：预训练模型内置未知的多语言容量，我们将测量其继承容量的重新分配，而非已知固定容量的共享方式。从头训练使容量成为可控量而非继承量。此选择代价是绝对性能，我们将在两种语言归一化效果差于不处理时回溯讨论。  

表2：模型与训练设置，所有条件下一致。  
#### 实验流程  
对语言数量$k$从1到12，我们从12种语言中随机选取$k$大小的子集联合训练模型。子集通过覆盖约束抽取，确保每种语言在子集中出现次数相近；否则在$k$较小时某些语言可能从未被训练。整个流程重复三次随机种子，共390次训练运行。训练时混合所选语言数据并使用AdamW优化器；当训练语言的平均开发ERR停止提升时早停，并保留最佳检查点。然后在每种训练语言的测试集上测量ERR。对一种语言，其在特定$k$值所有子集上的平均ERR构成**前沿曲线**，该平均值最高的$k$即为最优$k^*$。由于完整测试集的贪婪解码耗时较长，在扫描过程中对每种语言的测试ERR采用最多2,000个测试词的固定样本估计。  

#### 数据控制消融实验  
增加语言同时改变两点：模型需服务的语言混合比例增加，且总训练数据量增加。为分离两者，我们在整个流程中设置总训练词数上限，使12语言模型可见数据不多于单语言模型。若控制后性能下降仍然存在，则不能归因于数据量效应。  

#### 类型学  
对每种语言计算其**孤立度**：与其他11种语言的平均URIEL句法距离。土耳其语和印尼语-英语是明显离群值；欧洲语言紧密聚集。  

## 4 结果  
### 4.1 词汇归一化存在多语言诅咒  
图1展示前沿曲线。西班牙语和意大利语被先排除：两者在所有$k$下得分均低于零（修改多于修正），故无法定义最佳协同语言数。下文单独讨论，此处平均剩余十种语言。  

这十种语言的平均ERR在$k=2$时达到峰值（0.316），略高于单独训练（0.312），随后在$k=12$时降至0.191，较峰值下降约40%。下降非平均噪声曲线所致：十种语言均在$k=12$时低于其各自最佳值，其中九种在11个伙伴时比无伙伴时更差。六种在中间$k^*$达到峰值；其余四种单独训练最优，十种语言的平均最优$k^*=2.5$。少量伙伴可能有益，但多数仅造成拥挤。  

每语言曲线（图2，表3）细化了情况。英语是最典型案例：单独训练时最佳（ERR=0.384），此后随$k$增加下降至$k=12$时的0.088。英语数据量足以独立训练，共享容量只会稀释。最优$k^*=1$的四种语言（英语、德语、荷兰语、土耳其语-德语）无任何伙伴受益。其余六种在拥挤出现前能接受少量伙伴：丹麦语和斯洛文尼亚语在$k=2$达峰，印尼语-英语在$k=3$，克罗地亚语和塞尔维亚语在$k=4$，土耳其语（基准中最小数据集且需最重归一化）在$k=6$达峰（晚于其他九种语言），但其峰值ERR仅0.125。  

#### 西班牙语和意大利语失败的原因及对结论的影响  
这两种语言表现迥异，需明确说明，因其影响整体解读。两者在所有$k$下得分低于零：模型修改的词多于修正的词。两者在单独训练时**最差**（西班牙语-0.847，意大利语-0.614），在12种语言时优于单独训练（-0.451和-0.304），且在$k=10$和$k=8$时达到最佳（晚于其他语言，剩余十种最大最优值为$k^*=6$）。  

这种趋势排除了某种解释：若失败源于与归一化程度更高的语言混合，增加伙伴应加剧问题；但实际上增加伙伴缓解了问题，且无伙伴的单语言设置是最差情况。该趋势与**语言内信号短缺**一致。西班牙语和意大利语结合了低修改率和小训练集：仅7.7%和7.3%的词需修改（对比土耳其语的37.0%），训练词数仅7,189和12,645（表1）。此组合导致其拥有最少的已修改词：西班牙语约550，意大利语920，而其他语言均高于1,500。