评估多语言机器翻译评估中变体混淆的成本:将莫桑比克希昌加纳语、尼扬贾语和塞纳语添加到FLORES+
摘要
本文扩展了FLORES+基准测试,增加了针对莫桑比克希昌加纳语、尼扬贾语和塞纳语的评估集,表明参考译文的变化对机器翻译评估分数有显著影响。
arXiv:2609.13847v1 公告类型:新
摘要:在本文中,我们扩展了FLORES+,添加了针对三种莫桑比克班图语变体:希昌加纳语、莫桑比克尼扬贾语和塞纳语的葡萄牙语源评估集。我们将希昌加纳语与现有的聪加语参考译文进行比较,并将莫桑比克尼扬贾语与奇切瓦语进行比较,同时评估NLLB-200、Google Translate、GPT以及一个变体感知的NLLB模型。固定系统输出揭示了显著的参考译文敏感性。在 \textit{devtest} 上,仅将参考译文从聪加语改为希昌加纳语,使NLLB-200的spBLEU降低了13.10分,Google的降低了15.30分。在匹配的尼扬贾语子集上,将奇切瓦语替换为莫桑比克尼扬贾语,产生了较小但一致的spBLEU降低,分别为3.03和6.10。变体感知的微调在目标语言上逆转了这一模式:相对于NLLB-200,在 \textit{devtest} 上,它使希昌加纳语的spBLEU提高了7.04,莫桑比克尼扬贾语提高了5.33,而在兄弟参考译文上性能有所下降。GPT在聪加语和奇切瓦语上表现有竞争力,但在莫桑比克变体上明显较弱。对于塞纳语,微调模型在 \textit{devtest} 上达到了12.64 spBLEU和36.21 chrF++。这些发现推动了针对跨境语言或语言方言/变体的变体感知语言标识符、参考译文和报告。数据可在Hugging Face上公开获取,地址为 https://huggingface.co/datasets/MOZNLP/FLORES_MOZ
查看缓存全文
缓存时间: 2026/09/15 08:44
# 在多语言机器翻译评估中度量变体混淆的成本:将莫桑比克的Changana语、Nyanja语和Sena语加入FLORES+ 来源:https://arxiv.org/html/2609.13847 Felermino D\. M\. A\. Ali 附属机构:Lúrio大学工程学院 地址:Eduardo Mondlane区,Pemba,莫桑比克 邮箱:[felermino\.ali@unilurio\.ac\.mz](mailto:[email protected]) Delfina Lázaro Mateus 附属机构:Eduardo Mondlane大学 - 传播与艺术学院 地址:Samora Machel大道,Maputo,莫桑比克 Manuel Valente Mangue 附属机构:Eduardo Mondlane大学 - 传播与艺术学院 地址:Samora Machel大道,Maputo,莫桑比克 ###### 摘要 本文通过葡萄牙语源语言评估集扩展了FLORES+,涵盖三种莫桑比克班图语变体:Changana语、莫桑比克Nyanja语和Sena语。我们将Changana语与现有的Tsonga语参考文本进行比较,将莫桑比克Nyanja语与Chichewa语进行比较,并评估了NLLB-200、Google翻译、GPT以及一个具有变体感知能力的NLLB模型。保持系统输出固定时,研究揭示了显著的参考文本敏感性。在devtest集上,仅将参考文本从Tsonga语改为Changana语,NLLB-200的spBLEU下降了13.10分,Google翻译下降了15.30分。在匹配的Nyanja语子集上,用莫桑比克Nyanja语替换Chichewa语,分别产生了较小但一致的3.03和6.10 spBLEU的降低。针对变体的微调逆转了这一模式:相对于NLLB-200,它在目标变体上将Changana语提升了7.04 spBLEU,莫桑比克Nyanja语提升了5.33 spBLEU(devtest集),但在同源参考文本上性能有所下降。GPT在Tsonga语和Chichewa语上表现尚可,但在莫桑比克变体上明显较弱。对于Sena语,微调后的模型在devtest集上达到了12.64 spBLEU和36.21 chrF++。这些发现为跨境语言或方言/变体支持变体感知的语言识别、参考文本集和报告提供了动力。数据在Hugging Face公开可用:https://huggingface.co/datasets/MOZNLP/FLORES_MOZ。 ## 1 引言 图1:评估的莫桑比克变体及其FLORES同源参考文本的位置。 班图语在非洲广阔、连续的地区使用,殖民时期的边界很少与语言边界重合。一种语言通常在多个国家被使用,发展出在词汇、正字法,尤其是借词来源上存在差异的变体。这些差异决定了说话者是否能够实际使用翻译系统,以及评估分数是否对该可用性具有有意义的估计。词汇借用是最清晰的例证。马拉维的Chichewa语和莫桑比克的Tete与Niassa地区的Nyanja语共享代码nya,但前者主要从英语借用词汇,而后者从葡萄牙语和英语两者借用。Tete的一位读者看到matilikula、munisipiyo或dhowutori时,遇到的是至多陌生的词汇,而他们期望的是regisita、tawoni chipi或dokota。同样的不对称也存在于南非Tsonga语和莫桑比克Changana语之间,两者的代码都是tso。由于FLORES+仅包含南非和马拉维的变体,在这些数据集上进行评估的系统会被认为其输出是莫桑比克用户不会接受的——这是最近针对苏丹阿拉伯语提出的观点(Samil and Adelani, 2026) (https://arxiv.org/html/2609.13847#bib.bib7)。 我们贡献了:(i) FLORES+的dev和devtest集,包含由该变体母语者从葡萄牙语翻译的Changana语和莫桑比克Nyanja语;(ii) 首个针对Sena语(代码seh\_Latn)的FLORES+集,这是一门在赞比西河谷使用、使用者约两百万人、在公共语料库中几乎缺席的语言;(iii) 一项对照比较,表明现有的tso\_Latn和nya\_Latn集不能作为莫桑比克变体的有效替代;(iv) 一项微调实验,表明该差距是变体效应,且可以通过廉价方式解决。加上Emakhuwa语(Ali et al., 2024)(https://arxiv.org/html/2609.13847#bib.bib1),这些集将FLORES+中对莫桑比克的覆盖从一种语言扩展到四种。 ## 2 相关工作 FLORES从最初的两个低资源语言对(Guzmán et al., 2019)(https://arxiv.org/html/2609.13847#bib.bib2)发展到101种语言(Goyal et al., 2022)(https://arxiv.org/html/2609.13847#bib.bib3),随后到200种语言(NLLB Team, 2022)(https://arxiv.org/html/2609.13847#bib.bib4),同时建立了一个多阶段的翻译-审阅-裁决流程。FLORES+现在通过开放语言数据计划(Open Language Data Initiative, 2024)(https://arxiv.org/html/2609.13847#bib.bib5)下的社区治理进行维护。近期的贡献扩展了覆盖范围,引入了语言变体,并审核了现有参考文本。Kalejaiye et al. (2025) (https://arxiv.org/html/2609.13847#bib.bib6)增加了四种尼日利亚少数民族语言,并证明了当前模型对它们的覆盖不足。Ali et al. (2024) (https://arxiv.org/html/2609.13847#bib.bib1)贡献了Emakhuwa语(此前FLORES+中唯一的莫桑比克语言),使用葡萄牙语作为源语言并记录了正字法的不稳定性。我们遵循类似的流程,同时增加了Sena语和两种莫桑比克变体。我们关于变体的贡献与Samil and Adelani (2026) (https://arxiv.org/html/2609.13847#bib.bib7)对苏丹阿拉伯语的扩展最为接近。然而,由于FLORES+已经包含Tsonga语和Chichewa语的同源参考文本,我们可以直接测量当参考文本代表目标莫桑比克变体时评估如何变化,以及针对性的微调是否减少了这种不匹配。 ## 3 这三种语言 葡萄牙语是莫桑比克的官方语言,但只是少数人的第一语言;大多数人口以大约二十种班图语之一为母语。Changana语(tso)在Gaza、Maputo和Inhambane约有180万人使用,属于Tswa–Ronga语组,与南非的Xitsonga语相关(见图1 (https://arxiv.org/html/2609.13847#S1.F1)),两者在借词来源、正字法惯例和行政语域上存在分歧。Nyanja语(nya)在Tete和Niassa约有120万人使用,与马拉维的Chichewa语和赞比亚的Chinyanja语连续。Sena语(seh)在赞比西河下游约有200万人使用;与其他语言不同,它有自己的代码,且在FLORES+中完全没有条目,是这三种语言中书面标准化程度最低的,宗教翻译是主要的书面语篇类型。 ## 4 方法 我们遵循FLORES+贡献指南(Open Language Data Initiative, 2024)(https://arxiv.org/html/2609.13847#bib.bib5),以便生成的数据集能与现有条目直接比较。 ### 4.1 源数据 我们将FLORES+的dev(997句)和devtest(1012句)分割从葡萄牙语(pt)翻译成每种目标变体。选择葡萄牙语而非英语作为源语言有两个原因。实际上,我们的译者精通葡萄牙语和他们的母语,但英语水平不一;葡萄牙语是莫桑比克的教育和行政语言,因此实际上存在能够进行这些变体翻译的双语专业译者。遵循Ali et al. (2024) (https://arxiv.org/html/2609.13847#bib.bib1)出于同样原因将Emakhuwa语从葡萄牙语翻译的做法,我们视译者熟练程度比源语言经典性更能决定参考文本质量。由于FLORES+是多语平行的,葡萄牙语部分本身是其他所有条目使用的同一英语源文本的专业翻译,因此我们的数据集与tso\_Latn和nya\_Latn保持句子对齐。这使得第7节 (https://arxiv.org/html/2609.13847#S7)的对照比较成为可能:任何分数差异都仅可归因于目标变体。使用转换轴存在传播葡萄牙语端伪影的风险,我们将在局限性部分重新讨论。译者能看到完整的文档上下文,并且只根据葡萄牙语文本进行工作。 ### 4.2 目标变体和译者 对于每种语言,我们与两位语言专家合作,他们全部是Eduardo Mondlane大学班图语言学系培训的语言学家。译者必须是目标变体的母语使用者,居住在该变体使用地区,精通葡萄牙语,并具有葡萄牙语到目标语言的翻译经验。所有贡献者均按当地或高于当地专业费率获得报酬。 ### 4.3 翻译平台 我们开发了一个定制的基于网络的计算机辅助翻译(CAT)平台(CATfrica: https://mozcat.vercel.app)以支持翻译、质量控制和审阅(见图2 (https://arxiv.org/html/2609.13847#A3.F2))。该平台适配移动设备,允许译者离线工作,完成的工作和本地更改会在有互联网连接时自动同步。这对于在连接不稳定环境下工作的参与者尤为重要。译者被分配单独的段落,并可访问葡萄牙语-目标语双语词典。对于每个源语段,CAT平台会自动识别并高亮显示潜在相关的术语条目,帮助译者选择合适的术语并保持一致性。平台还执行自动质量保证检查,并显示潜在拼写错误、不匹配的标点或数字、可能未翻译的文本、源语与目标语长度不成比例以及大小写不一致的警告。译者可以检查每个警告,必要时修改翻译,或确认标记的差异是有意的。完成的段落会被分配给审阅者进行独立验证。审阅者可以直接纠正问题,也可以将段落连同反馈退回给译者。退回的段落保持开放状态,直到译者提交修改并经审阅者批准。只有在成功完成此审阅周期后,一个段落才被视为完成。 ## 5 参考文本变体分析 在评估机器翻译系统之前,我们将每个莫桑比克参考文本与相应的FLORES同源变体进行比较。分析涵盖所有2,009个对齐的语段:997个来自dev,1,012个来自devtest。由于参考文本是独立翻译的,其差异可能反映了变体差异、正字法惯例、词汇选择、释义或数据质量问题。 表1:参考文本对诊断指标。Nyanja MZ/Chichewa行仅使用受信任的分配者-B语段;Xichangana/Tsonga行使用完整的分割。相似度和重叠度是百分比;长度比是莫桑比克参考文本标记与同源参考文本标记的句子级比率。最后一列统计了标记数量不到同源参考文本一半的莫桑比克语段。 ### 5.1 莫桑比克Nyanja语和Chichewa语 莫桑比克Nyanja语和Chichewa语相关,但远非文本可互换。平均字符相似度为54.39%,中位字符相似度为54.98%,平均标记集重叠度为14.33%,词汇Jaccard重叠度为17.37%。没有句子对是完全匹配的。语料库在长度上大致平衡,平均句子级标记长度比为1.05。没有莫桑比克语段包含的标记数量不到其Chichewa语对应部分的一半。因此,观察到的差异不能用系统性截断来解释。最强且反复出现的区别在于对c和ch的处理。独立出现的c后不跟h的情况在莫桑比克参考文本中出现1,610次,而在Chichewa语中出现367次;ch分别出现281次和1,849次。最频繁的对齐正字法对应包括ca/cha和nchito/ntchito,各观察到12次,其次是awili/awiri和nzinda/mzinda。其他例子包括cifukwa/chifukwa、caka/chaka和mwacitsanzo/mwachitsanzo。这种差异不能简化为拼写。反复出现的替换如zimene/zomwe、amene/omwe和monga/ngati表明词汇和语法选择上的差异。名称和借词形式也不同,例如afilika/africa。 ### 5.2 Changana语和Tsonga语 Changana语和Tsonga语表现出更强的分离性。平均字符相似度为48.94%,中位字符相似度为49.47%,平均标记集重叠度为9.47%,词汇Jaccard重叠度为9.87%。同样,没有句子对是完全匹配的。Changana语参考文本包含40,893个标记,而Tsonga语包含52,443个,平均标记长度比为0.80。最显著的正字法区别几乎是互补的:sv在Changana语中出现3,681次,在Tsonga语中仅出现5次;而sw分别出现42次和4,191次。例子包括sva/swa、lesvaku/leswaku、lesvi/leswi和nasvona/naswona。其他反复出现的对应包括la/ra、doropa/doroba、ndzhaku/endzhaku、nkama/nkarhi和mpimu/mpimo。功能词和一致性形式也不同,包括na/ni、ka/eka/ku之间的交替,以及若干名词类别的一致性标记。 ## 6 实验设置 我们评估了三个用于葡萄牙语到目标语言翻译的系统。NLLB-200基线是facebook/nllb-200-distilled-600M。Google指的是Google Cloud Translation通用NMT模型[2],在2026年9月查询,指定葡萄牙语为源语言,nya或tso为目标语言。Google没有为莫桑比克变体提供单独的标识符,因此每个Google输出都针对同源参考文本和莫桑比克参考文本进行评分。未收集Google对Sena语的输出。GPT[3]指的是OpenAI API端点。一个零样本翻译提示(见附录B (https://arxiv.org/html/2609.13847#A2))指定了葡萄牙语作为源语言,并分别描述了标准Chichewa语、莫桑比克Nyanja语、标准Xitsonga/Tsonga语、Changana语和Sena语作为五个目标。每个响应被限制为结构化JSON格式,并验证了完整的语段和目标覆盖。因此,GPT为每种目标变体(包括Sena语)生成不同的输出,而不是在每个同源-莫桑比克对中共享一个假设。NLLB+微调模型始于相同的600M参数蒸馏NLLB检查点。我们保留了标准nya\_Latn、tso\_Latn和seh\_Latn标记用于Chichewa语、Tsonga语和Sena语,并为莫桑比克Nyanja语和Changana语引入了nya\_MZ\_Latn和tso\_MZ\_Latn。两个新的标记嵌入在扩展分词器词汇表时初始化,并在微调过程中学习。我们还在每个源句子前添加了一个显式目标标记,如<2nya-MZ>或<2tso-MZ>。因此,微调后的模型可以为同源目标和莫桑比克目标生成不同的假设。 ### 6.1 微调数据 表2:数据覆盖范围。计数是葡萄牙语-变体翻译方向的直接句子对行数。 表2 (https://arxiv.org/html/2609.13847#S6.T2)报告了每种目标变体直接葡萄牙语数据的量,以及涉及每个目标变体的合格行的总数,连同训练数据中代表的语料库或领域覆盖范围。 ### 6.2 优化 训练使用四个NVIDIA RTX A6000 GPU和DistributedDataParallel。模型训练了15,000个优化器步骤,最大序列长度为200。我们使用Adafactor优化器,学习率为1×10^{-4},权重衰减为1×10^{-3},裁剪阈值为1.0,并在250个预热步骤后采用恒定学习率调度。随机种子从222初始化,并带有特定于排名的偏移。模型、分词器、优化器和调度器状态每500步保存一次。 ### 6.3 评估 对齐的评估数据每个方向包含997个dev句子和1012个devtest句子。我们将完整的葡萄牙语源文本翻译成nya、nya-MZ、tso、tso-MZ,并在支持的情况下翻译成seh。对于现成的NLLB基线,同源标签和莫桑比克标签映射到相同的NLLB标准标记,因此其假设...
相似文章
Cultivar:面向对比与本地化的翻译基准,用于研究数据污染与本地化鲁棒性
介绍了Cultivar,一个对比性本地化翻译基准,用于检测数据污染并评估多语言翻译模型的本地化鲁棒性。该基准对32个开放权重模型进行了评测,发现机器翻译专用模型的鲁棒性较低,且可能对FLORES存在过拟合。
构建欧洲多语言评估数据集:EMT网络内的MMLU本地化项目
本文报告了欧盟委员会翻译总局与欧洲翻译硕士网络合作,将MMLU数据集本地化为11种欧洲语言的项目。该项目不仅为LLM评估创建了更具包容性的基准,还为翻译专业学生提供了真实的项目式专业培训。
从单语到多语:评估Mamba在南非语言中的ASR性能
本文评估了Mamba状态空间模型在七种南非语言上的ASR性能,发现其在资源更少的情况下达到了与Conformer相当的准确率,并探讨了多语训练策略和低资源场景。
失之毫厘,谬以千里:衡量非母语英语对大型语言模型终端用户使用效果的影响
本文提出了 Fable,一个受控数据集,包含从 174K 条真实用户提示中衍生出的 190,911 条英语提示变体。研究对 34 个开源权重的大语言模型进行了评估,结果表明,模型会反映出非母语者提示中更高级的修辞与词汇特征,从而为语言表达能力较弱的用户生成质量更低、流畅性更差的回答。
DFKI-MLT在SemEval-2026任务7中:引导多语言模型走向文化知识
本文介绍了用于SemEval-2026任务7(文化意识)的DFKI-MLT系统,该系统利用来自平行FLORES数据的语言向量,对多语言大语言模型应用激活引导。该系统在多项选择题(MCQ)赛道中达到86.96%的准确率,在17支队伍中排名第7,事后分析表明,提升效果对层敏感,且在不同语言-区域对之间存在差异。