Cultivar：面向对比与本地化的翻译基准，用于研究数据污染与本地化鲁棒性
摘要
介绍了Cultivar，一个对比性本地化翻译基准，用于检测数据污染并评估多语言翻译模型的本地化鲁棒性。该基准对32个开放权重模型进行了评测，发现机器翻译专用模型的鲁棒性较低，且可能对FLORES存在过拟合。
查看缓存全文
缓存时间: 2026/08/12 08:22
论文页面 - Cultivar：一个用于探究污染与本地化鲁棒性的对比式、面向语言环境的翻译基准
来源：https://huggingface.co/papers/2608.09766 作者：
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
研究者提出通过本地化基准进行源对比式评估，以检测多语言翻译模型中的数据污染并评估其本地化鲁棒性。
多语言翻译基准通常以英语为源语言，并翻译成其他语言，将语言对作为评估的基本单位——这种设计容易随着时间推移受到污染，并且忽略了语言环境和文化因素。因此，我们提倡采用源对比式评估（https://huggingface.co/papers?q=source-contrastive%20evaluation），并用 Cultivar 对其进行实例化。Cultivar 是 FLORES（https://huggingface.co/papers?q=FLORES）的一个本地化子集，支持面向特定语言环境的翻译评估（https://huggingface.co/papers?q=locale-specific%20translation%20evaluation）。当与未本地化的对应版本配对时，性能差异可用于探测数据污染（https://huggingface.co/papers?q=data%20contamination）和本地化鲁棒性。我们对 32 个开放权重模型进行了基准测试，发现面向机器翻译的专用模型（https://huggingface.co/papers?q=MT-specialised%20models）鲁棒性较差，少数模型可能对 FLORES（https://huggingface.co/papers?q=FLORES）过拟合，并且模型倾向于将美国内容翻译得比其他语言环境的内容更好，无论涉及何种语言。
查看 arXiv 页面（https://arxiv.org/abs/2608.09766）查看 PDF（https://arxiv.org/pdf/2608.09766）项目页面（https://huggingface.co/datasets/pinzhenchen/Cultivar-flores）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2608.09766）
引用此论文的模型 0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2608.09766 以从此页面链接到该模型。
引用此论文的数据集 1
pinzhenchen/Cultivar-flores 查看器• 更新于约 8 小时前 • 5.63k • 41 • 1（https://huggingface.co/datasets/pinzhenchen/Cultivar-flores）
引用此论文的 Space 0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2608.09766 以从此页面链接到该 Space。
包含此论文的收藏集 1
相似文章
TransClean：从大型语言模型输出中检测和提取干净翻译的基准
TransClean 是一个基准，用于检测和提取来自大型语言模型输出的干净翻译，分析了超过 790,000 个翻译输出以识别噪声模式并评估提取方法。
AlignCultura：迈向文化对齐的大语言模型？
AlignCultura 推出基于 UNESCO 框架的 CulturaX 数据集与两阶段对齐流程，在 Qwen3-8B 与 DeepSeek-R1-Distill-Qwen-7B 上实现 HHH 指标提升 4–6%，文化失误率降低 18%。
Last Translation Benchmark
Last Translation Benchmark 推出了一个实时数据集，包含经同行评审的多模态示例，旨在评估并突破领先的机器翻译模型，并配有手工验证规则以确保可靠评估。它针对当前基准测试的饱和问题以及自动指标的不可靠性。
评估多语言机器翻译评估中变体混淆的成本：将莫桑比克希昌加纳语、尼扬贾语和塞纳语添加到FLORES+
本文扩展了FLORES+基准测试，增加了针对莫桑比克希昌加纳语、尼扬贾语和塞纳语的评估集，表明参考译文的变化对机器翻译评估分数有显著影响。
Know2Guess：一种面向大型语言模型知识边界评估的污染感知多区域基准
本文介绍了Know2Guess，一种污染感知的多区域基准，旨在评估大型语言模型从可回答知识到预期拒答的转换，解决数据污染、提示敏感性和拒绝行为问题。作者评估了FLAN-T5、Qwen2.5-Instruct和Llama-3-Instruct模型，发现更强的模型表现出选择性但不完全的拒答。该基准和数据集已公开发布。