构建欧洲多语言评估数据集:EMT网络内的MMLU本地化项目

arXiv cs.CL 论文

摘要

本文报告了欧盟委员会翻译总局与欧洲翻译硕士网络合作,将MMLU数据集本地化为11种欧洲语言的项目。该项目不仅为LLM评估创建了更具包容性的基准,还为翻译专业学生提供了真实的项目式专业培训。

arXiv:2607.18432v1 公告类型:新论文 摘要:本文报告了翻译总局(DGT)与欧洲翻译硕士(EMT)合作,将MMLU数据集本地化为11种欧洲语言的项目。除了为LLM评估创建更包容的基准外,该项目还为硕士研究生提供了翻译、修订、项目管理和多语言协调方面的真实项目式专业培训,同时突出了关键的方法论、行政和工作流程挑战。
查看原文
查看缓存全文

缓存时间: 2026/07/22 08:23

# 构建欧洲多语言评估数据集:EMT网络中的MMLU本地化项目
来源:https://arxiv.org/abs/2607.18432
查看PDF (https://arxiv.org/pdf/2607.18432)

> 摘要:本文报告了翻译总司(DGT)与欧洲翻译硕士(EMT)合作将MMLU数据集本地化为11种欧洲语言的工作。除了为LLM评估创建更具包容性的基准外,该项目还为硕士生提供了翻译、审校、项目管理和多语言协调方面的真实项目式专业培训,同时突出了关键的方法论、行政及工作流程挑战。

## 提交历史

来自:Susana Valdez [查看邮件 (https://arxiv.org/show-email/62c16c4d/2607.18432)] **[v1]** 2026年7月20日星期一 18:33:59 UTC (456 KB)

相似文章

LLM翻译中数字本地化分析

arXiv cs.CL

本文分析了五款大语言模型在英德互译中对时间、数字和日期进行本地化的能力,并测试了改进准确率的策略,发现将本地化原则嵌入提示上下文可带来统计上显著的改进。

MultiSynt/MT:跨越36种语言的万亿标记多平行预训练数据

arXiv cs.CL

本文介绍了MultiSynt/MT,这是一个通过将英语预训练数据翻译成36种语言而创建的万亿标记多语言平行语料库。实验表明,在此翻译数据上训练的大语言模型在更少的标记下实现了与原生数据相当的性能,但仍存在一些评估盲点和文化差距。