multilingual-evaluation

本文通过基于文本游戏的多语言自我对弈，量化了大语言模型在跨语言技能上的不一致性，揭示了不同语言间显著的性能差异，且这种差异可通过改变中间推理语言得到部分缓解。

HealMed 是一个由专家审核的基准测试，用于评估医学领域大语言模型在九种语言上的表现，由医学专家开发以评估临床任务中的多语言性能。

本文评估了RAG系统在孟加拉语农业咨询中的检索质量，发现性能因查询类型和语言条件而异，并引入了一个基准数据集，以强调在低资源环境中进行分层评估的必要性。

介绍了UA-Legal-Bench，这是一个基于统一国家法院判决登记册构建的、用于评估大语言模型在乌克兰法律推理能力的五项任务基准。评估了11个LLM，揭示了任务相关的少样本效应以及在不平衡法律任务中准确率的误导性。

GaoYao发布18.2万样本、覆盖26种语言与51个地区的基准，系统评测大模型多语言与多文化能力，首次揭示显著地域性能差异。