标签
该论文介绍了sk-bench，一个用于评估斯洛伐克语大语言模型的母语优先基准测试，涵盖十个技能类别的30个数据集（33个任务变体），旨在解决现有多种语言基准测试中缺乏斯洛伐克语母语覆盖的问题。
该论文提出了 Multilingual GSM-Symbolic，一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集，用于量化大语言模型跨语言能力迁移的决定因素。研究发现，模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素，并提出了一个能解释 92% 语言间差异的框架，其对未见语言性能的预测误差在 6.0 个百分点以内。
SWORD引入了一个基于Wikidata的基准，用于评估LLM在拒绝事实错误时的跨语言不一致性，揭示模型依赖于分布熟悉度，并在亚洲语言中表现出性能下降。
本文通过基于文本游戏的多语言自我对弈，量化了大语言模型在跨语言技能上的不一致性，揭示了不同语言间显著的性能差异，且这种差异可通过改变中间推理语言得到部分缓解。
HealMed 是一个由专家审核的基准测试，用于评估医学领域大语言模型在九种语言上的表现，由医学专家开发以评估临床任务中的多语言性能。
本文评估了RAG系统在孟加拉语农业咨询中的检索质量，发现性能因查询类型和语言条件而异，并引入了一个基准数据集，以强调在低资源环境中进行分层评估的必要性。
介绍了UA-Legal-Bench，这是一个基于统一国家法院判决登记册构建的、用于评估大语言模型在乌克兰法律推理能力的五项任务基准。评估了11个LLM，揭示了任务相关的少样本效应以及在不平衡法律任务中准确率的误导性。
GaoYao发布18.2万样本、覆盖26种语言与51个地区的基准，系统评测大模型多语言与多文化能力，首次揭示显著地域性能差异。