Multilingual GSM-Symbolic:什么决定了跨语言的能力迁移?

Hugging Face Daily Papers 论文

摘要

该论文提出了 Multilingual GSM-Symbolic,一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集,用于量化大语言模型跨语言能力迁移的决定因素。研究发现,模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素,并提出了一个能解释 92% 语言间差异的框架,其对未见语言性能的预测误差在 6.0 个百分点以内。

我们对一种语言中获得的能力如何迁移到另一种语言所知甚少,也不清楚是什么因素决定了这种迁移:现有评测依赖于不可比的、容易饱和的数据集,很少同时考察其决定因素。若能识别出预测迁移效果的因素,我们便无需在所有语言对上进行全面评测,开发者也可以针对限制低资源语言性能的因素进行优化。为评估跨语言能力迁移,我们提出了 Multilingual GSM-Symbolic,一个可扩展的多语言数学数据集,涵盖 15 种语言的 30,000 条题目匹配的问答对。该数据集利用符号模板防止过拟合并确保泛化能力,通过单一样本即可生成数百万条高质量变体。借助 Multilingual GSM-Symbolic,我们量化了能力的最重要决定因素:模型规模(β=1.77)、语言资源水平(β=0.77)、推理能力(β=0.67)和类型学距离(β=-0.25)。这种联合估计使得这些决定因素可以用彼此来表达:一个在马拉地语上评测的 32B 模型,其表现相当于在英语上评测的 10B 模型。我们的发现对模型开发者具有重要启示:模型规模和推理能力能够缩小低资源语言与高资源语言之间的性能差距(β 分别为 -0.27 和 -0.20),而类似的手段对类型学距离较远的语言几乎没有作用。 总体而言,我们的分析框架解释了语言间差异的 92%,但对模型×语言交互差异仅能解释 23%,且能将模型在未见语言上的性能预测误差控制在 6.0 个百分点以内(r=.96)。若纳入目标语言中仅 10 个模板的测量数据,这一误差可进一步降至 4.19 个百分点,从而在几乎没有或完全不依赖下游数据集的情况下,实现对性能的合理估计。
查看原文
查看缓存全文

缓存时间: 2026/10/05 12:47

论文页面 - Multilingual GSM-Symbolic:是什么决定了能力的跨语言迁移?

来源:https://huggingface.co/papers/2610.03367

作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

我们对在一种语言中获得的能力如何迁移到另一种语言知之甚少,也并不清楚什么因素决定了这种迁移:现有评测依赖于不可比、容易饱和的数据集,且很少联合考察这些迁移的决定因素。如果能识别出哪些因素可以预测迁移效果,我们就可以避免在所有语言对上进行穷举评测,并让开发者有针对性地改进限制低资源语言性能的因素。为了评估跨语言能力迁移,我们提出了 Multilingual GSM-Symbolic——一个可扩展的多语言数学数据集,覆盖 30,000 个题目配对的问题-答案对,横跨 15 种语言。它利用符号模板来防止过拟合,并通过从单一样本生成数百万个高质量变体来确保泛化能力。借助 Multilingual GSM-Symbolic,我们量化了影响能力的最主要因素:模型规模(β = 1.77)、语言资源水平(β = 0.77)、推理(β = 0.67)以及类型学距离(β = -0.25)。这种联合估计使这些决定因素能够相互表达:一个在 Marathi(马拉地语)中评测的 32B 模型,其表现相当于在英语中评测的 10B 模型。我们的发现对模型开发者具有重要意义:模型规模和推理能力能够缩小低资源语言与高资源语言之间的性能差距(β 分别为 -0.27 和 -0.20),而类似的因素对类型学距离较远的语言则几乎没有效果。总体而言,我们的分析框架解释了语言间差异的 92%,但仅解释了模型-语言层面差异的 23%;它预测模型在未见语言上的性能,误差在 6.0 个百分点以内(r = .96)。仅通过目标语言中 10 个模板的测量,就能将误差进一步降至 4.19 个百分点,从而在几乎不需要下游数据集的情况下得到合理的性能估计。

查看 arXiv 页面 (https://arxiv.org/abs/2610.03367) 查看 PDF (https://arxiv.org/pdf/2610.03367) 项目页面 (https://github.com/centre-for-humanities-computing/multilingual-gsm-symbolic) GitHub (https://github.com/centre-for-humanities-computing/multilingual-gsm-symbolic) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.03367)

在你的 agent 中获取这篇论文:

hf papers read 2610.03367

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联到此论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.03367,即可从本页链接到该论文。

引用此论文的数据集 1

danish-foundation-models/multilingual-gsm-symbolic 查看器 • 更新于 43 分钟前 • 184k • 1.14k • 3 (https://huggingface.co/datasets/danish-foundation-models/multilingual-gsm-symbolic)

引用此论文的 Space 0

没有 Space 关联到此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.03367,即可从本页链接到该论文。

包含此论文的收藏集 0

没有收藏集包含此论文。

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接到该论文。

相似文章

语言模型中跨语言泛化的体外研究

arXiv cs.CL

本文引入了一个使用两种程序生成语言的体外框架,用于研究语言模型中的跨语言泛化,发现分词对可复用子结构的保留能力对于跨语言能力迁移比词汇相似性或数据平衡更为关键。

技能差异:LLM中的技能是否具有语言不变性?

Hugging Face Daily Papers

本文通过基于文本游戏的多语言自我对弈,量化了大语言模型在跨语言技能上的不一致性,揭示了不同语言间显著的性能差异,且这种差异可通过改变中间推理语言得到部分缓解。

衡量跨语言理解差距:证据语言如何影响语言模型的理解

arXiv cs.CL

本文引入了跨语言理解差距(CLCG)指标,用于衡量当内容以非英语语言呈现时,LLM响应质量的下降程度。通过对18种语言和多个模型的评估,研究发现性能显著下降,尤其是在低资源语言上,这对以英语为中心的能力迁移假设提出了质疑。

跨语言探索参数化知识

arXiv cs.CL

本文探索了跨语言提示策略,以改进对大语言模型中参数化知识的访问,并在涵盖17种语言的多语言基准测试中展示了知识迁移和事实召回方面的显著提升。