Multilingual GSM-Symbolic:什么决定了跨语言的能力迁移?
摘要
该论文提出了 Multilingual GSM-Symbolic,一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集,用于量化大语言模型跨语言能力迁移的决定因素。研究发现,模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素,并提出了一个能解释 92% 语言间差异的框架,其对未见语言性能的预测误差在 6.0 个百分点以内。
查看缓存全文
缓存时间: 2026/10/05 12:47
论文页面 - Multilingual GSM-Symbolic:是什么决定了能力的跨语言迁移?
来源:https://huggingface.co/papers/2610.03367
作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
我们对在一种语言中获得的能力如何迁移到另一种语言知之甚少,也并不清楚什么因素决定了这种迁移:现有评测依赖于不可比、容易饱和的数据集,且很少联合考察这些迁移的决定因素。如果能识别出哪些因素可以预测迁移效果,我们就可以避免在所有语言对上进行穷举评测,并让开发者有针对性地改进限制低资源语言性能的因素。为了评估跨语言能力迁移,我们提出了 Multilingual GSM-Symbolic——一个可扩展的多语言数学数据集,覆盖 30,000 个题目配对的问题-答案对,横跨 15 种语言。它利用符号模板来防止过拟合,并通过从单一样本生成数百万个高质量变体来确保泛化能力。借助 Multilingual GSM-Symbolic,我们量化了影响能力的最主要因素:模型规模(β = 1.77)、语言资源水平(β = 0.77)、推理(β = 0.67)以及类型学距离(β = -0.25)。这种联合估计使这些决定因素能够相互表达:一个在 Marathi(马拉地语)中评测的 32B 模型,其表现相当于在英语中评测的 10B 模型。我们的发现对模型开发者具有重要意义:模型规模和推理能力能够缩小低资源语言与高资源语言之间的性能差距(β 分别为 -0.27 和 -0.20),而类似的因素对类型学距离较远的语言则几乎没有效果。总体而言,我们的分析框架解释了语言间差异的 92%,但仅解释了模型-语言层面差异的 23%;它预测模型在未见语言上的性能,误差在 6.0 个百分点以内(r = .96)。仅通过目标语言中 10 个模板的测量,就能将误差进一步降至 4.19 个百分点,从而在几乎不需要下游数据集的情况下得到合理的性能估计。
查看 arXiv 页面 (https://arxiv.org/abs/2610.03367) 查看 PDF (https://arxiv.org/pdf/2610.03367) 项目页面 (https://github.com/centre-for-humanities-computing/multilingual-gsm-symbolic) GitHub (https://github.com/centre-for-humanities-computing/multilingual-gsm-symbolic) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.03367)
在你的 agent 中获取这篇论文:
hf papers read 2610.03367
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
没有模型关联到此论文。
在模型的 README.md 中引用 arxiv.org/abs/2610.03367,即可从本页链接到该论文。
引用此论文的数据集 1
danish-foundation-models/multilingual-gsm-symbolic 查看器 • 更新于 43 分钟前 • 184k • 1.14k • 3 (https://huggingface.co/datasets/danish-foundation-models/multilingual-gsm-symbolic)
引用此论文的 Space 0
没有 Space 关联到此论文。
在 Space 的 README.md 中引用 arxiv.org/abs/2610.03367,即可从本页链接到该论文。
包含此论文的收藏集 0
没有收藏集包含此论文。
将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接到该论文。
相似文章
语言模型中跨语言泛化的体外研究
本文引入了一个使用两种程序生成语言的体外框架,用于研究语言模型中的跨语言泛化,发现分词对可复用子结构的保留能力对于跨语言能力迁移比词汇相似性或数据平衡更为关键。
技能差异:LLM中的技能是否具有语言不变性?
本文通过基于文本游戏的多语言自我对弈,量化了大语言模型在跨语言技能上的不一致性,揭示了不同语言间显著的性能差异,且这种差异可通过改变中间推理语言得到部分缓解。
衡量跨语言理解差距:证据语言如何影响语言模型的理解
本文引入了跨语言理解差距(CLCG)指标,用于衡量当内容以非英语语言呈现时,LLM响应质量的下降程度。通过对18种语言和多个模型的评估,研究发现性能显著下降,尤其是在低资源语言上,这对以英语为中心的能力迁移假设提出了质疑。
跨语言探索参数化知识
本文探索了跨语言提示策略,以改进对大语言模型中参数化知识的访问,并在涵盖17种语言的多语言基准测试中展示了知识迁移和事实召回方面的显著提升。
从文本到视觉迁移了什么?VLM的能力缩放定律与迁移动态
本文提出了一种能力驱动的多模态缩放定律,该定律可从LLM文本基准能力预测VLM性能,从而在不进行昂贵训练扫描的情况下,实现跨模型家族的原则性骨干选择。