论文页面 - 大语言模型中的模型融合缩放定律

来源: https://huggingface.co/papers/2509.24244

摘要

大语言模型融合的实证缩放定律揭示了模型大小、专家数量与交叉熵性能之间的幂律关系，为最优模型组合提供了可预测的规划方法。

我们研究了通过交叉熵衡量的语言模型融合的实证缩放定律。尽管模型融合在实践应用广泛，但缺乏一种定量规则来预测随着专家数量的增加或模型规模的扩大所带来的收益。我们识别出一个紧凑的幂律，将模型大小与专家数量联系起来：与规模相关的下限随着模型容量的增加而降低，而融合尾部在专家数量上表现出明显的边际收益递减。该定律在域内和跨域场景中均成立，紧密拟合了多种架构和方法（Average、TA、TIES、DARE）的测量曲线，并解释了两种稳健的规律性：大部分收益出现在早期，且随着专家数量的增加，变异性逐渐缩小。在此基础上，我们提出了一个简单的理论，解释了为何增益大致随 1/k 下降，并将下限和尾部与基础模型的特性以及跨领域的多样性联系起来。该定律实现了预测性规划：估计达到目标损失所需的专家数量，决定何时停止添加专家，并在固定预算下权衡扩大基础模型规模与添加专家——将模型融合从启发式实践转变为计算高效、可规划的多任务训练替代方案。这表明了一种分布式生成式 AI 的缩放原则：通过组合专家可以实现可预测的收益，为通向 AGI 级系统提供了一条互补路径。

查看 arXiv 页面 (https://arxiv.org/abs/2509.24244)查看 PDF (https://arxiv.org/pdf/2509.24244)项目页面 (https://infix.io/research/MergingScalingLaw)GitHub3 (https://github.com/InfiXAI/Merging-Scaling-Law)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2509.24244)

在你的智能体中获取这篇论文：

hf papers read 2509\.24244

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接到此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2509.24244 即可从此页面链接它。

引用此论文的数据集 0

没有链接到此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2509.24244 即可从此页面链接它。

引用此论文的 Spaces 0

没有链接到此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2509.24244 即可从此页面链接它。

包含此论文的集合 2