论文页面 - 尺寸微乎其微，影响却举足轻重：论大型语言模型中的缩放向量

来源：https://huggingface.co/papers/2605.26895

摘要

大型语言模型中的缩放向量尽管参数数量极少，却对优化过程有着显著影响；理论分析与实际改进均表明，它能提升训练性能并改善缩放行为。

现代大型语言模型中的归一化层由确定性的归一化操作和一个可学习的缩放向量组成。尽管归一化操作已被广泛研究，但缩放向量虽被普遍使用，却仍未得到充分理解。本文从表达能力、优化过程和架构结构三个角度，对大型语言模型中的缩放向量进行了系统研究。首先，我们通过实验证明：尽管缩放向量仅占模型参数的极小部分，但移除它们会严重损害LLM的预训练效果。我们的理论进一步指出，在Pre-Norm架构中，缩放向量并未增加表达能力；相反，它们通过对后续线性映射产生自放大预处理效应来改善优化过程。其次，我们研究了权重衰减对缩放向量的作用。通过区分Input-Norm层和Output-Norm层，我们从理论上证明：权重衰减对前者有利，但对后者有害，原因是两者在优化和表达能力中扮演着不同角色。第三，基于上述理解，我们提出了三种轻量级且互补的缩放向量改进方案：分支特异性异质性、线性映射周围的改进位置布局，以及幅度-方向重参数化。理论与实验均表明，每项改进都能带来一致的性能提升。最后，我们将这些改进整合为一个统一的缩放向量策略，并在工业级token预算下，针对参数规模从0.12B到2B的密集模型和混合专家模型，使用多种优化器和学习率调度进行了大规模LLM预训练实验评估。该统一策略在终端损失上始终优于调优良好的基线，并展现出更有利的缩放行为，同时仅增加可忽略的参数和计算开销。

查看arXiv页面 (https://arxiv.org/abs/2605.26895)查看PDF (https://arxiv.org/pdf/2605.26895)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.26895)

在你的智能体中获取这篇论文：

hf papers read 2605.26895

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型README.md中引用arxiv.org/abs/2605.26895以将其链接至此页面。

引用此论文的数据集0

没有数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2605.26895以将其链接至此页面。

引用此论文的Spaces0

没有Space关联此论文

请在Space README.md中引用arxiv.org/abs/2605.26895以将其链接至此页面。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加到收藏集 (https://huggingface.co/new-collection)中以将其链接至此页面。