标签
本文提出了一种计算高效的两步超参数迁移框架，用于预测大型 Mixture-of-Experts 模型的最优学习率，从而无需昂贵的超参数搜索即可实现高效预训练。
本文分析了循环（权重共享）变换器中的残差缩放问题，表明权重共享需要比标准残差网络更强的缩放（1/N），并推导出一种因式参数化方法，使得超参数可以在不同循环次数之间迁移，无需重新调参。
本文推导了门控Delta网络的μP（最大更新参数化）缩放规则，实现了跨模型宽度的零样本超参数迁移，从而高效支持亚二次方复杂度的大语言模型架构。实验表明，在AdamW和SGD优化器下，该方法均能实现稳定的学习率迁移，而标准参数化方案则无法做到这一点。
本文介绍了一个量化大语言模型中超参数迁移的框架，并发现在使用 AdamW 训练时，μP 相对于 SP 的优势主要源于提高了嵌入层学习率。此外，还探讨了权重衰减及其他因素的影响。
本文将最大更新参数化（μP）框架扩展到群组查询注意力（GQA），推导出跨模型架构的超参数迁移的缩放定律。它引入了用于特征学习的谱范数条件，并解决了GQA中低秩权重矩阵的问题。