标签
提出ShellElastic，一种将隐藏维度组织为稠密核心与递增外壳的弹性Transformer架构，使单次全宽前向即可同时包含所有子网络的精确隐藏状态；并引入μE扩展最大化更新参数化（μP），保证子网络在超网络加宽或增加外壳时仍被最大化更新且超参数可迁移，性能优于MatFormer等弹性基线并逼近分别训练的模型。
本文提出了一种计算高效的两步超参数迁移框架，用于预测大型 Mixture-of-Experts 模型的最优学习率，从而无需昂贵的超参数搜索即可实现高效预训练。
本文分析了循环（权重共享）变换器中的残差缩放问题，表明权重共享需要比标准残差网络更强的缩放（1/N），并推导出一种因式参数化方法，使得超参数可以在不同循环次数之间迁移，无需重新调参。
本文推导了门控Delta网络的μP（最大更新参数化）缩放规则，实现了跨模型宽度的零样本超参数迁移，从而高效支持亚二次方复杂度的大语言模型架构。实验表明，在AdamW和SGD优化器下，该方法均能实现稳定的学习率迁移，而标准参数化方案则无法做到这一点。
本文介绍了一个量化大语言模型中超参数迁移的框架，并发现在使用 AdamW 训练时，μP 相对于 SP 的优势主要源于提高了嵌入层学习率。此外，还探讨了权重衰减及其他因素的影响。
本文将最大更新参数化（μP）框架扩展到群组查询注意力（GQA），推导出跨模型架构的超参数迁移的缩放定律。它引入了用于特征学习的谱范数条件，并解决了GQA中低秩权重矩阵的问题。