spectral-norm

本文将最大更新参数化（μP）框架扩展到群组查询注意力（GQA），推导出跨模型架构的超参数迁移的缩放定律。它引入了用于特征学习的谱范数条件，并解决了GQA中低秩权重矩阵的问题。