标签
本文研究基于梯度的训练是否能学习存储和组合矩阵记忆中关联所需的秩，通过使用键值对进行实验并以余弦相似度衡量恢复率。
本文提供了因果证据，表明在群组合任务上训练的矩阵记忆中的梯度下降精确招募了任务代数所需的秩，这与有限群的最小忠实表示维度相关。
本文介绍了Iso-LoRA，一种通过在切空间扰动上进行谱下降来促进奇异方向上均匀能量分布的优化器，从而增强LoRA，提高语言模型适配中的有效秩和下游性能。
本文提出RankElastor，一种新颖的架构，通过引入参数化全混合和GLU改进的P-FFN，缓解推荐模型密集扩展中的嵌入坍塌，实现鲁棒扩展并在大规模数据集上提升性能。