weight-factorization

本文为Transformer提出原生因子化权重（Native Factorized Weights），即每个线性层从初始化开始就训练为两个低秩矩阵的乘积。实验表明，存在一个由语料库决定的最优秩，可最小化验证损失，并形成一个泛化区间，以更少的参数超越密集基线模型。