embedding-condensation

本文观察到小型语言模型中的词元嵌入会凝聚成一个狭窄的锥形子空间，这种现象称为嵌入凝聚，并提出一种分散损失来抵消它，从而改善泛化能力。