标签
本文分析了掩码扩散语言模型（MDLMs）的嵌入空间，发现其呈超球面几何结构，导致线性插值并非最优。作者引入了球面软掩码（S-SM），在超球面上使用SLERP和Fréchet均值，相较于之前的软掩码方法，在MAUVE和困惑度指标上均有提升。