标签
本文分析了掩码扩散语言模型（MDLMs）的嵌入空间，发现其呈超球面几何结构，导致线性插值并非最优。作者引入了球面软掩码（S-SM），在超球面上使用SLERP和Fréchet均值，相较于之前的软掩码方法，在MAUVE和困惑度指标上均有提升。
本文研究了GPT-2 Small在词元“特朗普”周围的嵌入几何，比较了离散化与连续最近邻方法，以理解表征结构。
分析Google AlphaEarth在1210万美国样本上的64维嵌入流形，揭示其非欧结构与向量算术失效，并构建具备几何感知工具的智能体系统，在环境查询上超越参数基线。
系统研究表明，基于大模型的稠密检索器在拼写错误和投毒攻击上优于 BERT 基线，但仍易受语义扰动影响，其嵌入几何形态可预测鲁棒性。