标签
该论文区分了表征相似性的两种度量——原生余弦几何与线性可恢复性,并在五个模型族的天文数据集嵌入上发现,模型规模主要提升线性对齐后的邻域对应,而非原生几何收敛。
本文挑战了EER是语音生成中人类语音相似性可靠代理的假设,证明感知对齐更依赖于训练目标而非模型性能。它提出了基于有效维度的嵌入几何作为评估语音相似性的原则性指标。
本文分析了掩码扩散语言模型(MDLMs)的嵌入空间,发现其呈超球面几何结构,导致线性插值并非最优。作者引入了球面软掩码(S-SM),在超球面上使用SLERP和Fréchet均值,相较于之前的软掩码方法,在MAUVE和困惑度指标上均有提升。
本文研究了GPT-2 Small在词元“特朗普”周围的嵌入几何,比较了离散化与连续最近邻方法,以理解表征结构。
分析Google AlphaEarth在1210万美国样本上的64维嵌入流形,揭示其非欧结构与向量算术失效,并构建具备几何感知工具的智能体系统,在环境查询上超越参数基线。
系统研究表明,基于大模型的稠密检索器在拼写错误和投毒攻击上优于 BERT 基线,但仍易受语义扰动影响,其嵌入几何形态可预测鲁棒性。