标签
本文提出一种框架，用于分析语言关系在语言模型嵌入中的线性编码方式，并揭示了不同模型如GloVe、RoBERTa和ModernBERT以及关系类型之间的差异。
论文表明，LLM中的幻觉信号主要由均值偏移主导，使得像L2正则化逻辑回归这样的简单探针足够有效，并且优于复杂的替代方案。