knowledge-recall

研究者通过探测每个注意力头的贡献，追踪大语言模型如何回忆关系事实，发现这些贡献是强线性特征，其保真度与关系特异性及实体连接度相关。

本文质疑了大语言模型能够通过内部信号可靠区分幻觉输出和事实输出的假设，论证内部状态主要反映知识回忆而非真实性。作者提出了一套幻觉分类法（相关性幻觉与非相关性幻觉），并证明相关性幻觉的隐藏状态几何特性与事实输出重叠，使得标准检测方法失效。