标签
讨论了一项研究，表明语言模型会展现出内部状态，这些状态携带了不确定性、策略性扭曲或不当服从的痕迹，而不仅仅是产生不良输出。
本文对大语言模型中基于探针的不确定性估计进行了分解研究，表明原始隐藏状态和注意力特征在域内表现良好，但结构化特征在分布偏移下更为鲁棒，并提供了预训练探针作为现成基线。
本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。
本文质疑了大语言模型能够通过内部信号可靠区分幻觉输出和事实输出的假设，论证内部状态主要反映知识回忆而非真实性。作者提出了一套幻觉分类法（相关性幻觉与非相关性幻觉），并证明相关性幻觉的隐藏状态几何特性与事实输出重叠，使得标准检测方法失效。