标签
本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。
本文质疑了大语言模型能够通过内部信号可靠区分幻觉输出和事实输出的假设，论证内部状态主要反映知识回忆而非真实性。作者提出了一套幻觉分类法（相关性幻觉与非相关性幻觉），并证明相关性幻觉的隐藏状态几何特性与事实输出重叠，使得标准检测方法失效。