标签
本文将SOLiD测谎器监督方法扩展到更大的LLM(参数规模高达405B),并在真实的偏好学习场景中进行评估,发现未检测到的欺骗行为随模型规模增大而减少,但该方法对训练数据之间的分布偏移敏感。
本文评估了四种针对语言模型的谎言检测方法,覆盖了提示谎言和训练好的模型实体,发现基于激活和logprob的检测器在训练好的模型实体上性能急剧下降,而思维链评判器仍然表现强劲。本文引入了新的测试平台以及“你撒谎了吗?”(DYL)后续探针方法,并发布了数据集和模型实体。