quantized-llms

本文研究开源量化大语言模型的隐藏状态中是否编码了线性可分的真实性信号。在三个7B-8B指令调优模型上，对单个网络中间层的线性探针在幻觉检测基准上达到0.904-1.000 AUROC，优于基于采样的方法。