标签
提出了用于量化LLM的比特相同、可撤销更新的单元内学习方法，引入了CellFill算法，该算法在量化单元内更新模型而不改变原始工件。
本文研究开源量化大语言模型的隐藏状态中是否编码了线性可分的真实性信号。在三个7B-8B指令调优模型上，对单个网络中间层的线性探针在幻觉检测基准上达到0.904-1.000 AUROC，优于基于采样的方法。