标签
本研究论文在大语言模型中引入了稀疏自编码器表示中的“特征竞争”概念，将其作为不确定性的机制性特征。利用 Gemma-2-2B 模型，研究表明，负相关的特征对将不确定性定位到特定层级，并对模型输出产生因果影响。
SLAM 是一种新颖的白盒水印方案，利用稀疏自编码器将标记嵌入 LLM 残差流的结构几何中，在 Gemma-2 模型上实现了 100% 的检测准确率，且质量损失极小，避免了先前方法对 token 分布的偏置。