标签
本文提出通过按列分块的SVD直接从线性权重位点提取机制挂载，为机械可解释性提供了一种替代稀疏自编码器等代理字典的方法。在Gemma-2-2B上评估，该方法通过了全部182项位点-层检查。
本研究论文在大语言模型中引入了稀疏自编码器表示中的“特征竞争”概念，将其作为不确定性的机制性特征。利用 Gemma-2-2B 模型，研究表明，负相关的特征对将不确定性定位到特定层级，并对模型输出产生因果影响。
SLAM 是一种新颖的白盒水印方案，利用稀疏自编码器将标记嵌入 LLM 残差流的结构几何中，在 Gemma-2 模型上实现了 100% 的检测准确率，且质量损失极小，避免了先前方法对 token 分布的偏置。