logit-lens

Query Lens 扩展了 Logit Lens，通过联合考虑编码器侧的键特征和解码器侧的值特征，并计入来自下游模块的间接效应，来解释稀疏自编码器特征。该论文还提出了子空间通道假说，表明下游模块通过特定层的子空间读取特征。

本论文介绍了线性可访问性配置文件(LAP),一种使用logit lens的诊断方法,用于预测方向向量在模型各层的有效性,在5个模型的24个概念族上实现了ρ=+0.86到+0.91的相关性。该工作提供了一个系统框架来确定哪些层和概念适合用于方向干预,替代了临时性的试错方法。