key-value-features

Query Lens 扩展了 Logit Lens，通过联合考虑编码器侧的键特征和解码器侧的值特征，并计入来自下游模块的间接效应，来解释稀疏自编码器特征。该论文还提出了子空间通道假说，表明下游模块通过特定层的子空间读取特征。