logit-contribution

论文介绍了 LOGOS，一种写感知检测器，通过将其 OV 电路输出投影到答案令牌反嵌入方向上的得分来识别 LLM 中负责非字面检索的注意力头，在多个模型家族中优于先前的基于注意力的方法。

本文介绍了LOCOS，一种用于识别大型语言模型中负责非字面上下文合成的注意力头的方法，在检索基准上优于现有技术。