long-context-retrieval

本文研究了长上下文检索中FFN残差写入的符号性质，发现FFN写入根据层和任务的不同起到抑制或放大作用，并提出了一种基于梯度的诊断方法来区分这两种角色。