qk-restore

本文发现，在混合线性注意力模型中，思维链监督微调通过将注意力梯度偏向短程模式，从而降低长上下文召回能力，并提出QK-Restore——一种无需训练的方法，可在保留推理性能的同时恢复长上下文召回。