论文页面 - 混合LLM中的注意力遗忘：当CoT微调破坏长程召回时，以及如何修复

来源：https://huggingface.co/papers/2606.11052 发布于 6月9日

·

由 https://huggingface.co/xinyu04

Zhou (https://huggingface.co/xinyu04) 于 6月10日提交

摘要

思维链监督微调通过将注意力梯度偏向短程模式，削弱了混合线性注意力模型的长上下文召回能力，但一种名为 QK-Restore 的无训练方法可以通过恢复查询-键投影来恢复长上下文能力，同时保持推理性能。

思维链（CoT）监督微调（SFT）被广泛用于提升推理能力，但我们发现它系统性地削弱了混合线性注意力模型的长上下文召回能力。在包括 HypeNet 和 Jet-Nemotron 在内的多种架构中，CoT-SFT 导致“大海捞针”（NIAH）任务上的检索性能大幅下降，且下降幅度在更困难的检索设置和更长的上下文窗口下更为严重。例如，HypeNet-9B 在 NIAH-S2@256K 上的性能从 67.2% 降至 9.4%。我们将其归因于 CoT-SFT 将注意力梯度偏向短程模式，从而破坏了负责长程路由的查询-键投影（W_Q、W_K）。基于这一观察，我们提出了 QK-Restore，一种无训练方法，仅从 SFT 前的检查点恢复 W_Q 和 W_K，同时保留所有其他 SFT 后的参数。我们还引入了一种 Procrustes 变体，以在路由保持和推理适应之间取得平衡。在多种架构上，QK-Restore 在零训练成本下一致地恢复长上下文能力，同时保持推理性能；例如，在 HypeNet-5B 上，它将 S3@256K 从 65.4% 提升至 76.4%，同时保持强劲的推理性能。

查看 arXiv 页面 (https://arxiv.org/abs/2606.11052)查看 PDF (https://arxiv.org/pdf/2606.11052)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.11052)

在您的 Agent 中获取此论文：

hf papers read 2606.11052

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.11052 以将其链接至此页面。

引用此论文的数据集0

暂无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.11052 以将其链接至此页面。

引用此论文的 Spaces0

暂无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.11052 以将其链接至此页面。

包含此论文的收藏集0

暂无收藏集包含此论文

请将此论文添加至一个收藏集 (https://huggingface.co/new-collection) 以将其链接至此页面。