自巩固语言模型：从上下文中持续整合知识

# 来自上下文源的知识持续整合：https://arxiv.org/html/2605.07076 ## 自巩固语言模型：来自上下文的持续知识整合 Zekun Wang Anant Gupta11footnotemark:1Zihan Dong Christopher J\. MacLellan 佐治亚理工学院 \{zekun,agupta886,zdong312,cmaclell3\}@gatech\.edu ###### 摘要 大型语言模型（LLMs）越来越多地以段落、对话和长上下文工作流的形式接收信息流。虽然更长的上下文窗口能暴露更多证据，但并不能确保有用信息被保留和复用。我们研究了持续上下文整合：将当前上下文写入模型权重，同时限制对先前已整合信息的干扰。我们提出了Self-Consolidating Language Models（SCoL），这是一个后训练框架，在该框架中，给定当前上下文，LLM学习生成文本更新指令，指定其自身的哪些Transformer层应当被更新。由于已提交的更新会改变随后生成未来选择的模型，我们使用元强化学习在变化的模型状态上训练SCoL。我们在SQuAD知识整合任务上使用监督式问答奖励实例化SCoL，并在LongBench v2长上下文整合任务上使用基于内在似然的奖励。在这两种设置下，SCoL在获取和保留方面均优于提示、摘要、批量测试时训练和顺序微调基线。对学习选择模式的分析表明，SCoL鼓励LLM生成与高Fisher信息层对齐的稀疏更新位置，这表明模型学会了将可塑性导向对损失敏感的区域，同时限制干扰。此外，SCoL能够从较短的元训练流迁移到评估时的更长LongBench v2流，这表明我们的框架支持可扩展的流式整合。 ## 1 引言 大型语言模型越来越多地在流式上下文中运行，包括多轮对话、使用工具的代理、文档工作流和长 horizon 交互任务。在这些场景中，模型不仅需要根据当前提示回答问题，还需要保留早期信息以供后续使用。更长的上下文窗口有所帮助，但不能保证可靠的记忆：随着上下文长度和推理复杂性的增加，模型可能低估远距离证据并发生性能退化Liuet al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib18)); Hsiehet al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib69))。先前的工作通过检索或外部记忆Lewiset al\. (2020 (https://arxiv.org/html/2605.07076#bib.bib19)); Borgeaudet al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib21)); Wanget al\. (2023a (https://arxiv.org/html/2605.07076#bib.bib22))、注意力路由或记忆机制Mohtashami and Jaggi (2023 (https://arxiv.org/html/2605.07076#bib.bib23))、压缩Chevalieret al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib25)); Jianget al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib26))以及代理式记忆存储Packeret al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib28)); Zhonget al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib27))来管理长上下文信息。这些方法虽然有效，但往往依赖于检索质量、辅助模块、有损压缩或对持久上下文的重复推理时处理。 我们研究了一个互补的方向：将模型权重用作内部记忆基质。受记忆巩固理论的启发，即经验被整合到长期的内部表示中，而不仅仅作为瞬态上下文保留McClellandet al\. (1995 (https://arxiv.org/html/2605.07076#bib.bib7)); Kumaranet al\. (2016 (https://arxiv.org/html/2605.07076#bib.bib8)); Dudaiet al\. (2015 (https://arxiv.org/html/2605.07076#bib.bib9))，我们探讨是否有用的上下文可以写入参数中，以便在原上下文消失后仍然可用。这将长上下文推理重构为一个持续学习问题。模型必须将上下文流整合到权重中，同时保留先前已整合的知识。然而，顺序神经网络更新容易受到灾难性干扰McCloskey and Cohen (1989 (https://arxiv.org/html/2605.07076#bib.bib55))的影响。经典方法通过估计参数重要性来减少干扰，例如使用基于Fisher的正则化Kirkpatricket al\. (2017 (https://arxiv.org/html/2605.07076#bib.bib2))，但在LLM规模下，可靠的Fisher或Hessian风格估计成本高昂且对实现敏感van de Ven (2025 (https://arxiv.org/html/2605.07076#bib.bib35))。因此，我们询问模型本身是否可以确定适应发生的位置。 受SEALZweigeret al\. (2025 (https://arxiv.org/html/2605.07076#bib.bib17))的启发，我们提出了*Self-Consolidating Language Models*（SCoL），这是一个后训练框架，其中LLM学习生成文本更新指令，指定其自身参数中哪些部分应根据给定上下文进行适应。然后我们在选定的模块上附加LoRA适配器并执行LoRA更新Huet al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib53))。与专注于生成自我编辑和更新指令的SEAL不同，我们的重点是策略漂移下整合应该发生在哪里——每次提交的更新都会改变选择未来更新的模型，因此策略本身是演化状态的一部分。我们使用元强化学习训练SCoL，其奖励倾向于获取当前上下文，同时惩罚对早期上下文的遗忘。我们在两种奖励设置下实例化SCoL：用于SQuAD风格知识整合的监督式QA奖励Rajpurkaret al\. (2016 (https://arxiv.org/html/2605.07076#bib.bib10))，以及用于在LongBench v2Baiet al\. (2025 (https://arxiv.org/html/2605.07076#bib.bib11))上评估的无标签长上下文流的基于内在似然的奖励。在这两种设置下，SCoL在获取和保留方面均优于上下文内推理、摘要、批量测试时训练和顺序微调。其学习到的选择是稀疏的，并与高Fisher信息层对齐，表明SCoL将可塑性导向对损失敏感的区域，同时限制干扰。在LongBench v2上，在较短流上元训练的选择也可以迁移到更长的评估流，而无需完整上下文访问。 我们的贡献如下： - •我们将长上下文推理重新表述为持续上下文整合，其中来自上下文流中的有用信息被写入模型权重，同时保留先前已整合的知识。 - •我们提出了SCoL，一个后训练框架，该框架使用元强化学习训练LLM生成关于在其自身权重中何处进行更新的文本描述，并使用监督式QA奖励和基于内在似然的奖励实例化SCoL，涵盖有标签知识整合和无标签长上下文整合。 - •我们在SQuAD和LongBench v2上评估了上下文内推理、摘要、批量测试时训练和顺序微调基线，并表明教导LLM生成更新位置选择可提高获取和保留能力，产生与Fisher信息对齐的稀疏选择，并从较短的训练流迁移到更长的LongBench v2上下文流。 ## 2 相关工作 ##### 大型语言模型的持续学习 持续学习研究模型如何在不覆盖先前行为的情况下获取新任务、领域或知识。在LLMs中，这出现在事实和终身模型编辑Menget al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib36)); Mitchellet al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib58)); Wanget al\. (2024a (https://arxiv.org/html/2605.07076#bib.bib38)); Chenet al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib39))、持续领域适应Gururanganet al\. (2020 (https://arxiv.org/html/2605.07076#bib.bib40))以及持续指令或对齐调优Shiet al\. (2025 (https://arxiv.org/html/2605.07076#bib.bib70)); Chenet al\. (2026 (https://arxiv.org/html/2605.07076#bib.bib31))中。现有方法通常通过估计参数重要性或通过正则化保留先前行为来控制遗忘Kirkpatricket al\. (2017 (https://arxiv.org/html/2605.07076#bib.bib2)); Li and Hoiem (2018 (https://arxiv.org/html/2605.07076#bib.bib32))，或者通过将更新限制在低秩、正交或模块化参数子空间内Huet al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib53)); Wanget al\. (2023b (https://arxiv.org/html/2605.07076#bib.bib33)); Wang and Li (2024 (https://arxiv.org/html/2605.07076#bib.bib34))。这些方法虽然有效，但往往依赖于固定的更新规则、回放或蒸馏信号、手工设计的参数分区，或者在LLM规模下可能成本高昂的显式重要性估计van de Ven (2025 (https://arxiv.org/html/2605.07076#bib.bib35))。我们的工作转而学习一种上下文条件化的更新策略：而不是直接计算权重重要性，我们后训练LLM来决定新的上下文知识应该插入何处，以便在最小化遗忘的同时提高整合效果。 ##### 长上下文推理 长上下文推理探讨LLM是否可靠地使用出现在提示符中较远位置的信息。尽管上下文窗口持续增长，但随着上下文变得更长或更复杂，模型仍可能低估远距离证据并发生性能退化Liuet al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib18)); Hsiehet al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib69))。现有方法通过检索或外部记忆Lewiset al\. (2020 (https://arxiv.org/html/2605.07076#bib.bib19)); Guuet al\. (2020 (https://arxiv.org/html/2605.07076#bib.bib20)); Borgeaudet al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib21)); Wanget al\. (2023a (https://arxiv.org/html/2605.07076#bib.bib22))、特殊注意力或记忆机制Mohtashami and Jaggi (2023 (https://arxiv.org/html/2605.07076#bib.bib23)); Wanget al\. (2023a (https://arxiv.org/html/2605.07076#bib.bib22))、上下文压缩Raeet al\. (2019 (https://arxiv.org/html/2605.07076#bib.bib24)); Chevalieret al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib25)); Jianget al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib26))或代理式记忆系统Zhonget al\. (2024 (https://arxiv.org/html/2605.07076#bib.bib27)); Packeret al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib28)); Parket al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib29)); Shinnet al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib30))来改善对长距离信息的访问。这些方法虽然有效，但往往将信息保留在模型权重之外或在复用前进行压缩，使得性能依赖于检索质量、记忆管理或有损摘要。我们研究了一个互补的方向：将上下文衍生的知识整合到局部参数更新中。这将长上下文推理重构为持续知识整合，其中模型必须从上下文流中保留有用信息，而不覆盖先前已整合的知识。 ##### 基于强化学习的自我适应 强化学习常用于优化LLMs作为文本上的策略，以实现对齐、推理或任务级奖励Ouyanget al\. (2022 (https://arxiv.org/html/2605.07076#bib.bib12)); DeepSeek-AI (2025 (https://arxiv.org/html/2605.07076#bib.bib13))。在自我适应LMs中，目标转向学习*模型应如何变化*以响应新信息，这与元学习和专家迭代观点中的控制内部改进过程相联系Anthonyet al\. (2017 (https://arxiv.org/html/2605.07076#bib.bib48))。最近的工作学习此类适应策略：Transformer-Squared使用RL学习任务条件化的自我适应Sunet al\. (2025 (https://arxiv.org/html/2605.07076#bib.bib75))，SEAL训练LLM生成自我编辑和更新指令Zweigeret al\. (2025 (https://arxiv.org/html/2605.07076#bib.bib17))。CaMeLS与我们的设置特别接近，因为它在上下文上元学习在线适应，但它是通过训练一个单独的小自回归模型在微调期间分配token级损失权重来实现的Huet al\. (2023 (https://arxiv.org/html/2605.07076#bib.bib14))。相比之下，我们提出了一个后训练范式，其中LLM本身学习提议*在其自身权重中何处*进行更新，而无需显式计算参数重要性。由于每次提交的更新都会改变用于未来上下文的模型，我们将该问题框定为在漂移模型状态上的元RL问题，目标是在遗忘约束下进行持续知识整合。 ## 3 自巩固语言模型 我们研究了一个持续整合场景，其中单个LLM摄入上下文流并必须将其内部化到其权重中，在推理时不进行回放也不进行检索。Section 3.1 (https://arxiv.org/html/2605.07076#S3.SS1)将持续上下文整合形式化为一个强化学习问题，其奖励分解为获取项和遗忘项。Section 3.2 (https://arxiv.org/html/2605.07076#S3.SS2)介绍了SCoL，这是一种元强化学习程序，训练LLM在漂移模型状态下生成文本更新位置选择。Section 3.3 (https://arxiv.org/html/2605.07076#S3.SS3)在监督和稀疏监督机制下实例化奖励。完整过程见Algorithm 1 (https://arxiv.org/html/2605.07076#alg1)。 ### 3.1 问题设置：持续上下文整合 令$\pi_{\theta_{0}}$表示基础语言模型（我们的策略），参数为$\theta_{0}\in\mathbb{R}^{d}$，并令$\mathcal{C}=(c_{1},c_{2},\ldots,c_{T})$为上下文流，其中每个$c_{t}\in\mathcal{X}^{*}$是一个token序列。我们泛化地使用*上下文*：它可以是文本段落、多轮交互历史或长上下文窗口。在步骤$t$，当前模型$\pi_{\theta_{t-1}}$接收$c_{t}$并生成一个*文本动作* $a_{t}\sim\pi_{\theta_{t-1}}(\cdot\mid c_{t})$，$^{(1)}$该动作被解析为结构更新单元，在我们主要的实例化中，这些单元是Transformer层。然后我们通过以下方式更新当前模型： $\Delta\theta_{t}=\mathrm{Adapt}(\theta_{t-1},c_{t},a_{t}),\quad\theta_{t}=\theta_{t-1}\,\{\oplus\}\,\Delta\theta_{t}.$^{(2)} 提示模板和解析过程描述在Appendix A (https://arxiv.org/html/2605.07076#A1)中。权重$\theta_{t}$携带所有累积的历史记录。不为生成维护检索索引或辅助记忆。 在训练期间，我们维护一个过去上下文集合$\mathcal{P}$ 13: $k^{\star}\leftarrow\arg\max_{k}r_{t}^{(k)}$ 14: $\theta^{(r)}_{t}\leftarrow\tilde{\theta}_{t}^{(r,k^{\star})}$ 15: endfor 16: $\theta_{0}^{(r+1)}\leftarrow\arg\min_{\theta}\mathcal{L}_{\mathrm{IPO}}(\theta;\mathcal{P}^{(r)})$ 17: endfor 18: return $\pi_{\theta_{0}^{(R+1)}}$ 这产生了候选的后整合模型 $\theta_{t}^{(a)}=\theta_{t-1}\,\{\oplus\}\,\Delta\theta^{\star}(a).$^{(6)}在候选者之间，内循环超参数是固定的；候选者di