可检索梯度：无累积权重漂移的持续后训练

# 可检索梯度：无累积权重偏移的持续后训练  
**来源：** https://arxiv.org/html/2606.15734  

## 可检索梯度：无累积权重偏移的持续后训练  

康佳成  
清华大学计算机科学与技术系  
徐婧妍  
清华大学计算机科学与技术系  
艾清遥  
清华大学计算机科学与技术系  
龙建明  
清华大学计算机科学与技术系  
张瀚文  
清华大学计算机科学与技术系  
杜邦德  
清华大学计算机科学与技术系  
曹馨元  
清华大学计算机科学与技术系  
张敏  
清华大学计算机科学与技术系  
刘奕群  
清华大学计算机科学与技术系  

###### 摘要  

持续后训练使模型能够在部署后吸收涌现的新知识，但反复更新共享参数会导致权重累积偏移，可能引发灾难性遗忘并削弱通用能力。检索增强生成避免了此类参数偏移，却往往缺乏参数化知识整合的深度。本文提出 **ReGrad**（可检索梯度），一种将梯度视为可检索知识单元的新范式。**ReGrad** 离线预计算文档级梯度，将其存储于带索引的梯度银行，推理时仅检索与查询相关的梯度，用于临时权重适配。然而，原始的語言建模梯度针对的是词元级别的文档重建，而非查询驱动的知识运用。为此，我们引入双层元学习目标，将文档导出的梯度重塑为面向下游任务的通用适配信号。在通用与领域特定场景下的实验表明，**ReGrad** 优于持续后训练和检索增强生成基线，能够在不累积权重偏移的前提下实现可扩展且可逆的参数化知识注入¹。  

1. 所有代码、数据和模型已开源：https://github.com/oneal2000/ReGrad。  

可检索梯度：无累积权重偏移的持续后训练  

## 1 引言  

大规模语言模型（LLM）面临的一个根本挑战是其静态参数与现实世界知识的动态特性之间的不匹配（Lazaridou et al., 2021; Petroni et al., 2019）。部署后新信息不断涌现，模型需要一种能够更新知识、同时不牺牲基础能力的机制（Jang et al., 2021）。持续后训练（CPT）为此目标成为一种流行方法，它使模型能够将新知识直接内化到参数记忆中（Gururangan et al., 2020a）。然而，这一优势也伴随内在局限：CPT 通过反复更新相同的共享参数来融入新知识。随着更新随时间或在大规模语料上不断累积，模型权重逐渐偏离原始参数状态，可能导致灾难性遗忘，并损害推理、指令遵循等通用能力（Xia et al., 2024; Lu et al., 2025; Lin et al., 2024; Cheng et al., 2023; Jindal et al., 2024; Wang et al., 2025d）。此外，CPT 将所有文档引起的参数更新累积至一个全局共享的参数状态中。然而，每个下游查询通常只需求知识的一个小子集。由于最终参数对所有查询共享，与某查询相关的知识不可避免地与许多不相关的参数修改混杂在一起。这些局限共同揭示了知识更新的核心矛盾：如何在获得参数化知识整合好处的同时，避免持续累积权重偏移？  

检索增强生成（RAG）（Lewis et al., 2020）提供了另一种融入外部知识的方式：在推理时检索相关文本知识，而非修改模型参数。这种设计自然地避免了参数偏移，有助于保持基座模型的通用能力。然而，RAG 将新知识留在模型参数之外，依赖上下文知识注入——外部知识作为输入上下文的一部分提供，而非融入模型的参数（Su et al., 2025e）。这一区别至关重要，因为上下文与参数化知识整合通过不同的计算机制运作。上下文知识注入仅通过输入上下文引入新信息，以依赖输入的推理时计算影响模型，而非持久性参数更新。相反，先前研究表明，LLM 的许多世界知识与推理能力编码在参数中（Yu and Ananiadou, 2024; Nanda et al., 2023）。因此，外部注入的知识可能无法像内化于模型参数的知识那样被利用（Su et al., 2025e; Tan et al., 2025）。  

因此，CPT 与 RAG 呈现互补优势，同时也带来明确权衡：CPT 提供参数化整合，但累积不可逆更新；RAG 可逆且选择性高，但保持非参数化。  

本文重新审视参数化知识注入的基本单元：梯度。在标准训练中，梯度被视为瞬时的优化信号：从训练实例计算得出，用于更新模型权重，然后被丢弃（Rumelhart et al., 1986）。然而，梯度不仅是一个优化信号：它还编码了模型参数应如何响应特定文档或训练实例而改变。这一观察提示了不同的视角：与其将所有文档引发的梯度效果永久累积到一个全局共享参数状态中，不如将这些梯度离线存储为可复用的参数适应单元，在推理时检索与查询相关的子集，并用它们诱导查询特定的参数适配。这种机制保留了 CPT 的参数化特性——通过参数空间适配融入新信息，同时防止更新在不同文档或查询间持久累积。  

基于此思想，我们提出 **ReGrad**（可检索梯度），一种将梯度视为可检索知识单元的新范式。**ReGrad** 首先离线预计算文档级梯度，存储于带索引的梯度银行。推理时，给定用户查询，**ReGrad** 检索最相关的梯度，并临时应用于模型权重进行查询特定适配。生成结束后，适配权重被丢弃，基座模型恢复。如此，**ReGrad** 将知识获取与永久权重修改解耦：知识可在需要时注入模型参数，而共享基础参数在各查询间保持不变。重要的是，**ReGrad** 既可单独作为纯参数适配方法使用（输入上下文中不放置检索文本），也可与上下文 RAG 结合使用（检索梯度应用于模型同时，检索文档作为文本证据提供）。  

一个遗留挑战是：来自标准语言建模目标的原始梯度未必适用于下游知识使用。下一词元预测鼓励文档重建，而下游任务需要问答、隐式事实抽取以及文档内容推理。因此，简单缓存语言建模梯度可能过拟合表层词元模式，而非改进查询驱动的泛化。为解决此问题，**ReGrad** 引入双层元学习目标，将文档导出的梯度重塑为通用适配信号。内层更新将文档诱导的梯度应用于模型，外层目标则在下游监督上评估适配后模型。通过这一目标，**ReGrad** 元学习梯度的形成与应用，使临时适配能够改善下游行为，而非仅仅重建文档文本。  

我们在通用以及领域特定场景（法律、医学）中进行了广泛实验。在纯参数设定下，**ReGrad** 优于持续后训练及其他参数更新基线，表明文档诱导的梯度可作为有效的、可检索的适配单元。当与上下文知识注入结合时，**ReGrad** 进一步提升了性能，暗示可检索梯度与文本上下文提供了互补的知识注入形式。这些结果将 **ReGrad** 定位为一种可逆的参数侧机制，既可独立使用，也可与现有检索增强系统集成，而非替代 RAG。  

总之，本文贡献如下：  

- • 提出 **ReGrad**，一种将梯度存储为可检索单元的新范式，支持查询特定参数更新，同时不会永久修改模型参数。  
- • 引入双层元学习目标，将文档导出的语言建模梯度重塑为用于知识使用（而非文档重建）的信号。  
- • 实验证明 **ReGrad** 优于 CPT 和 RAG 基线，并能与上下文 RAG 结合实现互补增益。  

参见图注  
图 1：**ReGrad** 框架概览。该方法包含三个阶段：元学习、梯度银行构建与在线推理。  

## 2 相关工作  

**ReGrad** 与三方面工作相关：持续后训练（CPT）、检索增强生成（RAG）以及测试时训练。CPT 将新知识注入模型参数，但重复更新可能导致灾难性遗忘与能力漂移，从而催生了正则化、蒸馏、重放等缓解策略（Kirkpatrick et al., 2017; Li and Hoiem, 2017; Lopez-Paz and Ranzato, 2017）。知识编辑也修改参数，但目标是局部事实更新且副作用有限（Meng et al., 2022a, b; Mitchell et al., 2021, 2022）。与这些方法不同，**ReGrad** 检索临时、查询相关的参数偏移，而不永久改变基座模型。RAG 则根据检索到的证据进行生成（Lewis et al., 2020; Guu et al., 2020; Borgeaud et al., 2022）。最接近的是参数化 RAG，它将文档转换为可检索的参数模块（Su et al., 2025e）。最后，测试时训练在推理过程中执行在线梯度更新（Hardt and Sun, 2024; Chen et al., 2023），而 **ReGrad** 通过检索预计算梯度避免了在线反向传播。进一步的综述与讨论见附录 A。  

## 3 **ReGrad** 框架  

本节介绍我们提出的 **ReGrad** 框架，如图 1 所示。首先在 §3.1 中给出整个框架的概览，然后描述该框架的三阶段生命周期：（1）元学习，将无监督文档梯度与下游问答任务对齐（§3.2）；（2）梯度银行构建，将这些对齐后的梯度离线存储（§3.3）；（3）在线推理，执行检索增强的参数更新（§3.4）。除非特别说明，**ReGrad** 指代纯参数设定（问答提示中不包含检索到的段落）。  

### 3.1 概览  

令 \( \mathcal{M}_W \) 表示具有基础参数 \( W \) 的预训练 LLM，令 \( \mathcal{D} = \{d_i\}_{i=1}^N \) 为外部知识语料。对于测试时查询 \( q \)，**ReGrad** 旨在通过临时的参数更新，从 \( \mathcal{D} \) 中注入相关知识，并在生成后将模型恢复为 \( \mathcal{M}_W \)。框架包含三个阶段。首先，元学习阶段学习适配友好的参数，将文档诱导的梯度转变为面向问答的更新。其次，利用这些参数，通过预计算文档级梯度构建梯度银行。第三，推理时，检索与查询相关的梯度并聚合，在参数空间中产生临时更新。  

### 3.2 阶段 1：元学习初始化  

在此阶段，**ReGrad** 遵循 MAML 风格的双层优化（Finn et al., 2017）：内层无监督更新从检索到的文档中提取知识，外层问答损失评估更新后的模型在未看到文档提示的情况下能否回答下游问题。阶段 1 的目标是学习一种初始化和步长，使得从文档计算出的无监督语言建模梯度可以用作下游问答的可泛化单步适配。此阶段是使存储的梯度超越表层重建形式的关键：部署时我们只能访问知识语料文档（无问答标签），但希望检索到的梯度更新能持续改进查询回答行为。  

为了使文档级梯度可在语料规模上存储与检索，**ReGrad** 避免计算或存储全模型参数 \( W \) 上的梯度。相反，我们通过在选定 Transformer 层中插入 LoRA 适配器，将适配限制于其参数 \( \theta \)，从而引入紧凑的适配子空间。得到的模型为 \( \mathcal{M}_{(W,\theta)} \)，其中 \( W \) 保持冻结，所有文档诱导的梯度均针对 \( \theta \) 计算。这种低秩参数化显著降低了梯度银行的存储成本，同时保留了编码实例级知识更新的足够容量。  

#### 3.2.1 内层目标。给定一个文档（或块²）