持续学习何时需要学习

# 何时持续学习需要真正学习？  
来源：https://arxiv.org/html/2607.07847  

Anne Harrington¹,\*、Nayan Saxena²、Michael Murphy¹、Anastasia Borovykh³、Zeyu Yun¹、Sridhar Kamath²、Ara Eindra Kyi²、Trevor Darrell¹、Jitendra Malik¹、Yutong Bai¹,\*  
¹UC Berkeley  
²独立研究者  
³Capital Fund Management  
\{anneko， yutongbai\}@berkeley\.edu  

###### 摘要  

随着大型语言模型（LLM）能力日益增强，接下来的问题是如何让模型实现持续学习？当前，该领域主要将此问题框架化为上下文管理与缓解遗忘的问题。我们认为这一框架并不完整：持续学习从根本上讲是提升模型随世界变化而增长的胜任力。我们将这种变化沿着两个轴进行解耦——空间维度（模型遇到新领域）和时间维度（固定任务下底层数据发生漂移）。这一框架使我们能够在现实条件下研究持续学习：新领域随时间涌现，事实在训练截止日期后发生漂移，以及智能体交互跨轮次累积状态。为在此设置下评估各种方法，我们将广泛使用的LLM基准转化为序列问题，并引入一个与机制无关的通用协议，用于比较基于提示的方法（GEPA、ACE）、监督学习（SFT、SDFT）、强化学习（GRPO、SDPO）和上下文压缩（Cartridges、In-place TTT）。基于提示的方法能快速适应每个新阶段，但在未来任务上性能下降。基于蒸馏的方法能稳定积累知识，但难以更新过时的事实。上下文压缩提升了效率，但未能显著提升学习新任务的能力。在线强化学习在知识更新方面适应最为有效，但对噪声奖励信号仍然敏感。总体而言，我们的结果表明，持续学习并非单一能力：不同类型的环境变化需要根本不同的更新行为，这决定了何时适应必须通过模型权重内部学习，何时可以通过外部脚手架实现。我们希望理解每种方法成功与失败的场景，将有助于设计更强大的持续学习系统。  

†  

## 1 引言  

¹¹脚注：同等贡献。†代码：https://github.com/anneharrington/studying-cl  

见图1：一个统一的持续学习框架，涵盖变化轴和更新机制。  
我们识别出任务演化的四个轴：领域偏移、事实更新、时间漂移和智能体状态。所有方法都被纳入一个通用框架，其中经验流触发对三个内部组件之一（上下文、参数或记忆/状态）的更新。现有方法据此统一：提示方法（GEPA、ACE）修改上下文；微调方法（SFT、SDFT）和强化学习方法（GRPO、SDPO）更新参数；记忆/压缩方法（Cartridges、In-place TTT）维护外部状态。  

传统上，持续学习被定义为缓解灾难性遗忘[40 (https://arxiv.org/html/2607.07847#bib.bib40)]：*如何在不忘却任务A的情况下学习任务B？* 解决此问题的一种方法是在参数中增强或组合，如叠加[6 (https://arxiv.org/html/2607.07847#bib.bib6)]、对抗网络[9 (https://arxiv.org/html/2607.07847#bib.bib9)]和侧网络[57 (https://arxiv.org/html/2607.07847#bib.bib57)]中提出的方法。然而，在当前依赖大规模预训练、中训练和后训练以获得通用能力的大语言模型（LLM）范式中，这种设置并不现实，因为部署后需要适应**广泛**的潜在用例。同时，标准的LLM评估侧重于衡量静态任务上的能力，如通用知识[51 (https://arxiv.org/html/2607.07847#bib.bib51)]、领域特定能力[17 (https://arxiv.org/html/2607.07847#bib.bib17),23 (https://arxiv.org/html/2607.07847#bib.bib23),45 (https://arxiv.org/html/2607.07847#bib.bib45),16 (https://arxiv.org/html/2607.07847#bib.bib16)]和具有挑战性的前沿问题[14 (https://arxiv.org/html/2607.07847#bib.bib14),38 (https://arxiv.org/html/2607.07847#bib.bib38)]；但这些评估未能衡量模型在随时间变化的条件中变得更具胜任力的能力——而这对于实际部署至关重要。缺乏统一框架的情况下，社区将持续学习视为记忆问题，通过检索增强生成[27 (https://arxiv.org/html/2607.07847#bib.bib27)]、上下文学习[3 (https://arxiv.org/html/2607.07847#bib.bib3)]、智能上下文管理[29 (https://arxiv.org/html/2607.07847#bib.bib29),56 (https://arxiv.org/html/2607.07847#bib.bib56)]和工具架[59 (https://arxiv.org/html/2607.07847#bib.bib59),54 (https://arxiv.org/html/2607.07847#bib.bib54),26 (https://arxiv.org/html/2607.07847#bib.bib26)]来解决；视为引导问题，通过提示优化[43 (https://arxiv.org/html/2607.07847#bib.bib43),47 (https://arxiv.org/html/2607.07847#bib.bib47),2 (https://arxiv.org/html/2607.07847#bib.bib2)]来解决；视为推理问题，通过强化学习和蒸馏[35 (https://arxiv.org/html/2607.07847#bib.bib35),60 (https://arxiv.org/html/2607.07847#bib.bib60),19 (https://arxiv.org/html/2607.07847#bib.bib19),48 (https://arxiv.org/html/2607.07847#bib.bib48)]来解决；以及视为压缩问题，通过架构变化[10 (https://arxiv.org/html/2607.07847#bib.bib10),30 (https://arxiv.org/html/2607.07847#bib.bib30),49 (https://arxiv.org/html/2607.07847#bib.bib49),11 (https://arxiv.org/html/2607.07847#bib.bib11)]来解决。每种方法对持续学习真正需要什么做出了不同的假设，但该领域仍缺乏跨这些方法的统一见解来指导进展。  

在我们的工作中，我们提供了一个统一框架来定义和衡量现代LLM中的持续学习。我们将持续学习定义为随着世界变化而增长胜任力的问题。我们考虑沿着两个轴的变化：**空间**和**时间**，如图1 (https://arxiv.org/html/2607.07847#S1.F1) 所示。空间对应于经典的领域或任务偏移概念，即模型被要求在不丢失先前知识的情况下，在不同分布上获取新技能。时间对应于一种不同的、在实际部署系统中更常见的变化形式：任务保持不变，但底层世界发生漂移。时间本身可以进一步细分为文献中常混淆的两个子机制。缓慢趋势（例如年度财务申报）要求模型保持对齐；此处的最佳策略是持续提取跨年份存续的结构，忽略年份特定的噪声。离散事实变化（例如维基百科修订）则要求相反的做法——正确的做法是实际重写受影响的信念，同时保持模型其他知识不变。第三个子机制是智能体累积：任务家族本身保持不变（例如在网页应用中的操作），但环境状态随着模型自身先前的操作而发生漂移，因此上一步留下的结果成为下一步模型面临任务的一部分。这第二个子机制是框架问题[39 (https://arxiv.org/html/2607.07847#bib.bib39)]在LLM中的类比：当世界更新时，学习者必须决定哪些信念已经过时，哪些可以保持不变。  

为了根据我们的定义衡量持续学习，我们将广泛使用的LLM评估转化为在单个与机制无关的协议下顺序展开的问题，从而使提示、权重和架构更新能够在同等条件下进行比较。在公共骨干网络（Qwen3-8B）[53 (https://arxiv.org/html/2607.07847#bib.bib53)]上，我们评估了八个方法，涵盖四个家族：提示优化（GEPA[2 (https://arxiv.org/html/2607.07847#bib.bib2)]，ACE[59 (https://arxiv.org/html/2607.07847#bib.bib59)]）、离线监督更新（SFT，SDFT[48 (https://arxiv.org/html/2607.07847#bib.bib48)]）、在线强化学习（GRPO[46 (https://arxiv.org/html/2607.07847#bib.bib46)]，SDPO[19 (https://arxiv.org/html/2607.07847#bib.bib19)]）和上下文压缩（Cartridges[10 (https://arxiv.org/html/2607.07847#bib.bib10)]，In-place TTT[11 (https://arxiv.org/html/2607.07847#bib.bib11)]）。有趣的是，我们观察到跨方法存在一致的权衡： (i) 基于提示的方法，如GEPA和ACE，能够快速且强烈地拟合过往轨迹，实现强向后准确性，但在未来任务上出现急剧下降。(ii) 基于蒸馏的方法，如SDFT和SDPO，随时间更稳定地积累知识，但难以快速吸收新信息或更新过时知识。(iii) 上下文压缩方法，包括Cartridges和In-place TTT，提升了效率和记忆管理，但未能显著提升学习新任务的能力。(iv) 相比之下，在线强化学习方法，如GRPO，更有效地适应知识更新，尽管它们对噪声或不稳定的奖励信号仍然高度敏感。(v) 在智能体轴上，阶段排序由智能体自身的行动生成而非由我们强加，基于提示的剧本（ACE）和基于权重的微调（SFT）都累积经验，在每个链长度上击败其零样本基线，尽管绝对成功率随着链增长仍然下降。  

综合来看，我们做出以下贡献：  
- • 我们将LLM中的持续学习形式化为随时间增长胜任力的问题。通过我们的协议，我们提供了一个统一的视角，使得我们能够考虑参数化和非参数化更新方法用于持续学习。我们将这些方法适应持续学习设置，并统一其评估指标。  
- • 我们引入了一套广泛的顺序LLM任务来评估持续学习。这些任务包括领域适应、智能体任务、财务分析和时间依赖的知识更新。  
- • 我们发现，在大多数机制下，仅依靠基于提示的方法是不够的，这需要真正的学习。不同的学习方法各有其优势，具体取决于任务和数据如何随时间变化。  

## 2 相关工作  

**持续学习。** 传统上，该领域将持续学习视为防止灾难性遗忘的问题[40 (https://arxiv.org/html/2607.07847#bib.bib40),13 (https://arxiv.org/html/2607.07847#bib.bib13)]。在此背景下，问题在于顺序参数更新可能覆盖之前任务所需的知识；这导致关注于设计减少任务干扰的方法[22 (https://arxiv.org/html/2607.07847#bib.bib22),15 (https://arxiv.org/html/2607.07847#bib.bib15),9 (https://arxiv.org/html/2607.07847#bib.bib9),57 (https://arxiv.org/html/2607.07847#bib.bib57),6 (https://arxiv.org/html/2607.07847#bib.bib6)]。从另一个角度，持续学习被定位为保持可塑性[8 (https://arxiv.org/html/2607.07847#bib.bib8)]，即模型不仅需要记住旧任务，还需要具备学习新任务的能力[36 (https://arxiv.org/html/2607.07847#bib.bib36),42 (https://arxiv.org/html/2607.07847#bib.bib42)]。  

**非参数化更新。** 在部署时，我们可以通过改变固定模型周围的推理时环境来适应LLM，而无需改变权重。一类方法改变模型可获取的信息，例如通过检索增强生成（RAG）[27 (https://arxiv.org/html/2607.07847#bib.bib27)]、外部记忆、可重用长上下文表示[10 (https://arxiv.org/html/2607.07847#bib.bib10)]、上下文压缩[29 (https://arxiv.org/html/2607.07847#bib.bib29)]或递归访问大型外部上下文[56 (https://arxiv.org/html/2607.07847#bib.bib56)]。另一类密切相关的方法改变使用这些信息的行为脚手架，包括演示[3 (https://arxiv.org/html/2607.07847#bib.bib3)]、提示指令和智能体上下文[2 (https://arxiv.org/html/2607.07847#bib.bib2),59 (https://arxiv.org/html/2607.07847#bib.bib59),55 (https://arxiv.org/html/2607.07847#bib.bib55)]以及多阶段LM程序[44 (https://arxiv.org/html/2607.07847#bib.bib44),25 (https://arxiv.org/html/2607.07847#bib.bib25),28 (https://arxiv.org/html/2607.07847#bib.bib28)]。更广泛地说，智能体系统可以通过修改周围的工具架[54 (https://arxiv.org/html/2607.07847#bib.bib54),26 (https://arxiv.org/html/2607.07847#bib.bib26)]来适应，学习组件级别的奖励规范[52 (https://arxiv.org/html/2607.07847#bib.bib52)]，或通过外部程序和智能体代码修改[4 (https://arxiv.org/html/2607.07847#bib.bib4),43 (https://arxiv.org/html/2607.07847#bib.bib43),58 (https://arxiv.org/html/2607.07847#bib.bib58),47 (https://arxiv.org/html/2607.07847#bib.bib47)]来改进。  

**基于梯度（参数化）更新。** 另一种适应方法是更新权重或激活。一种极端情况是全面微调，修改模型的所有参数；虽然有效，但这种方式通常计算成本高昂，对于频繁或在线适应来说不现实。激活编辑[20 (https://arxiv.org/html/2607.07847#bib.bib20)]使用应用于所有参数的任务向量。更常见的工作研究**参数高效**方法，例如LoRA[18 (https://arxiv.org/html/2607.07847#bib.bib18)]和基于适配器的调优[30 (https://arxiv.org/html/2607.07847#bib.bib30),33 (https://arxiv.org/html/2607.07847#bib.bib33)]，这些方法将更新限制在参数的小子集内。一个尚未充分探索但重要的机制涉及严重受限的更新——非常少的梯度步骤和严格限制的计算——更接近于部署系统中持续适应所需发生的条件。  

持续学习方法的区别不仅在于它们存储更新的位置，还在于驱动更新的学习信号。OPSD[60 (https://arxiv.org/html/2607.07847#bib.bib60),35 (https://arxiv.org/html/2607.07847#bib.bib35)]、SDFT[48 (https://arxiv.org/html/2607.07847#bib.bib48)]和SDPO[19 (https://arxiv.org/html/2607.07847#bib.bib19)]从自蒸馏学习，GRPO[46 (https://arxiv.org/html/2607.07847#bib.bib46)]和h1[41 (https://arxiv.org/html/2607.07847#bib.bib41)]优化任务结束奖励，LoRD[32 (https://arxiv.org/html/2607.07847#bib.bib32)]使用师生蒸馏，稀疏记忆微调[30 (https://arxiv.org/html/2607.07847#bib.bib30)]将下一个词元目标定位到稀疏访问的记忆槽，测试时训练[11 (https://arxiv.org/html/2607.07847#bib.bib11)]在推理期间执行输入条件的权重更新。  

## 3 方法  

### 3.1 持续学习设置协议  

**设置。** 通常，持续学习评估与特定方法紧密耦合：权重更新方法使用固定微调预算下的任务准确率；提示优化通常使用固定词元预算下的少样本泛化；智能体框架依赖于端到端通过率。因此，提示、权重和架构更新很少能在公平条件下相互比较。为了收集关于持续学习需要哪些方法的更广泛见解，我们定义了一个简单的协议，兼容任何更新操作符。为此，我们将所有形式的更新（提示、全权重、稀疏权重/激活）视为潜在策略，并根据方法在优化过程中改变模型的哪个方面将其分组到家族中（表1 (https://arxiv.org/html/2607.07847#S3.T1)）。正式地：一个学习者看到阶段T1,...,TK\\mathcal\{T\}\_\{1\},\\dots,\\mathcal\{T