智能体优化器能否实现累积提升？——基于 Terminal-Bench 2.0 的持续学习评估

# 智能体优化器的增益能复合吗？Terminal-Bench 2.0上的持续学习评估††感谢：三种优化器在基线阶段、阶段1和阶段2的智能体工件已发布于 https://github.com/relai-ai/Continual-Learning-Terminal-Bench。
来源：https://arxiv.org/html/2607.14004
Wenxiao Wang wwx@relai\.ai RELAI\.ai &Priyatham Kattakinda priyatham@relai\.ai RELAI\.ai &Soheil Feizi sfeizi@relai\.ai RELAI\.ai

###### 摘要

大多数已报道的智能体优化方法的增益都是单次的：智能体针对固定基准进行优化，然后报告改进结果，仿佛这是该方法的一个稳定属性。但这并未测试对于已部署智能体至关重要的场景——随着时间推移出现新的失败和新的任务时，优化被递归地应用。由此提出的核心问题是：优化器驱动的增益能否*复合*？在智能体已被优化一次之后，能否在新到达的任务上再次优化，同时不侵蚀第一轮优化产生的收益？我们通过一个基于Terminal-Bench 2.0困难任务的两阶段持续学习评估来研究这一问题，在相同的优化预算下比较三种智能体框架优化方法（GEPA、Meta Harness和RELAI的验证性持续学习，RELAI-VCL）。所有三种方法在传统的、静态的单阶段设置中均优于基线智能体。然而，一旦引入新任务，方法间出现显著分歧：GEPA优化的智能体在迁移时低于未优化的基线，Meta Harness迁移良好但在获得第二优化预算后未能进一步改进，而RELAI-VCL是唯一在迁移到未见任务时表现正向，并且在这些任务被纳入优化目标后继续改进的方法，在每个评估阶段都达到了最高的通过率，并且总体终身平均通过率最高（76.4%对比GEPA的66.0%、Meta Harness的64.6%和基线的58.7%）。我们的关键观察是，只有当退化控制内置于优化循环中时，优化增益才会复合，这提供了反对无法泛化的捷径解的归纳偏置。

## 1 引言

### 1.1 动机

越来越多的工作针对一组固定的基准任务优化智能体框架（提示词、工具、记忆，甚至框架代码），并报告由此产生的改进作为优化器有效的证据。大多数已发表的智能体优化结果正是在这种设置下获得的：智能体被优化一次，优化期间或之后任务集保持不变。然而，生产环境中的智能体很少只优化一次。当部署中观察到新的失败，或产品表面添加了新的任务类型时，一个已经被优化过一次的智能体会在第一次优化所做的任何更改之上再次被优化。一次性的基准分数并不能告诉我们优化器在这种重复、递归的应用下表现如何。

### 1.2 复合问题

我们称之为*复合问题*：在给定方法已经优化过一次智能体之后，该方法能否在任务流已扩展包含新任务的情况下再次应用，而不破坏第一轮优化产生的收益？能够复合的优化器应该(i) 从第一轮产生至少在一定程度上泛化到搜索期间未见任务的更新，并且(ii) 在第二轮优化中继续取得进展，而不会在已经解决的任务上发生退化。这两个属性都不能通过静态、单阶段基准上的强性能来保证，而且据我们所知，现有的智能体框架优化器评估协议没有直接测量这两者。

### 1.3 协议与发现预览

我们基于Terminal-Bench 2.0的困难任务构建了一个两阶段持续学习评估。在阶段1中，每个优化器获得固定的rollout预算，在初始任务集T1\\mathcal{T}_1上优化一个通用基线智能体。然后我们评估阶段1优化后的智能体，既在T1\\mathcal{T}_1上（传统静态设置），也在未经进一步优化的情况下，在一个扩展的任务合集T1∪T2\\mathcal{T}_1\\cup\\mathcal{T}_2上（其中包含新引入的任务集T2\\mathcal{T}_2，即迁移设置）。在阶段2中，每个方法从它自己的阶段1优化智能体开始，获得额外的rollout预算，在组合任务集T1∪T2\\mathcal{T}_1\\cup\\mathcal{T}_2上进行优化，然后我们评估得到的智能体在整个合集上的表现。这个序列让我们能够区分单个基准分数所混淆的三个不同属性：静态优化强度、对未见任务的迁移能力，以及一旦这些任务被纳入搜索目标后持续改进的能力。实验发现，所有三种方法在静态阶段1设置中都优于基线，但一旦引入任务到达和重复优化，这些方法就出现显著分歧：只有RELAI-VCL同时表现出正向迁移和持续改进，而GEPA过拟合阶段1（迁移低于基线），Meta Harness迁移良好但在重新优化下停滞。表1 (https://arxiv.org/html/2607.14004#S1.T1) 和图1 (https://arxiv.org/html/2607.14004#S1.F1) 总结了这些结果；完整的逐阶段细目和分析见第6节。

| 智能体 | 阶段1 | 阶段2 | 终身平均 | 迁移 | 重新优化 |
|--------|--------|--------|----------|------|----------|
| 基线 | 62.5% | 56.8% | 56.8% | 58.7% | |
| GEPA | 70.8% | 54.5% | 72.7% | 66.0% | |
| Meta Harness | 66.6% | 68.2% | 59.1% | 64.6% | |
| RELAI-VCL | 79.2% | 72.7% | 77.3% | 76.4% | |
表1: RELAI-VCL在分阶段评估的每个阶段都领先：阶段1静态结果最强、唯一正向迁移到未见任务、阶段2重新优化后持续收益，以及最高的终身平均通过率。GEPA迁移低于基线（过拟合阶段1），Meta Harness在重新优化下停滞。![[未提供标题的图片]](https://arxiv.org/html/2607.14004v1/figures/lifelong_average_pass_rate.png)图1: 各智能体的终身平均通过率：RELAI-VCL达到76.4%，领先于GEPA（66.0%）、Meta Harness（64.6%）和未优化的基线（58.7%）。
### 1.4 贡献

- • 基于Terminal-Bench 2.0困难任务构建的分阶段持续学习评估协议。
- • 在相同分阶段优化预算下，GEPA、Meta Harness和RELAI-VCL的直接比较。
- • 证据表明退化控制必须位于搜索循环内部，而非作为后验分析，才能同时获得迁移和持续改进。
- • 讨论一个更现实的智能体持续学习基准所需的条件。

## 2 背景与相关工作

### 2.1 优化智能体框架

最近的智能体优化方法将固定LLM周围的框架（其提示词、上下文、工具定义和控制代码）视为一个搜索空间，根据任务反馈进行优化，而非手动调整。GEPA通过反思性进化搜索优化智能体提示词：它利用对rollout轨迹的自然语言反思来变异候选者，并保留改进测量性能的候选者(Agrawal et al., 2025 (https://arxiv.org/html/2607.14004#bib.bib1))。MIPROv2类似地使用替代引导（贝叶斯优化风格）过程搜索多阶段LM程序的指令和小样本演示(Opsahl-Ong et al., 2024 (https://arxiv.org/html/2607.14004#bib.bib5))，两者都建立在DSPy之上，DSPy将声明式LM管道编译为可优化程序(Khattab et al., 2023 (https://arxiv.org/html/2607.14004#bib.bib4))。ACE相反地将智能体的上下文视为不断演化的剧本，随时间积累和整理策略，而不是从头重写，明确针对重复提示重写可能导致的简洁性偏差和上下文崩溃(Zhang and others, 2025 (https://arxiv.org/html/2607.14004#bib.bib12))；Combee将这种提示学习风格扩展到许多并行运行的智能体(Li et al., 2026 (https://arxiv.org/html/2607.14004#bib.bib13))。Reflexion将口头的、LLM生成的自我批判附加到固定智能体架构上，使用语言反馈代替标量奖励信号(Shinn et al., 2023 (https://arxiv.org/html/2607.14004#bib.bib7))。多智能体设计（MAAS）更进一步，联合搜索提示词和智能体拓扑，尽管是在一组受限的预定义块类型上(Zhou et al., 2025 (https://arxiv.org/html/2607.14004#bib.bib2))。Maestro针对同一差距，使用更丰富的拓扑空间，联合搜索非序列DAG、持久/全局状态和上下文门控以及节点级配置，据报道即使仅限于提示词搜索，其表现也优于GEPA和MIPROv2等仅提示词优化器，一旦启用图搜索则获得更大增益(Wang et al., 2025 (https://arxiv.org/html/2607.14004#bib.bib3))。GRPO代表了一种完全不同的机制：组相对策略梯度微调模型权重(Shao et al., 2024 (https://arxiv.org/html/2607.14004#bib.bib6))，改变的是底层模型而非围绕其包装的框架。Hyperagents将优化推进一步，将优化器本身折叠进一个单一的可自修改程序，使得智能体自身的改进过程也可以被修订，尽管其评估仍然局限于基准(Zhang et al., 2026 (https://arxiv.org/html/2607.14004#bib.bib14))。

与我们设置最接近的是Meta-Harness，一种外循环方法，它使用一个自主提议者（本身是一个LLM驱动的编码智能体，可以访问先前候选者的代码、轨迹和分数）直接编辑框架代码，并根据评估反馈接受或拒绝结果(Lee et al., 2026 (https://arxiv.org/html/2607.14004#bib.bib11))。Meta-Harness是我们在本文中进行实证比较的三种优化器之一（第4.3节）。贯穿这一整条工作线的共同点是，单一的静态评估集驱动搜索：该集群中没有方法在搜索过程中构建明确的机制来检测或防止该集合外任务的退化，我们将在第2.5节回到这一差距。

### 2.2 持续学习与灾难性遗忘

我们研究的复合问题与持续学习中的灾难性遗忘密切相关：即在新数据上更新的模型倾向于丢失在先前学习任务上的性能。典型的基于正则化的方法，弹性权重巩固（EWC），通过使用从先前任务后验的拉普拉斯近似导出的二次惩罚，惩罚偏离对先前任务重要的参数(Kirkpatrick et al., 2017 (https://arxiv.org/html/2607.14004#bib.bib16))。RELAI-VCL使用的以及本文分析的退化感知优化，在框架编辑层面而非模型权重层面发挥着类似作用：它不是正则化参数，而是约束搜索过程本身，拒绝那些在智能体已经能够解决的任务上退化的候选框架编辑。

越来越多的实际系统在框架代码搜索之下的层面，针对从经验中实现持久的智能体改进这一相关目标。记忆和技能积累系统在智能体运行时检索、整合和写回信息：例如作为通用记忆层的 mem0 (mem0.ai, 2024 (https://arxiv.org/html/2607.14004#bib.bib22)) 和 Letta (Letta AI, 2023 (https://arxiv.org/html/2607.14004#bib.bib23))、Karpathy的结构化记忆“LLM wiki”模式(Karpathy, 2026 (https://arxiv.org/html/2607.14004#bib.bib24))、Anthropic的会话整合“Dreaming”功能(Anthropic, 2026 (https://arxiv.org/html/2607.14004#bib.bib26))、Nous Research的自主编写和重组自身技能的Hermes智能体(Nous Research, 2026 (https://arxiv.org/html/2607.14004#bib.bib25))，以及将技能库与机会性强化学习微调相结合的MetaClaw(Xia et al., 2026 (https://arxiv.org/html/2607.14004#bib.bib15))。第二组系统更直接地将从生产轨迹到框架代码的回路闭合：HALO从执行轨迹诊断系统性故障模式并将其馈送给编码智能体(context-labs, 2026 (https://arxiv.org/html/2607.14004#bib.bib18))，LangSmith Engine将生产轨迹聚类并诊断为提议的评估器和修复(Tannyhill, 2026 (https://arxiv.org/html/2607.14004#bib.bib19))；诸如Codex(OpenAI, 2025 (https://arxiv.org/html/2607.14004#bib.bib20))和Claude Code(Anthropic, 2025 (https://arxiv.org/html/2607.14004#bib.bib21))等编码智能体常被用作人类指导的执行者来执行生成的编辑，而LithosAI的Motus等生产智能体服务系统直接从生产轨迹优化框架、编排和记忆(LithosAI, 2026 (https://arxiv.org/html/2607.14004#bib.bib27))。在这一图景中，提出的更新通常仅在*已经做出后*才被检查（如果有的话）：通过留出评估、影子部署或人工审查拉取请求。这些机制没有将避免退化作为运行中约束搜索或更新过程的约束，而这正是第2.5节和第4.4节识别为区分RELAI-VCL的特性，也是本文通过实证进行检验的特性。

### 2.3 基准过拟合与静态基准批判

单一的优化后基准分数是泛化能力的一个弱信号：拥有足够大搜索预算和固定有限评估集的优化器可以找到提高测量分数但不提升（甚至主动损害）该集合外任务性能的候选者。这是更广泛关注的一个具体实例，即针对固定代理指标进行优化可能会产生满足指标但不满足其旨在近似的基本目标的解决方案，这是Goodhart定律文献中具有几种不同机制的失败模式(Manheim and Garrabrant, 2018 (https://arxiv.org/html/2607.14004#bib.bib17))。语言模型中这一确切失败模式的一个具体先例是IFBench，它发现经过训练以遵循一小套可验证指令遵循约束的模型会过拟合这些约束，并对新的、未见过的约束泛化不佳(Pyatkin et al., 2025 (https://arxiv.org/html/2607.14004#bib.bib8))。我们的两阶段协议专门设计用于揭示智能体框架优化中的类似失败模式：在阶段1过拟合的优化器应显示出强的阶段1增益，但一旦引入T2\\mathcal{T}_2，其迁移能力为负或弱，这正是我们在第6节中观察到的GEPA的模式。

### 2.4 作为评估基底的Terminal-Bench

Terminal-Bench 2.0提供了一组基于终端的智能体任务，具有可自动检查的成功标准，涵盖科学计算、软件工程、机器学习基础设施、系统管理以及安全相关工作流等领域(Merrill and others, 2026 (https://arxiv.org/html/2607.14004#bib.bib10))。其可验证的、每个任务的通过/失败结果使其非常适合第3节中的分阶段协议，该协议需要在不同优化的智能体下重复重新评估相同和新引入的任务。同时，正如我们在第7节中讨论的，Terminal-Bench的任务在很大程度上相互独立，相对于生产环境（其中失败通常跨共享应用领域相关）而言，这是一个简化的假设。

### 2.5 RELAI-VCL

我们以与上述方法相同的技术基调来描述RELAI-VCL。