重新审视智能体框架演进的评估

# 重新思考智能体框架演化的评估

来源：https://arxiv.org/html/2607.12227
Yike Wang¹,² Huaisheng Zhu¹*¹³ Zhengyu Hu² Yige Yuan² Zhengyu Chen³ Shakti Senthil² Hannaneh Hajishirzi² Yulia Tsvetkov² Pradeep Dasigi¹ Teng Xiao¹*¹ ¹艾伦人工智能研究所 ²华盛顿大学 ³独立研究者

###### 摘要

我们重新审视了 LLM 智能体自动框架演化的评估。现有的框架演化方法使用单元测试用例来搜索框架配置，然后在相同的公开基准上报告最终性能。这种协议引发了两个基本问题。首先，框架演化本身是一个迭代搜索过程，它会使用任务反馈反复评估和修改候选框架。如同智能体测试时缩放，它应该与匹配反馈和推理预算下的简单任务级搜索基线进行比较，以确定其增益是来自改进的框架设计，还是仅仅来自额外的搜索。其次，由于搜索和最终评估共用同一个基准，报告的性能提升存在对特定任务集过拟合的风险。为解决这些问题，我们进行了广泛的评估，在可比的反馈和推理预算下，将框架演化与简单的测试时缩放和发现基线进行比较，同时在保留任务上评估演化后的框架，以检验发现的改进是否具有泛化性。在 Terminal-Bench 2.1 上使用 GPT-5.4 和 Claude Opus 4.6 的实验表明，自动框架演化并未持续优于简单的测试时缩放方法，并且表现出有限的泛化能力。我们的结果对自动框架演化的有效性提出了重要疑问，并强调了为自动框架设计建立更公平的评估协议和基准的必要性。我们的代码可在 https://github.com/rethinking-harness-evolution 获取。

## 1 引言

大型语言模型（LLM）智能体越来越依赖外部框架来与复杂环境进行交互 (Yang等人，2024 (https://arxiv.org/html/2607.12227#bib.bib10); Merrill等人，2026 (https://arxiv.org/html/2607.12227#bib.bib9))。框架定义了模型观察任务并采取行动所需的提示、工具、记忆、验证例程和控制逻辑 (Lopopolo，2026 (https://arxiv.org/html/2607.12227#bib.bib8))。先前的研究表明，即使模型固定，框架工程也能显著影响智能体性能 (Trivedy，2026 (https://arxiv.org/html/2607.12227#bib.bib2))，然而这仍然主要依赖人工：开发者检查轨迹、诊断失败原因并修改框架。这催生了自动框架演化，即智能体改进外部框架的方法 (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6); Lin等人，2026 (https://arxiv.org/html/2607.12227#bib.bib3); Zhang等人，2026 (https://arxiv.org/html/2607.12227#bib.bib4))。这些方法通常遵循一个搜索循环：分析先前的轨迹、分数和失败；提出修改；在基准任务上进行评估；然后重复 (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6); Zhang等人，2026 (https://arxiv.org/html/2607.12227#bib.bib4))。

然而，框架演化的评估还需要进一步考虑。在许多研究中 (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6); Lin等人，2026 (https://arxiv.org/html/2607.12227#bib.bib3); Zhang等人，2026 (https://arxiv.org/html/2607.12227#bib.bib4))，框架搜索使用了来自基准任务的验证器反馈，然后最终框架在同一个公开基准（如 Terminal-Bench (Merrill等人，2026 (https://arxiv.org/html/2607.12227#bib.bib9))）上进行评估。这种设置使得将框架演化与测试时缩放基线进行比较变得重要：这些基线方法在评估任务本身上花费额外计算，例如通过并行采样、顺序精炼或使用验证器反馈进行任务级修改 (Snell等人，2024 (https://arxiv.org/html/2607.12227#bib.bib104); Li等人，2026 (https://arxiv.org/html/2607.12227#bib.bib105); Novikov等人，2025 (https://arxiv.org/html/2607.12227#bib.bib103))。这些基线测试，在可比的反馈和推理预算下，框架演化是否提供了超出简单地将更多搜索预算分配给评估任务所带来的收益。因此，现有的评估协议留下了一个基本问题未解决：**框架演化能否产生可泛化的框架设计改进，还是其性能提升主要来自重复采样？** 此外，当用于搜索的任务与用于评估的任务重叠时 (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6))，观察到的性能提升可能反映的是对任务特定模式的适应，而非可迁移到保留任务上的框架设计改进。

参见图标题 图 1：Claude Opus 4.6、GPT-5.4 和 GPT-5.4 mini 的平均 pass@1（无单元测试反馈访问）。虚线表示初始框架的性能。框架演化算法未能超越简单的测试时缩放基线。在本文中，我们重新审视了语言模型智能体自动框架演化的评估。我们在一个受控的预算协议下比较了并行采样、顺序精炼和框架演化，该协议规定了每种方法接收何种反馈、如何分配推理计算，以及它是修改任务轨迹还是修改框架本身。我们在 Terminal-Bench 2.1 上使用多种模型评估了这些方法，发现自动框架演化并未持续优于简单的测试时缩放基线。例如，如图 1 (https://arxiv.org/html/2607.12227#S1.F1) 所示，当单元测试用例不可用时，框架演化在 Claude Opus 4.6、GPT-5.4 和 GPT-5.4 mini 上的平均表现均不如简单的测试时缩放基线。正如我们的实验 4.3 (https://arxiv.org/html/2607.12227#S4.SS3) 所示，当相同的任务集同时用于框架演化和最终评估时，报告的性能提升可能会夸大真正的框架改进，因为它们可能反映的是对评估实例的适应，而非可泛化的框架设计。这突显了需要将优化反馈与最终测量分开，并与测试时缩放基线进行比较的评估协议。

## 2 相关工作

#### 测试时缩放

测试时缩放是指在推理时分配额外计算来改进语言模型的输出，而不修改模型权重 (Snell等人，2024 (https://arxiv.org/html/2607.12227#bib.bib104))。现有工作分为两大类：并行采样 (Wang等人，2022 (https://arxiv.org/html/2607.12227#bib.bib58); Brown等人，2024 (https://arxiv.org/html/2607.12227#bib.bib97)) 和顺序精炼 (Madaan等人，2023 (https://arxiv.org/html/2607.12227#bib.bib55))。并行采样独立生成多个候选答案，并通过投票或验证器重排序进行聚合。顺序精炼则迭代生成答案，每次尝试都基于先前的尝试来修正之前的推理。在这项工作中，我们认为测试时缩放方法是框架演化算法强大且有意义的基线。

#### 自动框架演化

越来越多的研究通过优化模型周围的外部脚手架来提高智能体性能，而无需重新训练底层模型。早期的工作针对单一可编辑表面：提示和指令优化器根据执行反馈优化提示、示例或语言模型程序 (Khattab等人，2023 (https://arxiv.org/html/2607.12227#bib.bib100); Opsahl-Ong等人，2024 (https://arxiv.org/html/2607.12227#bib.bib102); Yuksekgonul等人，2025 (https://arxiv.org/html/2607.12227#bib.bib101); Agrawal等人，2025 (https://arxiv.org/html/2607.12227#bib.bib99))，而上下文方法则积累经验作为自然语言伪影，模型可以在推理时重用 (Zhao等人，2024 (https://arxiv.org/html/2607.12227#bib.bib107); Zhang等人，2025 (https://arxiv.org/html/2607.12227#bib.bib108))。这些方法表明，智能体体验可以外部化到模型权重之外，但它们通常一次只优化一个组件。最近的一条研究线将整个框架视为搜索对象。Meta-Harness (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6)) 使用先前的源代码、分数和执行轨迹搜索框架代码。Agentic Harness Engineering (Lin等人，2026 (https://arxiv.org/html/2607.12227#bib.bib3)) 通过可观察性驱动的循环演化提示、工具、中间件、技能和长期记忆。AEVO (Zhang等人，2026 (https://arxiv.org/html/2607.12227#bib.bib4)) 将智能体演化本身视为一个交互环境，并编辑控制未来搜索的过程或智能体上下文。我们的工作重新审视了自动框架演化的评估。我们在匹配的反馈和推理预算下，将框架演化与简单的测试时缩放基线进行比较，并评估演化后的框架是否能够迁移到同一基准中的保留任务上。

## 3 重新思考框架演化的评估

在本节中，我们在统一的预算观点下形式化框架演化的评估。目标是明确性能提升是反映了可重用的框架改进，还是反映了对被评估任务的测试时发现。给定一个固定的智能体策略、一个任务分布和一个计算预算，每种方法由其更新内容和观察到的反馈来定义。我们考虑四种方法：并行采样、顺序精炼、框架演化和框架缩放。它们分别将预算花费在独立轨迹、轨迹修订、跨任务的共享框架更新以及特定任务的框架更新上。我们首先介绍通用符号，然后在第 3.2 (https://arxiv.org/html/2607.12227#S3.SS2)–3.5 (https://arxiv.org/html/2607.12227#S3.SS5) 节中描述每种方法。

参见图标题 图 2：测试时缩放和自动框架演化算法。我们在统一预算下比较了四种方法，强调了智能体接收到的反馈、如何花费预算，以及是修改轨迹还是框架。

### 3.1 预备知识

令 πθ 表示智能体策略，令 x 表示从任务分布 X 中抽取的任务。使用框架 h 在 x 上执行智能体会产生一个轨迹 y，即状态、动作和观察的完整序列，我们将其写为 y ∼ πθ(·|x; h)。当单元测试用例 g 可用时，我们定义一个结果 R(y, g) ∈ {0, 1}，当且仅当轨迹解决了任务时返回 1。以下每种方法都消耗计算预算 K，并为每个任务 x ∼ X 返回最终轨迹 ŷ。

我们还定义了一个总结映射 Φ，由与策略相同的底层模型实现。映射 Φ 将经验存储总结为下游智能体可以消费的形式，例如反复出现的失败、冗余尝试或成本，以便后续的精炼或编辑步骤可以诊断早期尝试表现不佳的原因，并避免重复编辑。

### 3.2 并行采样

并行采样 (图 2 (https://arxiv.org/html/2607.12227#S3.F2)(a)) 是一种代表性的测试时缩放方法，它并行生成多个轨迹 (Wang等人，2022 (https://arxiv.org/html/2607.12227#bib.bib58); Brown等人，2024 (https://arxiv.org/html/2607.12227#bib.bib97))。具体来说，我们使用固定的框架 h 从策略中独立抽取 K 个轨迹，

y1, ..., yK ∼ πθ(·|x; h)，

使得探索分散在 K 个相互独立的尝试中。增加 K 会扩展可到达的动作空间，从而提高智能体至少探索到一个包含正确解的轨迹的可能性。我们考虑两种设置。首先，当单元测试用例不可用时，选择依赖于模型自选择，即要求模型在采样的解中选择最佳候选。令 J 为由智能体本身实现的自判断器，我们返回得分最高的候选，

ŷ = argmax_{k ≤ K} J(yk)。

其次，我们假设可以访问单元测试用例，它们提供了可用于直接选择最终响应的可验证信号。在这种情况下，我们将 ŷ 设置为任何被结果接受的轨迹，

ŷ ∈ { yk : R(yk, g) = 1 }。

### 3.3 顺序精炼

与并行采样不同，顺序精炼 (Madaan等人，2023 (https://arxiv.org/html/2607.12227#bib.bib55)) (图 2 (https://arxiv.org/html/2607.12227#S3.F2)(b)) 将预算分配到深度，扩展交互范围，使得每个轨迹都建立在前一个的基础上。在这个过程中，模型利用先前的推理经验并探索替代的解决路径，以指导后续回合中的精炼。为了实现这个过程，我们首先基于提示采样第一个轨迹，

y1 ∼ πθ(·|x; h)，

对于 k = 2, ..., K，我们根据前一个轨迹来条件化下一个轨迹，这允许智能体反思并修改其先前的尝试，使用相同的固定框架 h。当没有单元测试用例可用时，智能体仅读取先前的轨迹，

yk ∼ πθ(·|x, Φ(y_{k-1}); h)，

然后我们返回序列中的最终轨迹 ŷ = yK。

当单元测试用例可用时，我们同时暴露轨迹及其结果，以便智能体可以针对信号进行精炼以生成下一轮响应，

yk ∼ πθ(·|x, Φ(y_{k-1}, R(y_{k-1}, g)); h)。

在这种情况下，我们返回任何被结果接受的轨迹，

ŷ ∈ { yk : R(yk, g) = 1 }。

### 3.4 框架演化

框架演化方法 (Lee等人，2026 (https://arxiv.org/html/2607.12227#bib.bib6); Lin等人，2026 (https://arxiv.org/html/2607.12227#bib.bib3); Zhang等人，2026 (https://arxiv.org/html/2607.12227#bib.bib4)) (图 2 (https://arxiv.org/html/2607.12227#S3.F2)(c)) 保留了顺序精炼的迭代循环，但将预算分配到策略周围的框架上，而不仅仅是轨迹上，并且跨任务分布进行优化，而不是适应单个任务。我们抽取一批任务 {x^(i)}_(i=1)^n ∼ X 并使用它们初始化经验存储 C0 = {x^(i)}_(i=1)^n。在第 k 轮，我们在当前框架下为每个任务采样 m 次运行，

yk^(i,j) ∼ πθ(·|x^(i); hk), i=1,...,n, j=1,...,m。

然后每一轮贡献一条证据

ek = (hk, {yk^(i,j)}_(i,j)), Ck = C_(k-1) ∪ {ek}，

记录框架及其在整个批次上产生的运行。当每个任务都有可用的单元测试用例时，证据还包含每次运行的结果，因此

ek = (hk, {yk^(i,j)}_(i,j), {R(yk^(i,j), g^(i))}_(i,j))。