微软与合作团队的最新论文：演化 Agent Harness。

这是一个很酷的想法——从已发表的研究中演化出 harness。这也是过去几个月里我也一直在测试的方向。ScholarEvolve 基于已发表的 agent 研究、而非 agent 自身的失败日志，来提出 harness 修改建议。它将 harness 拆分为模块：工具使用、记忆管理、任务执行。它对近期论文进行主题建模，识别出每个模块的不同改进策略，然后实现并测试这些策略的组合。新的论文可以随时间不断加入。在模型固定不变的情况下，Qwen3.5-27B 在 AppWorld Challenge 上的任务目标完成率从 49.6% 提升至 63.6%，GPT-5.4-mini 在 Tau2-Bench Telecom 上从 72.7% 提升至 81.9%。

论文：https://arxiv.org/abs/2609.40169 Chat with Paper：https://academy.dair.ai/papers/learning-from-research-toward-lifelong-agent-harness-evolution-2609.40169

从研究中学习：迈向终身 Agent Harness 演化

来源：https://arxiv.org/html/2609.40169

Jingbo Yang††脚注:通信作者：Jingbo Yang。工作于 Microsoft 实习期间完成。Kwei-Herng Lai单位：Microsoft　Xiaowen Wang单位：Microsoft　Yaar Harari单位：Microsoft　Evgeniy Gabrilovich　Shiyu Chang单位：University of California, Santa Barbara　单位：Microsoft

摘要

语言 Agent 被期望能够解决日益复杂的任务，这带来了持续改进的迫切需求。一种有前景的方法是演化 agent harness——即在语言模型保持固定的前提下，演化那套管理工具使用、记忆管理和任务执行的软件。近期的方法通过使用一个元编码 agent（meta coding agent），基于执行反馈来修改 harness，从而自动化这一过程。然而，依赖该 agent 的既有知识和已观察到的失败案例，可能会限制探索空间，并使适应过程变得被动。受人类专家如何从研究文献中寻找新解决方案的启发，我们提出了 ScholarEvolve——一个自动借鉴最前沿研究、以指导 harness 演化的框架。ScholarEvolve 将 harness 的演化方向组织为功能模块，并使用主题建模来识别每个模块中不同的改进策略。它实现这些策略，并评估它们的组合效果，以提升任务性能。此外，该框架被设计为可以随时间纳入新的论文发表成果，从而让研究进展驱动主动的终身演化。实验在 AppWorld 和 \tau^2-Bench 上展示了改进效果。ScholarEvolve 将 Qwen3.5-27B 在 AppWorld Challenge 上的任务目标完成率从 49.6% 提升至 63.6%，并将 GPT-5.4-mini 的 pass@1 在 \tau^2-Bench Telecom 上从 72.7% 提升至 81.9%。代码已发布于 https://github.com/UCSB-NLP-Chang/ScholarEvolve。

1 引言

语言模型 Agent 正日益具备解决需要与数字环境进行长时间交互的问题的能力，从调试软件仓库到跨应用协调工作流（Merrill et al., 2026；Wang et al., 2025；Trivedi et al., 2024）。随着能力的增长，对它们的要求也在提高：用户期望 agent 能以更高的自主性处理更长的任务、不熟悉的工具以及不断变化的需求（Liu et al., 2026c）。要满足这些需求，就需要 agent 掌握新的问题解决策略，并改进其对现有能力的运用方式。这激发了人们对 agent 演化（agent evolution）日益增长的兴趣，即让 agent 的设计在其初始开发之后能够持续改进（Yang et al., 2026a；Zhang et al., 2026b；Zhang et al., 2026a）。反复训练大型骨干模型会使这种适应过程在计算上非常昂贵（Zhang et al., 2026a；Agrawal et al., 2026）。因此，近期的工作探索了 agent harness 的演化——即围绕一个固定模型、组织工具使用、上下文管理、技能、记忆和执行工作流的那套软件（Team et al., 2026；Lee et al., 2026；Lou et al., 2026）。这些模块决定了 agent 如何将模型输出转化为持续的行动，包括它保留哪些信息、以及如何从失败中恢复（Zhang et al., 2026c；Ouyang et al., 2026；Zhou et al., 2026）。对 harness 进行演化，为通过修改这套执行系统来获得更强大的 agent 开辟了一条切实可行的路径。

图片标题　图 1：ScholarEvolve 概览。左侧：工作流导向的探索。中间：研究引导的模块变异、重组与终身演化。右侧：Qwen3.5-27B 在 AppWorld Challenge 上的任务目标完成率（TGC）与场景目标完成率（SGC）。

近期的 harness 演化方法通常使用一个 元 agent（meta agent），往往是一个配备自身开发 harness 的编码 agent，让它检查执行轨迹、提出代码修改，并评估由此产生的候选方案（Lee et al., 2026；Robeyns et al., 2025）。这一方法自动化了范围日益广泛的工程决策，但要持续取得进展，仍面临三个挑战。

❶ 探索范围有限。即使拥有广泛地编辑代码的权限，仍可能导致一连串狭窄的修改。近期的评测记录了搜索过程在反复的局部修改附近陷入停滞的现象（Huang et al., 2026）。例如，增加验证轮次或多个 agent 提案可能会增加计算量，却让改进 harness 的其他机制未被探索（Cemri et al., 2026；Kim et al., 2025）。图 1（左侧）展示了过于保守的验证如何阻碍完成任务所需的工具调用。

❷ 设计知识有限。元 agent 所提出的机制依赖于其骨干模型的知识和推理能力（Zhang et al., 2026a）。一条失败轨迹可能暴露了缺失的能力，却几乎无法提供关于构建该能力所需技术的指引。

❸ 适应滞后。由轨迹和反馈驱动的演化，其证据来自已经遇到过的情况（Karten et al., 2026；Wei et al., 2026）。因此，在实际部署中，一个弱点可能在积累了足够证据、足以支撑一次有价值的更新之前，就已经对用户造成了影响。

这些挑战表明，我们需要 agent 既有经验之外的全新设计思路。这引出了我们的问题：一位经验丰富的研究者会如何发现 agent 自身经验尚未揭示的改进？ 经验丰富的研究者和机器学习工程师会转向研究文献，学习他人如何解决类似问题、识别有前景的机制，并将其适配到新的场景中（Tang et al., 2026；Schmidgall & Moor, 2025；Gottweis et al., 2025）。这一实践让研究社区的集体经验可以为每一份新的设计工作所用。我们将这一实践引入 ScholarEvolve——一个专为终身 agent harness 演化而设计的自动化研究框架（图 1，中间），它带来了三个相应的好处。

❶ 结构化探索。我们按 harness 模块组织搜索，并使用主题建模，将论文按模块归入不同的机制族。我们合并重叠的主题，并将候选预算分配到其余的各个机制族，以覆盖不同的机制。统一的接口支持模块重组，而对由此产生的组合进行直接评估，可以在选择之前测量它们的联合效果。

❷ 以研究为依据的提案。检索到的论文提供了具体的技术，用以指导编码 agent 实现模块变异。新的论文可以引入在骨干模型训练之后才开发出来的机制，从而在不更新模型权重的前提下，扩展元 agent 可用的设计知识。

❸ 主动的终身演化。所提出的终身扩展采用遗传算法：研究信息指导模块变异，重组提供交叉操作（crossover），验证过程选出下一代的优胜者。周期性的文献更新可以在新方法出现时触发这一过程。例如，一个已部署的 agent 可以每月审阅最新的研究，并在验证任务上评估有前景的更新。

我们在 AppWorld（Trivedi et al., 2024）和 \tau^2-Bench（Barres et al., 2025）上评估了 ScholarEvolve 的模块搜索与组合能力，使用 Qwen3.5-27B 和 GPT-5.4-mini 作为任务 agent 的骨干模型（表 1）。在 AppWorld 上，演化后的 Qwen3.5-27B harness 将 Normal 划分上的任务目标完成率从 69.0% 提升至 81.4%，将 Challenge 划分上的目标完成率从 49.6% 提升至 63.6%。在 \tau^2-Bench Telecom 上，演化后的 GPT-5.4-mini harness 将 pass@1 从 72.7% 提升至 81.9%。

2 相关工作

Agent harness 演化。 自动化 agent 设计旨在围绕语言模型搜索有效的执行机制。ADAS 在 agent 程序空间上进行搜索，AFlow 则通过树搜索优化工作流（Hu et al., 2025；Zhang et al., 2025）。它们的评测侧重于静态推理、问答和代码生成，而对与不断变化的环境状态进行持续交互的场景探索较少。后续工作拓宽了优化的范围。DGM 通过自我修改和候选存档来演化编码 agent。Meta Harness 使用累积的评估证据来搜索可执行的 harness 程序，AHE 则利用详细轨迹来修订工具、记忆及其他 harness 组件（Zhang et al., 2026a；Lee et al., 2026；Lin et al., 2026）。AgentSquare 也将 agent 分解为模块，并将模块演化与重组结合起来（Shang et al., 2025）。这些方法确立了代码搜索与模块化组合作为有用的基础。ScholarEvolve 为这种搜索提供了从研究文献中提取出的机制，利用主题建模来组织每个模块内不同的方向，并将探索分配到这些方向上。

泛化与持续适应是演化后 harness 面临的核心挑战。离线搜索通常会得到一个在后续评估中被冻结的 harness。一些报告中的收益还复用了搜索任务：Meta Harness 的 TerminalBench-2 实验和 AHE 的主要演化实验都在同一批 89 个任务上进行优化和性能报告（Lee et al., 2026）。这类搜索可能导致 agent 对某一组特定任务过拟合。近期的工作通过 RRSI 中的正则化演化，以及 SoL-Pi 中将开发与最终评估分离（SoL-Pi 搜索的是可组合的效率改进）来应对这一区分（Liu et al., 2026a）。对于持续适应，Adaptive Auto-Harness 和 Evo-Harness 则基于任务流上积累的经验来更新 harness（Liu et al., 2026d；Wei et al., 2026）。ScholarEvolve 引入了一种互补的更新来源：新的论文发表可以触发进一步的模块变异与重组世代，让一个已部署的 agent 能在相应的失败在其自身交互中积累之前，就先对新机制进行评估。

自动化研究。 自动化研究系统将科学知识与实验过程转化为可复用的发现。AI Scientist-v2 和 AI-Researcher 将假设生成、实现、实验和论文撰写自动化（Yamada et al., 2025；Tang et al., 2026）。AgentRxiv 让研究 agent 能够分享报告并在早期发现的基础上继续研究，在推理和提示方法上展示了累积式的改进（Schmidgall & Moor, 2025）。Paper2Agent 将论文及其相关代码转化为可调用的工具和交互式研究 agent，使已发表的方法可以直接复用（Miao et al., 2026）。ScholarEvolve 将从文献到 harness 改进的转化过程明确化为一个搜索过程。论文提供候选机制，主题建模组织其覆盖面，模块接口支持实现与重组。任务评估筛选出有用的修改，而连续的文献更新则为围绕固定骨干模型的终身演化提供新的方向。

3 方法

我们提出 ScholarEvolve——一个围绕固定骨干模型、通过文献引导的模块变异与交叉操作（crossover）来实现终身 harness 演化的框架（图 2）。

图片标题　图 2：ScholarEvolve：(a) 研究引导的模块变异，(b) 跨世代的选择与交叉操作，(c) 演化后的模块围绕固定骨干模型运行。

3.1 问题形式化

Agent harness 是一个可执行程序，用于在与环境交互的过程中管理模型输入、动作执行和状态更新（Ning et al., 2026）。令 \mathcal{H} 包含所有满足环境接口与执行约束的 harness。我们区分目标任务分布与演化可用的有限数据划分。对于每个评测场景，令 \mathcal{P}_{\mathrm{tar}} 表示最终期望性能所对应的任务分布。演化集 \mathcal{D}_{\mathrm{evo}} 提供轨迹，用于失败分析、研究查询构建和持久化产物的构建。验证集 \mathcal{D}_{\mathrm{val}} 支持候选方案评估与优胜者选择。测试集 \mathcal{D}_{\mathrm{test}} 是从 \mathcal{P}_{\mathrm{tar}} 中抽出的有限留出样本，仅在所有选择决策确定之后用于最终报告。因此，\mathcal{D}_{\mathrm{test}} 在评测中代表目标分布，但其本身并非该分布。三个集合彼此互不相交。固定骨干模型 f_\theta 指在演化过程中参数保持不变的语言模型。对于任务 x \sim \mathcal{P}_{\mathrm{tar}}，harness H 会诱导出一条交互轨迹 \tau = (o_0, a_0, \ldots, o_T)，其中包含观测、模型决策、工具调用和环境响应。我们记 \tau \sim p_\theta(\cdot \mid H