从原子动作到标准操作程序：面向自我进化LLM代理的迭代工具优化

# 从原子操作到标准操作流程：面向自我进化的大语言模型代理的迭代式工具优化 来源：https://arxiv.org/html/2607.07321 丁海鹏¹,², 谢悦翔², 魏哲伟¹,∗, 李亚亮²,∗, 丁博麟²  
¹中国人民大学，²阿里巴巴集团  
通讯作者：魏哲伟⟨[email protected]⟩和李亚亮⟨[email protected]⟩  

###### 摘要  
工具利用使大语言模型（LLM）代理能够与现实世界交互并解决复杂任务。然而，现有的代理框架主要依赖于由细粒度原子操作（例如，基本的文件输入/输出或单轮搜索）组成的静态工具集，这迫使代理为每个重复工作流重新发明低级逻辑，导致推理开销增加和失败率上升。在本研究中，我们提出代理可以通过将这些原子操作合成为可重复使用的标准操作流程（SOP）来实现自我进化，这些SOP作为可调用的高阶工具，封装了多步逻辑。我们进一步引入了EvoSOP，这是一个框架，它使代理能够从执行轨迹中提取SOP，并通过构建、合并、评估和剪枝的系统化生命周期迭代地优化工具集。大量实验表明，与基线相比，EvoSOP显著提高了任务成功率，同时大幅减少了交互轮数。我们的分析还揭示了迭代式工具优化促进了可靠且高效的工具使用模式，为开发自我进化的代理提供了一条可扩展的路径。

# 从原子操作到标准操作流程：面向自我进化的大语言模型代理的迭代式工具优化  
丁海鹏¹,², 谢悦翔², 魏哲伟¹,††通讯作者：魏哲伟⟨[email protected]⟩和李亚亮⟨[email protected]⟩, 李亚亮²,∗, 丁博麟²  
¹中国人民大学，²阿里巴巴集团  

## 1 引言  
大语言模型（LLM）[Raffel et al. (2020); Touvron et al. (2023); Brown et al. (2020)] 从根本上推动了人工智能领域的发展，在逻辑推理和通用问题解决方面展现了卓越能力[Chen et al. (2021)]。通过利用外部工具，基于LLM的代理[Yao et al. (2023); Qin et al. (2024); Wang et al. (2024)]将这些优势扩展到文本生成之外，与真实世界交互并解决复杂且实际的任务[Mialon et al. (2024)]。虽然有效的工具利用对于代理系统的性能至关重要，但现有框架主要依赖于原子操作的静态工具集，例如基本的文件输入/输出、单轮搜索等。这种设计迫使代理通过细粒度的低级逻辑序列来编排每一项任务，偏离了人类解决问题时常见的层次化效率[Fabiano et al. (2025)]。在实践中，人类往往通过采用封装了多步逻辑的、连贯的高级例程的标准操作流程（SOP）来避免详尽的商议。没有这些抽象层，代理将面临显著增加的推理开销和更高的级联错误风险，尤其是在长期任务中[Pan et al. (2025)]。

最近关于工具增强代理的研究主要沿着两条路径进行：提升模型使用特定工具的能力[Qin et al. (2024)]和扩展可用工具集的整体广度[Lyu et al. (2023)]。然而，这些努力并未解决在长而碎片化的原子操作序列中进行推理的根本低效问题。虽然最近的研究[Yuan et al. (2024); Liu et al. (2025)]使代理能够动态创建新工具，但它们通常将工具添加视为一次性事件，并且缺乏长期管理机制。这导致工具集膨胀，冗余或次优工具积累，产生噪音并使代理的决策复杂化。这意味着一个真正自我进化的代理不仅需要生成工具的能力，还需要一个系统化、迭代的过程来通过剪枝低效工具来优化其工具集，确保演化的SOP保持高效和可靠。

为了解决上述挑战，我们引入了EvoSOP，这是一个使代理能够通过将原子操作合成为高级且可重复使用的SOP来实现自我进化的框架。与将工具创建视为孤立事件的现有方法不同，EvoSOP建立了一个持续优化循环，逐步完善代理的工具集。具体来说，该框架迭代地识别执行轨迹中重复出现且有用的原子操作模式，并将这些长跨度推理链压缩为可调用的高阶工具。在同一迭代周期内，EvoSOP通过合并冗余例程并基于历史性能剪枝低效用操作来管理工具集的构成。这种系统化方法确保代理能力保持精炼且强大，有效防止了通常由工具集膨胀导致的性能下降。请注意，EvoSOP是一个模型无关的框架，不需要对底层LLM进行参数更新，确保了与现有代理系统的无缝集成，并提升了黑盒模型的性能。

我们的主要贡献总结如下：  
- • 我们定义了一种新的代理自我进化范式，将代理系统如何通过迭代式工具优化进行提升形式化。该范式通过镜像数据采集、前向执行、反向传播等关键阶段，与标准机器学习流程建立了概念上的对等关系。  
- • 我们提出了EvoSOP，一个使代理能够从其执行轨迹中提取SOP的框架。该系统通过一个包含构建、合并、评估和剪枝的系统化生命周期迭代地优化工具集。  
- • 我们在多个基准测试上进行了大量实验，以证明所提框架的有效性。实验结果表明，与基线相比，EvoSOP显著提高了任务成功率，同时减少了交互轮数。

## 2 预备知识  
我们首先介绍基于LLM的代理的定义和符号表示。我们专注于一种实际的代理设置[Gao et al. (2025); Li (2025)]，其中代理通过工具集与环境交互以完成复杂任务。由于篇幅限制，我们将另一个名为DFSDT的代理系统[Qin et al. (2024)]置于附录B中。

#### 环境与交互。  
我们考虑一个代理与环境E进行交互。在每个时间步t，代理从环境接收一个观察值o_t∈O，并基于其内部策略采取一个动作a_t∈A。策略π由LLM实例化，表示为：a_t∼π_LLM(·|C_t)，其中C_t代表在时间t可用的上下文。遵循ReAct范式[Yao et al. (2023)]，动作a_t可能包含一个推理轨迹l_t和一个特定的工具调用f_t。为简化起见，我们将给定提示P下LLM的推理表示为a=π_LLM(P)。随后环境返回一个响应r_t（例如，执行结果或错误消息），这导致下一个状态和观察值o_{t+1}。

#### 上下文。  
上下文C_t是代理当前状态的结构化表示，旨在为LLM提供决策所需的全部信息。我们将C_t形式化为一个元组：C_t=⟨P, G, H_t, M_t, F⟩，其中P是定义代理角色和行为约束的角色或系统提示，G是任务目标及其相关的成功标准，H_t={(a_1, r_1, o_1), ..., (a_{t-1}, r_{t-1}, o_{t-1})}是交互历史，M_t代表代理检索到的外部记忆或长期知识，F是包含代理可用功能接口的工具集。

#### 原子操作与工具模式。  
工具集F={f_1, f_2, ..., f_n}最初由原子操作组成，即细粒度、单一用途的函数，如文件操作或API调用。每个工具f_i∈F由其模式（schema）=⟨name, desc, params, returns⟩定义，其中name和desc提供LLM理解工具效用所需的语义信息。

#### 工作流程。  
代理的操作周期遵循一个推理-行动循环。代理初始状态为H_0={}。在每个时间步t，代理执行以下操作：  
上下文构建：P_t = Format(C_t),  
推理：â_t = π_LLM(P_t),  
行动：r_t = Exec(â_t, E),  
状态更新：H_{t+1} ← H_t ∪ {(â_t, r_t, o_t)}。  
当代理达到终止状态或超过最大迭代次数时，过程结束。我们定义任务q在执行k次迭代后终止时的执行轨迹ξ_q = ((â_1, r_1, o_1), (â_2, r_2, o_2), ⋯, (â_k, r_k, o_k))。

## 3 方法论  
参见图1说明：EvoSOP的整体架构，展示了迭代式工具优化生命周期。该框架采用四个协作模块，包括Constructor、Merger、Evaluator和Reviewer。

### 3.1 设计动机与原则  
如第1节所述，大多数基于LLM的代理依赖于由细粒度原子操作组成的静态工具集F。虽然最近的研究探索了通过动态代码生成来扩展工具集[Wang et al. (2025); Yuan et al. (2024)]，但它们通常将工具添加视为一次性事件，并且缺乏长期管理机制，导致几个关键限制：(i) 工具执行不可靠：尽管LLM可以生成语法正确的代码，但合成工具往往因各种工程原因在复杂环境中失败。缺乏系统化的评估和改进，工具仍然脆弱，无法在长期任务中信任使用。(ii) 泛化性和可重用性有限：从狭窄场景中派生的工具通常编码了依赖上下文的逻辑，缺乏更广泛的应用性。缺乏迭代地将操作抽象为可重用SOP的机制，代理会重新发明低级逻辑，无法达到人类解决问题时所见的分层推理效率。(iii) 冗余：在缺乏生命周期管理（例如，合并和剪枝）的情况下，持续的工具创建导致工具集膨胀，并为代理上下文引入噪音。增加的推理开销使LLM的决策复杂化，最终降低了成功率。为了解决这些挑战，EvoSOP超越了简单的工具创建，建立了一个持续且迭代式的工具优化过程。

### 3.2 概述  
如图1所示，EvoSOP由四个协作模块组成，管理工具集的优化，包括：(i) Constructor：此模块识别执行轨迹ξ中重复出现的动作序列，提取频繁共现的原子操作的逻辑片段，并将它们合成为可调用的SOP，附带可执行代码和语义模式；(ii) Merger：为保持精简的工具集，此模块检查新生成的SOP是否存在功能冗余，将重叠的例程合并为泛化且高阶的工具，以防止上下文C的膨胀；(iii) Evaluator：代理配备更新后的工具集F′并重新执行任务。此模块生成反映演化后的SOP在环境中的实际效用和可靠性的新轨迹；(iv) Reviewer：此模块作为批评者，通过分析合成工具的性能指标，剪枝那些与现有工具相比表现出高错误率或显著冗余的SOP。

#### 通过非参数学习的代理自我进化。  
尽管EvoSOP不修改底层LLM的可学习参数，但其迭代结构构成了一种非参数的结构优化形式。我们通过将EvoSOP与机器学习流程进行概念上的对等来形式化这一点。首先，代理与训练任务的交互代表了数据采集阶段，而使用当前工具集F执行任务对应于前向传播。由此产生的执行轨迹ξ作为可观察的行为输出，捕捉了代理的推理过程和工具使用模式。改进随后通过反向传播实现，其中EvoSOP分析轨迹中的推理低效或执行失败。框架不通过梯度更新模型权重，而是执行“符号化”反向传播，通过提取并合成为封装了多步逻辑的连贯例程的可重用SOP。此外，为确保SOP保持精简并避免通常由工具集膨胀导致的性能下降，合并和剪枝过程作为关键的正则化机制。这些机制通过消除冗余或低效用操作，减轻了对狭窄、特定任务上下文“过拟合”的风险，从而促进了泛化且可靠的工具使用模式。随着迭代进行，工具集的稳定化反映了学习率衰减的行为，代理最终收敛到一个优化后的工具集层次结构。

### 3.3 EvoSOP中的工具优化生命周期  
在本小节中，我们详细介绍EvoSOP中的工具优化生命周期，该生命周期旨在系统性地将代理的执行轨迹转化为可靠且高效的工具集。