使用离线强化学习控制LLM Agent执行框架

# 基于离线强化学习学习控制LLM Agent的流程框架

来源：https://arxiv.org/html/2607.05458

Haiwen Yi  
多伦多大学  
& Xinyuan Song¹  
埃默里大学  

###### 摘要

大型语言模型（LLM）智能体的改进通常通过修改提示词、模型或手写工作流来实现，而模型周围的执行框架则被视为固定基础设施。我们认为，这个框架本身就是一个可学习的控制层。我们形式化地将框架操作定义为一个有限时域的框架马尔可夫决策过程（Harness MDP），其中轻量级控制器选择结构化的执行动作，而LLM执行器保持冻结。控制器通过离线轨迹，使用基于优势加权的回归方法进行训练，仅利用终端任务评分奖励。我们还将最终任务质量与事后计算的框架成熟度评分（Harness Maturity Score）分离，后者衡量框架是否遵循可靠的执行模式，而不仅仅是最终答案是否正确。这种分离为框架学习提供了一个有限缓冲区视角：最终质量提升需要离线缓冲区中存在高回报支持，而过程行为则可以在其与优势权重相关时发生转变。在六个受控领域和两个公共基准适配器上，学习到的控制器持续改善了验证行为，并选择性地提升了最终质量，其中在改进的τ-bench零售、改进的AgentBench DB-Bench以及使用校准的结构化验证器的编程任务上取得了最大收益。与行为克隆和强制检查（Forced CHECK）的消融实验表明，这些收益不能通过模仿或简单添加检查来解释。这些结果将框架控制识别为冻结LLM智能体的一个可学习层，同时表明离线支持限制了何时更好的过程控制能转化为更好的最终答案。我们的代码见 https://github.com/Hik289/Agentic-RL-harness.git。

## 1 引言

LLM智能体不仅仅是带有提示词的语言模型。在部署的系统中，一个环绕的框架决定了模型何时观察环境、检索证据、调用工具、起草答案、检查中间结果、修改以及停止 (Yao et al., 2023; Schick et al., 2023; Wu et al., 2023; Yang et al., 2024b)。保持执行器固定，这个控制层可以显著改变智能体的行为：编程智能体可能在提交前运行测试，研究智能体可能在做出声明前收集证据，工具使用智能体可能从失败的调用中恢复 (Jimenez et al., 2024; Yang et al., 2024b; Mialon et al., 2023; Liu et al., 2024; Yao et al., 2024; Lu et al., 2024)。因此，框架并非推理过程的装饰性包装；它是决定工作如何执行策略的一部分。

困难在于框架通常被构建为静态工件。现有系统组合了手写规则、提示模板、多智能体脚手架或固定的执行图 (Wu et al., 2023; Hong et al., 2024; Chen et al., 2024)。这种设计在狭窄的范围内可能非常有效，但它们对简单和困难的任务、对早期和晚期的轨迹状态、对成功和失败的中间尝试都编码了相同的控制逻辑。诸如“始终检查”这样的固定规则在解决方案已经完成时会浪费预算；诸如“起草后提交”这样的规则在草稿看似合理但未经验证时会失败。失败模式通常不是模型知识缺失，而是外部控制决策序列不佳。

本文研究是否可以直接学习这个序列。我们定义了一个**框架马尔可夫决策过程**，其中状态总结了当前轨迹、草稿状态、收集的证据、工具输出、验证器反馈、之前的失败以及剩余预算。在每一步，控制器从observe、retrieve、call-tool、draft、check、revise和submit中选择一个结构化动作。所选动作可能调用冻结的LLM执行器，但LLM参数和提示词不会更新。因此学习仅限于外部控制策略：控制器学习智能体应如何通过观察、证据收集、验证、修订和终止。

在智能体环境中进行在线探索代价高昂，并且可能产生无效或低质量的轨迹。因此，我们使用基于优势加权的回归（AW）(Peng et al., 2019) 从有限的离线轨迹缓冲区进行训练。每条轨迹接收一个终端任务评分回报，控制器会增加出现在高优势轨迹中的状态-动作对的概率。这种选择给出了一种保守的学习规则：学习到的策略可以重用缓冲区中已有的良好控制模式，但它不能可靠地发明缓冲区中从未包含的能改善结果的轨迹。

图1给出了核心直觉。主要的概念区分在于最终任务质量和过程质量。我们仅根据终端任务评分奖励（用Q表示）进行训练，并单独使用框架成熟度评分（HMS）评估框架过程行为。HMS衡量诸如提交前检查、提交前测试、证据支持声明、失败后修订、有效工具使用、充分停止以及过早提交等事件。这种分离是故意的。只要某种行为与高优势轨迹正相关，控制器就可以学习重复的过程行为，例如提交前检查。相反，最终质量的提升需要离线缓冲区中存在足够支持的高回报轨迹。

我们的实证故事遵循这种分离。在六个受控领域和两个公共基准适配器上，AW在每个评估设置中都增加了提交前的验证。总体HMS在五个受控领域和两个适配器评估中都有所改善，但改善是局部的：主要来自CheckBeforeSubmit，而非所有过程事件的均匀提升。最终任务质量选择性地提升。在校准的结构化验证器下，编程任务得到改善；τ-bench零售和AgentBench DB-Bench适配器显示出最大的外部收益，尽管这些是适配器级别的评估，而非官方上游基准分数。这种模式表明，框架过程可以从离线轨迹中广泛学习，而结果收益则出现在缓冲区包含有用高回报支持的地方。

图1：所提出的框架将最终任务质量与框架过程质量分离。离线AW学习一个状态条件化的控制器，用于框架操作，同时保持LLM执行器冻结。过程改进可以来自离线缓冲区中重复出现的高价值控制模式，而最终质量改进则额外取决于缓冲区是否包含更强的任务求解轨迹。

我们的贡献总结如下：
- • 我们将冻结LLM智能体的外部控制层形式化为一个框架MDP，其中学习到的策略根据当前轨迹状态选择下一个结构化操作。
- • 我们开发了一种基于离线强化学习的方法，基于优势加权回归，从有限的轨迹缓冲区和任务评分终端奖励中学习框架控制决策，而不更新LLM或直接奖励预定义的动作模式。
- • 我们将最终任务质量Q与框架过程质量HMS分离，并提供一个有限缓冲区分析，说明为什么即使在Q的收益受限于离线轨迹支持时，过程行为也可能改善。
- • 我们在六个受控领域和两个公共基准适配器上评估了该框架，使用共享的动作空间、特定任务的结构化验证器以及七个事件的过程诊断工具。结果表明，在离线缓冲区包含有用的高回报轨迹时，能可靠地改善提交前验证，并有选择性地提升最终质量。

## 2 相关工作

#### 智能体和工具使用基准
AgentBench、τ-bench、GAIA、WebArena、WebShop、SWE-bench、AgentGym、ToolBench、ToolSandbox以及长记忆基准评估了工具使用、网页导航、编程、检索、状态跟踪和API中介交互 (Liu et al., 2024; Yao et al., 2024; Mialon et al., 2023; Zhou et al., 2024b; Yao et al., 2022; Jimenez et al., 2024; Xi et al., 2024; Qin et al., 2023; Lu et al., 2024; Maharana et al., 2024)。这些基准揭示了完整智能体系统的长程失败。我们的目标更为狭窄：我们分离固定执行器周围的外部控制策略，并询问该策略是否可以被学习。

#### 提示词、脚手架和工作流优化
提示词和工作流优化器搜索指令、示例、程序或代码表示的脚手架 (Zhou et al., 2023; Yang et al., 2024a; Khattab et al., 2023; Yuksekgonul et al., 2024; Zhang et al., 2024; Wang et al., 2025; Tornede et al., 2025; Agrawal et al., 2025)。自动框架进化方法进一步使用轨迹反馈修改智能体周围的程序 (Lin et al., 2026; Pan et al., 2026; Seong et al., 2026)。这些方法在执行前优化一个工件。我们则学习一个状态条件化的控制器，在执行过程中选择下一个框架操作，因此即使使用相同的冻结LLM，两个任务也可以遵循不同的控制路径。

#### 反思、规划和智能体学习
反思和规划系统如Reflexion、Voyager、LATS和ADaPT提供了结构化反馈、修订、搜索和分解程序 (Shinn et al., 2023; Wang et al., 2023; Zhou et al., 2024a; Prasad et al., 2024)。WebShop和AgentGym表明交互式智能体可以通过强化学习和行为克隆进行训练或微调 (Yao et al., 2022; Xi et al., 2024)。我们的设置有两个不同之处：执行器是冻结的，并且学习到的策略仅作用于一组紧凑的框架操作，而非自然语言解决方案令牌或环境动作。

#### 离线强化学习和基线方法
离线RL研究如何从固定数据集学习而不收集额外经验 (Levine et al., 2020; Brandfonbrener et al., 2021)。我们使用优势加权回归 (Peng et al., 2019)，这是一种简单的加权模仿目标，与优势加权演员-评论家方法 (Nair et al., 2021) 以及保守的离线策略改进方法如隐式Q学习 (Kostrikov et al., 2022) 有关。行为克隆是一个自然的模仿基线 (Pomerleau, 1989; Ross et al., 2011)；强制检查（Forced CHECK）是一个特定于框架的基线，用于测试观察到的收益是否可以通过机械地插入验证而非学习何时验证有用来解释。

#### 过程评估和奖励设计
最终答案的准确性可能掩盖验证、证据使用、修订和停止行为中的失败 (Zhang et al., 2025; Kuang et al., 2025; Pandya et al., 2026)。因此，我们报告HMS作为过程诊断，但我们不直接优化它。这种区分遵循奖励塑形原则，即辅助奖励不应改变任务最优策略集，除非它们是基于势能的 (Ng et al., 1999)。我们的分析为有限离线框架缓冲区明确地做了这种分离。

## 3 方法

该方法围绕一个固定的LLM执行器学习一个小型控制器。控制器观察紧凑的轨迹特征，选择下一个框架操作，并且仅通过离线缓冲区中收集的终端任务评分奖励获得监督。图2总结了流程。

#### 框架状态
状态向量总结了外部控制所需的信息：轨迹进度、草稿可用性、证据覆盖范围、工具输出、验证器反馈、近期失败、剩余预算、上一步动作以及领域特定的结构标志。状态不暴露隐藏的模型激活，也不更新LLM。它旨在捕捉智能体是否有足够的信息继续、验证、修订或停止。

#### 框架动作空间
控制器在七个结构化动作中进行选择：observe、retrieve、call-tool、draft、check、revise和submit。领域适配器实现每个动作的语义并屏蔽无效动作，而学习到的策略跨领域共享一个通用接口。动作空间有意保持结构化：它控制执行过程，而非LLM生成答案的内容。

图2：离线框架控制训练流程。一个有限轨迹缓冲区提供任务轨迹和终端评分奖励。优势加权回归训练一个控制器，用于结构化框架动作，而LLM执行器保持冻结，过程质量仅在训练后测量。

#### 任务奖励和结构化验证器
每个领域将终端工件映射到标准级别的评分分数和标量任务奖励。验证器接口是共享的，但标准是特定领域的：编程任务使用测试和补丁约束，研究任务使用答案和证据标准，多工具任务使用数值验证等。