ReGRPO：面向工具使用智能体的反思增强策略优化

# ReGRPO：基于反思增强策略优化的工具使用智能体 来源: https://arxiv.org/html/2606.31392 11institutetext:新加坡国立大学Show Lab 11email:binjie97@u\.nus\.edu###### 摘要 工具增强的视觉-语言模型（VLM）能够通过调用外部工具解决多模态、多步骤的任务，但在实际应用中仍然脆弱。现有工作存在两个常见缺陷。监督微调（SFT）主要基于成功轨迹构建，在工具故障后几乎不提供恢复信号，而稀疏的轨迹级RL奖励则对哪一步失败以及如何修复缺乏指导。我们提出了ReGRPO（基于反思的组相对策略优化），这是一个在工具使用智能体中学习反思引导恢复的框架。ReGRPO从一个结构化的反思数据引擎开始：我们执行接近失误的动作来收集真实的失败观察，然后构建配对了修正动作的反思链三元组（错误类型、证据、修复计划），用于冷启动SFT。接着，我们在局部轨迹内使用组相对优势联合优化反思令牌和修正动作，并引入一个反思成本项以减少不必要的反思。在GTA和GAIA上的实验表明，在相同的基座模型和工具套件下，ReGRPO持续优于强大的开源基线，并在所比较的开源控制器中取得了最佳结果。代码和RoT数据可在https://github.com/showlab/ReGRPO获取。 参见图注图1：结构化反思数据引擎的流程。给定一个任务轨迹，我们首先诱发一个工具故障（例如，对人脸图像进行OCR返回空文本）。然后，一个教师模型（默认GPT-4o）生成结构化的反思链，包含明确的错误类型、证据和修复计划，解释失败原因并提出下一步动作（例如，切换到人脸检测）。智能体执行修正后的动作以恢复并完成任务。这个错误、反思和纠正循环将原始失败转化为有依据的恢复监督。 ## 1 引言 外部工具，如网络搜索、OCR、表格阅读器、PDF解析器、代码执行和视觉算子，扩展了视觉语言模型（VLM）的能力，超越了上下文提示[suris2023vipergpt, fan2024videoagent, lu2024deepseek, guo2025deepseek]。在这些场景中，成功不仅取决于最终答案，还取决于规划和执行有依据的中间步骤，包括调用哪个工具、何时调用，以及如何根据多模态证据设置其参数。一种常见的方法是在合成任务和验证轨迹上训练轨迹调优的控制器。MAT-AGENT[gao2024multi]遵循这种方法，先生成多模态工具使用任务，执行工具以收集成功轨迹，然后应用监督微调（SFT）来学习工具调用。这种策略是有效的，但也将控制器与监督轨迹紧密绑定。当策略偏离时（例如，遇到新的PDF布局或收据样式），训练信号对恢复提供的指导有限。 一个互补的方向是使用自我探索。SPORT[li2025iterative]交替进行工具使用步骤的采样和验证，然后将rollout转换为无需人工标注的逐步骤偏好。这引入了过程级别的反馈，但监督仍然相对无结构。例如，SPORT没有显式编码多模态思维链、将语言与区域或单元格链接的锚定标签，或验证器理由。因此，学到的偏好往往难以解释，并且在分布偏移下可能失败。 这些方法共享两个局限性。仅在专家轨迹上进行SFT调优往往很快饱和，因为损失严重依赖单条教师轨迹，且对局部修复提供的信号较弱。标准强化学习在长期任务中也提供有限的恢复导向监督，因为标量失败奖励并不能识别应该修改哪个决策。因此，我们使用反思增强的强化学习来训练工具使用的VLM智能体，其中诊断性反思被优化为显式的恢复信号。我们不将反思视为测试时的启发式提示，而是将其建模为一个可学习的变量，将失败动作与其修正联系起来。我们引入ReGRPO（基于反思的组相对策略优化）来实现这一想法。 在数据方面，ReGRPO构建了一个结构化反思数据引擎，将工具执行失败转化为有依据的反思链（RoT）三元组。该引擎扰动MAT-AGENT轨迹[gao2024multi]，执行扰动后的动作以获得真实的失败观察，然后生成结构化的反思，包含错误类型、证据和修复计划。在优化方面，ReGRPO在同一局部轨迹目标中联合优化反思和修正令牌，从而为策略提供超越最终成功或失败的步骤级监督。ReGRPO保留标准的GRPO优化器，并添加结构化反思参数化以实现端到端的策略学习。在推理时，ReGRPO遵循相同原则：失败应触发显式的局部修复，而非盲目继续。我们使用轻量级的单路径、零验证器设置，带有确定性触发器，仅在需要时开放反思-修正块。这种设计允许从工具错误中恢复，同时保持部署高效。 在GTA[wang2024gta]和GAIA[mialon2023gaia]上，在与MAT-AGENT和SPORT相同的基座模型和工具套件下，ReGRPO持续提高了整体准确率。总之，本文做出了三点贡献： - •我们构建了一个**结构化反思数据引擎**，将工具执行失败转化为有依据的反思链监督，包含错误类型、证据和修复计划，并与修正动作配对。 - •我们提出了**ReGRPO**，它采用标准GRPO优化器，同时添加结构化的反思轨迹参数化和零验证器触发器，在可复现的单路径部署下实现反思和修正令牌的联合优化。 - •在相同的基座模型和工具设置下，ReGRPO在GTA和GAIA上取得了**最强结果**，优于所比较的开源控制器。 ## 2 相关工作 ### 2.1 多模态智能体 多模态智能体[li2024llava, yin2024agent, zhang2024agentohana, wang2024mllm, liu2024llavanext]能够通过外部工具和API解决复杂问题。例如，CLOVA[gao2024clova]使用LLM作为控制器来组合现成的视觉工具。ViperGPT[suris2023vipergpt]使用代码生成模型将视觉和语言模型组合成子程序，为任意查询生成结果。VideoAgent[fan2024videoagent]采用多步骤推理，智能体根据中间观察选择工具。尽管LLM驱动的方法可以取得强结果，但VLM驱动的智能体[sasazawa2024layout, zheng2024gpt, wang2024genartist]在视觉任务上往往更高效，因为控制器直接消费图像或视频以及工具输出。例如，GenArtist[wang2024genartist]提出了一个由多模态大语言模型（MLLM）智能体协调的统一图像生成和编辑系统。此外，其他工作[xiong2025llava, liao2024can, wang2024divide]使用模型生成AI反馈以提高性能。例如，LLaVA-Critic[xiong2025llava]提出了一个高质量数据集，旨在遵循复杂评估设置中的指令，提供定量判断和附带的推理。 ### 2.2 工具使用智能体的数据集 VLM驱动的智能体的推理能力通常弱于大型纯文本LLM。为了弥合这一差距，最近的工作合成了工具使用数据来调优开源VLM[wang2024mllm, liu2023llava, liu2024visualagentbench]。例如，DEDER[choiembodied]使用上下文学习生成轨迹，并将LLM的思维链推理蒸馏到更小的模型。Lumos[yin2024agent]将现有基准中的真实推理步骤转换为工具使用轨迹。TASKBENCH[shen2023taskbench]从预定义图中采样轨迹。MAT-AGENT[gao2024multi]通过多样化的工具套件和合成任务，为开源VLM控制器扩展了轨迹调优。 ### 2.3 反思与自我修正智能体 反思的概念（提示模型批评自己的输出）在LLM中已被广泛探索。Reflexion[shinn2024reflexion]及类似框架[madaan2024selfrefine, chen2023teaching]使用口头反馈和情景记忆在推理时通过多次试验提高性能。然而，这些方法通常将反思视为固定的提示策略，或依赖外部标量反馈，而不优化反思生成过程本身。相比之下，ReGRPO在显式触发机制下明确学习如何生成诊断性反思，以及该反思如何指导下一步的修正工具调用。ReGRPO不仅依赖推理时的试错，而是训练模型生成有依据的诊断，从而实现成功恢复，将修正循环内化到策略中。我们在GTA和GAIA上评估该方法，以评估其在工具使用设置中的有效性和样本效率。 参见图注图2：ReGRPO概述。(1) 结构化反思数据引擎：从多模态输入和成功动作出发，合成一个接近失误的失败（错误的裁剪/工具/参数），执行它以获得真实的失败观察（例如，空OCR或工具错误），然后使用教师VLM（例如，GPT-4o）生成结构化的反思链三元组（错误类型、证据、修复计划）。将反思与修正动作配对，形成反思监督（失败动作、失败观察、反思、修正动作），并在这些轨迹上进行冷启动SFT。(2) ReGRPO训练：形成候选局部轨迹组，包括一次性成功和基于反思的恢复a\(0\)→o\(0\)→z→a\(1\)→o\(1\)；将执行成功、可选的教师派生验证器分数（仅训练时使用，根据教师的RoT元数据确定性计算，无循环LLM调用）以及反思成本组合成奖励；计算组相对优势以更新反思和修正令牌。(3) 零验证器推理阶段：单路径执行，带有确定性触发器，仅在出现失败证据时打开局部反思-修正块，实现高效恢复，无需外部验证器调用。 ## 3 方法 现有工具使用智能体的训练策略存在两个关键问题。首先，监督轨迹很少包含恢复步骤[gao2024multi]。因此，模型只学到成功轨迹。一个小错误可能级联，而没有任何关于如何修复的指导。例如，在收据QA中，SFT教会正确的`object_loc`后跟OCR。在测试时，轻微的布局偏移可能导致附近的裁剪和空OCR，但训练数据不提供修正信号（例如，扩大框或重新定位）。其次，标准RL提供弱定位。一个多步骤的文档QA运行可能在错误裁剪、空OCR、错误答案后失败。最终奖励0不揭示哪一步错误或如何修正。这种模糊性使得学习缓慢且不稳定。 我们引入**ReGRPO**（基于反思的组相对策略优化），它在局部轨迹中明确学习*如何*生成诊断性反思以及*如何*反思引导下一步修正工具调用。如图2所示，ReGRPO遵循三个原则。首先，它使用一个结构化反思数据引擎，将执行失败转化为有依据的诊断三元组。其次，它应用ReGRPO来优化导致成功修正的反思步骤的生成。第三，它使用零验证器推理阶段，单路径执行，无外部验证器调用。我们在GTA和GAIA基准上评估所得智能体，以评估整体工具使用性能。本节剩余部分介绍问题设置（第3.1节）、结构化反思数据引擎（第3.2节）、ReGRPO训练（第3.3节）和推理策略（第3.5节）。 ### 3.1 问题设置 一个任务由\(Q,F\)给出，其中\(Q\)是用户查询，\(F\)是一组文件或图像。在第\(i\)步，智能体观察历史\(h_i=\{(t_j,c_j,o_j)\}_{j=1}^{i-1}\)。标准智能体预测一个动作\(a_i=(t_i,c_i)\)，其中\(t_i\)是思考，\(c_i\)是工具调用。在ReGRPO中，动作空间包含一个额外的反思步骤\(z_i\)。当动作\(a_i^{(0)}\)失败并产生观察\(o_i^{(0)}\)时，智能体可以在尝试修正\(a_i^{(1)}\)之前生成反思\(z_i\)。局部轨迹段为： \[ \tau_i = \begin{cases} (a_i^{(0)}, o_i^{(0)}) & \text{如果成功} \\ (a_i^{(0)}, o_i^{(0)}, z_i, a_i^{(1)}, o_i^{(1)}) & \text{如果触发反思} \end{cases} \quad (1) \] 目标是学习一个策略\(\pi_\theta\)，既能行动也能在必要时反思来自我修正。 ### 3.2 结构化反思数据引擎 现有的轨迹克隆方法和基于结果的奖励模型在多模态环境中仅提供粗粒度的监督。当一条轨迹失败时，标量惩罚不揭示*哪个*步骤或参数导致了错误，因此模型无法学习如何修复。为了解决这个问题，我们引入了一个结构化反思数据引擎，将失败转化为显式的因果证据。我们不将失败动作视为通用的负面样本（这可能会加剧策略偏移），而是将其重新表述为引导性的“错误-反思-修正”轨迹，从一开始就为智能体提供具体的恢复监督。 **失败诱导**。为了教授恢复，模型必须观察具体的失败状态，而不仅仅是成功轨迹。因此，我们构建*初始失败*，使其既现实又可恢复，从而让智能体学习错误如何产生以及如何修复。具体来说，从真实步骤\(a_i^*\)（来自MM-Traj[gao2024multi]）出发，我们通过扰动工具选择或参数（例如，移动边界框、选择相邻表格列、或调用不匹配的工具）来合成合理的“接近失误”动作\(a_i^{fail}\)。然后，我们在沙箱中*执行*\(a_i^{fail}\)以获得真实的失败观察\(o_i^{fail}\)（例如，API异常、空OCR输出或不相关的裁剪）。这些执行后的失败提供了有依据的错误信号，反思数据引擎将其链接到诊断性反思和修正。 我们使用反思链（RoT）反思\(z_i\)来组织生成的注释。每个注释是一个RoT三元组\((a_i^{fail}, o_i^{fail}, z_i)\)，并与修正动作\(a_i^*\)配对，共同明确