论文页面 - RSIPO：通过技能与策略共同演化实现智能体强化学习的递归自我改进策略优化

来源：https://huggingface.co/papers/2610.15772

摘要

近期，智能体强化学习(RL)的研究重点是改善长时程任务中的信用分配问题。一种有前景的方向是将可验证奖励强化学习(RLVR)与同策略自蒸馏(OPSD)相结合，将轨迹级优势与密集的词元级监督整合起来。这类研究通常以智能体技能等特权上下文作为教师模型的条件，对学生策略生成的词元进行评分。尽管取得了进展，这些研究在很大程度上忽视了智能体技能的同策略演化以及教师监督的可靠性。为此，我们提出递归自我改进策略优化(RSIPO)，这是一个自演化的智能体强化学习框架，使智能体技能与策略模型能够在整个训练过程中共同演化。具体而言，RSIPO使策略本身能够从已完成的轨迹中提取技能，并通过轨迹回放显式优化其技能生成能力。此外，该框架采用经验贝叶斯收缩，动态校准学生对教师评分的信任程度，同时考虑到技能增强的教师指导有时可能不够可靠。使用Qwen系列模型在具身交互和基于搜索的智能体任务上开展的实验表明，RSIPO优于所有参与比较的基线方法。以Qwen2.5-7B为基础模型时，RSIPO在ALFWorld上的平均成功率达到98.6\%，相较于排名第二的基线和标准GRPO，分别绝对提升了2.5\%和17.4\%。

查看arXiv页面 (https://arxiv.org/abs/2610.15772)查看PDF (https://arxiv.org/pdf/2610.15772)GitHub (https://github.com/zfkarl/RSIPO)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.15772)

在你的智能体中获取这篇论文：

hf papers read 2610\.15772

还没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的README.md中引用arxiv.org/abs/2610.15772，即可从此页面关联该模型。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.15772，即可从此页面关联该数据集。

引用这篇论文的Space0

没有Space关联这篇论文

在Space的README.md中引用arxiv.org/abs/2610.15772，即可从此页面关联该Space。

包含这篇论文的收藏集0

没有收藏集包含这篇论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面关联该收藏集。