论文页面 - A^2TGPO：具有自适应回合级裁剪的智能体回合组策略优化

来源: https://huggingface.co/papers/2605.06200

摘要

用于智能体大型语言模型（LLM）的强化学习受到稀疏奖励和信用分配挑战的影响，A2TGPO 通过适应信息增益的归一化、累积和裁剪来改善策略优化。

用于智能体大型语言模型（LLM）的强化学习通常依赖于稀疏的轨迹级结果奖励，这使得在多轮交互中评估单个工具调用的贡献变得困难。现有的此类过程信用分配方法要么依赖于引入额外开销的独立外部过程奖励模型，要么采用仅重新分配结果信号同时限制轨迹多样性的基于树的结构性 rollout。一个有前景的替代方案利用策略对真实值预测概率的每轮变化，称为信息增益（IG），作为无需外部评估者的内在过程信号。然而，先前在 RL 训练循环中利用 IG 信号的工作面临三个系统性挑战：在面临不同位置上下文的多轮之间进行归一化可能会扭曲单个回合的相对地位，累积可变数量的项会导致优势幅度随轨迹深度漂移，而固定的裁剪范围对具有截然不同 IG 信号的回合以相同方式控制策略更新。在本文中，我们提出了 A^2TGPO（具有自适应回合级裁剪的智能体回合组策略优化），它保留 IG 作为内在信号，但重新设计了其归一化、累积和使用方式：(i) 回合组归一化：在每个（prompt，回合索引）组内对 IG 进行归一化，以便每个回合仅与相同交互深度的同级比较；(ii) 方差重缩折扣累积：将累积归一化 IG 除以累积项的平方根，以保持不同回合位置的优势幅度可比；以及 (iii) 自适应回合级裁剪：根据每个回合的归一化 IG 调节其裁剪范围，扩大信息丰富回合的更新区域并缩小信息贫乏回合的更新区域。

查看 arXiv 页面 (https://arxiv.org/abs/2605.06200) 查看 PDF (https://arxiv.org/pdf/2605.06200) GitHub1 (https://github.com/CuSO4-Chen/A-TGPO) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.06200)

在您的智能体中获取此论文：

hf papers read 2605\.06200

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接到此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.06200 以从此页面链接它。

引用此论文的数据集 0

没有链接到此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.06200 以从此页面链接它。

引用此论文的 Spaces 0

没有链接到此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.06200 以从此页面链接它。

包含此论文的集合 0

没有包含此论文的集合

将此论文添加到集合 (https://huggingface.co/new-collection) 以从此页面链接它。