论文页面 - Self-Distilled Agentic Reinforcement Learning

来源: https://huggingface.co/papers/2605.15155

摘要

SDAR 通过自蒸馏与 Sigmoid 门控机制的结合，增强了多轮智能体训练的强化学习效果。该机制能够选择性地强化正向 token 级别指导，同时减轻负面教师拒绝信号的影响。

强化学习（RL）已成为 LLM 智能体后训练的核心范式，但其基于轨迹级别的奖励信号对长程交互仅提供粗糙的监督。在策略上自蒸馏（OPSD）通过引入来自特权上下文增强的教师分支的密集 token 级别指导，对 RL 进行了补充。然而，将 OPSD 迁移到多轮智能体时会出现问题：复合的多轮不稳定性会破坏监督的稳定性，而技巧条件的特权指导需要不对称地处理可能源于技巧检索或利用不完善的负面教师拒绝。我们提出 SDAR（自蒸馏智能体强化学习），将 OPSD 视为一个带有门控的辅助目标，同时保持 RL 作为主优化骨干。SDAR 将解耦的 token 级别信号映射到 Sigmoid 门控中，从而强化教师认可的正向间隔 token 上的蒸馏，并柔和地减弱负面教师拒绝。在 Qwen2.5 和 Qwen3 系列模型上，针对 ALFWorld、WebShop 和 Search-QA 基准，SDAR 相比 GRPO 取得了显著提升（ALFWorld 上提升 9.4%，Search-QA 上提升 7.0%，WebShop-Acc 上提升 10.2%），避免了朴素 GRPO+OPSD 的不稳定性，并且在不同模型规模上一致优于混合 RL-OPSD 基线。

查看 arXiv 页面 (https://arxiv.org/abs/2605.15155) 查看 PDF (https://arxiv.org/pdf/2605.15155) GitHub2 (https://github.com/ZJU-REAL/SDAR) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.15155)

在你的智能体中获取此论文：

hf papers read 2605\.15155

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2605.15155 可将其链接至此页面。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.15155 可将其链接至此页面。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2605.15155 可将其链接至此页面。

包含此论文的合集 1