论文页面 - AgentOPSD：面向智能体强化学习的递归自蒸馏

来源: https://huggingface.co/papers/2608.05987 发布于 8月6日

#1 当日论文 (https://huggingface.co/papers/date/2026-08-07)

作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

带可验证奖励的强化学习（RL）构建了轨迹级别的优势估计，但在长周期、多轮智能体任务中，往往难以准确归因于少数决定最终结果的关键决策。近期工作引入了特权自蒸馏（privileged self-distillation）进行信用分配，提供密集监督，但仍不清楚此类局部信号应如何表示序列信用。我们提出 AgentOPSD，一种无评论家（critic-free）、递归的方法，用于智能体强化学习中的回合级信用分配。AgentOPSD 将词元级别的教师-学生对数概率差聚合为回合级证据，并在对数几率空间中递归更新贝叶斯信念状态。这产生了一种有原则的重新加权方案，将稀疏的结果监督转化为回合级信用信号，并通过对连续状态之间的边际信念修正来识别关键回合。该方法与标准策略优化完全兼容，既不需要额外的评论家，也不需要额外的采样。我们使用 Qwen2.5 模型在两种规模（3B 和 7B）上评估了 AgentOPSD 在 ALFWorld、WebShop 和 Search-QA 上的表现。AgentOPSD 优于 GRPO 和强自蒸馏基线，在 Qwen2.5-7B 上于 ALFWorld 达到 89.1% 的成功率。消融研究将性能提升归因于回合级聚合和依赖历史的递归信念更新。

查看 arXiv 页面 (https://arxiv.org/abs/2608.05987)查看 PDF (https://arxiv.org/pdf/2608.05987)GitHub2 (https://github.com/ZethWang/AgentOPSD)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.05987)

在您的智能体中获取此论文：

hf papers read 2608\.05987

还没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2608.05987，即可从本页链接到该模型。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2608.05987，即可从本页链接到该数据集。

引用此论文的 Spaces 0

暂无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2608.05987，即可从本页链接到该 Space。

包含此论文的收藏 0

暂无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从本页链接到该论文。