论文页面 - PR-OPD：面向智能体强化学习的特权表示在线自蒸馏

来源：https://huggingface.co/papers/2609.36642

摘要

语言模型智能体通常通过强化学习训练，每个回合仅获得一次奖励信号；特权自蒸馏（privileged self-distillation）对此进行了扩展——让同一个策略在给定技能的情况下，通过 token 概率教会自身无技能版本。然而，我们发现了两个质疑这一通道的现象。不可见的优势：在上下文中加入技能可将 WebShop 成功率从 42.2% 提升至 56.2%，但却只改变了不到四分之一的采样 token 的概率。丰富的对齐：技能改变了超过 80% 响应 token 的隐状态，且线性探针可以追溯出具体是哪一个技能。为了利用这一点，我们提出了特权表示在线自蒸馏（Privileged Representation On-policy Self-Distillation, PR-OPD）。在 GRPO 预热之后，策略为每条轨迹编写一个事后技能（hindsight skill），并以该技能作为停止梯度（stop-gradient）教师重新读取自身生成的响应，在奖励目标之外，同时在每一层将自身的投影隐状态与教师的隐状态对齐，无需外部技能库、独立教师或推理开销。在 ALFWorld 和 WebShop 上使用两种基座模型的实验中，PR-OPD 在所有设置下均取得了最优的整体结果，相比 GRPO 在 ALFWorld 成功率上最多提升 4.7 个百分点，在 WebShop 准确率上提升 14.0 个百分点。代码已开源：https://github.com/balibata/PR-OPD

查看 arXiv 页面 (https://arxiv.org/abs/2609.36642) 查看 PDF (https://arxiv.org/pdf/2609.36642) GitHub (https://github.com/balibata/PR-OPD) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36642)

在你的智能体中获取此论文：

hf papers read 2609.36642

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.36642 以在此页面建立链接。

引用此论文的数据集 0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.36642 以在此页面建立链接。

引用此论文的 Space 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.36642 以在此页面建立链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以在此页面建立链接。