面向长时程智能体强化学习的树感知后验蒸馏

Hugging Face Daily Papers 论文
reinforcement-learning agentic-ai post-training long-horizon self-distillation credit-assignment llm-agents

摘要

TreeOPSD 提出了一种无批评者的树感知后验自蒸馏框架，用于长时程智能体强化学习。该方法将终局奖励递归回传为隐式回合级信用，并生成有界的封闭式教师分布，在多个竞争性基准上显著优于 GRPO。

基于可验证奖励的强化学习已成为大语言模型可扩展的后训练范式。然而，在长时程交互上训练智能体面临两大挑战：仅使用终局奖励会导致回合级信用分配稀疏且方差高；而在固定的 rollout 批次上进行顺序 mini-batch 更新则会引入策略陈旧性问题，即当前策略逐渐偏离行为策略。现有方法通过学习型批评者（critic）、过程奖励模型或同策略蒸馏来获取更密集的信用分配，但它们都依赖于价值网络、步骤级标注或更强的外部教师，从而增加了训练复杂度。另一方面，重要性采样和裁剪虽能缓解策略漂移，但它们并未指定一个有限的目标，无法防止顺序更新过度偏离。在本工作中，我们提出 TreeOPSD——一种无批评者的树感知后验自蒸馏框架，专为长时程智能体强化学习设计。TreeOPSD 将每个交互回合视为一个树节点，从共享前缀处分叉出不同的替代延续路径，并将终局奖励递归回传为隐式回合级信用。随后，它将每个信用映射为一个封闭式有界教师分布，该分布以相对于冻结行为策略的似然比作为参数。最小化该教师分布与学生策略之间的散度，可以在行为策略处恢复策略梯度方向（作为其切线），同时在顺序 mini-batch 更新中将策略更新约束在朝向有限目标的范围内。实验表明，TreeOPSD 在多个竞争性基准和不同模型规模上均提升了智能体能力，尤其在长时程任务上表现突出。例如，在 Deep Research 设定下，它将 Qwen3-30B-A3B-Thinking-2507 的平均准确率相比 GRPO 提升了 4.97 个百分点。
查看原文
查看缓存全文

缓存时间: 2026/10/19 03:27

论文页面 - TreeOPSD：面向长时程智能体强化学习的树感知后验蒸馏

来源：https://huggingface.co/papers/2610.23181

摘要

TreeOPSD 通过基于树结构的自蒸馏和由终局奖励导出的有界更新，实现了无需 critic 的语言模型智能体长时程强化学习。

强化学习（https://huggingface.co/papers?q=Reinforcement%20learning）与可验证奖励（https://huggingface.co/papers?q=verifiable%20rewards）已成为大规模语言模型可扩展的后训练范式。然而，在长时程交互（https://huggingface.co/papers?q=long-horizon%20interactions）上训练智能体面临两大挑战：仅使用终局奖励会使回合级信用分配（https://huggingface.co/papers?q=credit%20assignment）变得稀疏且方差很高，而在固定的 rollout 批次上进行顺序小批量更新则会引入策略陈旧性（https://huggingface.co/papers?q=policy%20staleness），即当前策略逐渐偏离行为策略。现有方法通过学习 critic、过程奖励模型或同策略蒸馏来获得更稠密的信用信号，但它们分别依赖价值网络、步级标注或更强的外部教师，从而增加了训练复杂度。与此同时，重要性采样和裁剪虽然能缓解策略漂移，却未能指定一个有限目标，以防止顺序更新不断越界。在本工作中，我们提出 TreeOPSD（https://huggingface.co/papers?q=TreeOPSD），这是一个无需 critic、基于树感知（https://huggingface.co/papers?q=tree-aware）的后验自蒸馏（https://huggingface.co/papers?q=posterior%20self-distillation）框架，用于长时程智能体强化学习（https://huggingface.co/papers?q=reinforcement%20learning）。TreeOPSD 将每个交互回合视为树节点，从共享前缀分支出不同的后续路径，并递归地将终局奖励回传为隐式的回合级信用（https://huggingface.co/papers?q=implicit%20turn-level%20credit）。随后，它将每项信用映射为一个以相对冻结行为策略的似然比（https://huggingface.co/papers?q=likelihood%20ratio）为参数的闭式有界教师分布（https://huggingface.co/papers?q=bounded%20teacher%20distribution）。最小化该教师与学生策略之间的散度，可在行为策略处以切线方式恢复策略梯度（https://huggingface.co/papers?q=policy-gradient）方向，同时在连续的小批量（https://huggingface.co/papers?q=sequential%20mini-batches）更新中将更新量约束在指向有限目标的范围内。实验结果表明，TreeOPSD 在多个竞争性基准和模型规模上提升了智能体能力，尤其在长时程任务上效果显著，例如在 Deep Research 设定下将 Qwen3-30B-A3B-Thinking-2507 的平均准确率相比 GRPO 提高了 4.97 个百分点。

查看 arXiv 页面（https://arxiv.org/abs/2610.23181）查看 PDF（https://arxiv.org/pdf/2610.23181）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.23181）

在你的智能体中获取这篇论文：

hf papers read 2610.23181

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接到本文

在模型 README.md 中引用 arxiv.org/abs/2610.23181 即可从此页面链接到该模型。

引用本文的数据集 0

没有数据集链接到本文

在数据集 README.md 中引用 arxiv.org/abs/2610.23181 即可从此页面链接到该数据集。

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space README.md 中引用 arxiv.org/abs/2610.23181 即可从此页面链接到该 Space。

包含本文的收藏 0

没有收藏包含本文

将本文添加到收藏（https://huggingface.co/new-collection）即可从此页面链接到该收藏。

相似文章

面向智能体在线策略蒸馏的随机教师干预

arXiv cs.CL

提出STI-OPD框架，通过基于教师-学生策略差异的随机教师干预和重要性加权反向KL目标，解决多轮agent任务中on-policy蒸馏的轨迹漂移问题，在工具推理与长程交互基准上超越先前最强OPD基线。

AgentOPSD：智能体强化学习中的递归自蒸馏

Hugging Face Daily Papers

AgentOPSD 提出了一种无评论家的递归方法，用于智能体强化学习中的回合级信用分配，通过在 log-odds 空间中进行贝叶斯信念更新来重新加权结果。它在 ALFWorld 上使用 Qwen2.5-7B 达到了 89.1% 的成功率，优于 GRPO 和自蒸馏基线。

自反思维蒸馏：将事后经验转化为前瞻预见

Hugging Face Daily Papers

论文提出 Self-Retrospection Distillation (SRD)，通过让策略在行动前预测可能遇到的陷阱，并利用事后轨迹进行自蒸馏来对齐前瞻预测，解决了 GRPO 类方法中大量全同奖励组导致零梯度的问题；在 2B 模型 98% 全失败组的场景下，GRPO+SRD 将训练成功率从 0% 提升至 60.6%。