TurnOPD: 使在线策略蒸馏对回合感知以实现高效长程智能体训练

arXiv cs.AI 论文
on-policy-distillation long-horizon-agent turn-aware agent-training language-agents efficient-training distillation

摘要

TurnOPD 引入了回合级别的预算机制用于长程智能体的在线策略蒸馏，通过自适应 rollout 深度和渐进式回合归一化损失预算解决了传统 OPD 的低效问题，在相同训练预算下实现了更高的准确性。

arXiv:2607.05804v1 Announce Type: new 摘要：在线策略蒸馏（OPD）通过让学生在自身的轨迹上匹配更强的教师来训练学生策略，为语言智能体训练提供了一个有前景的框架。然而，其在长程智能体任务中的应用尚未得到充分探索。我们识别出传统智能体 OPD 的两个关键低效问题：(1) 全轨迹展开常常在尾部回合上浪费挂钟时间资源，这些回合提供的 KL 监督既弱又有噪声；(2) 轨迹级别的 KL 目标将大部分损失集中在浅层词元上，一旦初始行为对齐后，更深层决策回合的训练不足。为了解决这些挑战，我们提出了 TurnOPD，一种用于长程智能体高效在线策略蒸馏的回合级别预算策略。TurnOPD 包含两个预算控制器：自适应 rollout 深度预算，利用基于探测的回合统计确定展开长度；以及渐进式回合归一化损失预算，逐步将 KL 权重从词元级别监督转向回合平衡监督。在 ALFWorld、WebShop 和 Multi-Hop Search 上使用任务专用教师模型进行的实验表明，在相等的挂钟训练预算下，TurnOPD 实现了更优的验证准确率，并将准确率-时间前沿推进到超越传统 OPD。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:38 

# TurnOPD：通过轮次感知的在线策略蒸馏实现高效长周期智能体训练
来源：https://arxiv.org/abs/2607.05804
查看PDF（https://arxiv.org/pdf/2607.05804）

> **摘要：**在线策略蒸馏（OPD）通过在学生自身轨迹上匹配更强的教师策略来训练学生策略，为语言智能体训练提供了一种有前景的框架。然而，其在长周期智能体任务中的应用尚未得到充分探索。我们发现了原始智能体OPD中的两个关键低效之处：（1）全周期 rollout 经常在尾部轮次上浪费 wall-clock 资源，而这些轮次提供的 KL 监督信号弱且噪声大；（2）轨迹级 KL 目标将大部分损失集中在浅层 token 上，一旦初始行为对齐，较深的决策轮次便得不到充分训练。为解决这些问题，我们提出了 TurnOPD，一种用于长周期智能体高效在线策略蒸馏的轮次级预算策略。TurnOPD 由两个预算控制器组成：自适应 rollout 深度预算，利用基于探测的轮次统计信息确定 rollout 长度；以及渐进式轮次归一化损失预算，逐步将 KL 权重从 token 级转向轮次平衡的监督。在 ALFWorld、WebShop 和 Multi-Hop Search 上使用任务专用教师模型的实验表明，在相等的 wall-clock 训练预算下，TurnOPD 取得了更优的验证准确率，并将准确率-时间前沿推进到超越原始 OPD 的水平。

## 提交历史

来自：Yuhang Zhou [查看邮箱（https://arxiv.org/show-email/dca82c47/2607.05804）] **[v1]** 2026年7月7日星期二 03:56:35 UTC（2,259 KB）

相似文章

学会预见：揭示 On-Policy 蒸馏效率的解锁机制

arXiv cs.CL

本文研究了大型语言模型中 On-Policy 蒸馏（OPD）效率背后的参数级机制，将其归因于模块分配和更新方向上的早期“预见性”。本文提出了 EffOPD，一种即插即用方法，可在不损害最终性能的情况下将 OPD 训练速度提高 3 倍。

ShortOPD：通过短到长在策略蒸馏恢复剪枝后的大语言模型

arXiv cs.LG

ShortOPD提出了一种短到长的在策略蒸馏方案，通过将训练集中在有效前缀上，恢复用于自由形式生成的剪枝后大语言模型，相较于未恢复模型实现了高达9倍的改进，并以四分之一的训练时间达到了长视界蒸馏的效果。