Agentic 策略内蒸馏隐式重塑 LLM 智能体的 ReAct 模式
摘要
该论文研究 on-policy 蒸馏如何隐式重塑 LLM 智能体的 ReAct 交互模式,发现跨域监督可能导致负迁移,并提出基于教师偏好变化的选择性 OPD 来缓解该问题。
查看缓存全文
缓存时间: 2026/11/19 03:42
论文页面 - Agentic On-Policy Distillation Implicitly Reshapes LLMs’ ReAct Patterns
来源:https://huggingface.co/papers/2611.19244
摘要
On-policy 蒸馏可能会改善或损害语言模型智能体在各领域中的交互表现,而有选择地保留教师偏好的位置可以缓解负迁移,但代价是源领域学习效果的下降。
On-policy 蒸馏(OPD)(https://huggingface.co/papers?q=On-policy%20distillation%20(OPD))能够将专业能力迁移到语言模型智能体 (https://huggingface.co/papers?q=language-model%20agents) 中,但其对交互产生的跨领域影响 (https://huggingface.co/papers?q=cross-domain%20effects) 尚不明确。我们研究了 OPD 如何重塑跨数学、ALFWorld (https://huggingface.co/papers?q=ALFWorld) 和 τ^2-bench (https://huggingface.co/papers?q=%CF%84%5E2-bench) 的 ReAct 交互模式 (https://huggingface.co/papers?q=ReAct%20interaction%20patterns),重点关注推理、动作和观察获取 (https://huggingface.co/papers?q=observation%20acquisition)。通用推理监督 (https://huggingface.co/papers?q=General-reasoning%20supervision) 将数学工具尝试 (https://huggingface.co/papers?q=mathematical%20tool%20attempts) 从 70.4% 降至 14.4%,同时将准确率从 16.7% 提升至 38.0%;代码解释器监督 (https://huggingface.co/papers?q=code-interpreter%20supervision) 改善了家务动作和零售查询的表现。相比之下,ALFWorld (https://huggingface.co/papers?q=ALFWorld) 监督使 τ^2-bench (https://huggingface.co/papers?q=%CF%84%5E2-bench) 准确率从 41.5% 降至 6.6%,并伴随频繁的工具调用 (https://huggingface.co/papers?q=tool%20calls),违反了用户信息依赖关系 (https://huggingface.co/papers?q=user-information%20dependencies)。为了仅使用源领域训练轨迹 (https://huggingface.co/papers?q=source-domain%20training%20trajectories) 来应对负迁移 (https://huggingface.co/papers?q=negative%20transfer),我们探索了由领域特定强化学习 (https://huggingface.co/papers?q=domain-specific%20RL) 前后教师偏好变化 (https://huggingface.co/papers?q=teacher%20preference%20changes) 引导的选择性 OPD (https://huggingface.co/papers?q=selective%20OPD)。保留前 95% 的位置可将 τ^2 准确率从 11.5% 提升至 29.9%,但存在源领域学习的权衡 (https://huggingface.co/papers?q=source-learning%20trade-off)。
查看 arXiv 页面 (https://arxiv.org/abs/2611.19244) 查看 PDF (https://arxiv.org/pdf/2611.19244) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.19244)
引用本文的模型 0
没有模型链接到本文。
在模型 README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该模型。
引用本文的数据集 0
没有数据集链接到本文。
在数据集 README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该数据集。
引用本文的 Space 0
没有 Space 链接到本文。
在 Space README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该 Space。
包含本文的收藏集 0
没有收藏集包含本文。
将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到该收藏集。
相似文章
Waypoint-OPD:通过门控同策略蒸馏迁移强化学习诱导的策略偏移
Waypoint-OPD 提出一种门控在线策略蒸馏方法,通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移,从而在数学与代码推理任务上提升学生模型的蒸馏效果,且仅需额外一次冻结教师评分。
面向智能体在线策略蒸馏的随机教师干预
提出STI-OPD框架,通过基于教师-学生策略差异的随机教师干预和重要性加权反向KL目标,解决多轮agent任务中on-policy蒸馏的轨迹漂移问题,在工具推理与长程交互基准上超越先前最强OPD基线。
基于前缀重放的多轮在线策略蒸馏
本文提出 ReOPD,一种用于 LLM 智能体的在线策略蒸馏方法,该方法重用预先收集的教师轨迹作为重放前缀,无需新的环境交互即可提高效率和准确性。
揭开同策略蒸馏的神秘面纱:教师的优势究竟在哪里?
这篇论文从知识蒸馏视角重新审视同策略蒸馏(OPD),通过受控的词元翻转实验测量教师在学生生成轨迹上的优势来源,发现基于概率质量和KL散度的选择性干预比随机翻转高出15—18个百分点,主张在保持分布稳定性的同时学习更有价值的教师纠正。
组合各教师所学:通过教师相对偏移实现多教师在线策略蒸馏
论文提出Δ-MOPD,通过转移每个教师的「教师减基础模型」logit偏移(而非端点策略)来改进多教师在线策略蒸馏,在组合与路由两种场景下均取得更好效果并缩小训练顺序差距。