Agentic 策略内蒸馏隐式重塑 LLM 智能体的 ReAct 模式

Hugging Face Daily Papers 论文

摘要

该论文研究 on-policy 蒸馏如何隐式重塑 LLM 智能体的 ReAct 交互模式,发现跨域监督可能导致负迁移,并提出基于教师偏好变化的选择性 OPD 来缓解该问题。

策略内蒸馏(on-policy distillation,OPD)能够将专门能力迁移到语言模型智能体,但其对交互行为的跨域影响尚不明确。我们研究了 OPD 如何在数学、ALFWorld 和 τ^2-bench 上重塑 ReAct 交互模式,重点关注推理、动作和观测获取。通用推理监督将数学工具调用尝试从 70.4% 降低至 14.4%,同时将准确率从 16.7% 提升至 38.0%;代码解释器监督改善了家务动作和零售查询表现。相比之下,ALFWorld 监督使 τ^2-bench 准确率从 41.5% 降至 6.6%,并伴随频繁出现违反用户信息依赖关系的工具调用。为仅利用源域训练轨迹来应对负迁移问题,我们探索了由领域特定 RL 前后教师偏好变化所引导的选择性 OPD。保留前 95% 的位置可将 τ^2 准确率从 11.5% 提升至 29.9%,但需在源域学习效果上做出权衡。
查看原文
查看缓存全文

缓存时间: 2026/11/19 03:42

论文页面 - Agentic On-Policy Distillation Implicitly Reshapes LLMs’ ReAct Patterns

来源:https://huggingface.co/papers/2611.19244

摘要

On-policy 蒸馏可能会改善或损害语言模型智能体在各领域中的交互表现,而有选择地保留教师偏好的位置可以缓解负迁移,但代价是源领域学习效果的下降。

On-policy 蒸馏(OPD)(https://huggingface.co/papers?q=On-policy%20distillation%20(OPD))能够将专业能力迁移到语言模型智能体 (https://huggingface.co/papers?q=language-model%20agents) 中,但其对交互产生的跨领域影响 (https://huggingface.co/papers?q=cross-domain%20effects) 尚不明确。我们研究了 OPD 如何重塑跨数学、ALFWorld (https://huggingface.co/papers?q=ALFWorld) 和 τ^2-bench (https://huggingface.co/papers?q=%CF%84%5E2-bench) 的 ReAct 交互模式 (https://huggingface.co/papers?q=ReAct%20interaction%20patterns),重点关注推理、动作和观察获取 (https://huggingface.co/papers?q=observation%20acquisition)。通用推理监督 (https://huggingface.co/papers?q=General-reasoning%20supervision) 将数学工具尝试 (https://huggingface.co/papers?q=mathematical%20tool%20attempts) 从 70.4% 降至 14.4%,同时将准确率从 16.7% 提升至 38.0%;代码解释器监督 (https://huggingface.co/papers?q=code-interpreter%20supervision) 改善了家务动作和零售查询的表现。相比之下,ALFWorld (https://huggingface.co/papers?q=ALFWorld) 监督使 τ^2-bench (https://huggingface.co/papers?q=%CF%84%5E2-bench) 准确率从 41.5% 降至 6.6%,并伴随频繁的工具调用 (https://huggingface.co/papers?q=tool%20calls),违反了用户信息依赖关系 (https://huggingface.co/papers?q=user-information%20dependencies)。为了仅使用源领域训练轨迹 (https://huggingface.co/papers?q=source-domain%20training%20trajectories) 来应对负迁移 (https://huggingface.co/papers?q=negative%20transfer),我们探索了由领域特定强化学习 (https://huggingface.co/papers?q=domain-specific%20RL) 前后教师偏好变化 (https://huggingface.co/papers?q=teacher%20preference%20changes) 引导的选择性 OPD (https://huggingface.co/papers?q=selective%20OPD)。保留前 95% 的位置可将 τ^2 准确率从 11.5% 提升至 29.9%,但存在源领域学习的权衡 (https://huggingface.co/papers?q=source-learning%20trade-off)。

查看 arXiv 页面 (https://arxiv.org/abs/2611.19244) 查看 PDF (https://arxiv.org/pdf/2611.19244) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2611.19244)

引用本文的模型 0

没有模型链接到本文。

在模型 README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该模型。

引用本文的数据集 0

没有数据集链接到本文。

在数据集 README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该数据集。

引用本文的 Space 0

没有 Space 链接到本文。

在 Space README.md 中引用 arxiv.org/abs/2611.19244 即可从此页面链接到该 Space。

包含本文的收藏集 0

没有收藏集包含本文。

将本文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接到该收藏集。

相似文章

面向智能体在线策略蒸馏的随机教师干预

arXiv cs.CL

提出STI-OPD框架,通过基于教师-学生策略差异的随机教师干预和重要性加权反向KL目标,解决多轮agent任务中on-policy蒸馏的轨迹漂移问题,在工具推理与长程交互基准上超越先前最强OPD基线。

基于前缀重放的多轮在线策略蒸馏

Hugging Face Daily Papers

本文提出 ReOPD,一种用于 LLM 智能体的在线策略蒸馏方法,该方法重用预先收集的教师轨迹作为重放前缀,无需新的环境交互即可提高效率和准确性。

揭开同策略蒸馏的神秘面纱:教师的优势究竟在哪里?

arXiv cs.LG

这篇论文从知识蒸馏视角重新审视同策略蒸馏(OPD),通过受控的词元翻转实验测量教师在学生生成轨迹上的优势来源,发现基于概率质量和KL散度的选择性干预比随机翻转高出15—18个百分点,主张在保持分布稳定性的同时学习更有价值的教师纠正。