论文页面 - 多轮同策略蒸馏与前缀重放

来源：https://huggingface.co/papers/2607.04763

摘要

我们研究了用于智能体任务中的同策略蒸馏（On-Policy Distillation, OPD），其中LLM智能体与环境进行多轮交互，学生模型在这些多轮交互历史中模仿教师模型。完全在线的OPD成本高昂，因为每次更新都需要学生模型通过环境进行全新的 rollout，并在访问过的历史状态中查询教师模型。我们提出重放前缀同策略蒸馏（Replayed-Prefix On-Policy Distillation, ReOPD），这是一种脱离环境的替代方案，它重用预先收集的教师轨迹作为重放前缀：学生模型在选定的步骤执行动作，同时教师模型提供密集的逐步监督，而无需执行新的环境交互。我们发现多轮OPD引入了一个前缀陷阱：使历史更符合学生策略可以提高与学生模型的相关性，但可能会在教师目标不可靠的历史上查询教师模型。这导致了学生占据分布与教师可靠性之间的双向分布偏移。ReOPD通过将多轮OPD视为可靠性感知的前缀分布设计来解决这一问题，并采用简单的逐步衰减采样调度，重点关注早期、偏移较小的前缀。在使用Python和搜索环境进行数学推理的多个教师和学生模型规模上，ReOPD保持或提高了OPD级别的准确性，在学生训练过程中零工具调用，且每次rollout至少比OPD快4倍。因此，ReOPD将昂贵的智能体-环境交互转化为可重用的离线资源，实现了跨工具、任务和环境的可扩展蒸馏。

查看arXiv页面 (https://arxiv.org/abs/2607.04763)查看PDF (https://arxiv.org/pdf/2607.04763)项目页面 (https://baohaoliao.github.io/ReOPD/)GitHub4 (https://github.com/BaohaoLiao/ReOPD)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04763)

在你的智能体中获取这篇论文：

hf papers read 2607\.04763

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接到该论文

请在模型README.md中引用arxiv.org/abs/2607.04763，以便从本页链接。

引用该论文的数据集0

没有数据集链接到该论文

请在数据集README.md中引用arxiv.org/abs/2607.04763，以便从本页链接。

引用该论文的Space0

没有Space链接到该论文

请在Space README.md中引用arxiv.org/abs/2607.04763，以便从本页链接。

包含该论文的收藏集1