论文页面 - DuoOPD：从联合师生结果中学习的多任务 On-Policy 蒸馏

来源：https://huggingface.co/papers/2609.33711

摘要

On-policy 蒸馏（OPD）使用更强教师的 token 级反馈，在学生自身的回复上对学生进行训练。然而，教师可能在学生已经回答正确的问题上失败，而每个模型成功与否的频率在不同任务上各有不同。OPD 忽略这些结果，平均而言甚至会压低学生本来正确的回复；用学生正确性对反馈进行门控可以修正方向，但无论教师是否成功，都以相同方式使用教师。我们提出 DuoOPD：由学生的结果决定反馈的方向，而师生联合结果决定教师如何提供支持——当只有教师成功时，其已验证的答案成为为学生失败回复打分的上下文；当只有学生成功时，一个在任务内共享的权重会强化整个回复。一条规则即可覆盖全部四种结果组合，无需针对任务的设置。在 Qwen3 和 Llama 上，DuoOPD 在平均宏准确率上超越所有五个基线，相比 OPD 分别提升 2.58 和 5.98 个百分点，并且在另外两个涵盖科学计算、指令遵循和代码生成的任务组合上同样领先。消融实验表明，仅基于结果定向的变体接近门控基线，而联合结果的设计贡献了大部分增益。

查看 arXiv 页面 查看 PDF GitHub 添加到收藏

引用本文的模型：0

没有模型链接到这篇论文。

在模型 README.md 中引用 arxiv.org/abs/2609.33711，即可从本页面链接到它。

引用本文的数据集：0

没有数据集链接到这篇论文。

在数据集 README.md 中引用 arxiv.org/abs/2609.33711，即可从本页面链接到它。

引用本文的 Space：0

没有 Space 链接到这篇论文。

在 Space README.md 中引用 arxiv.org/abs/2609.33711，即可从本页面链接到它。

包含本文的收藏：0

没有收藏包含这篇论文。

将本文添加到收藏（https://huggingface.co/new-collection），即可从本页面链接到它。