基于负策略回退的在线蒸馏

Hugging Face Daily Papers 论文
on-policy-distillation llm-training post-training reinforcement-learning negative-policy teacher-student

摘要

本研究提出负策略在线蒸馏（NP-OPD），在更强教师模型的逐 token 监督基础上，引入能力较低的负策略回退采样，提供显式负信号，从而在不同模型规模、生成模式和推理领域上提升 OPD 的效果。代码将发布在 https://github.com/naver-ai/np-opd。

在线蒸馏（On-Policy Distillation, OPD）作为一种后训练方法已被广泛研究，学生模型在自身回退采样轨迹上从更强的教师模型获得逐 token 级别的监督。近期研究通过改进蒸馏奖励公式和教师配置来提升 OPD，但其目标始终围绕模仿教师。然而，当更强的教师与学生的分布重叠有限时，这种正向引导可能无法提供充分的学习信号。本研究提出负策略在线蒸馏（Negative-Policy OPD, NP-OPD），在教师监督的基础上，补充来自性能和能力较低的负策略的回退采样轨迹，作为学生的负参考。与修改蒸馏奖励公式不同，NP-OPD 在回退采样阶段引入负策略，持续提供负策略相对教师更偏好的 token，使其在整个训练过程中不断接受教师监督。这既通过负策略回退采样提供了显式负信号，又保留了 OPD 中原有的正向教师监督。大量实验表明，NP-OPD 在不同模型规模、生成模式、推理领域以及各类 OPD 变体上均能提升效果。此外，我们的分析表明，NP-OPD 能够有效抑制负策略相对教师更偏好的 token，并使学生远离负策略。这些结果验证了通过负策略回退采样引入负信号的设计思路，并为理解 OPD 中回退采样策略的作用提供了新的见解。代码将发布在 https://github.com/naver-ai/np-opd。
查看原文

相似文章

基于同伴成功与失败的多 rollout 在策略蒸馏

arXiv cs.LG

提出多 rollout 在策略蒸馏 (MOPD)，一种将教师条件化于同伴成功和失败的 rollout 以提供更密集的 token 级监督进行语言模型后训练的方法，在多个基准上提升了性能。

利用在线策略逆蒸馏实现弱到强泛化

Hugging Face Daily Papers

论文提出了在线策略逆蒸馏（OPRD）方法，该方法通过沿教师策略偏移方向放大验证器支持的策略梯度，使更强的AI模型能够超越较弱的监督者，在蒸馏场景中以更少的更新次数获得更高性能。

OPMD：超越输出监督的在线策略机制蒸馏

Hugging Face Daily Papers

本文提出了在线策略机制蒸馏（OPMD），在在线策略蒸馏过程中迁移与学生模型架构兼容的教师中间计算，在多种师生组合中均超越了仅基于输出监督的蒸馏基线。

同策略Delta蒸馏（OPD^2）

Hugging Face Daily Papers

本文提出同策略Delta蒸馏（OPD^2），一种新的蒸馏奖励——差异信号，该信号捕捉教师模型与其基础模型在推理调优前的差异，为迁移推理能力提供更直接的信号。在数学、科学和代码基准上的实验表明，OPD^2始终优于传统的同策略蒸馏。