我们何时需要On-Policy蒸馏？在离线学生rollout上进行蒸馏通常效果更佳（1分钟阅读）

TLDR AI 论文
distillation knowledge-distillation on-policy llm efficiency nvidia

摘要

NVIDIA的研究提出Semi-OPD替代方案，发现在初始学生的离线rollout上进行蒸馏通常优于on-policy蒸馏，在17组教师-学生配对中14次胜出，最高提升13.6%准确率和11.4倍训练加速。

On-policy蒸馏近年来在将教师模型能力迁移到学生模型方面越来越流行。Semi-OPD从初始学生生成的离线rollout中进行蒸馏，在准确率和训练效率方面通常都能超越OPD。选择OPD还是Semi-OPD取决于初始教师与学生之间的对齐程度。只有当两者高度对齐且具有高重叠率时，OPD才具有优势。
查看原文
查看缓存全文

缓存时间: 2026/10/13 18:29

# 何时需要同策略蒸馏？在离线学生采样轨迹上进行蒸馏往往更优 | 研究 来源：https://research.nvidia.com/publication/2026-12_when-do-we-need-policy-distillation-distilling-offline-student-rollouts-often 1. 出版物 (https://research.nvidia.com/publications) 2. 何时需要同策略蒸馏？在离线学生采样轨迹上进行蒸馏往往更优 出版物图片 同策略蒸馏（On-Policy Distillation, OPD）在将教师模型能力迁移到学生模型方面日益流行。在这项工作中，我们提出了一个关键的研究问题：对于任意的教师-学生模型对，同策略采样是否总是有益的？我们证明了一种简单的替代方案——Semi-OPD，即在由初始学生模型生成的离线采样轨迹上进行蒸馏，往往能在准确率和训练效率方面超越 OPD。在涵盖 1.5B 至 235B 参数的 17 组教师-学生模型对中，Semi-OPD 在 14 组中优于 OPD，最高提升 +13.6% 准确率，训练速度最高加速 11.4 倍。我们进一步发现，选择 OPD 还是 Semi-OPD 取决于初始教师和学生之间的对齐程度，可用输出 token 重叠率来量化：只有当两者高度对齐且重叠率较高时，OPD 才是有益的。我们更深入的研究表明，有效的蒸馏需要在学生和教师两个维度上都保持同策略性（on-policyness）。对于不对齐的模型对，随着上下文长度的增长，学生的采样轨迹会越来越偏离教师的同策略分布，从而削弱蒸馏信号。相比之下，Semi-OPD 往往更加稳定，因为它在较短的上下文上进行蒸馏，同时覆盖完整轨迹，使学生接触到更多教师偏好的 token。除了提出 Semi-OPD 作为一种高效替代方案外，我们的研究也促使社区重新思考何时使用 OPD，并在有意义的教师-学生模型对上研究更强的 OPD 变体。 ## 作者 Siyan Zhao（NVIDIA） Shih-Yang Liu（NVIDIA） Sharath Turuvekere Sreenivas（NVIDIA） Wenliang Dai（NVIDIA） Aditya Grover（NVIDIA） ## 出版日期 2026 年 12 月 6 日，星期日 ## 发表于 ## 研究领域

相似文章

揭开同策略蒸馏的神秘面纱：教师的优势究竟在哪里？

arXiv cs.LG

这篇论文从知识蒸馏视角重新审视同策略蒸馏（OPD），通过受控的词元翻转实验测量教师在学生生成轨迹上的优势来源，发现基于概率质量和KL散度的选择性干预比随机翻转高出15—18个百分点，主张在保持分布稳定性的同时学习更有价值的教师纠正。

OPMD：超越输出监督的在线策略机制蒸馏

Hugging Face Daily Papers

本文提出了在线策略机制蒸馏（OPMD），在在线策略蒸馏过程中迁移与学生模型架构兼容的教师中间计算，在多种师生组合中均超越了仅基于输出监督的蒸馏基线。