超越提示数量：数据如何塑造同策略蒸馏中的迁移效果

Hugging Face Daily Papers 论文
on-policy-distillation prompt-selection transfer-learning teacher-student representation-probing

摘要

该论文研究提示数量、来源与选择如何影响在线策略蒸馏（OPD）的迁移效果，发现提示效用取决于师生模型对与目标任务，且定向选择策略（如语义多样性、难度、师生分歧等）并未一致优于均匀随机采样。

同策略蒸馏（OPD）利用教师对学生自身采样生成的回答所提供的反馈来训练学生，但提示的选择如何影响不同教师—学生配对之间的迁移，目前仍缺乏充分理解。我们在强化学习（RL）和监督微调（SFT）的续训配对以及跨模型设置中，系统研究了提示的数量、来源和选择方式。我们发现，OPD 可以具有很高的提示效率：少量提示即可接近大规模提示池的表现，其中 4 个 DAPO 提示达到了与 3,840 个 DeepMath 提示相同的实测数学得分。然而，提示的效用取决于配对关系，而非其固有属性：仅更换教师，就可能逆转数学提示与代码提示的相对有效性。为刻画这些迁移差异，我们分析了不同提示支持集和模型配对中的参数变化与功能变化。与教师的功能对齐程度因支持集和目标任务而异；在续训配对中，与教师对齐的预测变化可以与较弱的参数对齐同时存在。在有效支持集上继续进行 OPD，可以在不利迁移后恢复性能。最后，定向选择并不能稳定地优于均匀随机采样，而且在三次配对的支持集抽样中，过滤掉单独使用时表现较差的数据来源，并未带来一致的收益。总体而言，我们的结果区分了提示效率与提示的可互换性，并表明有效的数据选择取决于教师—学生配对和目标能力，而随机采样在所研究的设置中提供了具有竞争力的基线。
查看原文
查看缓存全文

缓存时间: 2026/10/14 10:51

论文页面 - 超越提示词数量：数据如何塑造同策略蒸馏中的迁移

来源：https://huggingface.co/papers/2609.37377 我们研究提示词的数量、来源和选择如何影响同策略蒸馏 \(OPD\) 中的迁移效果\。

一个促使我们开展研究的结果是：仅使用“1\+1 等于多少？”作为训练提示词，就能将 Qwen3\-4B 的数学得分从 15\.47% 提升至 47\.93%，接近教师模型的 48\.33%\。这仍然涉及反复进行学生模型采样生成和教师模型监督，而非仅进行一次训练更新\。

但提示词的高效性并不意味着提示词可以互换\。我们的主要发现如下：

• 提示词的效用取决于教师–学生模型组合和目标任务\。仅更换教师模型，就可能逆转数学提示词和代码提示词的相对有效性\。

• 与教师模型一致的预测变化，可能通过截然不同的参数更新实现\。

• 我们在表征层面探究性能退化与恢复\。在一项小规模探测中，隐藏状态干预使退化模型的表现得到部分改善\。在另一项独立实验中，使用有效提示词继续进行 OPD，将代码性能从 50\.03% 恢复至 63\.16%，且没有重走某次成功训练的参数路径\。

• 均匀随机采样仍然具有竞争力\。在我们的实验中，定向选择——包括基于语义多样性、难度、回答长度、教师–学生模型分歧以及梯度的选择——并未持续改善迁移效果\。过滤掉单独使用时表现不佳的数据来源，也未带来稳定的收益\。

你是否在自己的 OPD 实验中观察到对提示词选择的类似敏感性？欢迎讨论这些结果和实现细节\！

相似文章

揭开同策略蒸馏的神秘面纱：教师的优势究竟在哪里？

arXiv cs.LG

这篇论文从知识蒸馏视角重新审视同策略蒸馏（OPD），通过受控的词元翻转实验测量教师在学生生成轨迹上的优势来源，发现基于概率质量和KL散度的选择性干预比随机翻转高出15—18个百分点，主张在保持分布稳定性的同时学习更有价值的教师纠正。

面向智能体在线策略蒸馏的随机教师干预

arXiv cs.CL

提出STI-OPD框架，通过基于教师-学生策略差异的随机教师干预和重要性加权反向KL目标，解决多轮agent任务中on-policy蒸馏的轨迹漂移问题，在工具推理与长程交互基准上超越先前最强OPD基线。