论文页面 - 在策略蒸馏真的能蒸馏吗？从噪声教师到自我改进

来源：https://huggingface.co/papers/2608.31046

摘要

在策略蒸馏主要依赖抑制低概率词元而非教师引导，这一发现启发了我们提出一种无监督的熵自适应方法，该方法显著提升了推理性能。

在策略蒸馏（OPD）作为一种替代方案，提供了密集的词元级监督，以替代带有可验证奖励的强化学习（RLVR）中稀疏的结果级优势。然而，教师为学生生成的轨迹打分，而这些轨迹对其而言本质上是异策略的，因此教师监督的可靠性，以及学生改进的来源，仍然不明确。我们定量分析了OPD训练期间的教师监督，发现了大量噪声，且噪声的普遍性随教师规模的增加而上升。令人惊讶的是，学生策略对这种噪声并不敏感，无论是否保留噪声监督，最终都能收敛到相近的性能。那么，OPD真的在“蒸馏“吗？通过分析其性能提升的驱动因素，我们发现学习主要集中在低对数概率词元上，并且使用一个固定的负优势就能匹配教师提供优势所达到的效果。这表明，OPD主要是通过抑制低对数概率词元来发挥作用的，而这并不需要教师。这些发现启发我们提出了在策略自适应（OPSA），这是一种无监督的方法，采用熵自适应的负优势。它为高熵位置分配更强的学习信号，抑制尾部词元，并在头部词元间均匀重新分配概率质量。与基础模型Qwen3-1.7B相比，OPSA在AIME24基准上的Avg@32提升了35.41分，对应263%的相对收益，并且在所有三个基准测试中Pass@32均提升了一倍以上。在AIME24上，其Avg@32也比OPD高出16.77分。跨模型系列和任务的大量实验与分析进一步证明了其有效性和泛化能力。

查看arXiv页面 (https://arxiv.org/abs/2608.31046) 查看PDF (https://arxiv.org/pdf/2608.31046) 项目页面 (https://dripnowhy.github.io/On-Policy-Self-Adaptation/) GitHub仓库 (https://github.com/DripNowhy/On-Policy-Self-Adaptation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.31046)

在你的智能体中获取此论文：

hf papers read 2608.31046

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 3个

Tuwhy/Qwen3-1.7B-OPSA 文本生成 • 2B • 大约9小时前更新 • 357 (https://huggingface.co/Tuwhy/Qwen3-1.7B-OPSA)

Tuwhy/Qwen3-4B-OPSA 文本生成 • 4B • 大约9小时前更新 • 356 (https://huggingface.co/Tuwhy/Qwen3-4B-OPSA)

Tuwhy/Qwen3.5-9B-OPSA 图像-文本到文本 • 10B • 大约9小时前更新 • 12 (https://huggingface.co/Tuwhy/Qwen3.5-9B-OPSA)

引用此论文的数据集 0个

暂无链接此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2608.31046 以将其链接到此页面。

引用此论文的Space 0个

暂无链接此论文的Space

在Space的 README.md 中引用 arxiv.org/abs/2608.31046 以将其链接到此页面。

包含此论文的收藏 2个