论文页面 - H²SD: 混合后见自蒸馏

来源：https://huggingface.co/papers/2607.18955

摘要

基于可验证奖励的强化学习（RLVR）显著提升了大语言模型在数学推理和代码生成等任务上的推理能力。然而，大多数RLVR方法将标量结果奖励分配给整个轨迹，导致监督稀疏且令牌级信用分配受限。在线策略蒸馏（OPD）通过从更强的教师模型中蒸馏令牌级分布来提供更密集的监督，但需要额外的教师模型，且通常假设共享词汇表。在线策略自蒸馏（OPSD）通过让同一模型基于特权信息构建教师策略来消除这一依赖。然而，直接匹配教师分布可能导致信息泄露和优化不稳定。RLSD通过仅利用教师信号调节更新幅度来避免直接匹配，但在采样推理失败时无法提供明确的修正方向。为了解决这一权衡，我们提出了H²SD，一种混合后见自蒸馏框架，根据轨迹的正确性以不同方式使用教师模型。对于成功轨迹，教师模型接收已被确认为正确的学生响应以及改写指令，并利用其对原始响应令牌的概率来调节更新幅度，同时不改变由奖励确定的更新方向。对于失败轨迹，我们让教师模型基于包含关键推理步骤和已验证答案的参考提示进行条件化，并最小化学生到教师的反向KL散度。在多个具有挑战性的推理基准上的实验表明，H²SD在保持稳定优化和良好生成效率的同时，始终优于代表性的RLVR、OPSD和RLSD基线。

查看 arXiv 页面 (https://arxiv.org/abs/2607.18955)查看 PDF (https://arxiv.org/pdf/2607.18955)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18955)

在您的 agent 中获取此论文：

hf papers read 2607.18955

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

未找到引用此论文的模型

请在模型 README.md 中引用 arxiv.org/abs/2607.18955 以从本页链接。

引用本论文的数据集0

未找到引用此论文的数据集

请在数据集 README.md 中引用 arxiv.org/abs/2607.18955 以从本页链接。

引用本论文的 Spaces0

未找到引用此论文的 Space

请在 Space README.md 中引用 arxiv.org/abs/2607.18955 以从本页链接。

包含本论文的收藏集0

未找到包含此论文的收藏集

将本论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从本页链接。