论文页面 - SG-OPD：基于符号一致性门控与分阶段教师采样的符号门控策略内蒸馏

来源：https://huggingface.co/papers/2606.09304

摘要

符号门控策略内蒸馏通过引入一个二元验证器来过滤教师信号，从而改进了标准策略内蒸馏，在数学推理任务上取得了更好的性能。

策略内蒸馏 (https://huggingface.co/papers?q=On-policy%20distillation)（OPD）在自身轨迹上训练学生模型 (https://huggingface.co/papers?q=student)，并依赖更强大教师模型 (https://huggingface.co/papers?q=teacher) 提供的密集逐 token 监督 (https://huggingface.co/papers?q=dense%20per-token%20supervision)，其性能通常优于策略外蒸馏和标准强化学习。然而，我们发现其有效性隐含地依赖于两个在实践中经常失效的假设：学生模型 (https://huggingface.co/papers?q=student) 与教师模型 (https://huggingface.co/papers?q=teacher) 之间的轨迹级对齐 (https://huggingface.co/papers?q=trajectory-level%20alignment)，以及教师模型 (https://huggingface.co/papers?q=teacher) 偏好的均匀 token 级可靠性 (https://huggingface.co/papers?q=token-level%20reliability)。因此，我们提出符号门控策略内蒸馏 (https://huggingface.co/papers?q=On-Policy%20Distillation)（SG-OPD），该方法在两种互补粒度上使用二元验证器 (https://huggingface.co/papers?q=binary%20verifier) 作为教师模型 (https://huggingface.co/papers?q=teacher) 的信任信号：分阶段教师采样 (https://huggingface.co/papers?q=phased%20teacher%20sampling) 在冷启动阶段混合由验证器认可的教师模型 (https://huggingface.co/papers?q=teacher) 轨迹；符号一致性门控 (https://huggingface.co/papers?q=sign-consistency%20gate) 在教师模型 (https://huggingface.co/papers?q=teacher) 与验证器正确方向一致的 token 上外推蒸馏更新 (https://huggingface.co/papers?q=distillation%20update)，在意见不一致时则内插更新。在竞赛级数学推理基准上的实验表明，SG-OPD 始终优于标准 OPD，在每样本和每问题层面分别平均提升 1.98 和 7.50。

查看 arXiv 页面 (https://arxiv.org/abs/2606.09304)
查看 PDF (https://arxiv.org/pdf/2606.09304)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.09304)

在你的智能体中获取此论文：

hf papers read 2606.09304

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有与此论文关联的模型

在模型 README.md 中引用 arxiv.org/abs/2606.09304 即可从此页面链接。

引用此论文的数据集0

没有与此论文关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.09304 即可从此页面链接。

引用此论文的 Space0

没有与此论文关联的 Space

在 Space README.md 中引用 arxiv.org/abs/2606.09304 即可从此页面链接。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接。