论文页面 - 通过在线策略反向蒸馏激发弱到强泛化

来源：https://huggingface.co/papers/2609.08798

摘要

在线策略反向蒸馏使更强的模型能够超越弱监督者，方法是通过放大验证器支持的策略梯度，沿教师模型的偏移方向加速优化，而不施加容量限制。 弱到强泛化（https://huggingface.co/papers?q=Weak-to-strong%20generalization）研究更强的模型是否能从弱监督者那里学习并超越他们。这个问题对于模型的世代演进和多领域整合尤其重要，因为在这些场景中，从头开始重复前沿规模的后训练可能极其昂贵。然而，传统的蒸馏方法将弱教师模型视为优化目标，这可能会将其能力上限强加给学生模型。我们提出了在线策略反向蒸馏（OPRD）（https://huggingface.co/papers?q=On-Policy%20Reverse%20Distillation），该方法在学生模型的轨迹上评估教师模型相对于其参考策略的策略偏移，并放大由学生模型验证器驱动的策略梯度（https://huggingface.co/papers?q=policy%20gradient）在该方向上的分量。通过仅重新缩放验证器支持的更新，OPRD 在保持策略优化驻点的同时，加速了超越教师模型的学习过程。在连续的模型迁移和多教师蒸馏（https://huggingface.co/papers?q=multi-teacher%20distillation）中，OPRD 相比现有的强化学习和蒸馏方法，以更少的学生更新次数实现了更高的性能。响应风格分析表明，OPRD 训练出的学生模型与仅使用基于验证器的强化学习训练的模型更为接近，而与其弱教师模型的距离较远，这表明教师的指导加速而非重定向了学生自身的优化过程。在传统的强到弱蒸馏设置中的结果进一步证明，无论容量顺序如何，OPRD 都能有效地结合基于验证器的策略优化（https://huggingface.co/papers?q=verifier-driven%20policy%20optimization）与教师指导。

查看 arXiv 页面 (https://arxiv.org/abs/2609.08798) 查看 PDF (https://arxiv.org/pdf/2609.08798) GitHub3 (https://github.com/raymin0223/on_policy_reverse_distillation) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.08798)

在您的代理中获取本文：

hf papers read 2609\.08798

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到本文

在模型的 README.md 中引用 arxiv.org/abs/2609.08798 以从此页面链接它。

引用本文的数据集 0

没有数据集链接到本文

在数据集的 README.md 中引用 arxiv.org/abs/2609.08798 以从此页面链接它。

引用本文的 Space 0

没有 Space 链接到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.08798 以从此页面链接它。

包含本文的合集 0

没有合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接它。