论文页面 - 自我蒸馏策略梯度

来源：https://huggingface.co/papers/2606.04036

摘要

一个自我蒸馏策略梯度框架结合了在线自我蒸馏、验证器优势以及KL正则化，以提升强化学习的稳定性和性能。

在线自我蒸馏（https://huggingface.co/papers?q=self-distillation）是指语言模型通过利用特权上下文来监督自身生成，这为稀疏奖励强化学习（https://huggingface.co/papers?q=reinforcement%20learning）提供了有前景的密集监督信号。实际上，它可以实例化为一个辅助的全词汇学生到教师的反向Kullback-Leibler散度（https://huggingface.co/papers?q=reverse%20Kullback-Leibler%20divergence）损失函数。因此，我们提出了SDPG，一个自我蒸馏策略梯度（https://huggingface.co/papers?q=policy-gradient）框架，该框架结合了基于归一化标准差的组相对验证器优势（https://huggingface.co/papers?q=verifier%20advantages）、精确的全词汇在线自我蒸馏（https://huggingface.co/papers?q=self-distillation）以及参考策略KL正则化（https://huggingface.co/papers?q=KL%20regularization）。实验表明，SDPG相比RLVR和自我蒸馏基线在稳定性和性能上均有提升。代码已在https://github.com/lauyikfung/SDPG上公开。

查看arXiv页面（https://arxiv.org/abs/2606.04036）查看PDF（https://arxiv.org/pdf/2606.04036）项目页面（https://lauyikfung.github.io/SDPG/）GitHub0（https://github.com/lauyikfung/SDPG）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.04036）

在你的代理中获取此论文：

hf papers read 2606\.04036

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接此论文

请在模型README.md中引用arxiv.org/abs/2606.04036以在此页面建立链接。

引用此论文的数据集0

暂无数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2606.04036以在此页面建立链接。

引用此论文的Spaces0

暂无Space链接此论文

请在Space README.md中引用arxiv.org/abs/2606.04036以在此页面建立链接。

包含此论文的收藏集1