论文页面 - KL 用于 KL：带控制变量基线的在线策略蒸馏

来源：https://huggingface.co/papers/2605.07865

摘要

带控制变量基线的在线策略蒸馏通过策略梯度强化学习技术稳定训练过程，同时保持效率和性能。

在线策略蒸馏（On-Policy Distillation, OPD）已成为大型语言模型（尤其是推理领域）主导的后训练范式。然而，OPD 在实践中仍然不稳定，原因是其单样本蒙特卡洛估计器（Monte Carlo estimator）存在高梯度方差（gradient variance），且稳定训练的成熟方案尚未完善。我们提出 vOPD（带控制变量基线（control variate baseline）的在线策略蒸馏），它将 OPD 转化为策略梯度强化学习（policy-gradient RL），并通过引入强化学习文献中的控制变量基线（canonically 一个价值函数（value function））来稳定训练。我们证明，OPD 的价值函数具有封闭形式，即学生与教师之间每个 token 的负反向 KL 散度（reverse KL divergence），可直接从已计算的正向传播中获取，无需额外批评网络或推理。现有的稳定方法要么计算整个词汇表上的完整 token 级反向 KL（token-level reverse KL），带来显著开销，要么将其限制在 top-k 支持集上，从而引入偏差目标。vOPD 则保留轻量级的单样本估计器，减去价值函数（作为分离的基线）以保持梯度无偏，同时降低方差。此外，我们证明基线的 top-k 近似（top-k approximation）可在不牺牲性能的前提下进一步降低成本。在数学和科学推理基准上，vOPD 始终优于原始 OPD，并与最昂贵的全词汇表基线性能相当，通过基于原则的强化学习方差缩减（variance reduction）实现了高效的在线策略蒸馏稳定化。

查看 arXiv 页面 (https://arxiv.org/abs/2605.07865) 查看 PDF (https://arxiv.org/pdf/2605.07865) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.07865)

在您的代理中获取本篇论文：

hf papers read 2605.07865

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

无关联此论文的模型

请在模型 README.md 中引用 arxiv.org/abs/2605.07865 以从此页面链接。

引用此论文的数据集 0

无关联此论文的数据集

请在数据集 README.md 中引用 arxiv.org/abs/2605.07865 以从此页面链接。

引用此论文的 Space 0

无关联此论文的 Space

请在 Space README.md 中引用 arxiv.org/abs/2605.07865 以从此页面链接。

包含此论文的收藏集 0

无包含此论文的收藏集

请将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从此页面链接。