从强化学习角度看OPD:用于样本高效LLM推理的最小二乘策略蒸馏

Hugging Face Daily Papers 论文

摘要

介绍了最小二乘策略蒸馏(LSPD),一种基于强化学习的样本高效蒸馏方法,用于大语言模型,在数学推理基准测试中提升了性能。

我们通过强化学习视角研究在策略蒸馏(OPD),建立了OPD中反向KL目标与KL正则化策略优化之间的联系。基于这一联系,我们引入了最小二乘策略蒸馏(LSPD),一个受RL启发的框架,将基于价值的RL中的乐观探索和非策略数据重用引入策略蒸馏。LSPD通过探索保持策略多样性,同时通过反复从先前收集的轨迹中学习来提高rollout效率。我们的理论分析将LSPD与基于价值的乐观学习联系起来,并表明其理想化公式在在线探索下实现了O(log K)的遗憾界。实证上,LSPD在六个数学推理基准测试和不同的教师-学生设置中持续优于现有的蒸馏基线,Avg@16平均提升+1.59分。值得注意的是,通过Pass@k评估(k高达64),我们发现LSPD通过在k增长时实现更强的性能,更好地保持了策略多样性。其完全非策略变体仅使用前25%的rollout批次就达到了与普通OPD相当的性能。总的来说,这些结果提供了OPD的RL视角,为更有效和rollout高效的语言模型蒸馏提供了原则性解释和实际途径。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:09

论文页面 - 从强化学习视角解析OPD:用于高效LLM推理的最小二乘策略蒸馏

来源:https://huggingface.co/papers/2609.35505

https://huggingface.co/papers/2609.35505#lspd-an-rl-view-of-on-policy-distillationLSPD:基于强化学习视角的在策略蒸馏

在策略蒸馏(OPD)通常通过策略梯度更新实现。但其反向KL目标也可以被精确解读为KL正则化强化学习,其中奖励由教师策略相对于参考策略定义。这引出了一个自然问题:基于价值的强化学习原则能否使策略蒸馏更加样本高效?

我们提出了最小二乘策略蒸馏(LSPD),其设计动机源于乐观奖励估计与KL正则化策略改进。LSPD并非仅利用教师反馈驱动策略梯度更新,而是通过鲁棒的最小二乘目标直接匹配学生与教师的对数概率。这种公式化方法使得模型能够从累积经验中学习,将基于价值的强化学习的核心优势引入LLM蒸馏。我们的理论分析确立了理想化乐观公式下的对数级反向KL遗憾界。

在六个数学推理基准和三种师生配置中,LSPD提升了推理性能与多样本解决方案覆盖率。其基于回放的变体LSPD-RB,在仅需约四分之一生成批次的情况下,达到了与基础OPD相当的性能。更广泛的意义在于:将蒸馏视为强化学习问题,能够开启超越在策略策略梯度的算法选择——并为从每次与教师的交互中学习更多提供了机会。

📄论文 (https://arxiv.org/abs/2609.35505) · 💻代码 (https://github.com/UNCSciML/LSPD)

相似文章

最弱一环:以最坏情况约束强化学习蒸馏大模型推理能力

arXiv cs.LG

本文将大模型推理蒸馏建模为一个约束强化学习问题:在约束推理轨迹每一步的最坏情况教师似然的前提下,最大化任务奖励。该方法既避免了纯 GRPO 存在的奖励作弊问题,也克服了基于 KL 的蒸馏导致任务性能被稀释的缺陷。在数学推理和代码生成任务上的实验表明,该方法显著扩展了准确率-保真度的帕累托前沿。

OPRD:在策略表示蒸馏

Hugging Face Daily Papers

OPRD提出了一种新的知识蒸馏方法,该方法在策略部署期间跨层对齐学生和教师的隐藏状态,消除了来自词空间KL估计的采样方差。实验表明,OPRD在数学推理基准(AIME 2024/2025、AIMO)上优于输出空间基线,同时速度快1.44倍,内存使用减少54%。

突破 LLM 推理中同策略自蒸馏的规模扩展瓶颈

Hugging Face Daily Papers

本文分析了用于 LLM 推理的同策略自蒸馏(OPSD),指出未经验证的学生生成骨架会带来模仿鸿沟,且该鸿沟随模型规模增大而加剧,因此提出了 OASIS 方法:利用模型生成的尝试作为教师上下文,主要对经过答案标签验证的同策略轨迹进行监督,使 Qwen3 1.7B/4B/8B 模型在 AIME/HMMT 基准上提升 3.2-3.8 个点。