从强化学习角度看OPD:用于样本高效LLM推理的最小二乘策略蒸馏
摘要
介绍了最小二乘策略蒸馏(LSPD),一种基于强化学习的样本高效蒸馏方法,用于大语言模型,在数学推理基准测试中提升了性能。
查看缓存全文
缓存时间: 2026/09/29 08:09
论文页面 - 从强化学习视角解析OPD:用于高效LLM推理的最小二乘策略蒸馏
来源:https://huggingface.co/papers/2609.35505
https://huggingface.co/papers/2609.35505#lspd-an-rl-view-of-on-policy-distillationLSPD:基于强化学习视角的在策略蒸馏
在策略蒸馏(OPD)通常通过策略梯度更新实现。但其反向KL目标也可以被精确解读为KL正则化强化学习,其中奖励由教师策略相对于参考策略定义。这引出了一个自然问题:基于价值的强化学习原则能否使策略蒸馏更加样本高效?
我们提出了最小二乘策略蒸馏(LSPD),其设计动机源于乐观奖励估计与KL正则化策略改进。LSPD并非仅利用教师反馈驱动策略梯度更新,而是通过鲁棒的最小二乘目标直接匹配学生与教师的对数概率。这种公式化方法使得模型能够从累积经验中学习,将基于价值的强化学习的核心优势引入LLM蒸馏。我们的理论分析确立了理想化乐观公式下的对数级反向KL遗憾界。
在六个数学推理基准和三种师生配置中,LSPD提升了推理性能与多样本解决方案覆盖率。其基于回放的变体LSPD-RB,在仅需约四分之一生成批次的情况下,达到了与基础OPD相当的性能。更广泛的意义在于:将蒸馏视为强化学习问题,能够开启超越在策略策略梯度的算法选择——并为从每次与教师的交互中学习更多提供了机会。
📄论文 (https://arxiv.org/abs/2609.35505) · 💻代码 (https://github.com/UNCSciML/LSPD)
相似文章
最弱一环:以最坏情况约束强化学习蒸馏大模型推理能力
本文将大模型推理蒸馏建模为一个约束强化学习问题:在约束推理轨迹每一步的最坏情况教师似然的前提下,最大化任务奖励。该方法既避免了纯 GRPO 存在的奖励作弊问题,也克服了基于 KL 的蒸馏导致任务性能被稀释的缺陷。在数学推理和代码生成任务上的实验表明,该方法显著扩展了准确率-保真度的帕累托前沿。
OPRD:在策略表示蒸馏
OPRD提出了一种新的知识蒸馏方法,该方法在策略部署期间跨层对齐学生和教师的隐藏状态,消除了来自词空间KL估计的采样方差。实验表明,OPRD在数学推理基准(AIME 2024/2025、AIMO)上优于输出空间基线,同时速度快1.44倍,内存使用减少54%。
突破 LLM 推理中同策略自蒸馏的规模扩展瓶颈
本文分析了用于 LLM 推理的同策略自蒸馏(OPSD),指出未经验证的学生生成骨架会带来模仿鸿沟,且该鸿沟随模型规模增大而加剧,因此提出了 OASIS 方法:利用模型生成的尝试作为教师上下文,主要对经过答案标签验证的同策略轨迹进行监督,使 Qwen3 1.7B/4B/8B 模型在 AIME/HMMT 基准上提升 3.2-3.8 个点。
重新思考大语言模型推理中的强化学习:关键在于稀疏策略选择,而非能力学习
本文挑战了强化学习(RL)能为大语言模型(LLM)教授新推理能力的假设,论证其作用实则是在高熵决策点进行稀疏策略选择。本文提出了 ReasonMaxxer,这是一种无需强化学习的方法,以显著更低的训练成本实现了与完整强化学习相当的性能。
向自我未来学习:面向扩散大语言模型的自策略知识蒸馏
介绍了 d-OPSD,这是首个面向扩散大语言模型的自策略知识蒸馏框架,采用后缀条件和步骤级别监督,在推理基准上优于 RLVR 和 SFT 基线。