OPRD：在策略表示蒸馏

Hugging Face Daily Papers 论文
knowledge-distillation on-policy-learning representation-learning large-language-models reinforcement-learning reasoning

摘要

OPRD提出了一种新的知识蒸馏方法，该方法在策略部署期间跨层对齐学生和教师的隐藏状态，消除了来自词空间KL估计的采样方差。实验表明，OPRD在数学推理基准（AIME 2024/2025、AIMO）上优于输出空间基线，同时速度快1.44倍，内存使用减少54%。

在策略蒸馏（OPD）仅通过匹配下一个词元的概率在输出空间监督学生模型。这种仅输出范式有两个局限：（1）来自大词汇表（例如Qwen的约15万个词元）上蒙特卡洛KL估计的采样方差在整个训练过程中持续存在，（2）它将教师模型视为黑箱，丢弃LM头之后的所有中间隐藏状态。我们提出了在策略表示蒸馏（OPRD），该方法通过在相同的部署中选择的层上对齐学生和教师的表示，将蒸馏提升到隐藏状态空间，完全绕过LM头。理论上，OPRD消除了采样方差并提供了更丰富的逐层结构信息。实验上，OPRD缩小了学生在AIME 2024/2025和AIMO上与教师的差距，而输出空间OPD基线在低于教师的水平上趋于平稳。OPRD训练速度也比top-k OPD快1.44倍，内存使用减少54%。代码：https://github.com/ShenzhiYang2000/OPRD。
查看原文

相似文章

把教师 Token 用在刀刃上：基于成功经验的 On-Policy 蒸馏

arXiv cs.AI

本文提出了一种基于成功经验的 On-Policy 蒸馏方法（Success-Referenced On-Policy Distillation, SR-OPD），利用学生自身成功的生成轨迹作为参照，有选择地分配教师监督信号。该方法在数学推理基准上仅使用普通 on-policy 蒸馏所需教师输入 token 的 3.46%–5.02%，便取得了相当的推理性能。

OPMD：超越输出监督的在线策略机制蒸馏

Hugging Face Daily Papers

本文提出了在线策略机制蒸馏（OPMD），在在线策略蒸馏过程中迁移与学生模型架构兼容的教师中间计算，在多种师生组合中均超越了仅基于输出监督的蒸馏基线。

Latent-MOPD：隐空间多教师同策略蒸馏

arXiv cs.LG

论文提出了 Latent-MOPD，这是首个面向大语言模型的表示层面多教师同策略蒸馏方法，无需额外的教师训练，即可同时通过输出分布和隐藏状态整合多个专业教师模型；在涵盖数学、代码和逻辑推理的九个基准测试中，其表现优于仅基于 token、仅基于表示以及平均融合等基线方法。

理解离策略与同策略蒸馏：两类不同训练目标的故事

arXiv cs.LG

这篇 UCLA 论文从理论上分析了同策略蒸馏（OPD）与离策略/SFT 式蒸馏的区别，展示了前向 KL 与反向 KL 目标如何分别将多个教师模型聚合为算术混合与几何混合，建立了对数级遗憾界，并解释了 OPD 的优势与脆弱性（例如对低概率教师的敏感性以及错误前缀偏差）。

同策略Delta蒸馏（OPD^2）

Hugging Face Daily Papers

本文提出同策略Delta蒸馏（OPD^2），一种新的蒸馏奖励——差异信号，该信号捕捉教师模型与其基础模型在推理调优前的差异，为迁移推理能力提供更直接的信号。在数学、科学和代码基准上的实验表明，OPD^2始终优于传统的同策略蒸馏。