同策略蒸馏（5分钟阅读）
摘要
本文引入同策略蒸馏，通过在教师提供的token级KL正则化下，在学生自身轨迹上训练学生模型，解决训练-推理分布不匹配问题，统一了前向KL、反向KL和JSD损失，其中反向KL更适用于较小的学生模型。
同策略蒸馏在学生模型自身策略采样的轨迹上训练学生，同时教师通过基于KL的正则化提供密集的token级监督，从而消除离策略方法中存在的训练-推理分布不匹配问题。该标准公式统一了前向KL、反向KL和JSD损失，其中反向KL成为追求模式匹配的小型学生模型的默认选择，并且只需一行代码将正则化模型替换到类似Tinker的RL堆栈上即可实现该技术。
相似文章
理解离策略与同策略蒸馏：两类不同训练目标的故事
这篇 UCLA 论文从理论上分析了同策略蒸馏（OPD）与离策略/SFT 式蒸馏的区别，展示了前向 KL 与反向 KL 目标如何分别将多个教师模型聚合为算术混合与几何混合，建立了对数级遗憾界，并解释了 OPD 的优势与脆弱性（例如对低概率教师的敏感性以及错误前缀偏差）。
On-Policy 蒸馏中的 Off-Policy 教师问题
该论文指出了 On-Policy 蒸馏中存在的一种 off-policy 不对称性：教师必须监督来自学生自身生成的、其未训练过的前缀。为此，论文提出了 SCOUT——一个通过可验证奖励的 RL 持续适应教师的协同训练框架，在不同配置、模型规模和推理领域上均一致地提升了蒸馏效果。
揭秘 On-Policy Distillation：角色、病理与调控
本文系统研究了LLM后训练中的on-policy distillation，阐明了其作为探索催化剂的作用，并识别了Student-Teacher Mismatch和Length Exploitation等病理现象，提出了轻量级信号调控方法。
在线策略蒸馏的多重面貌：陷阱、机制与解决方案
本文对大语言模型的在线策略蒸馏进行了全面的实证研究，识别了分布不匹配和优化不稳定等故障机制，并提出了诸如停止梯度目标和针对 RLVR 改进的教师模型等解决方案。
当教师误导：虚假信号感知的在线策略蒸馏
本文介绍了 SA-OPD，一种虚假信号感知的在线策略蒸馏框架，它基于输入依据性和优化影响过滤误导性的词元级教师监督，从而提升 LLM 和 VLM 的蒸馏性能。