同策略蒸馏（5分钟阅读）
摘要
本文引入同策略蒸馏，通过在教师提供的token级KL正则化下，在学生自身轨迹上训练学生模型，解决训练-推理分布不匹配问题，统一了前向KL、反向KL和JSD损失，其中反向KL更适用于较小的学生模型。
同策略蒸馏在学生模型自身策略采样的轨迹上训练学生，同时教师通过基于KL的正则化提供密集的token级监督，从而消除离策略方法中存在的训练-推理分布不匹配问题。该标准公式统一了前向KL、反向KL和JSD损失，其中反向KL成为追求模式匹配的小型学生模型的默认选择，并且只需一行代码将正则化模型替换到类似Tinker的RL堆栈上即可实现该技术。
相似文章
揭秘 On-Policy Distillation：角色、病理与调控
本文系统研究了LLM后训练中的on-policy distillation，阐明了其作为探索催化剂的作用，并识别了Student-Teacher Mismatch和Length Exploitation等病理现象，提出了轻量级信号调控方法。
在线策略蒸馏的多重面貌：陷阱、机制与解决方案
本文对大语言模型的在线策略蒸馏进行了全面的实证研究，识别了分布不匹配和优化不稳定等故障机制，并提出了诸如停止梯度目标和针对 RLVR 改进的教师模型等解决方案。
当教师误导：虚假信号感知的在线策略蒸馏
本文介绍了 SA-OPD，一种虚假信号感知的在线策略蒸馏框架，它基于输入依据性和优化影响过滤误导性的词元级教师监督，从而提升 LLM 和 VLM 的蒸馏性能。
策略内蒸馏真的在蒸馏吗？从嘈杂教师到自我改进
本文分析了策略内蒸馏，揭示其主要通过抑制低概率token而非依赖教师指导来实现改进，并提出了无需监督的OPSA方法，显著提升了推理性能。
OPRD：在策略表示蒸馏
OPRD提出了一种新的知识蒸馏方法，该方法在策略部署期间跨层对齐学生和教师的隐藏状态，消除了来自词空间KL估计的采样方差。实验表明，OPRD在数学推理基准（AIME 2024/2025、AIMO）上优于输出空间基线，同时速度快1.44倍，内存使用减少54%。