标签
本文提出了一种分层智能体蒸馏框架，将同策略性拆分为两个层面——生成交互历史的策略和生成动作前缀的策略——并发现，由学生模型产生的交互历史与教师模型生成的动作相结合，能提供最强的学习信号；此外，除同策略数据的总量外，数据混合方式与调度安排也很重要。
NVIDIA的研究提出Semi-OPD替代方案，发现在初始学生的离线rollout上进行蒸馏通常优于on-policy蒸馏，在17组教师-学生配对中14次胜出，最高提升13.6%准确率和11.4倍训练加速。
该论文研究了 on-policy 蒸馏（OPD）是否总是优于离线方法，提出 Semi-OPD——在初始学生的离线 rollout 上进行蒸馏。在 17 组师生模型对中，Semi-OPD 在 14 组中优于 OPD，最高提升 13.6% 准确率并实现 11.4 倍训练加速。
OnlineQAT 采用两阶段框架：先通过块级 QAT 获得低位初始化，再在学生自生成的轨迹上，利用冻结的全精度教师进行反向 KL 的在线蒸馏，从而缓解固定补全训练与部署时学生自采样前缀之间的分布错配。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16（57.28）和 W2A16（32.52）设置中取得对比方法中的最佳平均分，较 ReasoningQAT 分别提升 2.90 和 0.44 分。
UniEvo-VL 提出了一种面向多模态模型的在线自蒸馏训练方案：让同一模型同时充当教师与学生（教师以模型自身生成的批注信息为条件），以提升其图像生成能力，在 GenEval 上的得分从 0.747 提升至 0.808。
Where-OPD 提出了一种面向多模态大语言模型（MLLMs）的空间引导在线策略自蒸馏方法：利用拥有特权空间文本指导的教师模型，在程序化生成的合成场景上对学生模型进行蒸馏，通过合成到真实的迁移，在真实世界感知基准上平均取得 3.23 分的性能提升。
MInTRL在在线策略强化学习中提出最小干预，以扩展探索并提升在数学和代码基准测试上的性能，超越标准基线。
FlowBalance是一种基于验证器的自我改进方法，通过校准在策略推理经验来增强AI模型在数学推理任务中的性能和稳定性。
SMOPD是一种仅使用损失的稳定方法，用于多轮在策略自蒸馏，通过选择性令牌熵掩蔽来提高脏历史设置下的准确性，并展示了在Qwen3模型上的改进。
This paper proposes an adaptive supervised anchoring framework for on-policy self-distillation, addressing the problem of rollout-conditioned signal degradation in language model training. The method separates rollout-conditioned distribution matching from canonical-context supervision, improving task acquisition while preserving general capabilities.
本文研究了同策略Delta蒸馏（OPD^2）在英语、韩语和日语中的多语言数学推理，显示其相对于标准OPD的一致改进，并缩小了语言差距。
本文介绍了OPTD，一种用于少步扩散语言模型的、具有一致性引导自适应压缩的在策略转移蒸馏方法，在四个推理和代码生成基准上改善了质量-效率权衡。
Poly-OPD 是一个框架，用于将异构文生图流模型的互补优势蒸馏到一个紧凑的流匹配学生模型中，通过像素桥和梯度兼容适配器实现。它在提升 GenEval 和 DrawBench 得分的同时，整合了多个教师模型的能力。
Any-OPD 提出了首个在任意潜在流匹配生成器之间进行同策略蒸馏的框架，通过冻结的视觉表示进行桥接，实现了从 12B FLUX 模型到 2.5B SD3.5 模型的蒸馏。它将学生的 PickScore 从 0.846 提升到 0.884，在仅为教师模型五分之一规模的情况下与之媲美。
介绍了视觉归因蒸馏（VAD），这是一种用于多模态在线策略蒸馏的反事实目标重建方法，可估计教师纠正中可归因于视觉的部分。在4B和9B规模下的细粒度视觉基准测试中，该方法优于现有方法。
提出NOPD，一种自蒸馏方法，通过利用干净输入和损坏输入之间的预测差异，在没有外部监督的情况下改进视觉语言模型。在视觉推理任务上取得了显著提升，匹配或超过了强化学习和来自外部模型的蒸馏。
介绍字节前缀边缘化（BPM）用于跨分词器同策略蒸馏，在共享字节空间上重新表达教师分词在学生词汇表上的分布，在数学和编程基准测试中优于基线方法。
本文识别了无分类器引导蒸馏中的一种失败模式，称为负分支不对称性（Negative Branch Asymmetry），其中正负CFG分支中的错误相互抵消，并提出了正方向匹配（Positive-Direction Matching）来分别监督分支，以获得更鲁棒的蒸馏模型。
VCSD通过使用内容擦除的对照图像产生对比信号，消除了在策略自蒸馏中对外部教师、特权答案或视觉证据的需求，在视觉语言基准测试中持续优于现有方法。
一篇论文提出了基于轨迹的在策略蒸馏（TOPD），一种教师监督框架，用于将推理能力迁移到掩码扩散语言模型，无需奖励估计，在显著的计算加速下实现了与经过RL训练的模型相当的准确率。