on-policy-distillation

本文研究了大型语言模型中 On-Policy 蒸馏（OPD）效率背后的参数级机制，将其归因于模块分配和更新方向上的早期“预见性”。本文提出了 EffOPD，一种即插即用方法，可在不损害最终性能的情况下将 OPD 训练速度提高 3 倍。

本文对大语言模型的在线策略蒸馏进行了全面的实证研究，识别了分布不匹配和优化不稳定等故障机制，并提出了诸如停止梯度目标和针对 RLVR 改进的教师模型等解决方案。

本文介绍了一种无需训练的框架，用于分析推理模型在逐token级别上的蒸馏信号。研究揭示，蒸馏引导在错误推理路径上更为有效，且其效果取决于学生模型的能力及任务上下文。

本文从分布视角分析语言模型的后训练方法，对比 SFT、RL 和 On-Policy Distillation 如何重塑模型分布，及其对灾难性遗忘等现象的影响。

介绍 AwesomeOPD，一个专门收集 LLM、VLM 和 Agent 在训练中使用的 On-Policy Distillation (OPD) 和 Self-Distillation 相关开源代码与论文的精选列表。该列表按教师来源、监督信号、rollout 用法和训练阶段对资源进行了详细分类和标注。

本文识别了在策略蒸馏中结合奖励外推的一个安全阈值，超过该阈值后，结构化输出任务会丢失格式保持能力。实证验证表明，在该阈值以下运行，1.7B学生模型能够在Amazon Fashion任务上以五分之一的参数量匹配8B SFT基线。

Flow-OPD 是一篇研究论文，介绍了一种用于流匹配文生图模型的两阶段对策蒸馏框架。基于 Stable Diffusion 3.5 Medium，该框架显著提升了生成质量和对齐指标。

本文介绍了 PRISM，一种在监督微调（SFT）和强化学习（RL）之间插入分布对齐阶段的方法，旨在缓解多模态模型中的分布漂移问题。该方法利用基于混合专家（MoE）判别器的黑盒对抗博弈，提升了如 Qwen3-VL 等模型的 RLVR 性能。

本文发现语言模型中的策略蒸馏（OPD）因训练与部署信息不匹配导致严重过度自信，提出校准感知框架 CaOPD，在提升性能的同时显著增强置信度可靠性。