标签
Meta 的 DecisionRank 论文提出了项目空间中的同策略蒸馏方法，将生成式大语言模型教师的排序知识迁移到单令牌决策模型重排序器中，在 TREC DL、BEIR 和 BRIGHT 上取得了最先进的结果，同时运行速度最高可达对应生成式模型的 24.5 倍，并以仅 17 亿参数超越了其 270 亿参数的教师模型。
Gemma-4-31B-Humanlike-Chat 是基于 Google Gemma 4 31B 的微调模型，通过监督微调（SFT）与同策略蒸馏训练，实现了无需提示的自然人类化文本风格，同时在 When2Call、BFCL 等工具调用基准上超越原版，且知识能力与基座模型持平。
DecisionRank 使用条目空间的同策略蒸馏，将生成式教师模型的排序知识迁移到高效决策模型，在 TREC DL、BEIR、BRIGHT 等检索基准上达到最先进性能，同时显著提升推理速度（最高可达 24.5 倍），仅用 17 亿参数即可超越 270 亿参数的生成式教师模型。
Youtu-Parsing-Omni 是一个统一的多模态解析器，用单一编码器和 OmniSchema 将文档、图像、音频与视频编码为时空结构化记录，并通过自蒸馏后训练（OSAD）在 OmniDocBench v1.6 等基准上取得最先进成绩，5B 检查点已开源。
论文提出了 Ask-to-Distill（A2D）框架，通过强化学习训练一个以学生模型初始化的合成器，生成能够激发教师密集监督信号的合成问题，从而实现无需参考答案的 on-policy 蒸馏。该方法在数学、代码和智能体任务上，相比未优化的提示词和真实问题库，均提升了性能并更有效地缩小了与教师模型的差距。
本文提出 CA-MOPD，通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度，在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。
Ask-to-Distill 提出了一种优化合成问题的框架，通过将教师与学生之间的分布差异作为代理信号，在无需参考答案的情况下提升同策略蒸馏的效果，在数学推理、代码生成和智能体任务上优于未优化的问题集和真实问题库。
一项受控研究比较了视觉语言模型中的在线策略蒸馏（OPD）与过滤式监督微调（SFT），发现OPD仅在教师模型于学生生成轨迹上保持可靠时才有效，并且会继承教师的失败模式（如不完整回答），甚至可能抹去SFT阶段学到的完成行为。
Google 与高校合作提出 DTDD（分歧触发式动态蒸馏），通过学生模型与教师模型之间的分歧触发教师模型接管，为长程推理、从基础模型初始化及多轮智能体场景提供更可靠的同策略监督，显著降低梯度范数并加速收敛。
这篇论文从知识蒸馏视角重新审视同策略蒸馏（OPD），通过受控的词元翻转实验测量教师在学生生成轨迹上的优势来源，发现基于概率质量和KL散度的选择性干预比随机翻转高出15—18个百分点，主张在保持分布稳定性的同时学习更有价值的教师纠正。
该论文从蒸馏目标本身推导词元重要性（基于局部 KL 预算下的损失可降低幅度，即由逻辑值梯度与费舍尔矩阵构成的效用分数），并将其具体实现为费舍尔效用加权（FUW），在七个数学推理基准和三组 Qwen3 师生模型上，相较于均匀 OPD，宏平均得分提升了 1.08–4.0 个百分点。
该论文提出 SCOPED（技能解耦的同策略专家蒸馏），通过训练能力专属专家并以奖励引导反思提取技能，在在线蒸馏中将程序性知识内化到统一的视觉-语言模型中，从而避免跨能力梯度干扰，并在八个多模态基准上超越骨干模型和混合能力强化学习。
MMSearch-OPD 提出了一种结合可控数据精炼与联合强化学习和在线策略蒸馏的方法，以提升长时程多模态搜索智能体的能力，通过将简单问题扩展为困难且可学习的训练样本取得显著改进。
Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。
SERO 提出通过在真实策略状态上训练可执行的预言机续段（并按策略可达性加权）来改进长程智能体强化学习，且推理时无需额外开销；在 ALFWorld 与 WebShop 上验证了其有效性。
ActionOPD提出一种动作级而非token级的on-policy蒸馏方法，通过语义动作对齐将大型工具使用agent蒸馏到Qwen3-4B/8B等小模型，在四个OOD基准上平均提升3.3-6.9个百分点，且无需教师模型的token概率或相同分词器。
提出 CriticOPD，通过让教师模型利用参考答案批判学生错误的生成轨迹，并让学生据此重写后续内容，从而恢复可靠的同策略蒸馏监督信号，在六个数学推理基准上相比 OPD 平均提升超过 4 个百分点。
本文提出 Residual Advantage（RA）与 Co-RA，将师生概率之间的残差作为有界的单步奖励并进行居中处理，用于 RLVR 后训练阶段；在数学推理基准上，其性能一致优于 GRPO、REINFORCE++ 以及仅使用教师蒸馏的方法。
ReCal 是一种即插即用的校准方法，在结构化剪枝前通过教师-剪枝探针间的前向 KL 识别受损预测并重加权校准统计，从而提升剪枝模型在在线策略蒸馏（OPD）后的恢复效果，在 AIME 上最高提升 16.7 个百分点。
提出STI-OPD框架，通过基于教师-学生策略差异的随机教师干预和重要性加权反向KL目标，解决多轮agent任务中on-policy蒸馏的轨迹漂移问题，在工具推理与长程交互基准上超越先前最强OPD基线。