标签
UniEvo-VL 提出了一种面向多模态模型的在线自蒸馏训练方案：让同一模型同时充当教师与学生（教师以模型自身生成的批注信息为条件），以提升其图像生成能力，在 GenEval 上的得分从 0.747 提升至 0.808。
论文提出“数学原语（Mathematical Primitive）”的概念以探测大语言模型的结构性数学理解，提出一个沿发现（Discovery）、生成（Generation）、消化（Digestion）与执行（Execution）四个维度评估推理能力的基准，并提出一种原语优先的自蒸馏框架，在不同模型规模上均提升了数学推理能力。
Where-OPD 提出了一种面向多模态大语言模型（MLLMs）的空间引导在线策略自蒸馏方法：利用拥有特权空间文本指导的教师模型，在程序化生成的合成场景上对学生模型进行蒸馏，通过合成到真实的迁移，在真实世界感知基准上平均取得 3.23 分的性能提升。
ReSAIL 提出一种即插即用的增强方法，通过轨迹平衡选择性蒸馏与特权信息保留，缓解智能体迭代自蒸馏中的性能坍缩问题；在 ALFWorld 和 TextCraft 上使用 Qwen3-4B/8B 模型，三个部署周期后平均成功率比 SDPO/OEL 基线提升 22.5 个百分点。
OmniReasoning 提出了 OmniReasoningBench 基准、数据引擎（OmniQA）用于生成 SFT 与 RL 训练集，以及一种模态分解自蒸馏方法（MFSD），最终训练出的 30B-A3B 模型在视听联合推理基准上以两位数的领先幅度超越了 Qwen3-Omni-30B-A3B-Thinking。
本文提出邻域在线自蒸馏（N-OPSD），通过对特权教师的局部参数扰动来汇聚互补的、与参考解对齐的修正信号，并将其路由到学生实际访问过的状态，从而在 Qwen3 1.7B/4B/8B 模型上提升了数学推理基准（AIME 2024/2025、HMMT Feb 2025）的表现。
UniEvo-VL 提出了一种在线自蒸馏训练方案：同一个多模态模型既作为教师（以其自身享有的特权自评信息为条件），又作为学生，在 GenEval 上将 Qwen-Image-2512 的图像生成能力从 0.747 提升到 0.808，且无需任何外部监督。
提出特权表示在策略自蒸馏（PR-OPD），通过让策略为轨迹生成事后技能并以自身作为停止梯度教师对齐各层隐藏状态，在 ALFWorld 与 WebShop 上显著优于 GRPO，最高提升 4.7 和 14.0 个百分点。
本文分析了用于 LLM 推理的同策略自蒸馏（OPSD），指出未经验证的学生生成骨架会带来模仿鸿沟，且该鸿沟随模型规模增大而加剧，因此提出了 OASIS 方法：利用模型生成的尝试作为教师上下文，主要对经过答案标签验证的同策略轨迹进行监督，使 Qwen3 1.7B/4B/8B 模型在 AIME/HMMT 基准上提升 3.2-3.8 个点。
AdviSD 提出一种方法：由一个小型可训练的顾问模型，通过定向多轮自蒸馏来引导冻结的前沿 LLM 执行器，将基于结果的强化学习与以反馈为条件的自蒸馏相结合，后者有选择性地利用纠正信息。在 Qwen3-8B 顾问引导 Gemini 和 Claude 的实验中，BFCL-v3 和 EnvScaler 上取得了 4-6 分的提升，并表现出良好的跨域泛化能力。
LIFT 是一个统一的图像到视频生成框架，它引入了布局控制未来机制来指定未来场景的内容和布局，从而在大视角变化下提升质量和可控性。
TISD 介绍了一种基于轨迹干预的同策略自蒸馏方法，通过允许教师指导的分支来提高大型语言模型在编码和科学任务中的性能。
本文提出解耦信用自蒸馏（DCSD），将信用方向和幅度分离用于自蒸馏，在11个基准测试中，数学推理提升8.45分，多模态推理提升7.01分。
SCOPD引入了一个稀疏上下文在策略自蒸馏框架，通过改进对剪枝后视觉token的利用来提升视觉语言模型的效率，在无额外推理成本的情况下实现了更高的性能保留。
本文提出MT-OPSD，一个非策略自蒸馏框架，以解决多轮图像编辑中的退化问题，并引入LME-Bench用于评估长期鲁棒性。
X-Tree 直接从智能体轨迹中恢复可复用的技能层次结构（无需调用 LLM），并将其集成到离线强化学习、在线 RLVR 以及 on-policy 自蒸馏中，在数据和预算相同的条件下，于 WebArena、ScienceWorld 和 WebShop 上的成功率相较标准训练方案最高提升 5.8%。
本文提出了LT-OPD，一个用于多模态大语言模型中极端视觉令牌缩减的策略内自蒸馏框架，在低令牌预算下显著提升性能，同时减少KV缓存使用和FLOPs。
该论文提出了一种名为特权自实践（PSP）的方法，通过在多轮LLM代理的提示中注入特权信息，相比现有的蒸馏技术，提升了在AppWorld和SWE-bench基准测试中的任务完成率。
本文介绍了GUI-SD-v2，一个用于多轮GUI代理的两阶段在策略自蒸馏框架，该框架增强了特权跟随和指导能力，在AndroidWorld和MobileWorld基准测试中表现出色。
本文研究在线自蒸馏中的特权上下文设计，表明中间抽象层次可以比完整解决方案更好地提升模型性能，同时使用更少的提示标记。