标签
该论文提出了 Muon-RT，这是 Muon 优化器的一种无动量变体，它复用大语言模型自蒸馏中 EMA 教师模型与学生模型之间的权重位移，无需单独的动量缓冲区，同时在 Qwen2.5-7B 和 Olmo-3-7B 上提高了准确率，并减少了训练期间的持久内存占用。
SCOPE 提出了一种选择性关键步骤的在线自蒸馏框架，通过错误定位与技能生成，在强化学习训练中提供细粒度监督，在 ALFWorld 和 WebShop 上的表现显著优于 GRPO 与 SEED。
本文提出教师演化自蒸馏（TESD），通过以奖励引导的目标持续优化自教师模型，并自适应地降低教师指导不可靠样本的权重，从而改进在策略自蒸馏，在多个数据集和模型规模上均稳定优于 token 级和序列级基线方法。
论文提出 WISD（弱化诱导的同策略自蒸馏），通过将大型推理模型与其量化弱化版本进行对比来生成训练信号，在无需特权数据的情况下实现自蒸馏，在数学与代码推理基准上平均提升 4.0–5.5 个百分点，并达到最先进性能。
Soft-MTP 提出一种 KL 梯度恢复技巧，去除多token预测训练中的噪声残差梯度，在无额外开销下改进困惑度、投机解码与推理能力。
一个开箱即用的代码仓库，通过 EMA 教师模型实现自蒸馏，将 LoRA 适配器与 DeepSpeed ZeRO-3 相结合，可扩展至大型模型，同时避免分别保留完整教师模型和学生模型所带来的内存与延迟开销。已在 Qwen3.5 和 ToolAlpaca 上完成测试，包含适配器切换、EMA 检查点保存以及内存优化的 DeepSpeed 配置。
SWE-Ladder 提出渐进式特权自蒸馏方法，将每个训练实例的验证修复转化为定位、复现、补丁三个阶段的专属证据，用于训练 SWE 智能体。在 SWE-bench Verified 上，Qwen3-4B 结合 R2E-Gym 框架的 pass@1 从 9.6% 提升至 16.4%，优于 GRPO 和 OPSD 基线。
ReMedI 采用基于 Metropolis–Hastings 的推理时搜索策略，让冻结的化学语言模型在多目标药物先导化合物优化中提出并筛选分子编辑，再将搜索轨迹自蒸馏回基础模型，在 C-MuMOInstruct 和 SMDD 基准上以约 7.8× 更少的训练数据达到约 2.8× 于 RL 基线 C-MORAL 的严格成功率。
谷歌研究人员提出了一种无需数据的同策略自蒸馏框架，让大语言模型根据粗略的主题描述，自行合成由查询和特权推理轨迹组成的训练课程，从而在无需外部监督的情况下，在文本和多模态基准测试中实现自我提升。
该论文提出了 DIAL-S2ST，一种后训练方法，通过对前瞻预测进行自蒸馏并联合训练 LoRA 适配器，使同声语音到语音翻译模型学会在推理时控制延迟。该方法仅使用 10 小时的源语言语音，便在基于 Hibiki 的法语到英语翻译中展示了灵活的延迟控制能力。
该论文提出 Fin-SD（hindsight self-distillation），一种无需外部教师模型的本地化自蒸馏方法，用于提升小型开放权重模型的多步金融推理能力；实验发现增益主要来自监督位置而非提示内容，且与基于完整参考解答的自蒸馏精度相当但少生成 9.5% token。
AMBIT是一个统一框架，通过将自回归场景规划与整流流（rectified-flow）渲染相耦合，实现一阶Ambisonics（FOA）空间音频的生成与编辑，并利用FOA感知的连续VAE与on-policy自蒸馏来保持空间结构和声学保真度。
AtomSD 提出了一种原子引导的自蒸馏框架，让 LLM 智能体从自身成功轨迹中提取细粒度的"过程原子"（Intent、When、Do、Avoid），并将其蒸馏进不断演化的策略中。实验表明，其平均性能比最先进的基线最高高出 9.31 分。
Meta AI 提出 Retrospective Self-Distillation (RSD)，一个利用特权回顾性上下文让模型对自身动作重新打分并回灌策略的多轮自进化框架，在 ALFWorld、ScienceWorld 和 SearchQA 上相对基线提升最高 59.7%。
ALPS 是一种面向世界模型的预训练 ViT-B/16 视觉状态编码器，将物理状态预测、语言对齐和像素重建统一于单一的图像块词元表示中，其状态探针性能可媲美规模大 3.5 倍的 V-JEPA 2-L，并且在搭配其原生文本塔时，在 LIBERO 上实现了 85.5% 的平均策略成功率。
该论文系统研究了在线自蒸馏（OPSD）中特权信息（PI）的有效性预测，评估了16种PI配置，并提出基于KL散度的指标来在训练前筛选PI，结果显示其能更好预测后训练性能并与GRPO结合取得更强效果。
苏黎世联邦理工学院（ETH Zurich）的研究人员发现，使用良性提示让安全模型在自身生成内容上进行递归自蒸馏，可能导致“渐进性失准”（Progressive Misalignment），使模型在面对有害查询时安全性逐级下降，该现象在 Qwen3 和 Phi-4 模型系列中均有出现。
TreeOPSD 提出了一种无批评者的树感知后验自蒸馏框架，用于长时程智能体强化学习。该方法将终局奖励递归回传为隐式回合级信用，并生成有界的封闭式教师分布，在多个竞争性基准上显著优于 GRPO。
该论文提出 Forget-Aware Self-Distillation (FASD) 方法，将多模态大模型遗忘解耦为行为通道与知识通道，以实现「诚实无知」——既真正擦除目标知识，又让模型能承认自身知识边界，避免幻觉与信息泄露。
YerevaNN 的研究人员表明，在图像自蒸馏中，样本重复的效果取决于数据集，并可能违背标准缩放定律的假设——在相同计算量下，Maxar 中随机抽取的 1.5% 子集甚至优于完整的 5000 万张图像池——并提出了一种修正的 Chinchilla 式缩放定律，将独立样本数量和重复次数纳入考量。