标签
AnoMix 提出一种多教师排序蒸馏方法（CoRank），将多个异构无监督时间序列异常检测器蒸馏为单一轻量学生模型（<80k 参数），在七个基准数据集上优于单个检测器和静态分数集成，其零样本变体还能在未见数据集上超越大型时间序列基础模型。
本文提出 CA-MOPD，通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度，在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。
论文提出了 Latent-MOPD，这是首个面向大语言模型的表示层面多教师同策略蒸馏方法，无需额外的教师训练，即可同时通过输出分布和隐藏状态整合多个专业教师模型；在涵盖数学、代码和逻辑推理的九个基准测试中，其表现优于仅基于 token、仅基于表示以及平均融合等基线方法。
本文通过分析教师信号如何转化为参数变化，研究了多教师在线策略蒸馏（MOPD）。研究将多个 RL 训练的教师整合到 Qwen3-1.7B 和 SmolLM3-3B 学生模型中，发现：损失平均会隐式地按响应长度加权；Adam 的一阶矩在很大程度上消除了教师梯度之间的差异（余弦相似度为 0.83）；BF16 的舍入会掩盖大部分权重更新；而基于 top-64 交集的 KL 梯度在特定的平均规则下可以匹敌全词表梯度。
PMOPD 提出一种几何感知的多教师在线策略蒸馏方法，通过构建任务子空间记忆并对梯度和优化器更新做投影来缓解能力跷跷板效应，并加入冲突探测与任务循环策略，在 Code/Reason/Math 任务上于 Qwen2.5-7B 和 Llama-3.1-8B 上分别平均提升 2.54 和 2.09 分。
Poly-OPD 是一个框架，用于将异构文生图流模型的互补优势蒸馏到一个紧凑的流匹配学生模型中，通过像素桥和梯度兼容适配器实现。它在提升 GenEval 和 DrawBench 得分的同时，整合了多个教师模型的能力。
本文介绍了AMRD，一种自适应多教师关系蒸馏方法，用于将大型自监督语音情感识别模型压缩为面向边缘设备的轻量级学生模型。它解决了教师可靠性变化和关系结构丢失的问题，在IEMOCAP和CREMA-D数据集上展示了改进。
本文诊断并提出SoftClamp校准方法，可减少智能语言模型在多教师策略蒸馏中的工具调用边界漂移，在保持准确率的同时降低过度调用。
本文介绍了一种先竞争后协作的框架，多个前沿AI教师（Claude、Codex-GPT、Grok、Gemini）通过执行测试排名，然后协作构建可验证课程。研究发现，对教师解决方案进行模仿（SFT）会降低有能力的编程学生的表现，而使用相同课程进行带可验证奖励的强化学习（RLVR）则能提升表现，尤其是在竞赛问题上。
一篇关于2026年前沿AI模型如何利用蒸馏技术的文章，涵盖离策略、在策略和自蒸馏阶段，并以Gemma、DeepSeek、GLM、Nemotron和Qwen3为例。
CoRD是一个协作多教师解码框架，通过预测困惑度评分和束搜索合成推理轨迹，实现了大型推理模型的高效蒸馏，具有高质量输出和泛化性能。