PMOPD:多教师在线策略蒸馏中的任务排序、循环与参数更新子空间保护
摘要
PMOPD 提出一种几何感知的多教师在线策略蒸馏方法,通过构建任务子空间记忆并对梯度和优化器更新做投影来缓解能力跷跷板效应,并加入冲突探测与任务循环策略,在 Code/Reason/Math 任务上于 Qwen2.5-7B 和 Llama-3.1-8B 上分别平均提升 2.54 和 2.09 分。
查看缓存全文
缓存时间: 2026/09/30 16:17
论文页面 - PMOPD:多教师在线策略蒸馏中的任务排序、循环与参数更新子空间保护
来源:https://huggingface.co/papers/2609.34605
摘要
多教师在线策略蒸馏(Multi-teacher On-Policy Distillation, MOPD)已成为前沿语言模型中融合专门能力的一种流行的后训练范式。现有的 OPD 研究主要聚焦于通过目标设计、蒸馏范围和教师信号构建来优化单任务蒸馏,而 MOPD 则需要在共享参数中聚合多种能力,并应对由此产生的“能力跷跷板“问题——即提升某一领域的性能会抑制在其他领域习得的能力。受 OPD 独特的更新几何特性的启发,我们发现,在 MOPD 过程中,来自不同任务的参数更新会迅速集中于各自的低维子空间,这为识别和控制跨任务干扰提供了直接的几何依据。因此,我们提出了 PMOPD(Projection-based Multi-Teacher On-Policy Distillation,基于投影的多教师在线策略蒸馏),它利用不同任务的累计参数位移构建子空间记忆,并对梯度和优化器更新同时进行投影,以去除干扰受保护任务方向的成分。我们进一步开发了一种轻量级冲突探针,用于刻画任务间的相互作用并指导任务排序,同时提出了一种循环策略,以平衡子空间估计与及时的任务重访。在具有代表性的 Code、Reason 和 Math 任务上的实验表明,PMOPD 在所有评估的能力上均优于 MOPD,三个任务的平均分在 Qwen2.5-7B 上提升了 2.54 分,在 Llama-3.1-8B 上提升了 2.09 分。这些一致的增益证明了几何感知优化是实现均衡多教师蒸馏的一种有效且可迁移的方法。
查看 arXiv 页面 (https://arxiv.org/abs/2609.34605) 查看 PDF (https://arxiv.org/pdf/2609.34605) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.34605)
在 agent 中获取此论文:
hf papers read 2609.34605
尚未安装最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。
引用此论文的数据集 0
暂无数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。
引用此论文的 Spaces 0
暂无 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。
包含此论文的合集 0
暂无合集包含此论文
将此论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接。
相似文章
DuoOPD:基于教师-学生联合结果的多任务在线策略蒸馏学习
DuoOPD 论文提出一种新的多任务在线策略蒸馏方法,利用教师-学生的联合结果来决定反馈方向与教师支持方式,在 Qwen3 和 Llama 上相比标准 OPD 平均宏准确率提升 2.58 和 5.98 个百分点。
组合各教师所学:通过教师相对偏移实现多教师在线策略蒸馏
论文提出Δ-MOPD,通过转移每个教师的「教师减基础模型」logit偏移(而非端点策略)来改进多教师在线策略蒸馏,在组合与路由两种场景下均取得更好效果并缩小训练顺序差距。
超越策略差异:能力感知的多教师在线蒸馏
本文提出 CA-MOPD,通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度,在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。
Waypoint-OPD:通过门控同策略蒸馏迁移强化学习诱导的策略偏移
Waypoint-OPD 提出一种门控在线策略蒸馏方法,通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移,从而在数学与代码推理任务上提升学生模型的蒸馏效果,且仅需额外一次冻结教师评分。
超越领域路由监督:面向多教师在线蒸馏的跨教师守卫
提出 RoadMOPD(跨教师守卫),通过引入非路由教师作为跨域批评者,在 token 级信用分配与预防性梯度投影层面协调多教师监督,缓解多教师在线蒸馏中的梯度冲突与能力退化,在高冲突场景下提升超过 5 个百分点。