PMOPD:多教师在线策略蒸馏中的任务排序、循环与参数更新子空间保护

Hugging Face Daily Papers 论文

摘要

PMOPD 提出一种几何感知的多教师在线策略蒸馏方法,通过构建任务子空间记忆并对梯度和优化器更新做投影来缓解能力跷跷板效应,并加入冲突探测与任务循环策略,在 Code/Reason/Math 任务上于 Qwen2.5-7B 和 Llama-3.1-8B 上分别平均提升 2.54 和 2.09 分。

多教师在线策略蒸馏(Multi-teacher On-Policy Distillation, MOPD)已成为在前沿语言模型中整合专精能力的一种主流后训练范式。现有的 OPD 研究主要聚焦于通过目标函数设计、蒸馏范围以及教师信号构建来优化单任务蒸馏,而 MOPD 则需要在共享参数中聚合多种能力,并应对随之而来的能力跷跷板效应——即提升某一领域的能力会抑制从其他领域获得的能力。受 OPD 独特的更新几何特性的启发,我们发现 MOPD 过程中不同任务的参数更新会迅速集中于各自的低维子空间,这为识别和抑制跨任务干扰提供了直接的几何依据。为此,我们提出 PMOPD(Projection-based Multi-Teacher On-Policy Distillation,基于投影的多教师在线策略蒸馏),它利用不同任务的累积参数位移构建子空间记忆,并对梯度和优化器更新进行投影,以移除会干扰受保护任务方向的分量。我们还设计了一种轻量级冲突探测机制来刻画任务间的相互作用并指导任务排序,同时引入循环策略以平衡子空间估计与任务的及时回访。在具有代表性的 Code、Reason 和 Math 任务上的实验表明,PMOPD 在所有被评测的能力上均优于 MOPD,在 Qwen2.5-7B 上将三项任务的平均分提升 2.54 分,在 Llama-3.1-8B 上提升 2.09 分。这些一致的提升证明,几何感知优化是实现均衡多教师蒸馏的一种有效且可迁移的方法。
查看原文
查看缓存全文

缓存时间: 2026/09/30 16:17

论文页面 - PMOPD:多教师在线策略蒸馏中的任务排序、循环与参数更新子空间保护

来源:https://huggingface.co/papers/2609.34605

摘要

多教师在线策略蒸馏(Multi-teacher On-Policy Distillation, MOPD)已成为前沿语言模型中融合专门能力的一种流行的后训练范式。现有的 OPD 研究主要聚焦于通过目标设计、蒸馏范围和教师信号构建来优化单任务蒸馏,而 MOPD 则需要在共享参数中聚合多种能力,并应对由此产生的“能力跷跷板“问题——即提升某一领域的性能会抑制在其他领域习得的能力。受 OPD 独特的更新几何特性的启发,我们发现,在 MOPD 过程中,来自不同任务的参数更新会迅速集中于各自的低维子空间,这为识别和控制跨任务干扰提供了直接的几何依据。因此,我们提出了 PMOPD(Projection-based Multi-Teacher On-Policy Distillation,基于投影的多教师在线策略蒸馏),它利用不同任务的累计参数位移构建子空间记忆,并对梯度和优化器更新同时进行投影,以去除干扰受保护任务方向的成分。我们进一步开发了一种轻量级冲突探针,用于刻画任务间的相互作用并指导任务排序,同时提出了一种循环策略,以平衡子空间估计与及时的任务重访。在具有代表性的 Code、Reason 和 Math 任务上的实验表明,PMOPD 在所有评估的能力上均优于 MOPD,三个任务的平均分在 Qwen2.5-7B 上提升了 2.54 分,在 Llama-3.1-8B 上提升了 2.09 分。这些一致的增益证明了几何感知优化是实现均衡多教师蒸馏的一种有效且可迁移的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2609.34605) 查看 PDF (https://arxiv.org/pdf/2609.34605) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.34605)

在 agent 中获取此论文:

hf papers read 2609.34605

尚未安装最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.34605 即可从本页面链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接。

相似文章

超越策略差异:能力感知的多教师在线蒸馏

arXiv cs.LG

本文提出 CA-MOPD,通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度,在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。

超越领域路由监督:面向多教师在线蒸馏的跨教师守卫

Hugging Face Daily Papers

提出 RoadMOPD(跨教师守卫),通过引入非路由教师作为跨域批评者,在 token 级信用分配与预防性梯度投影层面协调多教师监督,缓解多教师在线蒸馏中的梯度冲突与能力退化,在高冲突场景下提升超过 5 个百分点。