论文页面 - Open-MOPD：诊断与修复多教师在策略蒸馏中的能力失衡问题

来源：https://huggingface.co/papers/2608.19098

摘要

多教师在策略蒸馏存在跨领域令牌级预算分配不均的问题，本文通过平衡机制、动态分配与奖励刷新方法解决了这一问题，恢复了大部分预言机集成模型的能力。

多教师在策略蒸馏（https://huggingface.co/papers?q=Multi-teacher%20on-policy%20distillation）（M-OPD）已成为一个极具前景的范式，它通过密集的令牌级奖励监督（https://huggingface.co/papers?q=token-level%20reward%20supervision），将领域专家强化学习（https://huggingface.co/papers?q=reinforcement%20learning）（RL）模型整合为一个通用学生模型。尽管其实际效果显著，但支配多教师能力整合（https://huggingface.co/papers?q=capability%20integration）的优化动态仍鲜为人知，且明显缺乏开放、可严格复现的技术方案。本研究在 SmolLM3-3B-Base 模型上建立了一个受控的 M-OPD 基准测试，并使用预言机路由，将能力整合（https://huggingface.co/papers?q=capability%20integration）与路由歧义隔离开来。我们的研究发现了一个显著的能力整合差距：标准 M-OPD 仅能捕获相对于领域路由预言机集成 35.6% 的可用提升空间，尤其在简洁任务（如指令遵循）上表现出严重的性能下降和过早停滞。关键在于，我们证明这种失败并非源于梯度冲突（https://huggingface.co/papers?q=gradient%20conflict），而是由于令牌级优化预算的严重错配所致。这种病理现象由三个正交因素驱动：跨领域的结构性序列长度差异、非均匀学习率导致的动态收敛漂移，以及异步策略更新引起的多步奖励过时问题。为解决这些失衡问题，我们引入了 Open-MOPD，一个基于原则的框架，它整合了令牌份额平衡（https://huggingface.co/papers?q=token-share%20balancing）、基于差距感知的动态预算分配（https://huggingface.co/papers?q=gap-aware%20dynamic%20budget%20allocation）和学生奖励刷新（https://huggingface.co/papers?q=student%20reward%20refresh）机制。这些机制协同工作，系统地恢复了跨领域平衡，将单个可部署学生模型的提升空间恢复率从 35.6% 提高到了 83.4%。我们在学术可及的硬件预算内，完全开源了端到端的后训练方案、训练轨迹和评估套件。

查看 arXiv 页面 (https://arxiv.org/abs/2608.19098) 查看 PDF (https://arxiv.org/pdf/2608.19098) 项目主页 (https://bytedtsinghua-sia.github.io/Open-MOPD/) GitHub43 (https://github.com/BytedTsinghua-SIA/Open-MOPD) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.19098)

在代理中获取此论文：

hf papers read 2608\.19098

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.19098 以从此页面链接。

引用此论文的数据集0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.19098 以从此页面链接。

引用此论文的 Space0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.19098 以从此页面链接。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 以从此页面链接。