论文页面 - 超越教师分配：领域归一化多教师在策略蒸馏

来源：https://huggingface.co/papers/2609.35347

摘要

强化学习可以将一个语言模型转化为多个专家模型，每个模型擅长单一技能，如数学、编程或遵循指令，但用户需要的是一个具备所有这些技能的模型。多教师在策略蒸馏（MOPD）通过让专家教导一个共享学生模型来实现融合：学生对每个提示进行回答，而该提示所属领域的专家对每个词元给出反馈。这种路由机制决定了由哪个专家进行教学，但并未决定其反馈对共享学生模型的影响力强度。我们在三个规模的 Qwen3.5 模型上发现，MOPD 训练的学生模型并未超过由最佳单一专家模型教导的学生模型，且几乎未能获得数学专家模型的优势。反馈存在不平衡：指令遵循反馈的分散程度是数学反馈的数倍，并主导了学生的更新过程。我们提出了领域归一化 MOPD（DN-MOPD），该方法保留了路由机制，并根据每个领域测量的反馈分散度重新缩放其反馈。在六个公开基准测试上，DN-MOPD 在所有规模上、跨三个随机种子以及两种答案长度限制下，均提升了平均分数并恢复了大部分损失的数学性能。使用固定领域权重的对照实验表明，收益主要来自降低指令遵循反馈的权重，而非仅提升数学反馈的权重；且接近 DN-MOPD 所测得权重的固定权重能取得相当的效果。因此，结合专家模型不仅需要决定由哪个专家教学，还需要确定其反馈的权重。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35347)查看 PDF (https://arxiv.org/pdf/2609.35347)项目主页 (https://lixin.ai/DN-MOPD/)GitHub5 (https://github.com/LiXin97/DN-MOPD)添加至收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.35347)

在你的智能体中获取此论文：

hf papers read 2609\.35347

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.35347 以从本页面链接。

引用此论文的数据集1

XINLI1997/DN-MOPD-Data 浏览器• 约 2 小时前更新 • 26.7k (https://huggingface.co/datasets/XINLI1997/DN-MOPD-Data)

引用此论文的 Space0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.35347 以从本页面链接。

包含此论文的收藏集1