论文页面 - 组合每位教师所学：通过教师相对偏移实现多教师在策略蒸馏

来源：https://huggingface.co/papers/2610.10460

摘要

多教师在策略蒸馏（Multi-teacher on-policy distillation, MOPD）通常应用于两种场景。在同域组合中，多个教师对来自同一提示域的学生轨迹进行打分，其信号被合并为单一目标；在路由域蒸馏中，来自不同域的提示被分配给相应的专家教师。两种场景通常迁移的是每个教师的终点策略，这会将后训练阶段的改变与教师基座模型所继承的偏好混在一起。我们提出 Δ-MOPD，该方法迁移每个教师的“教师减基座“的 logit 偏移量，并将其重新锚定在学生的冻结初始化上，随后在教师选择保持固定的条件下，将该方法与两种场景下的终点监督进行比较。我们首先揭示了阻碍终点迁移的机制：从基座继承的偏好拉力可能超过后训练阶段的偏移量。去除该拉力可降低教师项范数比率以及目标与学生之间的 KL 散度。在我们的实验中，结果表明偏移量目标在教师信号被合并到同一状态时尤为有效。当组合三个教师时，Δ-MOPD 在数学基准上比终点组合高出 4.11 分，在五个综合基准上高出 1.95 分；组合两个教师时，其准确率与终点方法相当。在分阶段路由下，Δ-MOPD 在两种阶段顺序中均取得更高的平均性能，并将观察到的顺序差异从 10.50 分缩小到 6.42 分。在交错路由下（每次更新仅涉及一个教师），两种目标的表现相当。分阶段实验的结果提供了支持性证据，表明该收益可能同样适用于跨训练阶段累积的信号。因此，目标构建是 MOPD 中一个独立的设计维度，与教师选择互补。

查看 arXiv 页面 (https://arxiv.org/abs/2610.10460)　查看 PDF (https://arxiv.org/pdf/2610.10460)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.10460)

在你的 agent 中获取此论文：

hf papers read 2610.10460

尚未安装最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.10460 即可从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.10460 即可从此页面链接。

引用此论文的 Space 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.10460 即可从此页面链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。