论文页面 - MOPD：面向大语言模型后训练中能力融合的多教师在线策略蒸馏

来源：https://huggingface.co/papers/2606.30406 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

多教师在线策略蒸馏（MOPD）通过专门的强化学习教师和在线策略蒸馏，高效地将多个领域能力融合到大语言模型中，实现了优于现有方法的性能。

现代大语言模型（LLM）在后训练阶段依赖强化学习（https://huggingface.co/papers?q=reinforcement%20learning）来提升特定能力，但将多种能力整合到单一模型仍然困难。现有方法如离线微调（https://huggingface.co/papers?q=Off-Policy%20Finetune）和混合RL（https://huggingface.co/papers?q=Mix-RL）要么效率低下，要么性能损失。在这项工作中，我们提出了多教师在线策略蒸馏（https://huggingface.co/papers?q=On-Policy%20Distillation）（MOPD），一种用于融合多个领域RL教师（https://huggingface.co/papers?q=domain%20RL%20teachers）能力的后训练（https://huggingface.co/papers?q=post-training）范式：我们首先为每个领域运行专门的RL以获得一组领域教师，然后将这些教师在其自身轨迹上蒸馏给学生模型。这消除了暴露偏差（https://huggingface.co/papers?q=exposure%20bias），并提供了密集优化信号（https://huggingface.co/papers?q=dense%20optimization%20signal）。在Qwen3-30B-A3B（https://huggingface.co/papers?q=Qwen3-30B-A3B）上，MOPD优于混合RL（https://huggingface.co/papers?q=Mix-RL）、级联RL（https://huggingface.co/papers?q=Cascade%20RL）、离线微调（https://huggingface.co/papers?q=Off-Policy%20Finetune）和参数合并（https://huggingface.co/papers?q=Param-Merge）基线，几乎继承了每位教师的全部能力。MOPD还支持领域教师的并行独立开发，消除了多领域后训练（https://huggingface.co/papers?q=post-training）中典型的跨领域耦合。MOPD已部署在工业级前沿模型MiMo-V2-Flash（https://huggingface.co/papers?q=MiMo-V2-Flash）的后训练中，证明了其在前沿规模LLM中实现能力融合的实际价值。

查看arXiv页面 (https://arxiv.org/abs/2606.30406)查看PDF (https://arxiv.org/pdf/2606.30406)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30406)

在你的代理中获取此论文：

hf papers read 2606\.30406

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型README.md中引用 arxiv.org/abs/2606.30406 即可从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集README.md中引用 arxiv.org/abs/2606.30406 即可从此页面链接。

引用此论文的Spaces0

没有Space链接到此论文

在Space README.md中引用 arxiv.org/abs/2606.30406 即可从此页面链接。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）中即可从此页面链接。