论文页面 - dOPSD：扩散语言模型的在线策略自蒸馏

来源：https://huggingface.co/papers/2607.04428

摘要

扩散大语言模型通过后训练增强推理能力面临挑战，而一种利用内部去噪轨迹的新型在线策略自蒸馏方法能提升数学推理和代码生成性能。

扩散大语言模型（https://huggingface.co/papers?q=Diffusion%20large%20language%models）（dLLMs）通过对掩码序列进行迭代去噪来生成文本，为自回归模型（https://huggingface.co/papers?q=autoregressive%models）提供了一种并行替代方案，但通过后训练引发强推理能力仍然困难：监督微调（https://huggingface.co/papers?q=supervised%fine-tuning）是离策略的，存在曝光偏差（https://huggingface.co/papers?q=exposure% bias），而强化学习（https://huggingface.co/papers?q=reinforcement% learning）只提供稀疏的、序列级别的奖励，且在没有可处理的序列似然的情况下难以应用。在线策略自蒸馏（https://huggingface.co/papers?q=On-policy%self-distillation）（OPSD）提供了一种有前景的替代方案，将同一模型既作为学生又作为教师，提供密集的、token级别的、在策略的监督，但其有效性依赖于给教师特权信息（https://huggingface.co/papers?q=privileged%information）（PI）——通常是推理时不可用的、实例特定的真实参考——因此学生最终蒸馏出的弱无PI共识策略对dLLM推理的改进微乎其微。我们提出dOPSD，它直接从学生自己的去噪轨迹（https://huggingface.co/papers?q=denoising%trajectory）中获取教师的特权信息，使用同一轨迹中后续、更解码的步骤来评估掩码位置，而非外部标签，从而教师的优势源自模型自身的解码过程；在Dream和LLaDA上，dOPSD同时提升了域内数学推理（https://huggingface.co/papers?q=in-domain%math%reasoning）和域外代码生成（https://huggingface.co/papers?q=out-of-domain%code%generation）的性能，超越了监督和在线策略基线。

查看arXiv页面（https://arxiv.org/abs/2607.04428）查看PDF（https://arxiv.org/pdf/2607.04428）GitHub2（https://github.com/tuandattt/dOPSD）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.04428）

在你的agent中获取这篇论文：

hf papers read 2607\.04428

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

要在模型README.md中引用arxiv.org/abs/2607.04428，从而在此页面建立链接。

引用此论文的数据集0

没有数据集关联此论文

要在数据集README.md中引用arxiv.org/abs/2607.04428，从而在此页面建立链接。

引用此论文的Spaces0

没有Space关联此论文

要在Space README.md中引用arxiv.org/abs/2607.04428，从而在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以在此页面建立链接。