Pivot-SD:面向掩码扩散语言模型的高效自蒸馏

Hugging Face Daily Papers 论文

摘要

Pivot-SD(EMNLP 2026 Oral)提出一种面向掩码扩散语言模型的高效自蒸馏方法,通过信息增益识别关键的"pivot"去噪步骤并仅对这些步骤进行奖励/惩罚,仅用200个问题在数学与代码任务上以更少算力超越全序列SFT和在线RL基线。

掩码扩散语言模型(dLM)为复杂推理任务提供了一种有前景的并行自回归替代方案。然而,它们面临一个独特的信用分配挑战:去噪过程中的少数几次关键决策会大幅降低剩余掩码位置上的不确定性,并决定大部分回复的内容。现有的大多数 dLM 后训练方法并没有利用这一信号来决定对哪些 token 进行训练:它们通常对最终文本进行训练,或将奖励分配给整个去噪步骤,而不是选出那些真正塑造回复的关键决策。我们提出 Pivot-SD,一个高效的离线自蒸馏框架,仅对这些高影响力的关键决策(pivot)进行监督。Pivot-SD 使用一种基于信息增益的指标来选择 pivot,该指标衡量关键决策对剩余掩码位置不确定性降低的程度。来自成功轨迹的 pivot 通过交叉熵进行训练,来自失败轨迹的 pivot 则通过有针对性的 unlikelihood 进行训练,而失败轨迹的其余部分保持不变。仅使用200个问题、每个问题4次采样,Pivot-SD 在数学和代码基准上均以更少的算力超越了全序列 SFT 与预算相当的扩散 RL 基线,改进了 LLaDA-8B-Instruct 的表现。
查看原文
查看缓存全文

缓存时间: 2026/10/05 08:46

论文页面 - Pivot-SD:面向掩码扩散语言模型的高效自蒸馏

来源:https://huggingface.co/papers/2610.03665

训练一个扩散 LM 并不需要每个 token,只需要那几个左右全局生成的关键“支点“。🎯

很高兴分享 Pivot-SD(EMNLP 2026 Oral)——我们提出的掩码扩散 LM 高效自蒸馏新方法!

Pivot-SD 无需在完整序列上训练,也无需运行昂贵的在线 RL,而是利用 Information Gain 定位“支点“——即不确定性骤降的关键去噪步骤。我们对成功的支点给予奖励,对失败的支点加以惩罚,其余轨迹保持不变。

效果如何?仅用 200 道题目,Pivot-SD 就在数学与代码任务上超越了全序列 SFT 和在线 RL 基线,而且算力消耗更少!🚀

欢迎查阅:📄 论文:https://arxiv.org/abs/2610.03665 💻 项目页面:https://sunwoohong.github.io/pivot-sd

相似文章

简化并改进用于少步扩散的同策略蒸馏

Hugging Face Daily Papers

提出简化匹配蒸馏(SMD)框架,通过纯回归的同策略速度回归与Pivot残差代理,实现无需辅助评分模型或对抗训练的4步少步扩散生成,在图像、3D、视频及音视频联合生成任务上超越强基线,并可扩展至330亿参数。

CoDR:面向扩散语言模型的免训练置信度漂移重遮蔽方法

arXiv cs.CL

论文提出 CoDR(Confidence-Drift Remasking),一种免训练、与采样器无关的后处理精炼方法,通过检测已提交 token 的置信度漂移并对其进行重遮蔽与重新生成,从而在掩码扩散语言模型的推理与编码任务上以较少的前向传播次数提升准确率。

带言语正则化的自蒸馏

Hugging Face Daily Papers

论文提出VRSD(言语正则化自蒸馏),通过系统提示调节teacher对特权信息的使用,抑制on-policy自蒸馏中的捷径推理与熵坍缩,在11/12个模型-任务设置上平均提升Pass@1达3.9个百分点。