Pivot-SD:面向掩码扩散语言模型的高效自蒸馏
摘要
Pivot-SD(EMNLP 2026 Oral)提出一种面向掩码扩散语言模型的高效自蒸馏方法,通过信息增益识别关键的"pivot"去噪步骤并仅对这些步骤进行奖励/惩罚,仅用200个问题在数学与代码任务上以更少算力超越全序列SFT和在线RL基线。
查看缓存全文
缓存时间: 2026/10/05 08:46
论文页面 - Pivot-SD:面向掩码扩散语言模型的高效自蒸馏
来源:https://huggingface.co/papers/2610.03665
训练一个扩散 LM 并不需要每个 token,只需要那几个左右全局生成的关键“支点“。🎯
很高兴分享 Pivot-SD(EMNLP 2026 Oral)——我们提出的掩码扩散 LM 高效自蒸馏新方法!
Pivot-SD 无需在完整序列上训练,也无需运行昂贵的在线 RL,而是利用 Information Gain 定位“支点“——即不确定性骤降的关键去噪步骤。我们对成功的支点给予奖励,对失败的支点加以惩罚,其余轨迹保持不变。
效果如何?仅用 200 道题目,Pivot-SD 就在数学与代码任务上超越了全序列 SFT 和在线 RL 基线,而且算力消耗更少!🚀
欢迎查阅:📄 论文:https://arxiv.org/abs/2610.03665 💻 项目页面:https://sunwoohong.github.io/pivot-sd
相似文章
Ripple-Pivot Search:扩散大语言模型的主动并行解码
提出了Ripple-Pivot Search,一种无需训练的扩散大语言模型解码方法,主动确定中熵枢轴位置以减少不确定性并加速并行解码,实现4-10倍加速。
简化并改进用于少步扩散的同策略蒸馏
提出简化匹配蒸馏(SMD)框架,通过纯回归的同策略速度回归与Pivot残差代理,实现无需辅助评分模型或对抗训练的4步少步扩散生成,在图像、3D、视频及音视频联合生成任务上超越强基线,并可扩展至330亿参数。
CoDR:面向扩散语言模型的免训练置信度漂移重遮蔽方法
论文提出 CoDR(Confidence-Drift Remasking),一种免训练、与采样器无关的后处理精炼方法,通过检测已提交 token 的置信度漂移并对其进行重遮蔽与重新生成,从而在掩码扩散语言模型的推理与编码任务上以较少的前向传播次数提升准确率。
dOPSD:扩散语言模型中的在线策略自蒸馏方法
本文介绍了 dOPSD,一种面向扩散语言模型的在线策略自蒸馏方法,该方法利用内部去噪轨迹来提升数学推理和代码生成能力。
带言语正则化的自蒸馏
论文提出VRSD(言语正则化自蒸馏),通过系统提示调节teacher对特权信息的使用,抑制on-policy自蒸馏中的捷径推理与熵坍缩,在11/12个模型-任务设置上平均提升Pass@1达3.9个百分点。