多轮反射掩码激发掩码扩散模型的推理能力

Hugging Face Daily Papers 论文
diffusion-models mask-diffusion reasoning self-revision iterative-refinement post-training llm

摘要

本文提出反射掩码（Reflective Masking），一种轻量级后训练方法，通过令牌级修订策略和历史引用机制，使掩码扩散模型能够进行多轮自我修正，提升在数独、数学、代码生成和图像编辑等推理任务上的性能。

虽然自回归（AR）模型的推理通常通过思维链推理和反思进行，但其对先前输出的改进仍然依赖于完全顺序生成，即使仅需局部编辑也是如此。相比之下，掩码扩散模型（MDM）中的掩码机制天然支持对先前输出进行显式局部编辑，允许选择性细化而无需丢弃先前的答案并从头生成另一个。虽然这一特性更符合人类通过迭代局部修正来纠正错误的方式，但现有的 MDM 并不支持多轮掩码和去噪。我们提出反射掩码（RM），通过轻量级后训练激发 MDM 中这种内在的推理能力。RM 提供了一种原生的测试时缩放，其中 MDM 基于不断变化的上下文迭代地重新审视和修正其先前的输出。为了利用来自先前轮次的见解（如 AR 推理），我们进一步引入了历史引用（History Reference），一种无参数机制，在修正过程中利用中间去噪状态。我们的方法无需修改架构，易于应用于现有 MDM。在包括文本生成、数独和图像编辑在内的多种任务和模态中，反射掩码始终优于基于标准掩码的基线，并展现出强通用性，使 RM 成为 MDM 上推理的基本原语。
查看原文
查看缓存全文

缓存时间: 2026/06/22 09:30

论文页面 - 多轮反思性掩码激发掩码扩散模型中的推理

来源：https://huggingface.co/papers/2606.16700 掩码扩散模型（LLaDa、DiffusionGemma 等）的原生推理形式是什么？

对于自回归语言模型，推理很大程度上被定义为延续：生成思维链，反思它，然后添加更多 token。

但掩码扩散模型并非从左到右生成。它们利用双向上下文生成并精炼整个画布。因此，它们自然的推理机制可能不是延续，而是修正。在我们近期的工作中，我们引入了反思性掩码，一种轻量级后训练方法，能够激发现有掩码扩散模型中的多轮自我修正。

核心思想很简单：模型不再承诺每个生成的 token，而是学习一个 token 级别的修正策略：✅ 保留可靠 token 🟨 重新掩码不确定或错误的 token ✨ 揭示更好的替代结果。这便将生成转变为稀疏、局部的自我纠正迭代过程。

这种设置下的一个关键挑战是修正可能陷入循环：模型可能重新掩码一个错误的 token，随后又生成同样的错误。为了解决这个问题，我们引入了历史参考，一种无需参数的记忆机制，向模型展示之前的去噪状态。这有助于模型记住已经尝试过的内容，避免重复错误。

我们认为这个方向令人兴奋，因为它为扩散语言模型提供了一种不同的推理视角：自回归反思通过延续来思考，而反思性掩码通过修正来思考。

最近像 DiffusionGemma 和 Gemini Diffusion 这样的系统凸显了基于扩散的文本生成的巨大前景，包括双向上下文和迭代精炼。我们的工作研究了一个互补的问题：如何对现有的 MDM 进行后训练，使其能够通过自我修正显式地执行稀疏的多轮推理？

我们在多个设置中评估了反思性掩码：🧩 数独修正 🧠 数学推理 💻 代码生成 🎨 图像编辑

在这些任务中，反思性掩码允许模型选择性地重新审视之前的输出，而不是从头重新生成或过早确定，从而提升了性能。更广泛的启示是，扩散语言模型可能不仅仅是更快的并行生成器；它们可能开启一种不同的推理范式：将推理视为迭代状态精炼。

相似文章

置信捷径：掩码扩散模型的一种推理失效模式

arXiv cs.AI

本文识别了掩码扩散语言模型中的一种失效模式：基于置信度的解码在复杂推理任务中导致高置信度错误，并表明置信对齐训练会加剧此问题，而随机掩码则能保持推理性能。

面向掩码扩散的自适应顺序策略

arXiv cs.LG

提出使用轻量级策略网络学习掩码扩散模型中的去掩码顺序，通过加权损失在组合任务和蛋白质设计上优于启发式方法。

揭秘同策略蒸馏：其益处、危害及原因

Hugging Face Daily Papers

本文介绍了一种无需训练的框架，用于分析推理模型在逐token级别上的蒸馏信号。研究揭示，蒸馏引导在错误推理路径上更为有效，且其效果取决于学生模型的能力及任务上下文。