论文页面 - 多轮反思性掩码激发掩码扩散模型中的推理

来源：https://huggingface.co/papers/2606.16700 掩码扩散模型（LLaDa、DiffusionGemma 等）的原生推理形式是什么？

对于自回归语言模型，推理很大程度上被定义为延续：生成思维链，反思它，然后添加更多 token。

但掩码扩散模型并非从左到右生成。它们利用双向上下文生成并精炼整个画布。因此，它们自然的推理机制可能不是延续，而是修正。在我们近期的工作中，我们引入了反思性掩码，一种轻量级后训练方法，能够激发现有掩码扩散模型中的多轮自我修正。

核心思想很简单：模型不再承诺每个生成的 token，而是学习一个 token 级别的修正策略：✅ 保留可靠 token 🟨 重新掩码不确定或错误的 token ✨ 揭示更好的替代结果。这便将生成转变为稀疏、局部的自我纠正迭代过程。

这种设置下的一个关键挑战是修正可能陷入循环：模型可能重新掩码一个错误的 token，随后又生成同样的错误。为了解决这个问题，我们引入了历史参考，一种无需参数的记忆机制，向模型展示之前的去噪状态。这有助于模型记住已经尝试过的内容，避免重复错误。

我们认为这个方向令人兴奋，因为它为扩散语言模型提供了一种不同的推理视角：自回归反思通过延续来思考，而反思性掩码通过修正来思考。

最近像 DiffusionGemma 和 Gemini Diffusion 这样的系统凸显了基于扩散的文本生成的巨大前景，包括双向上下文和迭代精炼。我们的工作研究了一个互补的问题：如何对现有的 MDM 进行后训练，使其能够通过自我修正显式地执行稀疏的多轮推理？

我们在多个设置中评估了反思性掩码：🧩 数独修正 🧠 数学推理 💻 代码生成 🎨 图像编辑

在这些任务中，反思性掩码允许模型选择性地重新审视之前的输出，而不是从头重新生成或过早确定，从而提升了性能。更广泛的启示是，扩散语言模型可能不仅仅是更快的并行生成器；它们可能开启一种不同的推理范式：将推理视为迭代状态精炼。