承诺先于实现：掩码扩散语言模型中无分类器引导何时不再必要

来源：https://arxiv.org/html/2608.08082

###### 摘要

无分类器引导（Classifier-free guidance, CFG）在掩码扩散语言模型解码过程中通常始终开启，尽管其收益因提示不同、随时间变化而有所差异。我们通过比较从任意部分输出出发，在持续使用 CFG 与仅使用基模型延续两种情况下最终约束满足的概率，来研究 CFG 真正需要出现的时机。两者的差值定义了引导的剩余价值。引导的依赖性高度依赖于具体提示。许多提示在无 CFG 时已能成功；对另一些提示而言，CFG 没有可测量的收益甚至可能有害。对于确实受益的提示，增益往往集中在早期。我们定义承诺界限 \(a^*\) 为最早的一个时间点，从该点起将剩余所有解码切换为基模型，最终成功率的下降不超过所选容差。在基模型下，相应的成功概率（即达成概率）是一个鞅。一阶近似下，CFG 的每步效果由引导 logit 方向与后继达成概率之间的协方差决定。这给出了引导何时有帮助的局部解释，但其本身并不能确定界限的位置。在观察到终止前界限的提示中，\(a^*\) 通常出现较早，并且在同一约束族内的变化大于不同约束族之间的差异。在每个提示自身的交叉拟合界限处冻结解码，在所有 13 个子任务上均不劣于全程使用 CFG（在预设裕度下），即使仍有大量 token 处于掩码状态。这将承诺与实现分离开来。该界限还标示出一个更靠后的区域，在该区域中增大并行度仅会带来较小的约束成功损失，尽管流畅度仍会随并行宽度增加而下降。对于失败的轨迹，重新打开已承诺的位置可以在两种失败模式中改善恢复效果。

## 1 引言

无分类器引导（CFG）(Ho and Salimans2022 (https://arxiv.org/html/2608.08082#bib.bib5); Dhariwal and Nichol2021 (https://arxiv.org/html/2608.08082#bib.bib6)) 被广泛用于引导扩散模型朝向条件信号。在掩码扩散语言模型（MDLMs）(Nie et al.2025 (https://arxiv.org/html/2608.08082#bib.bib1); Sahoo et al.2024 (https://arxiv.org/html/2608.08082#bib.bib2)) 中，CFG 通常以固定的引导权重在每一步去噪过程中应用(Schiff et al.2025 (https://arxiv.org/html/2608.08082#bib.bib7); He et al.2025 (https://arxiv.org/html/2608.08082#bib.bib8))。近期方法会随时间改变引导权重(Li et al.2025 (https://arxiv.org/html/2608.08082#bib.bib15); Wang et al.2024 (https://arxiv.org/html/2608.08082#bib.bib14); Zhou and Van de Cruys2026 (https://arxiv.org/html/2608.08082#bib.bib16))，但仍未直接回答一个基本问题：对于特定的提示和部分输出，CFG 在什么情况下仍然是必需的？什么情况下可以将其移除而不会对最终约束满足造成有意义的损失？这个问题对 MDLMs 尤为重要，因为输出的不同属性不必在同一时刻被确定。模型可能在揭示所有 token 之前就确定了高层语义或结构属性，这与连续扩散先形成粗略结构再细化细节的方式类似(Wang and Vastola2023 (https://arxiv.org/html/2608.08082#bib.bib34))。因此，部分输出可能已经支持目标约束，即使序列的大部分仍处于掩码状态。在这种状态下，CFG 可能不再必要，基模型可以自行完成剩余文本。我们通过比较从相同部分输出完成生成的两种方式来检验 CFG 是否仍然必要。一种方式中，CFG 在后续所有解码步骤中保持生效。另一种方式中，CFG 被关闭，由基模型完成剩余生成。我们将这两种未来解码过程分别称为“引导延续”和“仅基模型延续”。如果它们在最终满足目标约束上的概率相近，那么从当前状态看 CFG 几乎没有剩余价值。这些概率是转移路径理论意义上的达成概率(E and Vanden-Eijnden2010 (https://arxiv.org/html/2608.08082#bib.bib18))，它们的差值度量了引导的剩余价值。这一比较定义了一个与提示相关的承诺界限 \(a^*\)。我们将 \(a^*\) 定义为最早的一个时间点：从该点起，在之后所有切换点将剩余解码切换为基模型，最终成功率的下降都不超过所选容差。由于该界限是通过改变未来解码策略来定义的，因此 \(a^*\) 由移除 CFG 对最终约束满足的影响来识别，而不是由置信度、掩码比例、噪声水平或诸如 KL 散度之类的通用分布度量来确定。

我们的结果表明，引导的必要性在不同提示间差异很大。有些提示在无 CFG 时已经成功，有些从中受益，有些没有可测量的收益，还有一些则受到损害。对于确实受益的提示，增益往往集中在解码早期。在观察到终止前界限的提示中，在每个提示自身的交叉拟合 \(a^*\) 处切换，在所有 13 个子任务上均不劣于全程 CFG（在预设裕度下），即使仍有大量 token 保持掩码。这说明约束承诺可以在 token 级实现完成之前发生。我们还对引导步骤何时能够有帮助提供了局部解释。在基模型解码器下，最终约束满足的概率是一个鞅。一阶近似下，CFG 一步的效果取决于 CFG logit 方向与后继达成概率之间的协方差。当 CFG 将概率转移到未来成功概率更高的后继状态时，它可以增加延续价值。这一局部刻画解释了引导在特定步骤何时能提供帮助，但其本身并不能确定承诺界限的位置。

这一界限还有助于组织后续的解码决策。一旦 CFG 不再需要，就可以将其移除。之后的区域通常支持更宽的并行解码，且约束成功率仅有较小的额外损失，尽管该区域不必与 \(a^*\) 重合。对于失败的轨迹，重新打开已写入的位置可以在两种失败模式中改善恢复。其中“坍缩”指的是轨迹达到约束满足配置之后又离开该配置；“无望失败”指的是轨迹从未达到这种配置。图1 (https://arxiv.org/html/2608.08082#S1.F1) 说明了成功的交接以及这两种失败情况。参见图注：图 1：该图说明三种轨迹类型，并非测量结果。重新打开的实验结果在 5.3 节报告。

我们的贡献包括：通过从同一部分输出出发的配对延续来定义 CFG 必要性；引入一个与提示相关的承诺界限，用于在预设容差内移除 CFG；推导 CFG 一阶效应的局部协方差刻画；并展示该框架如何支持 CFG 引导交接、后续并行解码以及通过重新打开进行的恢复。

## 2 相关工作

**掩码扩散语言模型。** 扩散语言模型通过迭代去噪生成文本，可以使用连续表示(Li et al.2022 (https://arxiv.org/html/2608.08082#bib.bib31); Gong et al.2023 (https://arxiv.org/html/2608.08082#bib.bib37))，也可以使用离散 token 破坏(Austin et al.2021 (https://arxiv.org/html/2608.08082#bib.bib4); Lou et al.2024 (https://arxiv.org/html/2608.08082#bib.bib3))。掩码和吸收态公式最近已扩展到指令跟随语言模型(Sahoo et al.2024 (https://arxiv.org/html/2608.08082#bib.bib2); Shi et al.2024 (https://arxiv.org/html/2608.08082#bib.bib42); Nie et al.2025 (https://arxiv.org/html/2608.08082#bib.bib1))。我们将其反向过程视为一系列部分解码状态，并研究将未来解码从 CFG 切换到基模型所产生的影响。

**扩散模型中的引导。** 分类器引导和无分类器引导将反向转移朝向条件信号进行修正(Dhariwal and Nichol2021 (https://arxiv.org/html/2608.08082#bib.bib6); Ho and Salimans2022 (https://arxiv.org/html/2608.08082#bib.bib5))。以往工作通过几何修正、退火以及自适应或区间限制调度来改进引导(Bradley and Nakkiran2024 (https://arxiv.org/html/2608.08082#bib.bib10); Karras et al.2024 (https://arxiv.org/html/2608.08082#bib.bib11); Chung et al.2024 (https://arxiv.org/html/2608.08082#bib.bib51); Hong et al.2023 (https://arxiv.org/html/2608.08082#bib.bib52); Zheng and Lan2023 (https://arxiv.org/html/2608.08082#bib.bib54); Sadat et al.2024 (https://arxiv.org/html/2608.08082#bib.bib53), 2025 (https://arxiv.org/html/2608.08082#bib.bib13); He et al.2025 (https://arxiv.org/html/2608.08082#bib.bib8); Rojas and others2025 (https://arxiv.org/html/2608.08082#bib.bib9); Kynkäänniemi et al.2024 (https://arxiv.org/html/2608.08082#bib.bib12); Wang et al.2024 (https://arxiv.org/html/2608.08082#bib.bib14); Li et al.2025 (https://arxiv.org/html/2608.08082#bib.bib15); Zhou and Van de Cruys2026 (https://arxiv.org/html/2608.08082#bib.bib16))，也包括离散扩散的扩展(Schiff et al.2025 (https://arxiv.org/html/2608.08082#bib.bib7); Nisonoff et al.2024 (https://arxiv.org/html/2608.08082#bib.bib49))。这些方法主要在任务级或调度级选择引导强度或时机。我们则询问：对于特定的提示和部分状态，未来的 CFG 是否仍会改变最终约束成功。

**达成概率与承诺。** 达成概率是在给定动态下到达目标集的概率，是转移路径理论和条件过程的核心(E and Vanden-Eijnden2006 (https://arxiv.org/html/2608.08082#bib.bib17), 2010 (https://arxiv.org/html/2608.08082#bib.bib18))。相关思想已通过学习的 \(h\)-变换、约束采样和桥构造用于生成建模(Didi et al.2023 (https://arxiv.org/html/2608.08082#bib.bib19); Denker et al.2024 (https://arxiv.org/html/2608.08082#bib.bib20); Guo et al.2026 (https://arxiv.org/html/2608.08082#bib.bib22); Wang et al.2025 (https://arxiv.org/html/2608.08082#bib.bib21); Vargas et al.2023 (https://arxiv.org/html/2608.08082#bib.bib55); Zhang and Chen2021 (https://arxiv.org/html/2608.08082#bib.bib56); De Bortoli et al.2021 (https://arxiv.org/html/2608.08082#bib.bib57))。我们仅使用达成概率来度量从部分状态出发的最终成功。引导达成概率与基模型延续达成概率之差给出了 CFG 的剩余价值。与连续扩散中关于分化为种或从粗到细转变的研究(Raya and Ambrogioni2023 (https://arxiv.org/html/2608.08082#bib.bib32); Biroli et al.2024 (https://arxiv.org/html/2608.08082#bib.bib33); Achilli et al.2026 (https://arxiv.org/html/2608.08082#bib.bib60); Ambrogioni2023 (https://arxiv.org/html/2608.08082#bib.bib59); Sclocchi et al.2024 (https://arxiv.org/html/2608.08082#bib.bib58); Wang and Vastola2023 (https://arxiv.org/html/2608.08082#bib.bib34); Falck et al.2025 (https://arxiv.org/html/2608.08082#bib.bib61); Handke et al.2026 (https://arxiv.org/html/2608.08082#bib.bib36)) 不同，我们的承诺界限直接通过将未来解码切换为基模型的效果来定义。

**解码与约束生成。** 近期的 dLLM 解码器提高了并行度或适应后期调度(Chen et al.2025 (https://arxiv.org/html/2608.08082#bib.bib23); Shu et al.2026 (https://arxiv.org/html/2608.08082#bib.bib24))。我们研究的是，在 CFG 变得不必要之后，这类变化是否仍与最终约束满足兼容，而并不将承诺界限视为并行安全的一般性证明。我们的评估还利用了涵盖词汇、结构和指令遵循约束的约束生成基准(Lin et al.2020 (https://arxiv.org/html/2608.08082#bib.bib25); Yao et al.2024 (https://arxiv.org/html/2608.08082#bib.bib26); Zhou et al.2023 (https://arxiv.org/html/2608.08082#bib.bib27))。我们将它们作为受控设置，用于衡量引导在不同提示和解码阶段下的必要性，而非主要用于对生成系统进行排名。

## 3 设置：解码与引导必要性

### 3.1 掩码扩散解码与最终成功

固定一个提示 \(p\)，并在下文中省略对该依赖的标记。令 \(X_t \in (V \cup \{\texttt{M}\})^L\) 表示在步骤 \(t\) 时部分解码的序列，其中 \(V\) 是词汇表，\(\texttt{M}\) 是掩码符号，\(L\) 是画布长度。解码从完全掩码状态 \(X_0\) 开始，并以完整输出 \(X_T = Y \in V^L\) 结束。

###### 假设 1（马尔可夫生成）。

以提示为条件时，反向过程是部分解码状态上的一阶马尔可夫链：

\[
\Pr(X_{t+1}=x' \mid X_{0:t}=x_{0:t}) = \Pr(X_{t+1}=x' \mid X_t=x_t) = K_t^0(x' \mid x_t).
\tag{1}
\]

其自然滤过为 \(\mathcal{F}_t = \sigma(X_0,\ldots,X_t)\)。这种表示对于掩码扩散解码是标准的。如果解码器使用额外历史信息，则可将该历史包含在状态中。一个确定性准则 \(S: V^L \to \{0,1\}\) 指示最终输出是否满足目标约束，其成功集为 \(A = \{y \in V^L: S(y)=1\}\)。对于解码核 \(K\)，提示条件下的成功率为

\[
\mathrm{SR}(K) = \Pr_K\!\left(S(Y)=1\right).
\tag{2}
\]

数据集级别的成功率是该数量在提示上的平均。

### 3.2 基模型与引导的达成概率

达成概率是在指定的未来解码策略下最终成功的概率。**基模型达成概率**为

\[
q_t^0(x) = \Pr_{K^0}\!\left(S(Y)=1 \mid X_t=x\right),
\tag{3}
\]

即在后续所有步骤都使用纯条件基模型解码器（保留提示）时满足目标约束的概率。为定义下文中使用的引导策略，令 \(\ell_t^c(\cdot\mid x)\) 和 \(\ell_t^u(\cdot\mid x)\) 分别表示条件和无条件 logits。权重为 \(w\) 的 CFG 使用

\[
\ell_t^c(\cdot\mid x) + w\,\delta_t(\cdot\mid x), \qquad \delta_t(\cdot\mid x) = \ell_t^c(\cdot\mid x) - \ell_t^u(\cdot\mid x),
\]

其中 \(\delta_t\) 是引导方向。设 \(K_t^g\) 为由此得到的转移核。**引导达成概率**为

\[
q_t^g(x) = \Pr_{K^g}\!\left(S(Y)=1 \mid X_t=x\right),
\tag{4}
\]

即 CFG 在后续所有步骤中保持生效时最终成功的概率。

### 3.3 剩余引导价值与承诺界限

**剩余引导价值**

\[
V_t(x) = q_t^g(x) - q_t^0(x)
\tag{5}
\]

度量了保持 CFG 生效而非立即切换为基模型解码器所获得的最终成功增益。对于切换点 \(t\)，令 \(\mathcal{S}_{\mathrm{sw}}(t)\) 表示在 \(t\) 之前