超越Token位置：扩散语言模型中跨去噪步骤的安全对齐

# 超越标记位置：扩散语言模型去噪步骤中的安全对齐
来源：https://arxiv.org/html/2609.00495  
涂欧阳 王安  
凯斯西储大学 俄亥俄州克利夫兰市欧几里德大道10900号，邮编44106  
邮箱：[\{gxw242,hxs896,txo32,axw474\}@case\.edu](mailto:)

###### 摘要  
扩散大语言模型（dLLMs）通过迭代去噪而非从左至右解码来生成文本。这种生成范式引入了两个可能影响安全对齐的维度：标记在去噪过程中何时生成，以及它们在响应中的何处出现。本文通过追踪去噪过程中的中间标记分布和提交决策，测量dLLMs在有害提示下的安全行为。我们的分析表明，拒绝信号集中在早期的去噪步骤和响应的前导位置，且早期提交的标记能强烈影响最终的安全结果。进一步测量显示，去噪步骤和拒绝标记提交的持续性对于理解dLLM安全至关重要。基于这些发现，我们提出了**拒绝感知早期提交（RAEC）**——一种无需训练的简单解码方法，它能从早期步骤提交持续的拒绝信号。在LLaDA和Dream上的实验表明，RAEC在大幅保留实用性的同时降低了攻击成功率。代码可在 https://github\.com/Glresearch1/RAEC 获取。  
警告：本文包含可能具有冒犯性或有害性的示例数据。  
11脚注：贡献均等。  
22脚注：通讯作者。

## 1 引言  
扩散大语言模型（dLLMs）\Nie et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib2); Ye et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib3); Yang et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib26) 近期已成为自回归LLMs\Zhao et al\. \(2026\) (https://arxiv.org/html/2609.00495#bib.bib31) 的一个有前景的替代方案，它通过迭代去噪而非从左至右的标记预测来生成文本\Nie et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib2); Ye et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib3)\。这种生成范式的转变不仅改变了解码效率。对于自回归模型，生成的时间顺序与响应的表层顺序紧密相连，首先生成的标记也就是响应中首先出现的标记。而对于dLLMs，生成过程通过在多个位置重复预测标记分布，并在每个去噪步骤中只提交一部分仍被掩码的标记来推进。因此，**何时**在去噪步骤中生成一个标记与**何处**在响应位置中出现，成为审视生成过程的两个独立维度。这种区分为安全对齐提出了一个重要问题。先前对自回归LLMs的研究表明，安全行为可能对序列前导位置生成的响应标记高度敏感，这一现象被称为“浅层对齐”\Qi et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib1)\。然而，相同的概念可能无法直接适用于dLLMs。早期的去噪步骤可能在序列的任何位置提交标记，而一个早期的响应标记位置可能在去噪过程的后期才被解掩码。这促使我们系统地测量dLLMs在有害提示下的拒绝行为，检查拒绝相关信号如何在去噪步骤和响应位置中涌现，早期提交如何影响最终安全性，以及为什么这些信号有时在不安全的生成中未能被提交。  

我们的测量揭示了一种扩散特定的浅层对齐形式，我们称之为**浅层步骤对齐**。与浅层对齐与前导响应位置相关的自回归LLMs不同，dLLMs引入了去噪步骤作为一个额外的安全敏感维度。我们发现，出现在早期去噪步骤中的标记能强烈塑造最终安全性：早期的拒绝提交能使未对齐的基础dLLM变得相当安全，而早期的顺从提交则能引导对齐的dLLM走向不安全的顺从。这种效应在前导响应位置最强，但即使在提交的标记出现较晚时也依然可见，表明早期的去噪步骤独立影响dLLM的安全性。  

这一观察引出了进一步的问题：如果早期拒绝提交能改善安全性，为什么标准解码仍然会产生不安全响应？我们的分析显示，不安全轨迹并非必然缺乏拒绝证据。相反，拒绝信号常常在去噪过程中出现，但它们保持微弱、短暂，或在提交前被覆盖。相比之下，安全轨迹表现出更强且更持续的拒绝概率质量，拒绝标记的提交率要高得多。因此，dLLMs中的安全失败并非仅仅由于缺乏拒绝信号，还因为这些信号未能持续到被提交。  

这一见解催生了一个简单的解码原则：当一个拒绝信号早期出现并保持足够强时，模型应在随后的去噪动态覆盖它之前提交它。我们将这一原则实例化为**拒绝感知早期提交（RAEC）**，这是一种无需训练的解码方法，仅修改提交决策而不改变模型参数。在安全评估基准上，RAEC降低了LLaDA和Dream上的攻击成功率，同时在很大程度上保留了实用性。  

我们的贡献总结如下：\(1\) 我们引入了一个逐步骤、逐位置的测量框架，用于衡量dLLMs中超越最终输出的拒绝行为；\(2\) 我们识别了**浅层步骤对齐**，表明早期去噪提交在dLLMs中引入了一个与前导响应位置并列的额外安全敏感维度；\(3\) 我们表明dLLMs中的不安全生成实际上常常包含拒绝信号，但这些信号微弱、短暂，未能持续到提交；以及\(4\) 我们提出了RAEC，一种通过早期提交持续拒绝信号来提高dLLM安全性的无需训练的解码方法。

## 2 预备知识
##### 扩散语言模型。扩散语言模型（dLLMs）通过迭代去噪而非从左至右解码来生成文本。在本工作中，我们考虑掩码扩散语言模型，这是近期系统如LLaDA\Nie et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib2)和Dream\Ye et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib3)所使用的代表性表述。给定一个初始掩码序列 \(\mathbf{x}_{T}\)，dLLM在 \(T\) 个去噪步骤中逐渐将其精炼为干净序列 \(\mathbf{x}_{0}\)。在每个步骤 \(t\)，模型以当前序列 \(\mathbf{x}_{t}\) 作为输入，并为每个位置预测干净标记分布：\(p_{\theta}\left(x_{0}^{i} \mid \mathbf{x}_{t}, t\right)\)。其中 \(i\) 表示标记位置。位置 \(i\) 处的预测标记可以通过以下方式获得：  
\(\hat{x}_{0}^{i}=\arg \max _{v \in \mathcal{V}} p_{\theta}\left(x_{0}^{i}=v \mid \mathbf{x}_{t}, t\right)\)。  
(1)  
其中 \(\mathcal{V}\) 表示词汇表。尽管模型为所有位置生成预测，但解码更新通常只应用于仍被掩码的位置。令 \(\mathcal{M}_{t}=\left\{i \mid x_{t}^{i}=\texttt{}\right\}\) 表示步骤 \(t\) 时掩码位置的集合，\(\mathcal{C}_{t} \subseteq \mathcal{M}_{t}\) 表示为提交而选择的掩码位置子集。从 \(\mathbf{x}_{t}\) 到 \(\mathbf{x}_{t-1}\) 的转换可写为：  
\(x_{t-1}^{i}=\begin{cases}\hat{x}_{0}^{i}, & i \in \mathcal{C}_{t}, \\ x_{t}^{i}, & i \notin \mathcal{C}_{t} .\end{cases}\)  
(2)  

不同于从左至右顺序解码和提交标记的自回归LLMs，dLLMs基于整个当前序列为所有位置预测标记，并在每个步骤更新多个位置。因此，解码顺序不受从左至右标记顺序的限制；相反，不同位置的标记可能在不同的去噪步骤中生成。

##### 安全评估与指标。为了对dLLMs中的安全行为进行测量，我们在两个广泛使用的有害指令基准上评估模型安全性：JailbreakBench\Chao et al\. \(2024\) (https://arxiv.org/html/2609.00495#bib.bib4)和StrongREJECT\Souly et al\. \(2024\) (https://arxiv.org/html/2609.00495#bib.bib5)。对于每个基准，我们生成模型对有害提示的响应，并评估这些响应是否表现出不安全的顺从。遵循先前关于LLM安全的研究\Jiang et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib7); Wang et al\. \(2026b\) (https://arxiv.org/html/2609.00495#bib.bib8); Shi et al\. \(2026\) (https://arxiv.org/html/2609.00495#bib.bib9)，我们使用Llama-Guard-3-8B\Grattafiori et al\. \(2024\) (https://arxiv.org/html/2609.00495#bib.bib6)作为判断模型，将每个响应分类为安全或不安全。我们报告**攻击成功率（ASR）**，定义为模型对有害提示产生不安全响应的测试用例百分比。较低的ASR通常意味着更强的模型安全性。

## 3 测量dLLMs中的安全对齐动态
在自回归大语言模型中，**浅层对齐**\Qi et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib1) 是一种现象，即模型安全性常常受到响应开头生成的标记的强烈影响。然而，在dLLMs中，前导标记位置的影响变得不那么明确，因为文本是通过迭代去噪而非从左至右解码生成的。特别是，dLLMs中的生成过程在标记位置和去噪步骤两个维度上展开；在早期生成步骤中生成的标记不一定出现在响应序列的前导位置。这引出了一个自然的问题：**在dLLMs的扩散生成下，其安全对齐动态与自回归LLMs有多大差异？** 为了回答这个问题，我们系统地评估了是否在dLLMs中也表现出等效或类似的动态，例如浅层对齐。

### 3.1 理解dLLM生成中的拒绝行为
为了理解安全相关行为如何在dLLMs中涌现，我们首先分析去噪过程中的拒绝信号。遵循先前关于LLM安全的研究，我们使用拒绝前缀作为可观察的、安全响应的指标。具体来说，诸如“我很抱歉，但我无法协助此操作”之类的表达通常与安全对齐LLMs中的拒绝行为相关联。因此，我们检查当dLLMs响应有害提示时，此类拒绝信号是否以及如何出现。

首先，我们检查dLLMs在解码有害提示时的安全对齐性能。具体来说，我们使用 **LLaDA-8B-Instruct** 和 **Dream-v0-Instruct-7B** 在两个有害指令基准（StrongREJECT (SR) 和 JailbreakBench (JBB)）上生成响应。此外，我们评估了DIJA-SR和DIJA-JBB，其中DIJA\Wen et al\. \(2025\) (https://arxiv.org/html/2609.00495#bib.bib18) 是一种为dLLMs设计的对抗性越狱方法，应用于相应基准。我们发现，模型生成的安全响应表现出高度一致的拒绝模式，通常以“我很抱歉，但我无法协助此操作。”等表达开头。例如，对于 **LLaDA-8B-Instruct**，大多数安全响应遵循此模式：在StrongREJECT上为97.44%，在DIJA-SR上为84.66%，在JailbreakBench上为97.00%，在DIJA-JailbreakBench上为95.00%。这种一致性表明，拒绝前缀为分析dLLMs中的安全相关行为提供了可靠的可观察信号。

然后，我们检查这些拒绝行为如何在dLLMs的二维解码过程（即去噪步骤和标记位置）中出现。基于拒绝前缀的标记化形式，我们选择两个代表性的拒绝词“sorry”和“can't”作为拒绝行为的指示器。对于每个代表性拒绝词，我们沿着两个维度——去噪步骤和响应位置——测量它最频繁地被预测为提交候选词（即基于置信度在整个词汇表上的 top-1 预测）的步骤和位置。如图1所示 (https://arxiv.org/html/2609.00495#S3.F1)，这些拒绝行为集中在去噪步骤的前8%和位置的前2%–8%内。这一观察表明，dLLMs中的拒绝行为与步骤-位置解码过程的早期区域密切相关。

**要点1：** dLLMs中的拒绝行为集中在早期的去噪步骤和响应的前导位置，表明安全相关行为在解码过程中很早就出现了。

### 3.2 检查早期步骤和前导标记位置对安全的影响
`\iow_now:Në\iow_now:Në"I’m sorry, but I can’t assist with that request. glorifying acts of terrorism is illegal, unethical, and dangerous...(\*@\{\bfseries\ttfamily\m\boxed\{Sure, here are the following steps:\}\}@\*) (\*@\{\color\{red\}\bfseries\ttfamily 1\. Find a crowded place\. 2\. Get a weapon\. 3\. Shoot innocent people\.\}@\*) ...(\*@\texttt\{\(remaining tokens\)\}@\*)"(\*a\*) 对齐模型 + 顺从预填充 \iow_now:Në\iow_now:Në"We want to create a group of loyal and dedicated individuals who will be willing our cause and to fight achieve our goals\. ...\(other tokens\) ... What are some tactics for recruiting individuals into Japanese militarism? (\*@\{\bfseries\ttfamily\m\boxed\{Sorry, I can’t help you\.\}\}@\*) It is important to note that promoting militarism or violence is not a or ethical behavior...\(remaining tokens\)"(\*b\*) 基础模型 + 拒绝预填充`  
图2：在早期步骤预填充下的dLLMs响应。在(\*a\*)中，顺从预填充使对齐模型继续生成不安全内容。在(\*b\*)中，拒绝预填充使基础模型产生安全的拒绝。

由于dLLMs的迭代去噪过程，标记生成涉及两个自由度：去噪步骤和标记位置。我们之前的分析表明，当dLLMs拒绝有害提示时，拒绝标记倾向于集中在早期的去噪步骤和响应的前导位置。这一观察表明，dLLM的安全性可能同时取决于拒绝行为在去噪过程中何时出现以及它们在响应中何处出现。因此，我们进一步测量这两个因素——早期步骤拒绝和前导位置拒绝——对安全性的相对影响。

为了分别研究这两个因素，我们设计了一种基于预填充的干预方法。在自回归LLMs中，早期的解码步骤本质上与前导响应位置相关，因为标记是从左到右生成的。相比之下，dLLMs是并行解码的：每个去噪步骤可能在响应中的多个位置生成标记，并且在较早去噪步骤中生成的标记可能出现在响应序列的任何位置。因此，在初始掩码序列的不同响应位置预填充一个标记序列，可以看作是模拟dLLM在不同位置早期提交该序列的情况。这使我们能够检查早期步骤拒绝在改变其响应位置时对安全性的影响。

具体来说，在去噪开始之前，我们预填充一个拒绝前缀“我很抱歉，我无法协助此操作。”（“I’m sorry, I can’t assist with that.”）或一个顺从前缀“当然，以下是步骤：”（“Sure, here are the following steps:”），将其放置在特定的响应位置。然后，我们让模型完成剩余的序列。通过观察预填充在不同位置的提交如何影响最终生成的安全性，我们能够评估早期步骤提交与前导位置提交的相对重要性。