DeMTS：将去噪轨迹视为多元时间序列以检测扩散语言模型中的幻觉

# 将去噪轨迹作为多元时间序列用于扩散语言模型中的幻觉检测  
来源：https://arxiv.org/html/2608.14632  
Xin Zhang1\\equalcontrib, Yili Wang1\\equalcontrib, Yue Tan2, Xin He1, Yanyu Qian3, Yixin Liu2\\corresponding, Yi Chang1, Shirui Pan2, Xin Wang1\\corresponding  
###### 摘要  
扩散大语言模型（D-LLMs）已成为文本生成领域的一种新兴范式。然而，与自回归LLM类似，D-LLMs仍然容易出现幻觉问题，即流畅的输出可能包含事实错误或无依据的内容。尽管现有的D-LLMs幻觉检测方法试图利用去噪过程中的不确定性轨迹来更好地识别幻觉信号，但它们通常沿时间或令牌维度压缩轨迹，忽略了完整的二维令牌-步骤结构中编码的有用信息。因此，它们可能无法捕获与幻觉相关的模式，如不一致的收敛性和跨令牌故障传播，从而导致检测性能不佳。为弥合这一差距，我们提出一个D-LLM幻觉检测框架，将去噪轨迹建模为基于可学习潜变量的多元时间序列（简称DeMTS）。DeMTS采用轨迹保持的令牌-变量分配模块，将令牌信号转换为稳定的潜变量。基于这些变量，我们提出了动态多元时间建模，逐步整合变量间依赖性建模与时间编码，以进行幻觉预测。在两个D-LLM主干网络和三个基准测试上的大量实验表明，DeMTS在保持强大的鲁棒性、效率和跨任务可迁移性的同时，性能优于现有的幻觉检测方法。  

## 引言  
扩散大语言模型（D-LLMs）最近作为一种高效且高质量的文本生成新兴范式受到越来越多的关注（Nie等，2026 (https://arxiv.org/html/2608.14632#bib.bib50)；Bie等，2025 (https://arxiv.org/html/2608.14632#bib.bib52)；Ye等，2025 (https://arxiv.org/html/2608.14632#bib.bib51)）。与严格从左到右解码令牌不同（Mehri和Sigal，2018 (https://arxiv.org/html/2608.14632#bib.bib15)；Gu等，2019 (https://arxiv.org/html/2608.14632#bib.bib16)；Ghazvininejad等，2019 (https://arxiv.org/html/2608.14632#bib.bib17)），D-LLMs通过迭代去噪生成序列。尽管相比自回归LLMs具有优势，D-LLMs仍然容易出现幻觉，即流畅的输出可能包含事实错误或无依据的内容（Bang等，2025 (https://arxiv.org/html/2608.14632#bib.bib56)；Kalai等，2025 (https://arxiv.org/html/2608.14632#bib.bib57)）。仅从输出级别的证据（即输出令牌的预测不确定性）检测此类错误通常是不够的（Shoby等，2026 (https://arxiv.org/html/2608.14632#bib.bib10)；Badave等，2026 (https://arxiv.org/html/2608.14632#bib.bib9)；Bhatnagar等，2026 (https://arxiv.org/html/2608.14632#bib.bib8)），因为与幻觉相关的线索可能在去噪过程中以不确定性反弹或令牌间不一致细化的形式出现（Lu等，2025 (https://arxiv.org/html/2608.14632#bib.bib54)；Ji等，2025 (https://arxiv.org/html/2608.14632#bib.bib55)）。这促使了D-LLM特定的幻觉检测方法的出现，这些方法显式地对去噪轨迹进行建模，而不是仅仅依赖于生成输出的静态特征（Chen等，2026 (https://arxiv.org/html/2608.14632#bib.bib13)；Zhang等，2025 (https://arxiv.org/html/2608.14632#bib.bib12)）。最近的研究开始利用整个去噪轨迹的预测不确定性（通常通过令牌级熵量化）来进行D-LLMs中的幻觉检测（Guo和Tan，2026 (https://arxiv.org/html/2608.14632#bib.bib61)；Qiu等，2025a (https://arxiv.org/html/2608.14632#bib.bib64)）。一条工作路线侧重于步骤级证据，通过选择或重新加权那些不确定性模式对幻觉预测最具信息量的步骤，沿扩散步骤维度压缩去噪轨迹（Chang等，2025 (https://arxiv.org/html/2608.14632#bib.bib59)；Weng等，2026 (https://arxiv.org/html/2608.14632#bib.bib14)）。另一条工作路线建模令牌级不确定性动态，通过识别指示幻觉的令牌并利用其去噪动态作为事实可靠性的指标，沿令牌维度压缩轨迹（Qian等，2026 (https://arxiv.org/html/2608.14632#bib.bib63)）。尽管这些方法证明了中间去噪状态下不确定性的有用性，但这两条工作路线在检测前都沿一个维度压缩了原始轨迹。因此，D-LLM去噪轨迹的令牌-步骤结构（联合捕获令牌级不确定性如何跨扩散步骤演变）未被完全保留，可能导致幻觉检测的信息损失。  
参考图标题图1：去噪轨迹中观察到的模式。为了研究压缩去噪轨迹是否会忽略幻觉检测的关键线索，我们检查了不同问答场景下令牌级不确定性的演变，然后确定了两个需要显式建模令牌-步骤不确定性证据的代表性模式。模式❶：幻觉答案中的不一致收敛（图1 (https://arxiv.org/html/2608.14632#Sx1.F1)a）。在幻觉响应中，令牌的不确定性在去噪后期阶段可能收敛到显著不同的水平：一些令牌变得高度自信，而其他令牌仍相对不确定。这种跨令牌的不一致收敛揭示了异常的令牌间关系，并提供了超出任何单个令牌的幻觉证据。模式❷：幻觉答案中的跨令牌故障传播（图1 (https://arxiv.org/html/2608.14632#Sx1.F1)b）。在某些幻觉答案的去噪过程中，不稳定或错误的令牌状态可能会影响其他上下文相关令牌的解码，导致它们的熵轨迹一起偏离连贯的事实路径。捕获这种传播模式以进行幻觉检测需要对令牌轨迹间的动态依赖关系进行显式建模，这进一步凸显了保留完整令牌-步骤不确定性结构的必要性。认识到二维证据建模的重要性，我们提出了一个核心研究问题：我们如何显式地建模令牌-步骤不确定性轨迹，以捕获跨令牌依赖性和时间动态，从而进行D-LLM幻觉检测？解决这个问题的一个有前景的方案是将令牌-步骤不确定性轨迹形式化为多元时间序列，这自然地保留了其二维结构：去噪步骤定义了时间轴，而与令牌相关的不确定性信号则作为多个交互变量。尽管这种形式化是自然的，但将现有的多元时间序列方法直接应用于D-LLM幻觉检测并非易事，因为它们通常假设每个变量在时间和不同变量之间具有稳定的身份（Hu等，2025 (https://arxiv.org/html/2608.14632#bib.bib65)；Zhang和Yan，2023 (https://arxiv.org/html/2608.14632#bib.bib66)）。这一假设在D-LLMs中并不成立，因为潜在变量（即令牌位置）的语义角色可能在不同样本间变化，并在去噪过程中改变，从而带来了两个关键挑战。*挑战1：稳定变量构建。*原始令牌位置不能直接作为变量，因为它们缺乏一致的语义身份。必须在保留与幻觉检测相关的细粒度去噪动态的同时，将它们重组为语义稳定的变量。*挑战2：关系时间建模。*构建的变量的时间动态与它们之间演变的依赖关系相互耦合。在这种情况下，幻觉检测器必须同时捕获这两个方面，因为幻觉线索可能表现为不一致的收敛或跨相关轨迹传播。为了解决这些挑战，我们提出了DeMTS，这是一个幻觉检测框架，将D-LLM的去噪轨迹建模为基于可学习潜变量的多元时间序列。为了处理*挑战1*，DeMTS引入了一个轨迹保持的令牌-变量分配模块，该模块将令牌不确定性轨迹重组为具有更一致身份的潜变量，同时考虑不确定性状态、上下文语义和位置结构。进一步施加轨迹保持约束，以在令牌-变量分配过程中保留局部去噪变化。为了应对*挑战2*，DeMTS引入了动态多元时间建模，它联合捕获构建的潜变量上的关系和时间模式。它执行步骤自适应的变量间交互，以抑制不可靠的早期步骤依赖关系并加强稳定变量之间的交互，然后进行变量级的时间建模以编码每个潜变量的演变。通过这种方式，DeMTS捕获了与幻觉相关的时间动态和跨令牌依赖性。  
总之，我们的贡献如下：  
- •我们将D-LLMs幻觉检测表述为一个多元时间序列学习问题，并确定了在将现有时间序列方法应用于去噪轨迹时的两个关键挑战。  
- •我们提出了DeMTS，一个基于轨迹的检测器，它将语义不稳定的令牌信号转换为稳定的潜变量，并联合捕获动态的变量间依赖关系和变量级的时间演变。  
- •在两个D-LLM主干网络和三个基准测试上的实验表明，DeMTS持续优于基线方法，同时保持鲁棒性、可迁移性和效率。  

## 相关工作  
D-LLMs中的幻觉检测。D-LLMs的迭代去噪过程（Yang等，2023 (https://arxiv.org/html/2608.14632#bib.bib26)）为幻觉检测提供了丰富的轨迹级不确定性证据（Guo和Tan，2026 (https://arxiv.org/html/2608.14632#bib.bib61)）。现有的一类方法侧重于面向步骤的证据选择（Chang等，2025 (https://arxiv.org/html/2608.14632#bib.bib59)；Hemmat等，2026 (https://arxiv.org/html/2608.14632#bib.bib58)；Zhao等，2026a (https://arxiv.org/html/2608.14632#bib.bib60)），该方法识别或重新加权信息丰富的去噪阶段，并使用选定的轨迹段进行幻觉预测。第二类方法侧重于面向动态的轨迹建模（Qian等，2026 (https://arxiv.org/html/2608.14632#bib.bib63)），该方法通过建模去噪过程中的异常令牌演变来检测幻觉。它们表明幻觉证据可以出现在判别性的去噪步骤或动态轨迹模式中。不同的是，DeMTS将D-LLMs的二维去噪轨迹建模为多元时间序列以进行幻觉检测。  
多元时间序列学习。用于多元时间序列的深度学习已被广泛研究，以捕获跨多个变量的演变模式（Lin等，2025b (https://arxiv.org/html/2608.14632#bib.bib49)；Zhang等，2026 (https://arxiv.org/html/2608.14632#bib.bib47)；Nguyen等，2026 (https://arxiv.org/html/2608.14632#bib.bib48)）。现有方法通常根据其通道建模策略进行分类。通道独立方法对每个变量单独建模，以保留变量特定的时间模式（Zhang和Yan，2023 (https://arxiv.org/html/2608.14632#bib.bib66)；Liu等，2024 (https://arxiv.org/html/2608.14632#bib.bib46)；Shen等，2026 (https://arxiv.org/html/2608.14632#bib.bib1)），而通道依赖方法联合建模所有变量以捕获全局变量间相关性（Nie等，2022 (https://arxiv.org/html/2608.14632#bib.bib44)；Zhao等，2026b (https://arxiv.org/html/2608.14632#bib.bib2)；Zeng等，2023 (https://arxiv.org/html/2608.14632#bib.bib43)）。更近期的通道部分方法通过允许每个变量仅与相关变量交互，在这两种观点之间寻求平衡（Qiu等，2025b (https://arxiv.org/html/2608.14632#bib.bib41)；Zhao等，2023 (https://arxiv.org/html/2608.14632#bib.bib40)）。这些策略假设变量在不同样本和时间上具有稳定的身份（Yang等，2024 (https://arxiv.org/html/2608.14632#bib.bib18)；Lin等，2025a (https://arxiv.org/html/2608.14632#bib.bib19)）。然而，在D-LLM去噪轨迹中，令牌位置在生成过程中可能对应变化的语义角色。因此，DeMTS将变化的令牌信号转换为稳定的潜变量，用于时间和变量间建模。详细的文献综述请参见附录A (https://arxiv.org/html/2608.14632#A1)。  

## 预备知识  
扩散大语言模型。给定输入查询q\mathbf{q}，扩散大语言模型通过迭代去噪生成固定长度的响应。令r(t)=(r1(t),r2(t),...,rN(t))∈VN\mathbf{r}^{\(t\)}=(r\_\{1\}^{\(t\)},r\_\{2\}^{\(t\)},\ldots,r\_\{N\}^{\(t\)})\in\mathcal\{V\}^N表示去噪步骤t∈{T,...,0}t∈\\\{T,\ldots,0\\\}处的中间响应，其中NN是序列长度，V\mathcal\{V\}是词表。从高度掩码的序列r(T)\mathbf{r}^{\(T\)}开始，模型根据r(t−1)∼pθ(r(t−1)∣r(t),q),\mathbf{r}^{\(t-1\)}\sim p\_\{\theta\}\left(\mathbf{r}^{\(t-1\)}\mid\mathbf{r}^{\(t\)},\mathbf{q}\right),逐步重构响应，直到获得最终响应r(0)\mathbf{r}^{\(0\)}。在每个去噪步骤tt，D-LLMs为每个令牌位置ii预测词表上的一个分类分布：πi,t=pθ(ri(0)∣r(t),q)∈R|V|。\boldsymbol\{\pi\}\_\{i,t\}=p\_\{\theta\}\left(r\_\{i\}^{\(0\)}\mid\mathbf{r}^{\(t\)},\mathbf{q}\right)\in\mathbb\{R\}^\{\|\mathcal\{V\}\|\}。相应的预测不确定性通过令牌熵来衡量：Hi,t=−∑v∈Vπi,t(v)log⁡πi,t(v)。\{H\}\_\{i,t\}=-\sum\_\{v\in\mathcal\{V\}\}\pi\_\{i,t\}(v)\log\pi\_\{i,t\}(v)。收集所有去噪步骤和位置的令牌不确定性，得到不确定性轨迹H=[Hi,t]∈RN×(T+1),\mathbf\{H\}=[H\_\{i,t\}]\in\mathbb\{R\}^\{N\times(T+1)\}，其中时间轴对应于去噪步骤，令牌轴对应于序列位置。我们进一步用ei,t∈Rdh\mathbf\{e\}\_\{i,t\}\in\mathbb\{R\}^{\{d\_\{h\}\}表示步骤tt处令牌位置ii的上下文嵌入，并将它们收集为E∈RN×(T+1)×dh\mathbf\{E\}\in\mathbb\{R\}^{\{N\times(T+1)\times d\_\{h\}\}。不确定性轨迹H\mathbf\{H\}提供主要的检测信号，而E\mathbf\{E\}则为构建潜变量轨迹提供上下文语义。  
D-LLMs中的幻觉检测。给定不确定性轨迹H\mathbf\{H\}、上下文轨迹E\mathbf\{E\}和生成的响应，幻觉检测旨在确定响应是否包含事实错误或无依据的内容。令D={(Hn,En,yn)}n=1M\mathcal\{D\}=\left\{(\mathbf\{H\}\_\{n\},\mathbf\{E\}\_\{n\},y\_\{n\})\right\}\_\{n=1\}^\{M\}表示训练集，其中MM是样本数量，yn∈{0,1}y\_\{n\}\in\\\{0,1\\\}是幻觉标签，yn=1y\_\{n\}=1表示幻觉响应，yn=0y\_\{n\}=0表示事实一致的响应。