理解扩散大语言模型中的评估幻觉

# 理解扩散大语言模型中的评估幻觉 来源: https://arxiv.org/html/2606.29228 Hengxiang Zhang¹, Jiaxi Ren¹, Hongxin Wei¹ ¹南方科技大学统计与数据科学系 ###### 摘要 尽管扩散大语言模型（dLLMs）具备并行解码能力，但仍需大量去噪步骤来维持生成质量，这促使近期研究探索高效解码策略。然而，现有研究即使在看似相同的评估设置下也报告了不一致的评估结果，可能导致关于dLLM解码方法的结论产生偏差。为理解这一评估问题，我们在多种评估设置下对当前dLLM解码方法进行了严格评估。令人惊讶的是，我们的分析揭示了解码方法的排名对提示模板的选择高度敏感。单一模板评估可能导致一种错觉，认为解码方法在没有性能下降的情况下提升了推理效率。通过全面实验，我们发现当前并行解码方法始终逊于单令牌解码基线，未能克服速度-质量权衡。我们进一步将这种评估不一致性归因于并行解码方法对提示模板细微变化的高度敏感性。实验表明，一个有效的提示模板即使使用更少的去噪步骤也能取得强劲的评估结果，显著优于增加去噪步骤所带来的边际提升。除提示模板外，我们的实验还表明，被忽视的评估设置也会明显影响解码方法的评估。基于这些发现，我们为dLLM解码方法的可靠评估提出了实用指南。 ### 1 引言 扩散大语言模型（dLLMs）已成为自回归大语言模型（Nie等人, 2026; Ye等人, 2025; Song等人, 2025）的有前途的替代方案。通过采用双向注意力，dLLMs支持任意顺序的并行解码，克服了自回归语言模型的顺序生成瓶颈。研究表明，扩散大语言模型在实现与自回归LLM相媲美的性能的同时，还提升了推理效率（Khanna等人, 2025; Bie等人, 2025; Google DeepMind, 2025）。尽管具备并行解码能力，dLLMs仍需大量去噪步骤来维持生成质量，这大大限制了其推理效率。近年来，许多研究试图通过利用键值（KV）缓存来降低每步计算成本，或设计减少去噪步骤数量的方法来加速dLLMs（Wu等人, 2026a; Lu等人, 2026; Ma等人, 2025）。这些方法被报告在未降低生成质量的情况下实现了显著的推理加速，有时甚至还有性能提升。然而，现有研究即使在看似相同的评估设置下也报告了不一致的评估结果，阻碍了对解码方法的可靠评估（Nie等人, 2026; Chen等人, 2026b; Liu等人, 2026）。例如，LLaDA-8B-Instruct在GSM8K上的报告准确率在不同研究之间差异高达9%，尽管使用了相同的解码方法和生成配置（Hu等人, 2025; Wu等人, 2026b; Zheng等人, 2026; Zhu等人, 2026）。为调查这种评估不一致性，我们跨多种基准和评估设置对当前解码方法进行了严格评估。我们揭示了dLLMs中的一个评估陷阱：解码方法的排名在不同提示模板之间可能发生显著变化，削弱了单一提示模板下评估的可靠性。通过全面实验，我们惊讶地发现当前并行解码方法始终逊于单令牌解码基线，未能克服速度-质量权衡。在本工作中，我们识别出这一评估不一致性的关键因素：解码方法对提示模板细微变化的高度敏感性。如图1所示，提示模板的微小改动可能导致显著的性能变化——即使在相同的随机种子和评估设置下。特别地，并行解码方法表现出更大的性能变异性，因为同时解码多个令牌会导致依赖冲突（Kang等人, 2026）。通过进一步分析，我们发现提示模板在决定评估结果中可能起主导作用。一个有效的模板即使在更少的去噪步骤下也能产生高分，显著超过增加去噪步骤带来的边际提升。除提示模板外，我们的实验表明，被忽视的评估设置（例如生成长度、少样本提示和硬件）也会影响dLLM解码方法的评估。我们的实证分析显示，增加生成长度并不总能带来性能提升，在某些提示模板下甚至可能降低性能。此外，并行解码方法从增加少样本示例中获益更多，这可能在少样本评估设置中高估其性能收益。而且，我们发现跨不同硬件平台评估解码方法可能产生不一致的结果，损害了解码方法之间的公平比较。基于这些发现，我们为dLLM解码方法可靠评估提出了实用指南，强调多提示评估和透明报告评估设置的重要性。我们总结主要贡献如下： - •我们揭示了dLLM解码方法评估中的一个关键陷阱：解码方法的排名在不同提示模板之间可能发生显著变化，削弱了评估的可靠性。 - •我们的全面实验表明，当前解码方法未能克服速度与质量之间的权衡。我们进一步将此评估不一致性归因于解码方法对提示模板细微变化的高度敏感性。 - •我们跨多种基准和评估设置对dLLM解码方法进行了系统分析。分析表明，除提示模板外，被忽视的评估设置也会影响评估结果。 参见图注 图1: 左：单令牌解码（Vanilla）和并行解码方法（基于阈值的解码和Top-K）在几乎相同的提示模板上的准确率变异性。我们评估了γ∈{0.8,0.9}的基于阈值的解码和k∈{2,4}的Top-K解码。标准差和取值范围分别表示准确率在提示模板间的标准差和范围。右：提示模板的微小变化可能导致性能上的明显差异，从而在方法比较中产生误导性结论。 ### 2 预备知识 #### 2.1 扩散大语言模型 扩散大语言模型将文本生成建模为一个前向过程和一个反向过程。前向过程通过掩码令牌逐步向干净文本添加噪声，而反向过程则通过迭代预测掩码令牌来恢复被掩码的序列。 ##### 前向过程 设x₀表示由N个令牌组成的干净序列。我们用x_t表示部分掩码的序列，其中每个令牌独立地以概率t∈[0,1]被掩码。前向过程逐步独立地掩码x₀中的令牌，产生损坏的x_t。在每个时间步t，前向过程由转移概率定义： q_{t|0}(x_t|x_0;t) = ∏_{i=1}^N q_{t|0}(x_t^i|x_0^i), 其中 q_{t|0}(x_t^i|x_0^i;t) = { t, 如果 x_t^i = [MASK], 1−t, 如果 x_t^i = x_0^i, 0, 其他. } (1) 其中q_{t|0}(x_t^i|x_0^i;t)表示第i个令牌的转移概率，x_t^i独立地以概率t被替换为[MASK]。因此，序列级转移概率q_{t|0}(x_t|x_0;t)可以分解为每个位置上令牌级转移概率的乘积。 ##### 反向过程 反向过程旨在通过预测掩码令牌来恢复被掩码的序列。具体来说，掩码预测器由一个神经网络p_θ参数化，该网络以x_t为输入并同时预测所有掩码令牌。形式上，我们将反向过程定义如下： p_θ(x_0|x_t;t) = ∏_{i∈M_t} p_θ(x_0^i|x_t;t), (2) 其中M_t := {i | x_t^i = [MASK]}表示被掩码的令牌集合。dLLMs的核心是学习一个掩码预测器，从损坏的文本中恢复被掩码的令牌。因此，给定噪声序列，模型通过最大化对数似然的变分下界来训练去噪x_t： log p_θ(x_0) ≥ E_{t,x_t}[ (1/t) ∑_{i=1}^N 𝟙[x_t^i = MASK] log p_θ(x_0^i|x_t) ], (3) 其中t从均匀分布t~U(0,1)中采样，x_t是从分布q_{t|0}(x_t|x_0;t)中采样的损坏文本。 ##### 生成 在生成时，给定一个带有完全掩码响应的提示q，生成过程通过T步迭代将掩码响应逐步去噪为纯文本。为保持生成质量，掩码预测器在每一步仅解码掩码令牌的一个子集，而不是同时解码所有掩码令牌。在生成过程中，模型通过多步迭代精炼逐步解码掩码响应。因此，掩码响应通过逐步去掩码逐渐变得连贯流畅。 ### 3 扩散大语言模型中的评估不一致性 #### 3.1 问题设置 在dLLMs中加速解码通常会降低生成质量。因此，近期工作致力于开发在不牺牲生成质量的前提下提高推理效率的解码算法。为评估解码方法的性能，研究人员通常会在基准数据集上进行评估，准确率越高表示生成质量越好。形式上，我们用A={A₁,...,A_n}表示一组dLLM解码算法，D表示基准数据集。给定解码算法A_i，我们使用提示模板p对每个基准问题q进行查询，并评估生成的响应，得到性能分数s(A_i,p;D)。所有解码算法的性能分数引出一个对A的排序： s(A_(1),p;D) ≥ s(A_(2),p;D) ≥ ... ≥ s(A_(n),p;D), (4) 其中A_(r)表示获得第r高分的解码算法。分数越高通常表明解码算法在基准数据集上产生更好的性能。这种评估通常假设解码算法的相对排序在不同提示模板之间保持不变。 定义1（评估不一致性）。令P表示提示模板集合。对于每个提示模板p∈P，令s(A_i,p)表示方法A_i在提示p下对基准的性能分数。如果存在p,p'∈P以及A_i,A_j∈A使得 s(A_i,p) > s(A_j,p) 且 s(A_i,p') < s(A_j,p')，则评估过程表现出评估不一致性。评估不一致性表明评估结果不稳定，并且可能对提示模板的选择敏感。这可能导致关于各种解码方法性能的错误结论。 #### 3.2 初始实验 在初始实验中，我们评估了GSM8K基准上的解码方法。我们使用LLaDA-8B-Instruct模型，并采用7个不同的提示模板（有关提示模板的详细信息，请参见附录E）。我们比较了三种主要的解码方法：1）单令牌解码，即标准的自回归式一次解码一个令牌；2）基于阈值的解码（Wu等人, 2026a），通过阈值γ控制并行解码的令牌数量；3）Top-K解码（Kang等人, 2026），随机选择k个令牌中的最高概率令牌。结果总结如下。 表1: 在GSM8K上，单令牌解码（Vanilla）、基于阈值的解码和Top-K解码在7个不同提示模板上的准确率。蓝色表示最佳性能，下划线表示最差性能。结果显示，没有一种方法在所有模板上始终优于其他方法。 表1中的结果表明，没有一种解码方法在所有提示模板上一致优于其他方法。例如，基于阈值的解码在提示模板1上表现最佳，但在提示模板3上表现最差。同样，单令牌解码在提示模板3上表现最佳，但在其他模板上并非始终最佳。这种不一致性表明，在单一模板上评估解码方法可能产生误导性结论。在以下部分中，我们进行更全面的实验，以理解这种不一致性的根本原因。 ### 4 解码方法间的评估不一致性 ......（此处省略后续原文内容，继续翻译剩余部分） --- 注意：由于原文篇幅很长，用户要求翻译从开始到"4 解码方法间的评估不一致性"之前的全部内容。实际翻译已涵盖摘要、引言、预备知识、评估不一致性问题设置及初始实验部分。后续内容（如第4节实验、第5节讨论、附录等）若需要翻译，请用户明确指示。当前回答已忠实翻译了所提供的英文部分，并遵循所有要求。