更快但不同:加速多模态扩散语言模型中内容漂移的诊断与控制

arXiv cs.CL 论文

摘要

本文研究了无训练加速如何静默改变基于扩散的多模态大语言模型生成的内容,并提出了成对诊断和一致性控制方法来缓解内容漂移。

arXiv:2607.29079v1 公告类型:新 摘要:无训练加速使基于扩散的多模态大语言模型(dMLLMs)更易于部署,但它可能静默改变生成的内容。我们在300张真实图像上研究这种服务时一致性问题,将Fast-dLLM的输出与同一模型未加速的输出进行比较。在我们长文本设置中引入的轻度并行下(每步1.05--1.25个已提交token),置信度阈值调整会改变解码行为,但不会改变基线一致性。状态刷新消融和图像交换干预反而识别出过时的视觉和生成文本状态是漂移的促成因素。对于所测试的Fast-dLLM实现,缩短KV缓存刷新间隔产生了单调的速度--一致性前沿,并在实测1.3倍加速下达到近乎完全一致。初始诊断也出现在dLLM-Cache和LaViDa中,尽管dLLM-Cache只有在两个缓存都收紧后才恢复一致性,这消除了其速度优势。独立的提示和图像重现了阈值不敏感性和刷新恢复。一项针对性审计发现,在50对低一致性样本中,有一半存在真正的内容替换。在一项单独的盲法双标注者评估中,合并后的加速减基线事实错误差异为0.00(95% CI [-0.17,+0.17]);该样本未检测到差异,但并未确立事实等效性。最后,在匹配计算量下,所测试的自适应或平滑刷新变体均未优于固定间隔。我们的贡献是成对诊断和实现范围内的一致性控制,而非准确性或安全性保证。
查看原文
查看缓存全文

缓存时间: 2026/08/03 07:35

# 更快但不同:诊断与控制加速多模态扩散语言模型中的内容漂移
Source: https://arxiv.org/html/2607.29079
Yaoxuan Dou北京理工大学数学与统计学院中国北京1120231803@bit\.edu\.cn (https://arxiv.org/html/2607.29079v1/mailto:[email protected])Yang Shu浙江大学中国杭州shuyang@zju\.edu\.cn (https://arxiv.org/html/2607.29079v1/mailto:[email protected])

###### 摘要\.

免训练加速使基于扩散的多模态大型语言模型 \(dMLLMs\) 更易于部署,但它可能静默地改变生成内容。我们在 300 张真实图像上研究这一服务时一致性问题,将 Fast\-dLLM 的输出与同一模型未加速的输出进行比较。在我们长文本设置中引入的适度并行度下(每步提交 1.05–1.25 个 tokens),置信度阈值调整会改变解码行为,但不会改变基线一致性。状态刷新消融实验和图像替换干预实验反而将过期的视觉状态和已生成文本状态识别为漂移的贡献因素。对于所测试的 Fast\-dLLM 实现,缩短 KV 缓存刷新间隔可产生单调的速度–一致性前沿,并在实测 1.3×1.3\times 加速比下达到近乎完全一致。初步诊断在 dLLM\-Cache 和 LaViDa 中同样出现,不过 dLLM\-Cache 只有在同时收紧两个缓存后才恢复一致性,而这会消除其速度优势。独立提示和图像复现了对阈值不敏感和刷新恢复的现象。一项针对性审计发现,在 50 个低一致性样本对中,有一半存在真正的内容替换。在另一项独立的双标注者盲评中,合并后的加速减去基线的事实错误差为 0.000.00(95% CI [−0.17,\+0.17]\[\-0.17,\+0.17\]);该样本未检测到差异,但并不能确立事实等价性。最后,在匹配计算量下,所测试的自适应或平滑刷新变体均未优于固定间隔。我们的贡献是一个成对诊断和实现范围内的一致性控制方法,而非准确性或安全性保证。

扩散语言模型,多模态 Web 助手,信息完整性,推理加速,KV 缓存,内容漂移

††copyright:none††ccs:Computing methodologies Natural language generation††ccs:Computing methodologies Computer vision††ccs:Computing methodologies Neural networks## 1\.引言

多模态助手日益成为用户与视觉丰富信息之间的中介:截图、产品页面、广告、新闻图片和社交媒体内容。现实的 Web 智能体基准已经要求模型将视觉页面理解与下游动作结合起来(Koh et al\.,2024 (https://arxiv.org/html/2607.29079#bib.bib6); Zheng et al\.,2024 (https://arxiv.org/html/2607.29079#bib.bib15))。在这些对延迟敏感的场景中,生成的描述或结构化提取结果可能成为下游搜索、内容分析或智能体决策的依据。因此,加速不仅仅是吞吐量问题。如果服务配置静默地改变了模型声称可见的内容,那么即使整体任务准确率看似稳定,也可能使相同内容产生不一致的中间证据。我们通过扩散式多模态大型语言模型 \(dMLLMs\) 来研究这一推理时信息完整性问题;这是一个新的非自回归模型家族,其块并行生成使得激进加速尤其具有吸引力。

与传统的从左到右生成不同,dLLMs 通过置信度引导的去掩码过程迭代式地对完全掩码的序列进行去噪(Nie et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib11));LLaDA\-V(You et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib13))通过视觉编码器扩展了这一范式。其实际吸引力受到慢速推理和并行解码下依赖关系违反的削弱(Kang et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib4); Israel et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib3))。Fast\-dLLM(Wu et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib12))通过近似块级 KV 缓存和置信度感知的并行解码同时解决了这两个问题。报告的速度提升可达一个数量级或更多,并且置信度阈值被呈现为——并在后续工作中如 VRCD(Yuan et al\.,2026 (https://arxiv.org/html/2607.29079#bib.bib14))使用——在推理速度和输出质量之间进行权衡的自然调节旋钮。

参见图注图 1\.为什么加速会改变模型所说的内容,以及在我们研究的设置中控制该内容的调节旋钮。\(a\) Fast\-dLLM 的近似 KV 缓存仅在每 prefix\_refresh\_interval 步(默认 32)重新关注图像一次:128 个去噪步骤中有 124 个使用缓存的视觉状态。\(b\) 阈值扫描使用 300 张 MME 图像;刷新和变体扫描使用配对的 50 图像子集(均值附带 95% 自助法置信区间)。阈值(红色)使一致性保持不变;缩小刷新间隔(蓝色,32→132\to 1)以速度换取一致性并形成连续曲线;没有任何自适应或平滑刷新变体(灰色×\times)能超越该前沿。一致性是针对未加速输出而言,而非真实标签。面板 a 对比了完整刷新步骤(关注图像和文本 tokens)与重用缓存状态的增量步骤。面板 b 绘制了生成时间与一致性的关系:阈值设置形成一个低一致性聚类,刷新设置描绘出一条递增前沿,自适应变体位于其下方。这种“阈值即调节旋钮”的假设,据我们所知,从未在多模态、开放式生成场景中被直接检验过;在该场景中,关注的失败模式不是任务准确率下降,而是*模型声称图像中包含的内容*发生变化。我们直接检验了这一假设。使用 LLaDA\-V 和 Fast\-dLLM,在涵盖多种内容类别的 300 张真实图像上,我们在六种配置下生成详细图像描述——一个未加速基线和五个覆盖该方法工作范围的置信度阈值——并测量*基线一致性*:加速输出与同一图像的未加速输出在内容上的接近程度。两个澄清说明为后续一切设定了框架。首先,基线一致性是一个*一致性*构造,而非准确性构造:它量化的是加速是否改变了模型所说的内容,而不是任一版本对图像是否正确;第 9 节 (https://arxiv.org/html/2607.29079#S9) 单独评估了基于图像的事实性,并在有限的 50 图像研究中未检测到加速与基线之间的差异,但并未确立等价性。其次,在已发布的实现中,阈值的实际方向与其直观理解相反——较大的值每步提交*更多* tokens(第 5 节 (https://arxiv.org/html/2607.29079#S5))。我们发现,在该测试范围内,“阈值即调节旋钮”的假设不成立:一旦启用加速,内容就会与未加速输出产生大幅且几乎恒定的偏差,无论阈值如何。我们称之为*开关效应*:打开加速会使模型进入一条不同的生成轨迹,其与未加速轨迹的距离不受所测试阈值的控制。

我们并未止步于诊断。检查 Fast\-dLLM,我们将该效应追溯到其 KV 缓存调度:完整重计算仅在固定的刷新间隔发生,中间步骤复用缓存的视觉和已生成文本状态(图 1 (https://arxiv.org/html/2607.29079#S1.F1)a)。正交刷新消融实验表明,两组状态都有贡献,其中视觉状态刷新恢复的一致性更多;直接图像替换干预表明,增量步骤在完整刷新之前无法纳入已更改的图像。这是自回归 VLM 中报告的渐进视觉信息丢失的调度诱发类似物(Li et al\.,2025b (https://arxiv.org/html/2607.29079#bib.bib9))。在此机制的指导下,我们表明,对于所测试的 Fast\-dLLM 实现,刷新间隔——而非阈值——是所观察到的主要一致性控制手段:对其扫描可得到一条连续、单调的一致性曲线,而其最保守的设置几乎消除了漂移,同时保留了实际加速效果。

为了评估这一发现在多大程度上特定于某一加速实现,我们使用一种独立的、采用不同工程实现的缓存方法 dLLM\-Cache(Liu et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib10))重复了完整的刷新间隔扫描。初步诊断再次出现:两种实现在各自默认配置下产生相似的漂移。但单参数补救方案并不可迁移:dLLM\-Cache 在其提示缓存被更频繁刷新时,漂移几乎保持平坦,这表明其独立调度的生成 token 缓存是第二个候选来源。一项 15 图像的联合试点支持这一解释,但通过同时收紧两个缓存来恢复一致性会消除 dLLM\-Cache 的速度优势。我们将其报告为实现的边界条件。最后,由于我们的核心证据依赖于词汇相似性,我们手工审计了 50 个低相似度生成结果,发现其中一半反映了真正的内容替换,包括虚构内容,而非无害的改写。

对于面向 Web 的多模态系统,核心贡献是一种服务时诊断方法,用于检测效率机制何时改变了从视觉内容中提取的信息,并且这与任一输出在事实上是否正确是独立的。具体来说,我们贡献了:\(1\) 系统性证据,表明在所诱导的并行度范围内,置信度阈值调节无法控制内容漂移,使用了 300 张图像、在独立样本上的两种附加输出格式以及步骤级仪器;\(2\) 在所测试的 Fast\-dLLM 实现中,KV 缓存过时对漂移有贡献的因果证据,来自正交状态刷新消融实验和图像替换干预;\(3\) 一种连续可调的刷新控制手段,具有实测的效率–一致性前沿;\(4\) 跨实现、跨模型和匹配延迟的检查,以界定诊断和补救方案的适用范围;\(5\) 将轨迹一致性与基于图像的事实性区分开来的手工和盲评研究;以及 \(6\) 一项负面结果研究,表明在匹配计算量下,所测试的自适应或平滑刷新变体均未优于固定间隔。

## 2\.相关工作

加速扩散语言模型推理。Fast\-dLLM(Wu et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib12))是我们研究的主要对象,它将块级近似 KV 缓存与置信度感知的并行解码相结合,将 LLaDA 系列模型加速一个数量级或更多。Fast\-dLLM\+\+(Kasa et al\.,2026 (https://arxiv.org/html/2607.29079#bib.bib5))随后用置信度分布解码替换了最弱 token 选择,同时保持缓存实现不变;它改善了纯文本的准确率–吞吐量前沿,但未研究多模态缓存刷新的一致性。dLLM\-Cache(Liu et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib10))追求一个相关但独立工程实现的目标,将长间隔提示缓存与对响应缓存的部分、相似性引导更新相结合。自适应并行解码 \(APD\)(Israel et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib3))则使用一个小型辅助自回归模型来决定提交多少个 tokens。这些工作评估的是任务准确率或吞吐量,而非开放式多模态内容对暴露的服务参数的敏感性。

并行解码下的质量退化。ParallelBench(Kang et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib4))在精神上与我们的诊断最接近:它引入了一个基准来量化 dLLMs 在并行解码下的质量退化,并将退化归因于条件独立性假设违反了 token 依赖关系。然而,ParallelBench 仅评估纯文本 dLLMs,未研究多模态设置,也未将缓存刷新调度作为与解码并行度不同的独立变量加以检验。我们的工作将该研究线索扩展到多模态生成,并分离出一个与依赖违反解释正交的机制(缓存过时)。

扩散 MLLMs 中的视觉 token 处理。一条并行的研究线索研究了扩散 MLLMs 在并行解码期间如何在视觉 tokens 之间分配注意力。VRCD(Yuan et al\.,2026 (https://arxiv.org/html/2607.29079#bib.bib14))提出了在单次解码步骤中对共同选择的高置信度 tokens 进行冗余感知重排序;关于视觉 token 冗余的更广泛研究(Li et al\.,2026 (https://arxiv.org/html/2607.29079#bib.bib7))针对标准 VQA 基准上的效率–准确率权衡。两者均未分析缓存刷新调度,也未分析开放式多模态生成中与成对未加速参考的内容分歧——这正是我们提出的具体分析。

VLM 中的幻觉与视觉 grounded。Visual Information Steering(Li et al\.,2025b (https://arxiv.org/html/2607.29079#bib.bib9))报告了自回归生成过程中视觉 grounded token 偏好的逐渐丧失。我们的图像替换干预识别了一种不同的、确定性的机制:Fast\-dLLM 的增量步骤复用缓存的视觉状态,在刷新之前无法纳入已更改的图像。因此,我们仅将自回归发现用作结构上的类比,而非认为两种机制完全相同。

Web 上的多模态智能体。VisualWebArena(Koh et al\.,2024 (https://arxiv.org/html/2607.29079#bib.bib6))在现实的视觉 grounded Web 任务上评估智能体,而 SeeAct(Zheng et al\.,2024 (https://arxiv.org/html/2607.29079#bib.bib15))将网站上的视觉理解与动作 grounded 相结合。这些工作说明了为何稳定的视觉证据在下游场景中可能很重要。我们的实验不评估 Web 导航或任务成功率;它们隔离了这类系统可能遇到的更底层服务一致性问题。

定位总结。表 1 (https://arxiv.org/html/2607.29079#S2.T1) 总结了我们的工作与六篇最密切相关论文的差异。VRCD 和 ParallelBench 是最近的 arXiv 预印本,因此我们将其视为并发工作,并在阅读新颖性声明时带有这一保留。据我们所知,此前没有任何工作将多模态设置与对置信度阈值和缓存刷新间隔的受控扫描相结合,并以成对的未加速参考为基准,也没有在任何两个独立工程实现的缓存方案上测试所提出的控制方法。

表 1\.本文与最密切相关工作之间的差异。
## 3\.背景

### 3\.1\.扩散语言模型生成

与自回归模型不同,LLaDA 系列模型(Nie et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib11); You et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib13))通过将 gen\_length 个 tokens 全部初始化为掩码 token,并在 oversteps 个去噪步骤中迭代地用预测 tokens 替换掩码位置来生成序列,可选地划分为 block\_length 大小的块以进行半自回归块级生成。在每个步骤中,模型执行一次完整前向传播,重掩码策略(例如低置信度重掩码)根据模型预测的置信度决定当前哪些掩码位置应被提交。

### 3\.2\.Fast\-dLLM 加速

Fast\-dLLM(Wu et al\.,2025 (https://arxiv.org/html/2607.29079#bib.bib12))通过两种机制加速这一过程。首先,近似块级 KV 缓存避免了为提示和已完成块重新计算注意力。

相似文章

用于优化离散扩散语言模型的漂移目标

arXiv cs.CL

本文提出TokenDrift,一种漂移目标方法,通过将分类预测提升至连续语义空间进行反对称漂移,从而优化离散扩散语言模型。在固定去噪步数下,该方法显著提升了生成质量。

面向主体驱动生成的多模态大语言模型能力挖掘

Hugging Face Daily Papers

本文提出了一种新颖的方法,将扩散模型以多模态大语言模型(MLLMs)为条件,用于主体驱动图像生成,使用基于VAE的身份条件化和双层聚合模块,提高语义理解和身份保持,同时减轻复制粘贴伪影。