按需查看：面向高效扩散视觉语言模型的证书引导视觉路由

Hugging Face Daily Papers 论文
diffusion-vlm visual-token-pruning inference-efficiency decoding multimodal

摘要

LOWN 为扩散视觉语言模型引入了证书引导的视觉路由机制：当仅基于文本的预测与基于图像条件的预测一致时，跳过图像处理，在十个基准上以 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的性能分数。

扩散视觉语言模型（DVLMs）在每个去噪步骤中都会处理全部输入。在我们研究的基准上，视觉 token 占输入的 89-97%，因此大部分解码计算都耗费在反复处理同一张图像上。视觉 token 剪枝方法通过移除部分视觉 token 在一定程度上减轻了这一负担，但会丢失被移除的信息，并且仍然在每一步处理剩余的图像。为了衡量图像在何时真正被需要，我们在每个解码步骤中对比了 LLaDA-V 在有图像和无图像两种情况下的预测，发现移除图像平均只会在 22.8% 的步骤中改变正在被解掩码的 token，最低时仅为 7.9%。因此我们提出了 LOWN——一种解码方法，它在每一步决定是否处理图像以及解掩码多少个 token。LOWN 在不使用图像的情况下预测被掩码的 token，仅当该预测与上一次基于图像条件的预测不一致时才处理图像。一致的结果即可作为证书证明之前的预测可以被复用，而已认证的 token 数量决定了该步骤中解掩码的 token 数。我们还观察到不同基准对图像的需求各不相同，因此需要 LOWN 的自适应决策而非固定调度策略。无需训练或调优阈值，LOWN 在十个基准上以平均 35.3% 的解码 FLOPs 保留了 LLaDA-V 99.6% 的分数。LOWN 还能泛化到基于 LLaDA 的各类 DVLM，可与视觉 token 剪枝正交组合，并支持键值缓存以获得进一步的效率提升。代码和项目主页见 https://hyeon9698.github.io/LOWN/
查看原文
查看缓存全文

缓存时间: 2026/10/30 07:08

论文页面 - Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

来源: https://huggingface.co/papers/2610.36671

摘要

LOWN 在扩散视觉-语言模型解码过程中，当预测结果一致时自适应地跳过图像处理，在保持准确性的同时减少计算量。

扩散视觉-语言模型 (https://huggingface.co/papers?q=Diffusion%20vision-language%20models)（DVLMs）在每个去噪步骤中处理全部输入。由于在我们研究的基准测试中，视觉token占输入的89-97%，大部分解码计算都花在反复处理同一张图像上。视觉token剪枝 (https://huggingface.co/papers?q=Visual%20token%20pruning) 方法通过移除部分视觉token来缓解这一负担，但会丢失被移除的信息，且在每个步骤中仍需处理剩余的图像。为了衡量图像实际被需要的频率，我们在每个解码步骤中对比了 LLaDA-V (https://huggingface.co/papers?q=LLaDA-V) 有图像和无图像条件下的预测结果，发现移除图像仅在平均22.8%的步骤（最低仅为7.9%）中会改变正在被解遮掩的token。因此我们提出了LOWN (https://huggingface.co/papers?q=LOWN)，一种在每个步骤中决定是否处理图像以及解遮掩多少token的解码方法。LOWN (https://huggingface.co/papers?q=LOWN) 在无图像条件下预测被遮掩的token (https://huggingface.co/papers?q=masked%20tokens)，仅当该预测与上一次图像条件下的预测不一致时才处理图像。预测一致即可认证之前预测的可靠性以供复用，且被认证的token数量决定了该步骤中解遮掩的token数量。我们进一步观察到，不同基准测试对图像的需求不同，因此需要LOWN (https://huggingface.co/papers?q=LOWN) 的自适应决策，而非固定调度策略。无需训练或调优阈值，LOWN (https://huggingface.co/papers?q=LOWN) 在十个基准测试上以平均35.3%的解码FLOPs (https://huggingface.co/papers?q=decoding%20FLOPs) 保留了 LLaDA-V (https://huggingface.co/papers?q=LLaDA-V) 99.6%的分数。LOWN (https://huggingface.co/papers?q=LOWN) 还能泛化到基于 LLaDA 的DVLM，与视觉token剪枝 (https://huggingface.co/papers?q=visual%20token%20pruning) 正交组合，并可在键值缓存 (https://huggingface.co/papers?q=key-value%20caching) 下运行以获得进一步的效率提升。代码和项目页面请访问 https://hyeon9698.github.io/LOWN (https://huggingface.co/papers?q=LOWN)/

查看 arXiv 页面 (https://arxiv.org/abs/2610.36671) 查看 PDF (https://arxiv.org/pdf/2610.36671) 项目页面 (https://hyeon9698.github.io/LOWN/) GitHub 仓库 (https://github.com/hyeon9698/LOWN) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.36671)

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.36671 即可从此页面链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.36671 即可从此页面链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.36671 即可从此页面链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接。

相似文章