论文页面 - 纯粹的MLP：多模态语言模型中的高效视觉状态重构

来源：https://huggingface.co/papers/2609.34972

摘要

长的视觉token序列在多模态大语言模型（MLLMs）中常常占据了计算开销的很大一部分。现有方法通过修剪冗余的视觉token来减少这一成本，但会永久丢弃那些可能在后续层中有用的视觉证据。我们转而探究：是否可以在减少通过Transformer重复演化表示的计算成本的同时，保留所有视觉token？为回答这个问题，我们对视觉到文本的信息流进行了低秩干预。我们发现，在阻断视觉到文本的注意力之后，仅恢复少数几个方向就能恢复大部分损失的准确性，这表明相关的视觉影响集中在一个低维子空间中。我们进一步观察到特定层的视觉状态具有很强的可预测性：轻量级的MLP能够以高余弦相似度和低重构误差来近似它们。受这些发现的启发，我们提出了 δ-Vision，它用轻量级的低秩适配器取代了视觉token的重复Transformer演化，这些适配器在构建层级视觉记忆的同时，保留所有视觉token用于文本检索。在图像和视频基准测试中，δ-Vision在相似或更低计算量下实现了比视觉token剪枝基线更高的准确性，同时在不丢弃视觉token的情况下提供了具有竞争力的推理效率。

查看arXiv页面 (https://arxiv.org/abs/2609.34972) 查看PDF (https://arxiv.org/pdf/2609.34972) GitHub2 (https://github.com/declare-lab/delta-Vision) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.34972)

在你的代理中获取本文：

hf papers read 2609\.34972

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接本文

在模型的README.md中引用arxiv.org/abs/2609.34972以从本页链接它。

引用本文的数据集0

无数据集链接本文

在数据集的README.md中引用arxiv.org/abs/2609.34972以从本页链接它。

引用本文的Space0

无Space链接本文

在Space的README.md中引用arxiv.org/abs/2609.34972以从本页链接它。

包含本文的收藏0

无收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接它。