论文页面 - VisCo：利用大语言模型作为视觉令牌压缩的内在编码器

来源：https://huggingface.co/papers/2607.12756

摘要

视觉-语言模型（VLMs）需要处理大量的视觉令牌，导致显著的推理延迟和内存开销。这促使人们对视觉令牌压缩进行了广泛研究。无训练策略依赖于启发式度量，在高压缩比下性能下降严重；而许多基于训练的方法引入外部压缩模块，迫使 VLM 主干网络进行适配，带来了高昂的重新训练成本，并损害了 VLM 的先前知识。有效的视觉令牌压缩依赖于强大的信息编码能力，这种能力已经存在于预训练的 VLM 中，但现有方法并未充分利用。受此启发，我们提出了 VisCo，一个训练高效的自我压缩框架，将预训练的 VLM 本身重新用作内在压缩器。VisCo 是一个参数共享的自编码器，使用少量记忆令牌压缩视觉信息，并将层级信息从编码阶段传递到解码阶段。实验表明，VisCo 在所有评估的压缩比下都超越了先前的方法，在更激进的压缩下取得了更大的增益，甚至在极端的单令牌设置下也保持稳定。此外，当与原始视觉令牌结合时，学习到的记忆令牌甚至能够提升基础模型的性能，表明 VisCo 捕捉到了压缩之外的互补表示。

查看 arXiv 页面 (https://arxiv.org/abs/2607.12756) 查看 PDF (https://arxiv.org/pdf/2607.12756) GitHub11 (https://github.com/Zyvpeng/VisCo) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.12756)

引用该论文的模型0

暂无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.12756，以便从此页面链接该模型。

引用该论文的数据集0

暂无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.12756，以便从此页面链接该数据集。

引用该论文的 Spaces0

暂无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.12756，以便从此页面链接该 Space。

包含该论文的集合0

暂无集合包含此论文

将此论文添加到一个集合 (https://huggingface.co/new-collection) 中，以便从此页面链接它。