论文页面 - V-CoLA：基于线性注意力的视觉 Token 压缩

来源：https://huggingface.co/papers/2610.11251

作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

视觉-语言模型（VLMs）展现出了令人瞩目的能力，但由于视觉 Token 在输入序列中占主导地位，带来了大量的计算开销。这使得视觉 Token 压缩成为减轻模型负担的关键研究方向。然而，随着线性注意力混合架构（例如 Qwen3.5）的兴起，先前为 softmax 注意力设计的压缩方法难以有效泛化。我们的分析表明，基于注意力和基于相似性的方法都出现了明显的性能下降，凸显了针对这一场景定制压缩方法的迫切需求。为此，我们提出了 V-CoLA——一个专为线性注意力设计的高效免训练 Token 压缩框架。V-CoLA 引入了一种新颖的唯一性感知重要性准则来识别关键视觉 Token，并结合自适应 Token 合并策略来执行压缩。所有组件均在实现层面进行了优化，以保持与线性注意力分块并行计算的兼容性，确保了较强的实用价值。在多个基准上的大量实验验证了 V-CoLA 的优越性：仅保留 50.0% 的视觉 Token 即可达到原始性能的 99.5%，在仅保留 12.5% 的情况下仍能保持超过 88.0% 的性能，同时实现了 1.86 倍至 6.15 倍的预填充加速。

查看 arXiv 页面（https://arxiv.org/abs/2610.11251）　查看 PDF（https://arxiv.org/pdf/2610.11251）　添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.11251）

在你的 agent 中获取此论文：

hf papers read 2610.11251

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.11251，即可从此页面链接该模型。

引用此论文的数据集0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.11251，即可从此页面链接该数据集。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.11251，即可从此页面链接该 Space。

包含此论文的合集0

暂无合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection），即可从此页面链接该合集。