论文页面 - 超越选择：面向极端视觉Token压缩的Token参数化方法

来源：https://huggingface.co/papers/2609.35232

摘要

视觉Token压缩是提升视觉-语言模型效率的有效手段，但在极端压缩预算下，Token剪枝可能破坏视觉定位能力，而学习型重采样器则会增加参数量、注意力计算开销和训练复杂度。本文从Token参数化的视角重新审视压缩过程，将其分解为：（1）基底变换与结构化截断（保留子空间/可压缩性）和（2）坐标组织（优化与跨模态对齐）。这一视角引出了两个耦合目标——可压缩性与可学习性，我们将其形式化为统一泛函。基于这两个目标，我们设计了Braco，一种轻量级的四步编解码器，结合了变换基底截断、输入无关的基底-坐标嵌入、预算依赖的正交重参数化，以及通过轻量池化学习得到的空间残差Token。实验表明，Braco在23倍至64倍压缩率下形成了最优的经验准确率-效率前沿，并在144倍压缩时仍保持竞争力，达到95.2%的准确率，同时将预填充FLOPs相对未压缩上界降低84.2%-86.7%。与先前方法相比，Braco匹配或提升了准确率，同时实现了最高约36%的端到端加速，并使用低16.6倍/78.8倍的压缩器延迟/FLOPs。

查看arXiv页面 (https://arxiv.org/abs/2609.35232) 查看PDF (https://arxiv.org/pdf/2609.35232) 项目页面 (https://zrrraa.github.io/Braco/) GitHub1 (https://github.com/zrrraa/Braco) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.35232)

引用本文的模型0

无模型引用此论文

在模型的README.md中引用arxiv.org/abs/2609.35232以从本页面链接。

引用本文的数据集0

无数据集引用此论文

在数据集的README.md中引用arxiv.org/abs/2609.35232以从本页面链接。

引用本文的Spaces0

无Space引用此论文

在Space的README.md中引用arxiv.org/abs/2609.35232以从本页面链接。

包含本文的收藏集0

无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。