论文页面 - 所有视觉 Token 都同等重要吗？面向视觉-语言检索的物体证据保留型 Token 合并

来源：https://huggingface.co/papers/2607.04605

摘要

面向物体的 Token 合并框架 SaMer 在保留查询可选的视觉证据的同时压缩图像侧 Token，实现了显著的存储缩减与检索性能提升。

多向量视觉-语言检索 (https://huggingface.co/papers?q=vision-language%20retrieval) 通过最大相似度迟交互 (https://huggingface.co/papers?q=late%20interaction) 保留了细粒度的视觉证据，但密集的图像侧 Token 导致存储和评分成本高昂。现有 Token 压缩 (https://huggingface.co/papers?q=token%20compression) 方法降低了这一成本，但它们可能移除或坍缩物体级与区域级证据，而这些证据可能是未来查询 Token 需要选择的。我们提出 SaMer，这是一个面向物体的 Token 合并框架，它将图像侧投射后 Token (https://huggingface.co/papers?q=post-projector%20tokens) 压缩为 K 个代表性质心，同时保留原有的迟交互接口。SaMer 仅在训练阶段将物体标注作为合并先验，以抑制跨实例混合，推理时无需真实边界框或检测器，并且仅调整共享的投射层，视觉与语言骨干网络保持冻结。当 K=64 时，SaMer 移除了超过 93% 的图像侧 Token，将 ColPali 存储量降低了 16.09 倍，同时在 Flickr30K 和 MSCOCO 上提升了 R@1 指标。这些增益源于面相物体的合并 (https://huggingface.co/papers?q=object-aware%20merging) 保留了查询可选的物体证据，而剪枝或仅特征池化则可能移除或坍缩这些证据。SaMer 还优于压缩基线，并展现出更强的短语级定位 (https://huggingface.co/papers?q=phrase-level%20grounding) 能力，这表明高效的多向量检索 (https://huggingface.co/papers?q=multi-vector%20retrieval) 不仅依赖于减少 Token 数量，更在于保留未来查询 Token 需要选择的证据。

查看 arXiv 页面 (https://arxiv.org/abs/2607.04605) 查看 PDF (https://arxiv.org/pdf/2607.04605) 项目页面 (https://suhyeong10.github.io/samer-project-page/) GitHub (https://github.com/dmis-lab/SaMer) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04605)

在您的 agent 中获取这篇论文：

hf papers read 2607\.04605

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

无模型链接至此论文

在模型 README.md 中引用 arxiv.org/abs/2607.04605 即可从本页链接。

引用该论文的数据集0

无数据集链接至此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.04605 即可从本页链接。

引用该论文的 Space0

无 Space 链接至此论文

在 Space README.md 中引用 arxiv.org/abs/2607.04605 即可从本页链接。

包含该论文的收藏集0

无收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从本页链接。