论文页面 - ReToken：用单个 Token 提升视觉语言模型的视觉检索能力

来源：https://huggingface.co/papers/2607.28627

摘要

长视觉上下文对视觉语言模型构成挑战：随着干扰项数量的增加，性能会下降，而且在 GPU 内存限制下，一次性处理所有 Token 在计算上是不可行的。我们提出了 ReToken，一个可学习的嵌入向量，将其训练为显式的检索目标，用于从预填充的视觉 KV 缓存中选择一组稀疏的、与查询相关的视觉 Token。ReToken 仅在小规模图像问答数据集上训练，就在图像和视频基准上取得了一致的提升：在 Visual Haystacks 上，它使 Qwen3VL-8B 提升了 13.4 个百分点，使 InternVL3.5 提升了 12.4 个百分点（相对提升超过 20%）；在 LVBench 上，它能零样本迁移到长视频场景，为 Qwen3VL-8B 带来 8.0 个百分点的提升。得益于其轻量级设计，训练和长视频推理都可以在单块 H100 上完成。代码地址：https://github.com/avaxiao/ReToken

查看 arXiv 页面 (https://arxiv.org/abs/2607.28627) 查看 PDF (https://arxiv.org/pdf/2607.28627) GitHub1 (https://github.com/avaxiao/ReToken) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.28627)

将此论文放入你的智能体：

hf papers read 2607.28627

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2607.28627，即可在本页面关联该模型。

引用此论文的数据集 0

暂无关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2607.28627，即可在本页面关联该数据集。

引用此论文的 Space 0

暂无关联此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2607.28627，即可在本页面关联该 Space。

包含此论文的收藏集 0

暂无包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在本页面关联它。