ReToken:一个Token提升视觉语言模型的视觉检索能力
摘要
ReToken引入了一个可学习的检索Token,从预填充的视觉KV缓存中选择与查询相关的稀疏视觉Token,从而提升视觉语言模型在视觉检索任务上的长上下文性能。它在图像和视频基准上均取得了一致的性能提升,同时可在单张H100上实现高效的长视频推理。
查看缓存全文
缓存时间: 2026/07/31 05:53
论文页面 - ReToken:用单个 Token 提升视觉语言模型的视觉检索能力
来源:https://huggingface.co/papers/2607.28627
摘要
长视觉上下文对视觉语言模型构成挑战:随着干扰项数量的增加,性能会下降,而且在 GPU 内存限制下,一次性处理所有 Token 在计算上是不可行的。我们提出了 ReToken,一个可学习的嵌入向量,将其训练为显式的检索目标,用于从预填充的视觉 KV 缓存中选择一组稀疏的、与查询相关的视觉 Token。ReToken 仅在小规模图像问答数据集上训练,就在图像和视频基准上取得了一致的提升:在 Visual Haystacks 上,它使 Qwen3VL-8B 提升了 13.4 个百分点,使 InternVL3.5 提升了 12.4 个百分点(相对提升超过 20%);在 LVBench 上,它能零样本迁移到长视频场景,为 Qwen3VL-8B 带来 8.0 个百分点的提升。得益于其轻量级设计,训练和长视频推理都可以在单块 H100 上完成。代码地址:https://github.com/avaxiao/ReToken
查看 arXiv 页面 (https://arxiv.org/abs/2607.28627) 查看 PDF (https://arxiv.org/pdf/2607.28627) GitHub1 (https://github.com/avaxiao/ReToken) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.28627)
将此论文放入你的智能体:
hf papers read 2607.28627
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无关联此论文的模型
在模型 README.md 中引用 arxiv.org/abs/2607.28627,即可在本页面关联该模型。
引用此论文的数据集 0
暂无关联此论文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2607.28627,即可在本页面关联该数据集。
引用此论文的 Space 0
暂无关联此论文的 Space
在 Space README.md 中引用 arxiv.org/abs/2607.28627,即可在本页面关联该 Space。
包含此论文的收藏集 0
暂无包含此论文的收藏集
将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在本页面关联它。
相似文章
KeyRec:用于流式和长视频理解的有界视觉记忆
KeyRec 是一个免训练框架,用于在视觉语言模型中构建有界视觉记忆。它通过近期观测缓存(recent-observation cache)与结构化事件库(event bank)相结合,将长视频/流式视频的上下文压缩至仅约 10% 的稠密视觉 token 规模,并在 15 项流式与长视频基准测试设置中的 13 项上取得了最优结果。
通过查询与视觉交互分解进行视觉词元剪枝
论文提出 QViD,一种免训练的查询感知视觉 token 剪枝方法,通过发现查询-视觉交互矩阵的低秩结构并分解出主导潜在交互模式,在图像与视频理解基准上以相同 token 预算持续提升性能,尤其在高压缩率下增益显著。
所有视觉标记都同等重要吗?面向视觉-语言检索的保留对象证据的标记合并
介绍了SaMer,一种面向对象的标记合并框架,用于压缩视觉-语言检索中的图像侧标记,同时保留对象级证据,显著减少存储并提升检索性能。
Reroute,而非移除:面向视觉语言模型的可恢复视觉令牌路由
提出Reroute,一种无需训练的视觉语言模型插件,用可恢复的路由替代不可逆的视觉令牌剪枝,允许令牌在后续阶段重新进入流水线,从而在激进的令牌缩减下提升接地性能,同时保持VQA性能。
更少的令牌,更多的自我教学:极端视觉令牌缩减的策略内自蒸馏
本文提出了LT-OPD,一个用于多模态大语言模型中极端视觉令牌缩减的策略内自蒸馏框架,在低令牌预算下显著提升性能,同时减少KV缓存使用和FLOPs。