论文页面 - 面向视觉语言模型的状态化视觉编码器

Source: https://huggingface.co/papers/2606.04433

摘要

状态化视觉编码器将视觉表示建立在先前特征之上，从而改善视觉语言模型中的视觉比较任务。

视觉语言模型（VLMs）越来越多地用于多图像、多轮智能体场景中，其中决策依赖于视觉变化。然而，在现有的开源权重VLM中，视觉比较仅发生在语言模型内部，而视觉编码器本身是无状态的：每张图像被独立编码，无法访问先前的视觉上下文。结果，在语言模型有机会比较之前，微小但任务关键的变化可能会被削弱，尤其是当这些变化不影响场景的高层语义时。我们引入了一种状态化视觉编码器，它将每个视觉表示建立在先前视觉特征的基础上。在监督微调下，配备状态化编码器的VLM在涉及跨图像空间聚合、多目标视觉差异检测和视觉轨迹行为克隆的受控任务上持续取得改进。这些改进在输入分辨率、语言模型大小和VLM骨干网络上保持一致。最后，我们在真实世界任务上验证了我们的模型，包括纵向放射学、细粒度图像比较和遥感，在这些任务中，状态化编码器持续改善通用VLM基线，并在某些领域能够匹配或超越专用模型。项目页面：https://statefulvisualencoders.github.io/

查看 arXiv 页面（https://arxiv.org/abs/2606.04433）| 查看 PDF（https://arxiv.org/pdf/2606.04433）| 项目页面（https://statefulvisualencoders.github.io/）| GitHub2（https://github.com/StatefulVisualEncoders/StatefulVisualEncoders）| 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.04433）

在你的智能体中获取此论文：

hf papers read 2606\.04433

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有与此论文关联的模型

在模型 README.md 中引用 arxiv.org/abs/2606.04433 即可从此页面链接。

引用此论文的数据集 0

没有与此论文关联的数据集

在数据集 README.md 中引用 arxiv.org/abs/2606.04433 即可从此页面链接。

引用此论文的空间 0

没有与此论文关联的空间

在空间 README.md 中引用 arxiv.org/abs/2606.04433 即可从此页面链接。

包含此论文的收藏集 0

没有包含此论文的收藏集

将此论文添加到收藏集（https://huggingface.co/new-collection）即可从此页面链接。