论文页面 - ENTRAP-VL: 视觉语言模型中双重上下文牵引的分类探针

来源：https://huggingface.co/papers/2607.20092

摘要

上下文牵引是模型倾向于让输入中的辅助上下文影响其输出的现象，无论该上下文是否相关、真实甚至有意义。最近，这一现象已在单模态语言模型中被识别并给出了机制性解释。相比之下，它在视觉语言模型（VLM）中是否以及如何体现却鲜有研究，且该领域缺乏专门构建的研究工具。我们认为，研究VLM中的上下文牵引不仅需要将现有的纯文本基准迁移到多模态场景：还需要一个分类结构化的双模态工具，其条件围绕当前项目构建（文本流中的描绘图像，视觉流中的文本查询）。我们主张，向VLM的迁移是实质性的而非渐进式的。它使牵引成为一种双重现象，可分别由文本上下文和视觉上下文驱动，并且它开启了一个真实性区分（与所描绘场景不符但在世界中可能成立的上下文）——这在先前工作的单模态、仅世界知识框架中没有对应物。为使这一主张具体且可操作，我们引入了ENTRAP-VL（视觉与语言牵引评估探针），一个手动策划的数据集，包含8个类别共1,500个项目，按照沿两个轴（即上下文与项目的关联及其与真实性的关系）的分类法组织，并分为文本牵引流（8种上下文条件）和视觉牵引流（3种上下文条件）。我们不声称测量了任何特定模型中的牵引；我们提供工具、其动因分类法以及它所启用的评估协议，以便研究社区能够严谨地调查这一现象。我们将公开发布数据集及其文档。

查看arXiv页面 (https://arxiv.org/abs/2607.20092) 查看PDF (https://arxiv.org/pdf/2607.20092) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.20092)

在您的智能体中获取此论文：

hf papers read 2607.20092

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

请在模型README.md中引用arxiv.org/abs/2607.20092以从本页面链接。

引用此论文的数据集1

goyalkaraniit/ENTRAP-VL 查看器• 更新于约18小时前 • 2.9k • 10 (https://huggingface.co/datasets/goyalkaraniit/ENTRAP-VL)

引用此论文的Spaces0

无Space链接此论文

请在Space README.md中引用arxiv.org/abs/2607.20092以从本页面链接。

包含此论文的收藏集0

无收藏集包含此论文

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。