多语言视觉-语言模型中使用空间指示表达的能力评估

# 多语言视觉语言模型使用空间指示表达能力的评估

来源：https://arxiv.org/html/2607.07251  
Kaito Watanabe1,2, Taisei Yamamoto1,2, Tomoki Doi1,2, Hitomi Yanaka1,2,3  

1东京大学，2理化学研究所，3东北大学  
\{nglhdf,yamamo96,doi\-tomoki701,hyanaka\}@is\.s\.u\-tokyo\.ac\.jp  

###### 摘要

视觉语言模型（VLM）的预期能力之一是基于给定文本和图像的空间推理能力。为了评估VLM的空间推理能力，我们重点关注空间指示表达的使用，这类表达是指所指对象依赖于情境上下文的词语，例如“这个”和“那个”。要处理空间指示表达，VLM必须联合推理语言和视觉空间，在图像的空间结构中将依赖于上下文的指示词进行具体化。此外，在不同语言中选择合适的空间指示表达，要求VLM理解这些表达所编码的语言特定空间区分。本文我们构建了一个基准测试111我们的基准测试可在 https://github.com/ynklab/multilingual-demonstratives-eval 获取，用于评估VLM在四种语言中使用空间指示表达的多语言能力。使用该基准测试的实验表明，被测试的模型在使用指示词的方式上与人类不同，尤其是在根据对象距离选择合适指示词方面。

---

# 多语言视觉语言模型使用空间指示表达能力的评估

Kaito Watanabe1,2, Taisei Yamamoto1,2, Tomoki Doi1,2, Hitomi Yanaka1,2,3  
1东京大学，2理化学研究所，3东北大学  
\{nglhdf,yamamo96,doi\-tomoki701,hyanaka\}@is\.s\.u\-tokyo\.ac\.jp  

## 1 引言

近年来，大型语言模型（LLM）和视觉语言模型（VLM）因其可扩展性取得了显著进展。此外，LLM和VLM的一个关键特性是它们不仅能处理英语任务，还能处理多种语言的任务，这极大地推动了对其推理能力的评估。先前的研究已经探究了VLM捕捉空间关系和空间表达（如参照框架222参照框架（FoR）是用于从一个物体视角表达另一个物体相对位置的框架。）（Zhang 等人，2025b (https://arxiv.org/html/2607.07251#bib.bib19)；Khemlani 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib10)）的能力。

尽管如此，VLM利用空间指示表达（一种重要的空间表达类型）的能力尚未得到明确研究。指示是使用其指代依赖于话语情境的表达。空间指示表达是指依赖于话语发生空间的表达，例如“这里”或“那个”。例如，假设说话者面前有一支笔。如果笔很远，特别是不可及的位置，说话者倾向于说“那支笔”；而如果笔离说话者很近，则会用“这支笔”指代。如这个例子所示，指示功能是人类语言的基础，因为它将语言表达与物理环境联系起来。因此，评估VLM在使用空间指示表达方面的熟练程度，对于基准测试其空间推理能力具有语言学意义。

我们认为，空间指示的使用给VLM带来了两个主要挑战：跨语言变异和内在歧义。首先，为了恰当地使用空间指示表达，多语言VLM需要理解这些表达在不同语言中的语义差异。例如，英语使用两种指示词：近指333近指指示词指代离说话者较近的对象，而远指指示词指代离说话者较远的对象。“this”和远指“that”，而日语使用三种指示词：近指“kono”、远指“ano”和中指“sono”。因此，不同语言的空间指示表达种类数量各不相同。另一个例子是，尽管西班牙语和日语都有三种指示词：近指、远指和中指，但每个词的含义并不相同。根据Diessel (1999 (https://arxiv.org/html/2607.07251#bib.bib4))，西班牙语的中指“ese”表示说话者和听者之间的一个相对中间位置，而日语的中指“sono”表示靠近听者的位置。因此，多语言VLM需要捕捉这种跨语言空间距离语义细微差别的微妙差异，才能像人类一样使用指示词。其次，Coventry 等人 (2023 (https://arxiv.org/html/2607.07251#bib.bib3))（一项对每种语言约30名参与者使用指示词的研究）报告称，个体在相同情境下不一定使用相同的指示词；在捕捉空间距离的语义细微差别方面存在个体差异。因此，如果多语言VLM成功学习了空间指示表达，它们应该能够识别语言间的差异，并再现人类使用指示词的分布。

基于这些考虑，我们开发了一个基准测试来衡量在各种语言（如英语和日语）中使用空间指示表达的能力，并对VLM进行了评估。基准测试中的任务旨在探究对象的绝对距离如何影响VLM指示词的选择。我们还通过比较Coventry 等人 (2023 (https://arxiv.org/html/2607.07251#bib.bib3)) 报告中人类空间指示表达实验的结果，分析了VLM的性能。

本文的贡献如下：

1. 我们构建了第一个用于评估VLM使用指示词能力的基准测试。
2. 我们发现，开源的VLM无法以类似人类的方式使用指示词，且模型间的差异因模型而异。特别是，VLM没有表现出像人类那样随距离变化而选择指示词的转变。

## 2 背景

### 2.1 VLM空间推理能力分析

已有大量针对VLM空间推理能力的评估 (Liu 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib13))。这些基准测试工作揭示，VLM仍然缺乏足够的人类水平能力 (Khemlani 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib10)；Zhang 等人，2025a (https://arxiv.org/html/2607.07251#bib.bib18))，尤其是在三维世界空间推理任务中，如距离估计 (Yang 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib17)；Zhang 等人，2025a (https://arxiv.org/html/2607.07251#bib.bib18)) 和位置关系（如“前面”或“左边”）(Liu 等人，2023 (https://arxiv.org/html/2607.07251#bib.bib12)；Khemlani 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib10))。

此外，许多基准测试仅用英语开发（前一段引用的工作都是针对英语评估）。只有少数基准测试包含评估VLM多语言空间推理能力的任务 (Liu 等人，2024 (https://arxiv.org/html/2607.07251#bib.bib14)；Haller 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib8)；Zhang 等人，2025b (https://arxiv.org/html/2607.07251#bib.bib19))。

Liu 等人 (2024 (https://arxiv.org/html/2607.07251#bib.bib14)) 旨在稳健而全面地评估VLM的能力。为此，基准测试MMBench包含一个名为“空间关系”的任务（包含二维空间关系）和一个名为“物理关系”的任务（包含三维空间关系）。作者还创建了中文版本的基准测试MMBench-CN。他们发现，大多数被测试的VLM在MMBench-CN上表现更差，但英语得分高的模型在英语和中文之间的性能差距可能更小。

Haller 等人 (2025 (https://arxiv.org/html/2607.07251#bib.bib8)) 通过收集PISA测试（一项国际学生学业表现评估）中的问题，构建了名为PISA-Bench的基准测试。它包含“空间与几何推理”任务。顾名思义，它包含询问从背后观察物体形状的任务。结果发现，英语和其他语言之间存在显著的性能差距。

Zhang 等人 (2025b (https://arxiv.org/html/2607.07251#bib.bib19)) 开发了一个名为COMFORT的评估协议。作者聚焦于参照框架来评估VLM空间推理的鲁棒性、一致性和灵活性。他们使用Blender (Blender Online Community, 2016 (https://arxiv.org/html/2607.07251#bib.bib2)) 构建了数据集图像。基准测试要求VLM回答一个物体是否与另一个物体有指示的关系，例如“从摄像机的视角看，球是否在汽车后面？”并给出球和汽车的图像。他们得出结论，VLM缺乏使用指定参照框架的能力，并且偏向于英语的表达方式，而非语言特有的方式。

然而，以往的工作并没有关注VLM在空间推理任务中处理空间指示表达的程度。本文我们分析VLM使用空间指示表达的多语言能力。

### 2.2 空间指示

#### 2.2.1 指示与指示词

指示是指使用其指代依赖于话语情境的空间表达 (Saito 等人，2015 (https://arxiv.org/html/2607.07251#bib.bib15))。指示表达是指示的具体表现形式。例如，对于句子“John在这里”，“这里”是一个空间指示表达，因此如果不考虑话语的情境上下文，我们无法确定“这里”指的是什么。在这种情况下，说话者不需要解释“这里”的所指；相反，听者需要确定“这里”所指。因此，准确识别空间指示表达的含义需要精确确定该词的所指。

指示表达可分为几类 (Diessel, 1999 (https://arxiv.org/html/2607.07251#bib.bib4); Fillmore, 1997 (https://arxiv.org/html/2607.07251#bib.bib5))，空间指示表达是其中之一。空间指示表达是其所指与空间相关的指示表达。本文我们关注空间指示表达，特别是指示词。

Coventry 等人 (2023 (https://arxiv.org/html/2607.07251#bib.bib3)) 调查了不同母语的人们如何使用不同的指示词。在他们的实验中，大多数语言有两种或三种指示词。指示词之间的差异因语言而异，但通常它们倾向于取决于距离。特别是，用于指代离说话者近和远的对象的指示词分别称为近指和远指。

有些语言还有区分指示词的其他标准。例如，在日语中，“ano”和“sono”都指代离说话者不近的对象，但区别取决于离听者的距离。Coventry 等人 (2023 (https://arxiv.org/html/2607.07251#bib.bib3)) 揭示，这种对听者距离的依赖在一些语言（如芬兰语或韩语）中也能观察到。

为了恰当地输出空间指示表达，多语言VLM必须识别不同语言中指示词的差异。

#### 2.2.2 指示与语言模型

据我们所知，VLM能否处理空间指示表达尚未得到充分探索。现有评估语言模型指示理解能力的尝试往往侧重于篇章指示（一种指示），因为LLM无法访问外部视觉上下文信息。一个名为PUB的基准测试 (Sravanthi 等人，2024 (https://arxiv.org/html/2607.07251#bib.bib16)) 评估了LLM的语用推理能力，包括对指示的理解。结果显示，几乎所有被测试的LLM表现都差于人类，作者得出结论，得分低并非由于世界知识不足，而是由于缺乏语用推理。虽然在人类-计算机交互领域存在一些关于指示和语言模型的研究 (Lai 等人，2025 (https://arxiv.org/html/2607.07251#bib.bib11); Han and Isaacs, 2025 (https://arxiv.org/html/2607.07251#bib.bib9))，但针对视觉语言模型的评估研究很少。

## 3 方法

为了构建我们的基准测试，我们参考了名为“记忆游戏”的语言学实验 (Gudde 等人，2018 (https://arxiv.org/html/2607.07251#bib.bib7))。“记忆游戏”的详细描述如下。

### 3.1 记忆游戏

记忆游戏是一种调查人类使用指示词的方法，且不会让受试者注意到正在进行语言学研究 (Gudde 等人，2018 (https://arxiv.org/html/2607.07251#bib.bib7))444在原论文 (Gudde 等人，2018 (https://arxiv.org/html/2607.07251#bib.bib7)) 中，还提出了另一种记忆游戏版本，称为“记忆版本”。。该方法旨在实验可控且自然的情境中诱使受试者说出指示词。为了确保自然情境，实验被呈现为一项记忆实验，在实验完成前向参与者隐瞒了调查指示词使用这一目的。

Gudde 等人 (2018 (https://arxiv.org/html/2607.07251#bib.bib7)) 的记忆游戏步骤如下：首先，受试者坐在一张长桌的一侧，被告知实验是为了研究语言对记忆的影响。然后，他们被要求用手指指向放置于长桌上的圆盘，并说出圆盘上绘制的形状。在命名对象时，受试者必须使用三个词：一个指示词、一种颜色和对象的形状，例如“那个黑色十字”。实验者记录使用了哪个指示词，一次试验即完成。实验会在变更某些变量（如圆盘的位置）的情况下进行多次。圆盘放置的位置按距离分为三个“区域”：区域1为25-75厘米，区域2为100-150厘米，区域3为175-225厘米。实验结果表明，这些参数对指示词的使用有影响。

Coventry 等人 (2023 (https://arxiv.org/html/2607.07251#bib.bib3)) 在多种语言中进行了记忆游戏，并分析了不同语言中指示词使用的差异。他们的研究涉及29种语言（如日语和英语）和874名母语为其中一种语言的受试者。记忆游戏实验使用绘制了形状的白色圆盘进行。变量包括位置、形状、颜色和听者的位置。圆盘的位置按距离分为三个“区域”，类似于Gudde 等人 (2018 (https://arxiv.org/html/2607.07251#bib.bib7))，但他们设置区域的方式略有不同：区域1为25-50厘米，区域2为150-175厘米，区域3为275-300厘米。形状是圆盘上绘制的形状（例如，星形、十字形和三角形）。颜色是形状的颜色。通过大量实验，他们表明母语者根据到目标的距离使用不同的指示词（远指、中指和近指）。