通过隐含意义识别与取消评估大语言模型中的交际信念更新

# 通过隐含意义识别与取消评估大语言模型中的交际信念更新  
来源：https://arxiv.org/html/2607.25094  

Cesare Spinoso\-Di Piano¹Verna Dankers¹\{\}^\{¹\\,\text\{\\faIcon\{coffee\}\}\}Marius Mosbach¹\{\}^\{¹\\,\text\{\\faIcon\{coffee\}\}\}Jackie Chi Kit Cheung¹,²  
¹Mila \- 魁北克人工智能研究所 & 麦吉尔大学  
²加拿大CIFAR人工智能讲席  
\{cesare\.spinoso, cheungja\}@mila\.quebec  

###### 摘要  
人类语言由未言明的信念和信念更新驱动，这使得这些信念成为大语言模型（LLMs）与其用户之间成功沟通的关键建模对象。本文评估了LLMs识别通过*隐含意义*传递的未言明信念，以及理解经由*隐含意义取消*而引起的信念更新的能力：隐含意义取消是一种语用现象，即话语的隐含意义被*削弱*或*否定*。我们创建了首个专家标注的隐含意义取消数据集ImplicatureX，并通过众包方式收集了关于隐含意义及其对应取消的人类判断。我们发现，LLMs对信念更新的理解落后于人类，尤其是在更自然的场景中。额外的对照实验表明，LLMs在信念更新上的成功可能部分源于对先验信念的依赖，而失败则可能取决于更新的类型和形式。总体而言，我们的研究表明，当前LLMs尚未达到人类对未言明信念及其更新的理解水平。¹¹代码和数据见https://github.com/cesare-spinoso/ImplicatureX。  

# 通过隐含意义识别与取消评估大语言模型中的交际信念更新  
Cesare Spinoso\-Di Piano¹Verna Dankers¹\{\}^\{¹\\,\text\{\\faIcon\{coffee\}\}\}Marius Mosbach¹\{\}^\{¹\\,\text\{\\faIcon\{coffee\}\}\}Jackie Chi Kit Cheung¹,²  
¹Mila \- 魁北克人工智能研究所 & 麦吉尔大学  
²加拿大CIFAR人工智能讲席  
\{cesare\.spinoso, cheungja\}@mila\.quebec  

\\faIcon\{coffee\}\\faIcon\{coffee\}footnotetext:同等贡献。  

## 1 引言  
自然语言交流由对话双方在会话共同基础(Lewis, 1979; Heim, 1982; Clark and Brennan, 1991; Stalnaker, 1998; Kamp, 1981)中协商的一系列信念组成。这些信念通常通过*隐含意义*和*隐含意义取消*被隐含地引入和更新，即先前暗示的信念被*否定*或*削弱*(Grice, 1975; Sperber and Wilson, 1986)。例如，当Bo问朋友Aya是否能帮忙时，回答“我觉得Cai正在找人买饮料。”触发了一个隐含意义：Cai需要Bo买饮料（图1）。然而，Aya可以通过说“不过他们现在应该已经解决了。”来取消这个隐含意义，此时Bo应更新信念并据此行动，例如向Cai确认。因此，对话者的信念可能从一句话变为下一句话。理解这些信念及其如何更新，对于大语言模型（LLMs）与人类系统用户之间的成功交互至关重要。  

参见图注  
图1：信念协商示例：共同基础G中的信念b随着隐含意义被话语u触发，然后被话语u^×取消而更新。  

在本工作中，我们评估LLMs理解语言中这种动态变化的信念的能力。我们聚焦于隐含意义识别与取消，这是语言学和认知科学中关于信念更新的两个研究最广泛且最基础的现象(Grice, 1975; Sperber and Wilson, 1986)。以往研究已评估LLMs对世界知识和逻辑推理的信念更新能力(Rudinger et al., 2020; Hwang et al., 2021)，但类似的交际空间评估仍待探索。我们的工作填补了这一空白，通过评估LLMs识别隐含意义所触发的信念，以及因隐含意义取消而更新这些隐含信念的能力。我们创建了首个隐含意义取消数据集ImplicatureX，包含271个专家标注的隐含意义及其对应的取消。除了合成的两轮对话隐含意义，它还包含自然发生的标量隐含意义、话语隐含意义以及多轮对话隐含意义。此外，我们开展并加入了ImplicatureX项的众包标注，以衡量隐含意义和取消的识别准确率。我们的结果表明，LLMs的语用推理在理解隐含意义所传达的未言明信念方面落后于人类。虽然我们测试的最强LLMs（如GPT-5.4 Thinking）在标量和话语隐含意义的识别上达到了人类表现，但LLMs在自然发生的对话隐含意义上难以超越随机水平。此外，一项对照实验显示，在许多情况下，LLMs在没有观察上下文或话语的情况下也能成功识别隐含意义。因此，我们质疑其成功在多大程度上源于真正的语用推理。与隐含意义识别的发现类似，我们发现，由隐含意义取消引起的信念更新——人类很容易完成——在自然发生且现实的场景中对LLMs尤其具有挑战性。额外的对照实验表明，信念更新的类型（取消、不变或加强）以及触发更新的方式（显式或隐式）会影响LLMs修正现有信念的能力。例如，我们的结果显示，即使面对显式信念否定，强LLMs（如Qwen 3 32B Thinking）也无法在取消识别上匹配人类的准确率。  

总结而言，我们研究了LLMs通过隐含意义识别理解未言明信念，以及通过隐含意义取消进行信念更新的能力，这是人类交流的两个基本属性。我们创建了首个隐含意义取消数据集ImplicatureX，经语言学专家验证并由众包判断标注。我们的评估揭示，LLMs在未言明信念的理解和信念更新两方面均落后于人类。更广泛地说，我们的工作表明，LLMs可能仍然无法理解信念产生和协商的细微之处，尤其当信念是未言明且自然发生时。  

## 2 相关研究  
#### 语言哲学  
交流长期以来被视为一种*信念协商*的实践(Grice, 1957; Lewis, 1979; Heim, 1982; Clark and Brennan, 1991; Stalnaker, 1998; Kamp, 1981)。在此脉络下，几项开创性研究提出，我们通过更新一个不断演变的、默认达成一致的一组命题——即*共同基础*——来进行交流(Heim, 1982; Clark and Brennan, 1991; Stalnaker, 1998; Kamp, 1981)。因此，隐含意义——关于说话者可能意图传达的信念——以及隐含意义协商（这些信念的取消和加强）是我们向共同基础添加并更新信息核心机制(Grice, 1975)。在本工作中，我们通过隐含意义取消提供了信念更新的实验性描述，这与隐含意义加强(Benotti, 2010)不同，后者仍是信念协商中研究不足的领域。  

#### 实验语用学  
人类交流中的信念协商在实验语用学中得到了广泛关注。最初在指称表达背景下研究(Clark and Wilkes-Gibbs, 1986; Isaacs and Clark, 1987; Selten and Warglien, 2007; Deemter et al., 2012)，共同基础信念的协商继续与其他语用现象紧密相关，包括非语言交流(Veinott et al., 1999; Clark and Krych, 2004)、话语关系(Fetzer, 2018)和标量隐含意义(Noveck, 2001)。特别是，研究表明，从标量隐含意义中得出的推断更容易也更迅速地根据出现的上下文和对话者持有的先验信念而被接受进入会话共同基础(Breheny et al., 2006; Grodner et al., 2010; Degen, 2015; Yang et al., 2018; Huang and Snedeker, 2018)。我们的研究通过隐含意义取消现象，继续对交际信念更新进行实验性调查。  

#### NLP中的交际信念  
关于交际信念的概念长期启发着语言生成系统，包括对话系统(Allen and Perrault, 1980; Grosz and Sidner, 1986; Dale and Reiter, 1995)、图像描述(Andreas and Klein, 2016)和对话代理(Körner et al., 2025)。此外，隐含意义和未言明信念已被广泛用于评估LLMs的交际能力(Jeretic et al., 2020; Kabbara and Cheung, 2022; Ruis et al., 2023; Cho and mook Kim, 2024; Yue et al., 2024; Cong, 2024)。我们的贡献不同之处在于，我们利用隐含意义的可取消性作为一个可操作的空间，来评估LLMs*更新*未言明信念的能力。最后，虽然类似于隐含意义取消的过程（如溯因推理和可废止推理）已被广泛研究(Lascarides and Asher, 1991; Rudinger et al., 2020; Hwang et al., 2021)，但它们与我们关注的交际信念更新有所不同。  

## 3 操作化隐含意义与隐含意义取消  
我们将任何交流交换（口头、书面、手语等）视为由一连串*话语*u∈U组成，即交换参与者产生的任何语言单位。进一步，令U*表示所有可能的话语序列集合，而u=⟨u1,...,un⟩∈U*为一个交流历史。每次交换发生在一个*语境*c∈C中，该语境捕获了与解释话语相关的情境和交流信息。²²c假定在交换期间固定不变。参与者共享一组*信念*B，即命题性陈述（例如“Cai需要帮忙买饮料”），代表他们共同认为为真的内容。形式上，*共同基础*是一个函数G:B×C×U*→[0,1]，给定c和u后，为每个b∈B分配一个概率，反映该信念在参与者之间被共同持有的强度。³³在任何交换之前，共同基础由G(b∣∅,∅)给出。