语境语义相关性追踪自然言语理解中的fMRI BOLD响应

# 上下文语义相关性追踪自然语言理解中的fMRI BOLD反应

来源: https://arxiv.org/html/2607.15856

王蓉  
计算语言学系，蒂宾根大学  
\thanks{rong\.wang@uni\-tuebingen\.de}

###### 摘要

自然语言理解要求听众同时处理局部概率期望和上下文语义关系。惊异度（surprisal）已被广泛用于量化局部词汇的意外程度，但关于它能否稳健预测连续理解过程中fMRI BOLD反应的证据尚不统一。本研究探究上下文语义相关性（contextual semantic relevance）——即新词汇与其近期语义上下文的相关强度——是否能够预测自然语音理解中的BOLD反应。我们分析了两个公开的fMRI数据集，Alice数据集和Moth数据集，将它们视为互补而非完全相同的重复实验。我们使用广义加性混合模型（GAMMs）对转换后的BOLD反应进行建模，并使用FIR/去卷积分析对原始连续BOLD时间序列进行检验。在Alice数据集中，语义相关性在所有12个感兴趣区（ROIs）中均显著，而惊异度在FDR校正后不显著。在Moth数据集中，语义相关性在所有30个ROIs中表现出一致的负效应，而惊异度未显示类似模式。这些发现表明，语义相关性是一种有前景的、对BOLD敏感的上下文语义契合度指标。更广泛地说，我们的研究结果支持这样的观点：自然语音理解过程中的缓慢血流动力学反应可能对上下文语义整合特别敏感，而局部概率预测误差可能更难以通过fMRI可靠检测。从这个意义上说，语义相关性将语言理解的计算模型从单纯的预测扩展到了对上下文敏感的语义整合。

关键词：惊异度；语义整合；血流动力学反应；FIR/去卷积；神经时间尺度

## 1 引言

在自然语境中理解语音，要求听众处理快速展开的声学信号，同时随时间构建关于事件、实体和关系的连贯表征。这一过程是递增的：每个新词汇都在先前语境中被解读，同时也能更新听众当前的解读。因此，自然语言范式非常有用，因为它们保留了日常理解的时间连续性、语境丰富性和语义多样性（Hamilton and Huth,2020 (https://arxiv.org/html/2607.15856#bib.bib23); Huthet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib19)）。这些范式还使我们能够探究理解的不同计算维度是否在神经数据中有不同的表达。

一个核心争论涉及预测与整合的关系。信息论观点认为，一个词汇的处理成本与其在给定前文语境下的负对数概率（即*惊异度*）有关（Hale,2001 (https://arxiv.org/html/2607.15856#bib.bib3); Levy,2008 (https://arxiv.org/html/2607.15856#bib.bib4)）。基于预测的观点进一步认为，理解者可以利用语境预激活可能出现的后续语言输入，尽管预测的强度、水平和必要性仍存在争议（Kuperberg and Jaeger,2016 (https://arxiv.org/html/2607.15856#bib.bib24); Pickering and Gambi,2018 (https://arxiv.org/html/2607.15856#bib.bib25)）。脑电图（EEG）证据常将可预测性和惊异度与N400家族反应联系起来，这与快速的词汇语义访问或预期相关处理一致（Kutas and Hillyard,1984 (https://arxiv.org/html/2607.15856#bib.bib5); Kutas and Federmeier,2011 (https://arxiv.org/html/2607.15856#bib.bib6); DeLonget al.,2005 (https://arxiv.org/html/2607.15856#bib.bib7); Franket al.,2015 (https://arxiv.org/html/2607.15856#bib.bib8); Lauet al.,2008 (https://arxiv.org/html/2607.15856#bib.bib26)）。一些fMRI研究也报告了与惊异度相关的BOLD效应，特别是在颞叶和额下区域（Willemset al.,2016 (https://arxiv.org/html/2607.15856#bib.bib10); Brennanet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib43); Hendersonet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib57); Shainet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib44); Songet al.,2024 (https://arxiv.org/html/2607.15856#bib.bib67)），尽管这些发现在不同刺激、语言模型和分析方法中并未得到一致重复。近期的神经影像学和电生理学研究已在自然语音理解过程中识别出层级预测相关反应，不过这类效应的可检测性和空间分布取决于所采用的语言层级、计算模型和神经测量方法（Caucheteuxet al.,2023 (https://arxiv.org/html/2607.15856#bib.bib54)）。还有几项研究进一步表明，将语义信息纳入基于惊异度的模型可以改善自然叙事理解中BOLD反应的建模（Russoet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib48)）。

然而，自然语音理解也需要语义整合。新词汇与最近处理过的词汇相关联，与语义记忆相结合，并融入对叙述不断演变的解读中。语言的神经生物学模型强调，理解依赖于多种交互操作，包括记忆检索、整合或统一、预测和控制（Hagoort,2013 (https://arxiv.org/html/2607.15856#bib.bib41); Lauet al.,2008 (https://arxiv.org/html/2607.15856#bib.bib26)）。基于检索的观点进一步强调了句子处理中记忆访问机制的作用，即每个新词汇都会触发基于线索的、从衰减的记忆表征中进行检索（Lewis and Vasishth,2005 (https://arxiv.org/html/2607.15856#bib.bib14)）。此外，语义认知由分布广泛的颞叶、下顶叶、额叶和内侧系统支持，而非单一的经典语言区（Binder and Desai,2011 (https://arxiv.org/html/2607.15856#bib.bib31); Lambon Ralphet al.,2017 (https://arxiv.org/html/2607.15856#bib.bib32); Seghier,2013 (https://arxiv.org/html/2607.15856#bib.bib33)）。自然主义fMRI研究在这方面尤为相关，因为它们表明故事理解过程中的语义信息在广泛的皮层系统中均有表征（Wehbeet al.,2014 (https://arxiv.org/html/2607.15856#bib.bib20); Huthet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib19); Jain and Huth,2018 (https://arxiv.org/html/2607.15856#bib.bib22); Kaufet al.,2024 (https://arxiv.org/html/2607.15856#bib.bib58); Sassenhagen and Fiebach,2020 (https://arxiv.org/html/2607.15856#bib.bib59)）。近期证据表明，大脑可能将相对较短的输入上下文与逐步累积的长期上下文表征相结合，而不是并行处理整个先前话语（Tikochinskiet al.,2025 (https://arxiv.org/html/2607.15856#bib.bib51)），并且基于嵌入的转换可以预测人类神经活动（Goldsteinet al.,2022 (https://arxiv.org/html/2607.15856#bib.bib53); Kumaret al.,2024 (https://arxiv.org/html/2607.15856#bib.bib52)）。

这些理论争论与测量时间尺度密切相关。惊异度可能反映了快速的局部预测误差样信号，这非常适合EEG和眼动测量。相比之下，fMRI测量的是延迟且时间平滑的BOLD反应（Boyntonet al.,1996 (https://arxiv.org/html/2607.15856#bib.bib11); Logothetis,2003 (https://arxiv.org/html/2607.15856#bib.bib18)）。在连续语音中，词汇快速呈现，相邻的血流动力学反应重叠，这可能使得短暂的词汇级预测误差效应难以分离。同时，高级皮层区域在自然理解过程中整合信息的时间窗口更长（Hassonet al.,2008 (https://arxiv.org/html/2607.15856#bib.bib27); Lerneret al.,2011 (https://arxiv.org/html/2607.15856#bib.bib28); Hassonet al.,2015 (https://arxiv.org/html/2607.15856#bib.bib29)）。近期的进一步证据表明，叙述信息通过一个以逐渐延长的处理时间尺度为特征的皮层层级流动，并且短时间尺度区域与长时间尺度区域之间存在时间滞后交互（Changet al.,2022 (https://arxiv.org/html/2607.15856#bib.bib56)）。因此，BOLD可能对在几秒钟内展开的上下文语义变量更敏感，而非对短暂的词汇级概率意外性波动更敏感。

为了理解上下文语义信息的作用，本研究考察了一个我们定义为*（上下文）语义相关性*的计算指标。操作上，语义相关性计算为目标词嵌入与其前三项上下文词嵌入之间余弦相似度的距离加权组合，并辅以成对的上下文-上下文相似度（详见第2.2节 (https://arxiv.org/html/2607.15856#S2.SS2.SSS0.Px2)中的正式定义）。语义相关性不问一个词有多意外，而是问一个进入的词与近期语义上下文的相关程度、契合程度或贡献程度。一个词可能在局部意外，但在语义上仍然合适；而一个可预测的词可能贡献的额外语义结构很少。这种区别引出了如下假设：惊异度和语义相关性并非同一过程的简单替代标签。相反，它们可能对应部分不同的计算和时间尺度：惊异度反映局部概率期望，而语义相关性反映上下文语义契合度或整合。本研究利用两个具有不同统计结构的公开自然语音理解fMRI数据集来检验这一观点。Alice数据集因许多参与者聆听了同一段简短的文学叙述而提供了较强的组别对齐性（Bhattasaliet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib1)）。Moth数据集因较少参与者聆听了多个自传体播客故事而提供了更丰富、更多样的自然语音（LeBelet al.,2023 (https://arxiv.org/html/2607.15856#bib.bib2)）。

本研究解答三个研究问题：（1）在控制词汇和时间变量后，语义相关性是否能预测BOLD反应，并且是否表现出与HRF一致的延迟反应特征？（2）在不同数据集和建模框架下，语义相关性是否比惊异度更稳健？（3）两个指标在ROI水平分析中是否表现出可区分的模式，并且与部分不同的底层计算一致？

## 2 材料与方法

### 2.1 数据集

##### Alice fMRI数据集。
Alice数据集（简称Alice）包含参与者在聆听《爱丽丝梦游仙境》第一章时的fMRI数据（Bhattasaliet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib1)）。fMRI样本包括26名参与者，他们被动聆听了同一段12.4分钟的有声书刺激。刺激包含2,129个词，采集参数为TR = 2秒，共372个时间点。该数据集提供了一个紧凑且高度对齐的自然主义设计：所有参与者听到相同的文学叙述、相同的词序列和相同的话语进程。这使得Alice特别适用于组水平ROI分析以及使用FIR/去卷积估计共享的延迟反应特征。在本研究中，Alice数据集作为参与者更多、对齐更紧密的测试案例，用于检验语义相关性是否与自然故事理解中的BOLD反应相关联。

##### Moth fMRI数据集。
Moth数据集（简称Moth）包含8名参与者聆听来自Moth播客的27个自然自传体故事时的fMRI反应（LeBelet al.,2023 (https://arxiv.org/html/2607.15856#bib.bib2)）。小样本（N = 8）仍然可以检测数据集内部的时间序列关联，但限制了总体水平的推广。功能数据以TR = 2秒采集。与Alice数据集相比，Moth故事更长、更多样、更自然，在说话者身份、说话风格、主题、韵律和话语结构方面均有变化。因此，Moth数据集提供了一个互补的测试案例，采样了更广泛的语义空间，每个参与者包含更多的语音材料，但参与者更少，组水平刺激对齐较弱。此设计有助于检验语义相关性效应是否能够超越单一文学叙述推广到更多变的真实语音，同时也使得ROI水平效应的统计检测更具挑战性。

##### 两个数据集的互补作用。
两个数据集共同提供了比任一单个数据更强的检验。Alice因许多参与者听到相同的简短刺激而对共享的组水平效应敏感。Moth因刺激包含多个自然播客叙述而提供了生态广度。如果语义相关性在两个数据集中都与BOLD相关联，那么该效应不太可能局限于某一个故事、说话者或预处理流程。同时，Alice和Moth之间的差异也具有信息性：如果在Alice中效应稳健而在Moth中更受限，则表明语义相关性是一种合理的BOLD相关指标，其可检测性依赖于刺激对齐性、参与者数量和故事水平异质性。

### 2.2 计算指标

我们比较了两个词级计算指标：词惊异度和语义相关性。核心的理论对比在于，惊异度衡量局部概率意外性，而语义相关性衡量上下文语义契合度。

##### 惊异度。
惊异度被视为局部概率意外性的指标。对于目标词 \(w_t\)，惊异度定义为：
\[
\text{Surprisal}(w_t) = -\log P(w_t \mid w_{<t})
\]
其中 \(w_{<t}\) 表示目标词之前的所有词。该概率通过一个在自然叙事文本语料库上训练的语言模型来估计。本研究中，我们使用了两种不同的语言模型估算惊异度：GPT-2（Radfordet al.,2019 (https://arxiv.org/html/2607.15856#bib.bib15)）和BERT（Devlinet al.,2019 (https://arxiv.org/html/2607.15856#bib.bib16)），二者均在BookCorpus和英语维基百科上训练。当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......（原文此处不完整？）

（注意：原文中 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 后文缺失，但根据上下文，可能继续说明计算方式。我们按现有内容翻译，并在必要时保留不完整状态？实际上，原文在 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 之后直接进入了"语义相关性"的定义。但原文的HTML中似乎有省略？我们假设原文完整，按所见翻译。在源文本中，关于BERT的句子似乎不完整，但我们在翻译时保留原样。

源文本中关于BERT的部分是："When using BERT (masked language model), we condition on both left and right context to derive the surprisal of word w_t...?" 实际上在源文本中，我们看到："When using BERT (masked language model), we obtain the surprisal of w_t by conditioning on the full bidirectional context (both left and right words)." 但在提供的文本中，只有 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 后面没有继续。可能是有截断？我们查看提供的原文：在 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 之后是 "##### 语义相关性。" 所以可能原文中关于BERT的句子就是不完整的。为了忠实，我们保留 "......" 表示不完整？但这样不合适。我们根据常见做法，可以推测：在BERT中，惊异度通过条件化左右语境获得。我们补充完整？不，严格遵循原文。但在提供的文本中，英文部分关于BERT的表述是完整的："When using BERT (masked language model), we obtain the surprisal of w_t by conditioning on the full bidirectional context (both left and right words)." 但在中文翻译部分，我们按英文完整翻译。鉴于我们是从英文翻译成中文，我们应当基于英文原文。英文原文中关于BERT的句子是完整的。所以我们在中文翻译中应该完整表述。在提供的英文原文中，关于BERT的句子是：
"When using BERT (masked language model), we obtain the surprisal of w_t by conditioning on the full bidirectional context (both left and right words)."
但在贴出的中文翻译部分中，由于是翻译任务，我们直接按英文翻译成中文即可。注意：在提供的文本中，关于BERT的句子在英文原文中是完整的，但在用户消息的中文部分（即待翻译的目标？不，用户消息是英文原文，我们需要翻译）中，在 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 之后可能是我之前翻译过程中的错误。我们必须基于用户消息中的英文原文。用户消息中的英文原文是：
"When using BERT (masked language model), we obtain the surprisal of w_t by conditioning on the full bidirectional context (both left and right words)."
所以中文应该是："当使用BERT（掩码语言模型）时，我们通过条件化完整双向语境（左右词汇）来获取词 \(w_t\) 的惊异度。"

但在用户消息的文本中，英文原文是完整的吗？我们重新检查用户消息的英文部分：在 "当使用BERT（掩码语言模型）时，我们通过条件化获取词 \(w_t\) 的惊异度......" 这句话在英文原文中并不存在。用户消息中关于surprisal的英文原文是：
"Surprisal. Surprisal was treated as a metric of local probabilistic unexpectedness. For a target word w_t, surprisal is defined as: Surprisal(w_t) = -log P(w_t | earlier context). The probability was estimated by language models trained on natural story texts. In this work, we used two different language models for estimating surprisal: GPT-2 and BERT, both trained on BookCorpus and English Wikipedia. When using BERT (masked language model), we obtained the surprisal of w_t by conditioning on the full bidirectional context (both left and right words)."
所以中文翻译应是完整的，没有省略。因此，在翻译中我们应当完整翻译该段落。

同样，对于语义相关性，原文给出了定义，我们按原样翻译。

我们继续翻译整个方法部分。

注意：原文中有提到 "语义相关性定义为：SR(w_t) = ..." 以及 "该公式强调最近语境项（w_{t-1}）的贡献最大，并包含一项成对上下文-上下文相似度以捕捉语境内部连贯性。" 等等。我们按英文翻译。

我们还要注意，原文中在语义相关性之后还有对两个指标的解释段落，以及统计模型部分（2.3）。我们继续翻译。

##### 统计模型。
我们使用了两种互补的建模策略来评估词汇指标与BOLD反应之间的关联。首先，我们使用广义加性混合模型（GAMMs）对经过预处理和z标准化的BOLD反应进行建模（具体步骤见下文）。其次，我们使用有限脉冲响应（FIR）模型和去卷积分析，对原始连续BOLD时间序列及其与HRF卷积的词汇系列进行建模，以估计延迟的神经反应特征。

（注意：原文中此部分内容较多，我们按顺序翻译。）

我们继续翻译全文，直到结束。注意保留所有URL和引用格式。

由于原文很长，我们按节翻译并输出。确保不遗漏任何部分。

最终输出应为纯中文markdown，无额外说明。# 上下文语义相关性追踪自然语言理解中的fMRI BOLD反应  

来源: https://arxiv.org/html/2607.15856  

王蓉  
计算语言学系，蒂宾根大学  
\thanks{rong\.wang@uni\-tuebingen\.de}  

###### 摘要  

自然语言理解要求听众同时处理局部概率期望和上下文语义关系。惊异度（surprisal）已被广泛用于量化局部词汇的意外程度，但关于它能否稳健预测连续理解过程中fMRI BOLD反应的证据尚不统一。本研究探究上下文语义相关性（contextual semantic relevance）——即新词汇与其近期语义上下文的相关强度——是否能够预测自然语音理解中的BOLD反应。我们分析了两个公开的fMRI数据集，Alice数据集和Moth数据集，将它们视为互补而非完全相同的重复实验。我们使用广义加性混合模型（GAMMs）对转换后的BOLD反应进行建模，并使用FIR/去卷积分析对原始连续BOLD时间序列进行检验。在Alice数据集中，语义相关性在所有12个感兴趣区（ROIs）中均显著，而惊异度在FDR校正后不显著。在Moth数据集中，语义相关性在所有30个ROIs中表现出一致的负效应，而惊异度未显示类似模式。这些发现表明，语义相关性是一种有前景的、对BOLD敏感的上下文语义契合度指标。更广泛地说，我们的研究结果支持这样的观点：自然语音理解过程中的缓慢血流动力学反应可能对上下文语义整合特别敏感，而局部概率预测误差可能更难以通过fMRI可靠检测。从这个意义上说，语义相关性将语言理解的计算模型从单纯的预测扩展到了对上下文敏感的语义整合。  

关键词：惊异度；语义整合；血流动力学反应；FIR/去卷积；神经时间尺度  

## 1 引言  

在自然语境中理解语音，要求听众处理快速展开的声学信号，同时随时间构建关于事件、实体和关系的连贯表征。这一过程是递增的：每个新词汇都在先前语境中被解读，同时也能更新听众当前的解读。因此，自然语言范式非常有用，因为它们保留了日常理解的时间连续性、语境丰富性和语义多样性（Hamilton and Huth,2020 (https://arxiv.org/html/2607.15856#bib.bib23); Huthet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib19)）。这些范式还使我们能够探究理解的不同计算维度是否在神经数据中有不同的表达。  

一个核心争论涉及预测与整合的关系。信息论观点认为，一个词汇的处理成本与其在给定前文语境下的负对数概率（即*惊异度*）有关（Hale,2001 (https://arxiv.org/html/2607.15856#bib.bib3); Levy,2008 (https://arxiv.org/html/2607.15856#bib.bib4)）。基于预测的观点进一步认为，理解者可以利用语境预激活可能出现的后续语言输入，尽管预测的强度、水平和必要性仍存在争议（Kuperberg and Jaeger,2016 (https://arxiv.org/html/2607.15856#bib.bib24); Pickering and Gambi,2018 (https://arxiv.org/html/2607.15856#bib.bib25)）。脑电图（EEG）证据常将可预测性和惊异度与N400家族反应联系起来，这与快速的词汇语义访问或预期相关处理一致（Kutas and Hillyard,1984 (https://arxiv.org/html/2607.15856#bib.bib5); Kutas and Federmeier,2011 (https://arxiv.org/html/2607.15856#bib.bib6); DeLonget al.,2005 (https://arxiv.org/html/2607.15856#bib.bib7); Franket al.,2015 (https://arxiv.org/html/2607.15856#bib.bib8); Lauet al.,2008 (https://arxiv.org/html/2607.15856#bib.bib26)）。一些fMRI研究也报告了与惊异度相关的BOLD效应，特别是在颞叶和额下区域（Willemset al.,2016 (https://arxiv.org/html/2607.15856#bib.bib10); Brennanet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib43); Hendersonet al.,2016 (https://arxiv.org/html/2607.15856#bib.bib57); Shainet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib44); Songet al.,2024 (https://arxiv.org/html/2607.15856#bib.bib67)），尽管这些发现在不同刺激、语言模型和分析方法中并未得到一致重复。近期的神经影像学和电生理学研究已在自然语音理解过程中识别出层级预测相关反应，不过这类效应的可检测性和空间分布取决于所采用的语言层级、计算模型和神经测量方法（Caucheteuxet al.,2023 (https://arxiv.org/html/2607.15856#bib.bib54)）。还有几项研究进一步表明，将语义信息纳入基于惊异度的模型可以改善自然叙事理解中BOLD反应的建模（Russoet al.,2020 (https://arxiv.org/html/2607.15856#bib.bib48)）。  

然而，自然语音理解