大脑-LLM对齐受训练数据影响，而非语言类型学

# 大脑-大语言模型的对齐追踪的是训练数据，而非语言类型学来源：https://arxiv.org/html/2605.23032 郭东欣 香港大学 香港，中国 bettyguo@connect\.hku\.hk &吴吉坤 Stellaris AI Limited 香港，中国 hk950014@connect\.hku\.hk &姚兆明 香港大学 香港，中国 smyiu@cs\.hku\.hk ###### 摘要 大脑-大语言模型（LLM）的对齐在英语中已得到充分证实，然而大脑的语言网络在神经解剖学上是跨语言通用的。这种对齐是否也能跨语言泛化？又是什么因素决定了其变化？我们使用来自英语、中文和法语（《小王子》语料库）的112名参与者的fMRI数据，以及涵盖英语主导、中文主导和多语言架构的七个LLM来测试这一问题。我们的核心发现是：训练语言的主导地位，而非英语的固有特性，驱动了对齐模式。一个以中文为主导的模型（Baichuan2-7B），在与LLaMA-2-7B架构匹配的情况下，完全逆转了梯度：它与中文大脑的对齐最佳，与英语大脑的对齐最差。除了训练主导地位外，形式类型学距离本身也与对齐退化呈协变关系：与句法相关的脑区（IFG）显示的类型学梯度比词汇语义相关脑区（PTL）陡峭2.3×2.3倍；而分词增生率解释了最佳编码层跨语言偏移的大约60%的因素。这些结果表明，大脑-LLM对齐中看似存在的“英语优势”实际上是训练数据构成的人为产物，而剩余的变化则反映了集中在句法加工中的真实类型学结构。 大脑-LLM对齐追踪的是训练数据，而非语言类型学 郭东欣 香港大学 香港，中国 bettyguo@connect\.hku\.hk 吴吉坤 Stellaris AI Limited 香港，中国 hk950014@connect\.hku\.hk 姚兆明 香港大学 香港，中国 smyiu@cs\.hku\.hk ## 1 引言 大脑的语言网络（一组左偏侧化的额叶和颞叶区域）构成了一个功能上通用的系统，在来自12个语系的45种语言中以显著保守的拓扑结构被激活（Malik-Moraleda 等，2022 (https://arxiv.org/html/2605.23032#bib.bib33); Fedorenko 等，2024 (https://arxiv.org/html/2605.23032#bib.bib32)）。这种通用性为认知科学提出了一个基础性问题：如果语言的神经硬件是共享的，那么它所构建的计算表征是否也会在类型学多样化的语言之间趋同？如果是，那么哪些因素（类型学结构、训练经验或表征深度）调节了趋同的程度？ 大语言模型（LLM）为研究这一问题提供了强大的工具。从LLM表征预测神经活动的编码模型揭示了Transformer表征与人类大脑反应之间的显著对齐（Schrimpf 等，2021 (https://arxiv.org/html/2605.23032#bib.bib34); Goldstein 等，2022 (https://arxiv.org/html/2605.23032#bib.bib35); Caucheteux 和 King，2022 (https://arxiv.org/html/2605.23032#bib.bib36)），最佳模型已接近fMRI数据的噪声上限（Tuckute 等，2024b (https://arxiv.org/html/2605.23032#bib.bib38); Antonello 等，2023 (https://arxiv.org/html/2605.23032#bib.bib1)）。然而，这种对齐几乎完全基于英语数据建立（Tuckute 等，2024a (https://arxiv.org/html/2605.23032#bib.bib37)），这造成了理解语言表征普遍性的一个关键盲点。 de Varda 等（2025 (https://arxiv.org/html/2605.23032#bib.bib46)）最近证明，多语言编码模型可以零样本迁移到21种语言，证实了大脑-LLM对齐背后存在一个共享的意义成分。然而，他们的研究留下了关键空白：没有使用形式类型学距离度量，研究II中每种语言只有2-3名参与者（无法进行体素级分析），仅测试了多语言模型，且刺激时长约为4.5分钟，而我们的《小王子》刺激时长约为100分钟。 构式语法（CxG）为预测跨语言对齐应在何处变化提供了一个原则性的理论框架。CxG认为，语言知识由各个抽象层面上的形式-功能配对（构式）组成（Goldberg, 2005 (https://arxiv.org/html/2605.23032#bib.bib55); Croft, 2001 (https://arxiv.org/html/2605.23032#bib.bib54); Boas 和 Sag, 2012 (https://arxiv.org/html/2605.23032#bib.bib78)）。CxG预测，跨语言变化主要存在于构式（句法-功能）表征中，而核心语义内容则更为普遍（Goldberg，2024 (https://arxiv.org/html/2605.23032#bib.bib53)）。这产生了一个可检验的神经预测：与句法-构式加工相关的脑区应显示出比词汇语义加工相关脑区更大的类型学距离效应。然而，我们事先指出，这一预测也可从区分句法与语义的非CxG理论中推导出来（Mahowald 等，2024 (https://arxiv.org/html/2605.23032#bib.bib51)）；我们在§6 (https://arxiv.org/html/2605.23032#S6.SS0.SSS0.Px4)中讨论CxG特异的证据要求。 #### 为何结果不平凡。 三种初步假设会预测与我们所报告模式不相容的结果。首先，如果语言网络在45种语言中的功能普遍性（Malik-Moraleda 等，2022 (https://arxiv.org/html/2605.23032#bib.bib33)）延伸到表征格式，那么对齐应取决于“什么”被表征，而非“哪种”语言主导模型，从而预测所有模型-语言对之间的对齐具有可比性。其次，如果对齐主要反映从足够丰富的语言暴露中涌现的共享特征空间（Antonello 和 Huth，2023 (https://arxiv.org/html/2605.23032#bib.bib39)），那么训练在约2T token（约90%英语）上的英语主导模型在原则上可以像训练在少得多数据上的中文主导模型一样与中文大脑对齐。第三，基于类型学距离的假设预测，对齐追踪的是训练语言与目标语言之间的结构相似性，而与训练比例无关。将训练语言主导地位与这些替代方案区分开来，需要架构和规模匹配、主要在训练语言构成上有所变化的模型：Baichuan2-7B相对于LLaMA-2-7B提供了这种受控比较。 我们通过五项进展填补这些空白：(i) 将形式类型学距离度量作为定量预测因子；(ii) 使用中文主导的LLM（Baichuan2-7B）来解开训练数据混淆因素；(iii) 分词增生率分析；(iv) 区域特异性类型学梯度分析；(v) 全程使用噪声上限归一化比较。我们的贡献是： 1. 1. 首次定量证明形式类型学距离与大脑编码性能呈协变关系。在控制训练数据比例的混合效应模型中，Grambank距离与语言主导模型的对齐退化相关（β=−0.41）。由于三种语言在语言级别预测因子上自由度有限，我们将其视为一个得到充分支持的描述性模式，建立一个需在≥10种语言上检验的假设；在语言级别进行聚类自助法得到更宽的置信区间（见§4.2 (https://arxiv.org/html/2605.23032#S4.SS2)）。 2. 2. 通过受控比较解开训练主导地位与类型学距离。Baichuan2-7B（中文主导）逆转了“对齐梯度”——即对于给定模型，编码性能随听者语言与模型主导训练语言的偏离而系统性下降的模式。Baichuan2-7B对中文表现最佳（r~=.85），对非主导语言则显著较低（r~EN=.59，r~FR=.54）。这首次通过架构和规模匹配的模型提供了受控证明：训练语言是该梯度的主要驱动因素。 3. 3. 跨语言层动态及中文偏移的部分解决。中间层优势对中文来说偏移了1.8层（d=0.92）。分词增生率（每个正字法单词平均产生的子词token数量；Rust 等，2021 (https://arxiv.org/html/2605.23032#bib.bib22)）显示，在XLM-R的分词器下，中文每个单词的增生率为2.4个token，而英语为1.4个（高1.7倍）；控制分词增生率后，该偏移大约减少了60%（95% CI: [42%, 76%]），但与信息密度的共线性意味着这是分词增生率贡献的上限。 4. 4. 与句法-语义分离一致的区域特异性神经梯度。IFG的类型学梯度比PTL陡峭2.3倍（语言级别自助法95% CI: [1.4, 3.8]）。该模式与CxG的预测一致，即结构变化是构式性的（Goldberg, 2005 (https://arxiv.org/html/2605.23032#bib.bib55)），但也由区分句法与语义的通用假说以及IFG在非主导语言加工中的认知控制作用所预测（Green 和 Abutalebi, 2013 (https://arxiv.org/html/2605.23032#bib.bib69)）。我们讨论CxG特异性证据所需的条件（§6 (https://arxiv.org/html/2605.23032#S6.SS0.SSS0.Px4)）。 ## 2 背景与理论动机 ### 2.1 通用语言网络 语言网络由左额叶和颞叶皮层的互联区域组成，这些区域对跨模态的语言输入做出选择性反应（Fedorenko 等，2011 (https://arxiv.org/html/2605.23032#bib.bib63)，2024 (https://arxiv.org/html/2605.23032#bib.bib32)）。这些区域在功能上与领域通用系统可分离（Blank 和 Fedorenko, 2017 (https://arxiv.org/html/2605.23032#bib.bib64)），并在来自12个语系的45种语言中得以保守（Malik-Moraleda 等，2022 (https://arxiv.org/html/2605.23032#bib.bib33)）。对多语者的研究进一步表明，所有语言都激活相同的网络（Malik-Moraleda 等，2024 (https://arxiv.org/html/2605.23032#bib.bib68); Perani 和 Abutalebi, 2005 (https://arxiv.org/html/2605.23032#bib.bib67)）。句法加工中的跨语言差异已在行为层面得到记录（Berzak 等，2022 (https://arxiv.org/html/2605.23032#bib.bib80)），但这些差异在何种程度上体现于语言网络与计算模型的对齐中，仍属未知。 ### 2.2 大脑-LLM对齐 Transformer表征与人类大脑活动之间的对齐已通过编码模型建立（Schrimpf 等，2021 (https://arxiv.org/html/2605.23032#bib.bib34); Caucheteux 和 King, 2022 (https://arxiv.org/html/2605.23032#bib.bib36); Goldstein 等，2022 (https://arxiv.org/html/2605.23032#bib.bib35)）。Tuckute 等（2024b (https://arxiv.org/html/2605.23032#bib.bib38)）通过使用LLM生成的刺激驱动和抑制语言网络，为共享表征结构提供了因果证据。Caucheteux 和 King（2022 (https://arxiv.org/html/2605.23032#bib.bib36)）确定了中间层优势：Transformer的中间层最能预测大脑活动。Antonello 和 Huth（2023 (https://arxiv.org/html/2605.23032#bib.bib39)）提出了另一种解释，认为对齐反映的是共享特征空间而非共享计算目标。缩放定律（Antonello 等，2023 (https://arxiv.org/html/2605.23032#bib.bib1)）、预测编码层级（Caucheteux 等，2023 (https://arxiv.org/html/2605.23032#bib.bib40); Heilbron 等，2022 (https://arxiv.org/html/2605.23032#bib.bib41)）、发展合理性（Hosseini 等，2024a (https://arxiv.org/html/2605.23032#bib.bib44)）以及架构比较（Goldstein 等，2025 (https://arxiv.org/html/2605.23032#bib.bib88)）进一步刻画了这种对齐，但几乎所有研究都使用英语数据（Tuckute 等，2024a (https://arxiv.org/html/2605.23032#bib.bib37)）。 ### 2.3 跨语言证据与惊异度理论 惊异度理论认为，加工难度与单词在上下文中的负对数概率成正比（Hale，2001 (https://arxiv.org/html/2605.23032#bib.bib4); Levy，2008 (https://arxiv.org/html/2605.23032#bib.bib47)）。跨语言测试显示，LLM的惊异度可预测11种语言的阅读时间（Wilcox 等，2023 (https://arxiv.org/html/2605.23032#bib.bib5)），其对数形式已在大规模数据中得到确认（Shain 等，2024 (https://arxiv.org/html/2605.23032#bib.bib48)），GPT-3的惊异度解释了多个N400效应（Michaelov 等，2024 (https://arxiv.org/html/2605.23032#bib.bib49); Frank 等，2015 (https://arxiv.org/html/2605.23032#bib.bib50)）。然而，Oh 和 Schuler（2023 (https://arxiv.org/html/2605.23032#bib.bib6)）证明了逆缩放悖论：更大的模型尽管表征更丰富，但对阅读时间的预测却更差。这种分离与跨语言比较直接相关，因为基于隐状态和基于惊异度的对齐可能在不同语言中呈现不同的分化。类型学变体的信息论方法（Cotterell 等，2018 (https://arxiv.org/html/2605.23032#bib.bib31)）以及fMRI中限制信息以分离句法与语义的对比（Pasquiou 等，2023 (https://arxiv.org/html/2605.23032#bib.bib8)）提供了补充视角；我们的跨语言类型学距离协变量以更粗的粒度运作，因此与句子内句法预测因子是互补而非竞争关系。 ### 2.4 构式语法与跨语言变异 构式语法认为，语言知识被组织为构式——在各个抽象层面上习得的形式与功能配对（Goldberg，2005 (https://arxiv.org/html/2605.23032#bib.bib55); Croft，2001 (https://arxiv.org/html/2605.23032#bib.bib54)）。这一框架基于跨语言的构式研究方法（Boas 和 Sag，2012 (https://arxiv.org/html/2605.23032#bib.bib78)），并与具身加工解释相关联（Bergen 和 Chang，2005 (https://arxiv.org/html/2605.23032#bib.bib79)）。Goldberg（2024 (https://arxiv.org/html/2605.23032#bib.bib53)）指出了基于构式的学习与LLM训练之间的相似之处（尽管并非等同）。Rakshit 和 Goldberg（2025 (https://arxiv.org/html/2605.23032#bib.bib84)）表明，Pythia的内部表征反映了CxG所预测的梯度性；Kwon 等（2025 (https://arxiv.org/html/2605.23032#bib.bib85)）认为，LLM看似遵循规则失败的表现与CxG一致。我们之所以专门采用CxG，而不仅仅是通用的句法-语义分离框架，有三个趋同的理由。首先，CxG的核心原则——语言知识由形式-功能配对组成——提供了与ROI级别神经测量相同粒度上的跨语言变异单位（构式），其中构式差异很可能招募不同的额叶和颞叶子网络。其次，CxG明确基于用法，这与产生LLM表征的统计学习机制一致（Goldberg，2024 (https://arxiv.org/html/2605.23032#bib.bib53)）：这使我们能够将模型-大脑对齐解释为两个基于用法的学习者之间的比较，而非跨不匹配的解释层级。第三，计算证据表明LLM表征表现出构式梯度性（Rakshit 和 Goldberg，2025