因果干预揭示多语言模型中的类型学组织句法机制

# 因果干预揭示多语言模型中类型学组织的句法机制
来源：https://arxiv.org/html/2608.28924  
作者：Toshiki Nakai†† 该研究启动于作者在萨尔大学任职期间。隶属：莱比锡大学，ScaDS.AI 德累斯顿/莱比锡  
邮箱：[[email protected]](mailto:)  
Kyle Mahowald  
隶属：德克萨斯大学奥斯汀分校  
邮箱：[[email protected]](mailto:)  
Julius Steuer  
隶属：海德堡理论研究所  
邮箱：[[email protected]](mailto:)

###### 摘要
语言学理论早已认识到跨语言的句法规律性，由此认为这些相似结构由相似机制处理。然而，由于我们缺乏对人类处理机制的精细、可操作的接触，这一假设难以进行实证检验。在本研究中，我们利用机制可解释性技术在多语言大语言模型（LM）中探讨此类问题。我们首先隔离语言内部的机制，然后尝试进行跨语言迁移。通过对四种模型和三种被充分研究的结构（主谓数一致、回指代词性一致和填充语-空缺宾语提取）进行分析，我们发现了持续的跨语言机制迁移现象。进一步研究发现，迁移具有等级性，类型学上更相似的语言之间迁移程度更高。我们认为，本研究为跨语言句法结构和多语言处理提供了新假说，并更广泛地展示了语言模型研究如何能为语言学理论提供借鉴。

参见图注  
图 1：我们将 LM 的句法机制定位到语言内部子空间。随后测试此类机制对其他语言的效果。如果干预仍然有效，这表明模型的句法机制具有语言通用性。这提供了*跨语言共享机制*的证据。

## 1 引言
语言学长期以来接受不同语言之间存在共享的抽象句法结构——这可能源于内在约束（Chomsky, 1965）或功能性进化压力（Greenberg et al., 1963; Comrie, 1989）。人们常常假设，不同语言中的这些相似结构在人类处理中调用了相似的机制（Hartsuiker et al., 2004; Hawkins, 2014; Norcliffe et al., 2015; Malik-Moraleda et al., 2022）。然而，由于缺乏必要的精细、可操作的接触，难以检验人类是否存在这样的共享机制，即无法判断处理两种语言是否调用了*相同*的内部机制。近年来，神经语言模型（LM）展现出卓越的句法能力——具备生成和处理此前认为需要抽象语言表征的语句的能力，这种能力既体现在单一语言中，也体现在跨语言场景中（Linzen et al., 2016; Wilcox et al., 2018; Manning et al., 2020; Hu et al., 2020; Warstadt et al., 2020; Jumelet et al., 2026）。这种能力，结合对其内部计算的特权访问，催生了大量将模型视为模式生物来制定和检验语言学假说的工作（Linzen and Baroni, 2021; Warstadt and Bowman, 2022; Wilcox et al., 2024; Boguraev et al., 2025; Boguraev and Mahowald, 2026; Misra and Kim, 2026）。

在本研究中，我们利用机制可解释性领域的进展，特别是因果抽象（Geiger et al., 2025），来理解多语言 LM 中高层语言抽象的内部组织。因果抽象框架的基本思想是识别控制下游行为的神经模型内部结构：对我们而言，即句法行为（Arora et al., 2024; Boguraev et al., 2025）。我们的目标是识别一种语言中的因果相关语言结构，然后测试在另一种语言中干预相同结构是否会产生类似效果（图1）。如果效果相似，我们将视其为跨语言共享机制的证据——为理解语言间结构的潜在相似性以及多语言神经模型如何组织句法信息提供潜在见解。具体而言，我们在三种结构各异的现象上测试共享机制：主谓数一致、回指代词性一致和填充语-空缺宾语提取。通过对跨越不同规模、语言家族和训练规格的十五种语言和四种 LM 进行研究，我们发现 LM 为每种现象调用了共享的、可重复利用的机制，而非特定于语言的机制。我们进一步提供了证据，表明这种表征共享是由类型学相似性驱动的，迁移围绕着类型学“枢纽”组织——这些枢纽语言与大量其他被研究的语言广泛相似。总之，我们的结果将 LM 中的多语言句法能力描述为跨语言重复利用的抽象结构的结果。我们进一步认为，本研究结果为多语言语言组织提供了新的假说，这些假说有潜力在人类身上进行检验。

## 2 跨语言 LM 可解释性
当具备多语言句法能力的多语言 LM 出现时，人们对于它们是学习了跨语言的共享表征还是主要独立学习每种语言产生了浓厚兴趣。该领域的早期工作利用了探测技术——即在 LM 的内部状态上训练分类器以恢复高层标签。Chi et al. (2020) 使用结构探测（Hewitt and Manning, 2019）表明，通用依存关系可以定位到语言无关的子空间，暗示语言表征在跨语言上模式相似。Papadimitriou et al. (2021) 证明了经过训练以恢复如“主语性”等高层语义特征的探测器以语言学上显著的方式跨语言迁移。这些结果证明了 LM 中存在语言无关的语言特征。然而，探测可能表达过度（Hewitt and Liang, 2019; Voita and Titov, 2020），促使研究转向*因果方法*，通过操作内部状态并检查行为影响来确保忠实性。这些方法的早期迭代产生了语言学见解，既发现了语言中立的表征，也发现了特定于语言的表征（Gonen et al., 2020; Srinivasan et al., 2023），并在英语和西班牙语中发现了跨语言的语法回路（Ferrando and Costa-jussà, 2024）。然而，这些变体无法阐明用于计算的“特征”，只能将行为定位到组件。为了提取这些特征，采用了稀疏分解方法，如稀疏自编码器（SAE）和跨层转码器（CLT）。这些方法同样发现了跨语言共享的特征回路（Brinkmann et al., 2025），并且语言身份编码在模型后期层中（Harrasse et al., 2026）。然而，这些方法在未经训练的模型中发现了“可解释特征”（Heap et al., 2025），并且在训练运行之间不稳定（Paulo and Belrose, 2026; Leask et al., 2025）。我们改用分布式对齐搜索（Geiger et al., 2024, DAS）在多语言 LM 中定位抽象特征。DAS 在句法可解释性方面非常有效（Arora et al., 2024），并已被用于研究英语填充语-空缺构造中句法特征的表征组织（Boguraev et al., 2025）及其各自的岛屿约束（Boguraev and Mahowald, 2026）。我们的方法允许精确测试因果相关的句法机制是否跨语言迁移。

## 3 方法
### 3.1 数据
| 结构 | 示例模板（英语） | 示例模板（意大利语） | 示例模板（保加利亚语） |
| :--- | :--- | :--- | :--- |
| 主谓数一致 | The man / The men near the cabinet is / are | L’uomo / Gli uomini vicino alla tavola è / sono | Мъжът / Мъжете до масата е / са |
| 回指代词性一致 | James / Mary lied because he / she | Mario / Maria rise perché lui / lei | Иван / Мария вика защото тоя / тя |
| 填充语-空缺（宾语） | I know that / what she saw the / . | So che / cosa lei vide il / . | Знам, че / какво тя видя него / . |
表 1：代表性语言子集的最小对示例，完整示例集见§A。

我们的性别一致刺激材料是可违反的：“Mary was powerful. James lied because she told him to”，尽管我们发现这并未影响我们 LM 的行为表现。相反，我们发现我们所研究的 LM 在 90%（115/128）的模板上得分达到或超过 90%，准确率低于 80% 的情况仅出现一次。

#### 刺激材料
我们研究三种结构——主谓数一致、回指代词性一致和从嵌入式 wh 疑问句中提取宾语——涉及十五种语言——英语、法语、德语、西班牙语、意大利语、葡萄牙语、俄语、保加利亚语、波斯语、荷兰语、中文、日语、韩语、加利西亚语和罗马尼亚语。我们设计了数据模板，类似于 Arora et al. (2024)，以允许采样大量独特的最小对（示例见表1；完整模板见§A）。德语和荷兰语将嵌入式动词置于从句末尾，因此它们的填充语-空缺模板无法完美对齐；因此我们排除了这些语言的 VP 位置，仅在五种具有非末尾嵌入式动词的语言中进行分析。类型学限制使得并非每种语言都能在每种结构中被代表（例如，中文没有语法数）。然而，在模板中存在一组核心的七种语言：英语、德语、意大利语、俄语、保加利亚语、荷兰语和法语。行为评估显示 LM 正确处理了刺激材料，详情见§C。

#### 控制条件
我们设计了三种控制条件。
**随机标签**：衡量我们干预的特异性。根据 Hewitt and Liang (2019)，此控制保留关键上下文，但将其与不相关、不符合语法的标签配对。示例如下：
- The man/men beside the car → \rightarrow dog/run
表现出强特异性的干预（如我们所期望的）*不应泛化*到此控制条件。
**其他现象**：评估每种核心语言干预在其他结构上的效果。我们再次*预期无迁移*，因为这些结构在句法上是不同的。
最后，根据 Kumon and Yanaka (2026)，**分布外标签**包含具有相同关键上下文但具有新颖语法标签的模板。我们无法将此控制扩展到性别一致，因为没有跨语言稳健的替代标签。因此，我们仅在§E中报告相关结果。

### 3.2 模型
我们研究四个模型：mGPT（Shliazhko et al., 2024，13 亿参数）和 tiny-aya-base（Salamanca et al., 2026，34 亿参数）；两者都是明确的多语言模型，分别在 61 种和 70 多种语言上训练。以及 Llama-3.2-1b 和 Llama-3.2-3b（Grattafiori et al., 2024）；两者均非明确的多语言模型，在通用网络数据上训练，但仍然具备多语言能力。通过评估四个模型，我们可以研究架构和训练因素（例如模型规模、训练数据构成）对表征共享的影响，并确保我们的发现反映的是普遍趋势而非单一模型的情况。

### 3.3 分布式对齐搜索
DAS 是一种监督式可解释性方法，它在 LM 中寻找一个低秩 d 维子空间，在其中可以定位和操纵高层因果变量。具体来说，给定一个基值 b∈R^n（LM 处理某个输入时在特定内部位置的张量）和对应的源值 s∈R^n（模型处理一个最小配对输入时在同一位置的张量），DAS 寻找一个子空间，在其中通过干预从 s→b（同时保持所有正交分量固定）可以相应地改变输出预测。这通过 b+(sa^⊤−ba^⊤)a 来实现，其中 a∈R^{n×d} 是一个旋转矩阵，通过梯度下降最小化干预下 LM 预测的交叉熵损失来学习。遵循 Arora et al. (2024)、Boguraev et al. (2025)、Boguraev and Mahowald (2026)，我们在给定 LM 的残差流中学习 1 维子空间（d=1）。当干预的范围包含多个 token 时，我们对跨范围的池化表示进行干预；当两个独立的模板位置组合成一个 token 时（例如，法语省音产生的单个 token qu’il 来自 que + il），我们在组合 token 上评估两个相应的干预。

#### 训练与评估
我们在每个模板位置和模型层上训练干预。遵循 Arora et al. (2024)、Boguraev et al. (2025)，我们使用批量大小为 4 训练干预 100 步，并将训练项过滤为 LM 在行为上具备能力的项。我们使用 Odds 来评估干预效果。该指标衡量干预后源标签概率增加相对于基标签概率减少的程度。Odds 越高表示因果效力越高。在聚合的情况下...