共享电路与共享语法：跨语言的主谓一致追踪

# 共享语法的共享电路：跨语言主谓一致性的追踪分析
来源：https://arxiv.org/html/2608.18545

Antonio Almudévar所属机构：萨拉戈萨大学  
Core Francisco Park所属机构：哈佛大学  
Naomi Saphra所属机构：波士顿大学  
Ricard Marxer所属机构：土伦大学、艾克斯-马赛大学、法国国家科学研究中心、LIS与ILLS实验室

###### 摘要

多语言大语言模型通常能跨语言泛化，先前研究表明其内部机制可能存在跨语言重叠。然而，这种共享机制何时出现，以及是否随相同语法操作的显性表达形式而变化仍不明确。本文通过现在时主谓一致性这一形态句法过程展开研究，该过程在不同语言中存在显著差异，且在英语中表达较弱。通过在29种语言和5个开源模型系列中使用激活补丁技术和注意力分析，我们识别出与一致性相关的因果注意力头，并比较这些头级特征在跨语言间的差异。研究发现：具有显性人称/数屈折变化的语言比无屈折变化的语言表现出更相似的一致性电路；当分析聚焦于屈折对比本身的恢复时，共享性最强。英语作为重要的桥接案例，恰好在需要显性一致性的语境中变得更接近屈折语言。此外，许多相关注意力头在跨语言间展现出相似的注意力模式，表明跨语言重叠既反映了共享的功能角色，也体现了共享的定位特征。综合而言，多语言大语言模型在处理形态句法一致性时采用了部分共享的计算结构，而非完全依赖语言特异的独立方案。

## 1 引言

多语言大语言模型（LLMs）能在广泛语言间泛化，但我们仍不清楚其内部计算的共享程度。特别是，多语言模型在何时依赖语言特定机制、何时复用公共内部电路方面尚不明确。这种区分至关重要，因为它决定了我们应如何预期模型内部的跨语言泛化：如果相同计算由共享电路实现，那么可解释性发现、因果干预和对齐方法可能跨语言迁移；如果实现方式不同，则在某语言中开发的分析与干预可能无法推广至其他语言。

这一问题在形态学和句法领域尤为关键。语言在这些领域的差异可能无法直接映射到单一的语言无关内部表征，尤其当高资源语言完全缺乏相关特征时。这引出核心机制问题：当多语言模型处理类型学不同语言中的相同形态句法现象时，是采用共享的内部电路，还是依赖独立的特定语言解决方案？

先前研究已证实跨语言电路重叠可能存在于聚焦案例中；未解决的问题是：什么因素决定了多语言模型何时复用相同电路、何时调用特定语言机制？

本文以主谓一致性（附录A.1 (https://arxiv.org/html/2608.18545#A1.SS1)）为切入点研究该问题。现在时动词变位提供了极具价值的测试环境，因为相同的语法维度在不同语言中实现方式各异：人称和数在许多语言中显性标记，在中文等语言中完全缺失，在英语中仅部分标记。本文将变位定义为动词表层形式随主语语法人称和数的变化而发生的改变。通过在29种语言和五个模型家族的六个检查点中使用激活补丁技术和注意力分析，我们测试一致性电路的相似性是否随显性实现该语法操作的要求而系统性变化，而非仅检测跨语言重叠是否存在。我们进一步区分广义的上下文适当目标形式恢复电路与严格恢复控制最小对立对中屈折对比的电路。

主要研究发现如下：

1. 1\.变位电路在语言间部分共享：在具有显性主谓一致性的语言中，我们发现参与变位的注意力头存在显著重叠。
2. 2\.共享电路在屈折特异性恢复中最显著：我们区分广义的上下文适当目标形式恢复与严格的屈折对比本身恢复。在最小对立对指标下相似性最高，表明多语言模型在显性屈折一致性方面共享性最强，而广义目标形式恢复仅部分共享且跨语言差异更大。
3. 3\.共享电路反映共享语法结构：极少或无人称动词屈折变化的语言与这些头级特征的相似性显著降低。英语作为桥接案例具有启示性：其整体与强屈折语言存在差异，但其第三人称单数情况比非屈折情况更接近共享变位电路。
4. 4\.重叠头发挥相似功能作用：在屈折语言中，共享头展现出相似的注意力模式，表明跨语言重叠反映共享信息路由而非仅共享定位。

## 2 相关工作

##### 共享与特定语言的多语言机制

大量文献表明多语言模型常依赖部分共享的跨语言结构，尤其在语义、事实回忆和安全性相关行为方面（22 (https://arxiv.org/html/2608.18545#bib.bib25);6 (https://arxiv.org/html/2608.18545#bib.bib5);21 (https://arxiv.org/html/2608.18545#bib.bib24)）。关于语法和形态句法的研究同样发现了共享组织的证据，包括重叠的语法子空间、共享神经元集和与一致性相关的组件（16 (https://arxiv.org/html/2608.18545#bib.bib15);14 (https://arxiv.org/html/2608.18545#bib.bib12);7 (https://arxiv.org/html/2608.18545#bib.bib6)）。与此同时，其他研究识别出语言特异性神经元或特征，并表明跨语言迁移和干预无法均匀推广至所有语言（17 (https://arxiv.org/html/2608.18545#bib.bib16);4 (https://arxiv.org/html/2608.18545#bib.bib3);25 (https://arxiv.org/html/2608.18545#bib.bib23)）。综上，关键问题不是多语言计算是否全局共享或特定语言专属，而是*何时*出现何种模式。该问题在形态句法领域尤为重要，因为不同语言可能共享广义含义，但在是否显性实现语法操作上存在差异。因此，本文以现在时主谓一致性为案例研究，探索多语言模型何时复用共享内部机制、何时产生分化。

##### 从共享表征到共享电路

跨语言结构已通过探测、表征分析、神经元与特征方法及因果干预进行研究（13 (https://arxiv.org/html/2608.18545#bib.bib11);3 (https://arxiv.org/html/2608.18545#bib.bib2);11 (https://arxiv.org/html/2608.18545#bib.bib9);14 (https://arxiv.org/html/2608.18545#bib.bib12)）。本文最接近关于一致性和跨语言电路相似性的因果研究（14 (https://arxiv.org/html/2608.18545#bib.bib12);7 (https://arxiv.org/html/2608.18545#bib.bib6);25 (https://arxiv.org/html/2608.18545#bib.bib23)），但在三个关键方面有所不同：第一，使用严格控制的跨语言最小对立对隔离屈折对比；第二，比较更广泛且类型学更多样的语言集合，包括具有丰富一致性、部分一致性和测试对比中无显性一致性的语言；第三，采用两种互补的恢复指标：目标logit恢复（衡量主语变化时上下文适当形式的广义恢复）和最小对立对恢复（衡量屈折对比本身的恢复）。这使我们能够分别探究多语言模型是否共享广义主语条件预测机制，以及是否共享实现显性一致形态的机制。

## 3 实验设置

##### 评估模型

本文研究五个开源模型家族的变位电路：BLOOM（2 (https://arxiv.org/html/2608.18545#bib.bib1)）、Gemma（8 (https://arxiv.org/html/2608.18545#bib.bib13)）、Llama（19 (https://arxiv.org/html/2608.18545#bib.bib18);9 (https://arxiv.org/html/2608.18545#bib.bib7)）、Mistral（10 (https://arxiv.org/html/2608.18545#bib.bib8)）和Qwen（23 (https://arxiv.org/html/2608.18545#bib.bib20)）。完整模型列表见附录A.2 (https://arxiv.org/html/2608.18545#A1.SS2)，模型规模和指令微调的额外分析见附录D (https://arxiv.org/html/2608.18545#A4)。

##### 动词数据集

我们从结构化词汇和形态资源构建候选动词库。针对33种语言，从UniMorph（1 (https://arxiv.org/html/2608.18545#bib.bib22)）提取动词不定式及其对应的现在时屈折形式（该资源提供孤立的形态范式）。另使用中文动词语义特征数据集（5 (https://arxiv.org/html/2608.18545#bib.bib4)）获取中文动词词元，提供高资源的非屈折对比语言。现阶段这些资源仅提供词条及其相关形式；实验提示随后使用下文描述的受控模板从这些词条构建。跨语言中，具有对应屈折形式的相异动词不定式数量范围为56至23,782个，平均1,750.74个。初始语料库共涵盖34种语言。

##### 屈折对比

为兼顾分析可行性与覆盖主要形态句法维度，我们评估双向人称和数对比的代表性子集。具体包括：保持数不变变换人称（1sg↔2sg1\\text\{sg\}\\leftrightarrow 2\\text\{sg\}、1sg↔3sg1\\text\{sg\}\\leftrightarrow 3\\text\{sg\}和1pl↔3pl1\\text\{pl\}\\leftrightarrow 3\\text\{pl\}），以及保持人称不变变换数（3sg↔3pl3\\text\{sg\}\\leftrightarrow 3\\text\{pl\}）。其中英语在两对对比中存在屈折变化（1sg↔3sg1\\text\{sg\}\\leftrightarrow 3\\text\{sg\}、3sg↔3pl3\\text\{sg\}\\leftrightarrow 3\\text\{pl\}）。

##### 提示模板

为每种语言生成零样本提示以引出目标屈折形式。通过使用统一提示结构，我们最大程度隔离了与一致性相关的电路差异。提示遵循通用模板格式：“Conjugation of the verb \[infinitive\] in present tense: \[pronoun\] \[conjugation]”，并适配各目标语言（适配方案见附录A.3 (https://arxiv.org/html/2608.18545#A1.SS3)）。这种刻意结构化的引出格式保持了干净提示与污染提示的位置对齐，对受控激活补丁至关重要，但以牺牲自然度换取实验控制。初步跨模型实验显示，该表述最大化了分配给正确屈折形式的概率。

##### 分词过滤

为构建屈折语言中的严格控制最小对立对，我们应用模型特异性分词过滤，仅保留干净与污染屈折形式仅末尾标记不同的动词。这保持了前缀序列的对齐，并将人称或数对比隔离至模型必须预测的标记。保留与排除案例示例见附录A.4 (https://arxiv.org/html/2608.18545#A1.SS4)。

##### 行为过滤

由于目标分析成功一致性计算机制，我们移除了模型未产生所需动词屈折的例子。参照先前隔离任务相关电路的研究（18 (https://arxiv.org/html/2608.18545#bib.bib17)等），此限制将分析聚焦于语法一致性的成功实现而非异质错误行为。因此，我们分析表征的是成功变位行为中使用的电路而非整体语言能力。

##### 语言-模型覆盖

官方语言支持因模型家族而异，但许多模型在训练描述未明确记录的语言上仍能达到足够准确度。仅当分词与行为过滤后保留至少50个提示时，我们才将语言-模型组合纳入分析。从34种语言出发，主分析最终涵盖29种语言。保留的语言包括24种具有显性一致性模式的语言、4种在测试对比中无显性一致性的语言，以及作为中间案例的英语（因其仅在第三人称单数标记一致性）。语言-模型覆盖与完整语言清单见附录A.5 (https://arxiv.org/html/2608.18545#A1.SS5)。

##### 最终数据集

分词与行为过滤后，保留语言-模型组合的存活提示数量范围为96至2,400个，平均1,509.59个。每个保留组合评估50个提示用于激活补丁。

## 4 分析方法

为识别和表征参与主谓一致性的内部电路，我们使用注意力输出补丁定位因果关键注意力头，并用注意力分析表征其行为。

### 4\.1 注意力输出补丁

我们使用注意力输出补丁（20 (https://arxiv.org/html/2608.18545#bib.bib19);24 (https://arxiv.org/html/2608.18545#bib.bib21)）识别在主语操纵下预测目标动词形式时因果重要的注意力头（图1 (https://arxiv.org/html/2608.18545#S4.F1)）。

##### 最小对立对

最小对立对按第3节 (https://arxiv.org/html/2608.18545#S3)描述构建。每对包含对应目标屈折的*干净*提示和对应对比屈折的*污染*提示。例如评估1sg→3sg1\\text\{sg\}\\rightarrow 3\\text\{sg\}变换时，第三人称形式为干净提示，第一人称形式为污染提示。

##### 头级补丁

污染提示前向传播期间，将层l\ell中注意力头h的输出替换为干净运行在对应序列位置缓存的激活。令Lpatch(l,h,i)\\mathbf\{L\}\_\{\\text\{patch\}\}^\{\(\\ell,h,i\)\}表示提示i的最终层logit向量，Lcorr(i)\\mathbf\{L\}\_\{\\text\{corr\}\}^\{\(i\)\}表示未补丁的污染logits，yclean(i)y\_\{\\text\{clean\}\}^\{\(i\)\}表示干净目标标记。

##### 恢复指标

采用两种互补恢复指标：目标logit恢复与最小对立对恢复。分析包含非屈折语言时使用目标logit恢复，