利用几何不变稀疏自编码器探索大型语言模型中的跨语言推理不变性

# 使用几何不变稀疏自编码器探索大语言模型中的跨语言推理不变性  
来源：https://arxiv.org/html/2608.23809  
Igor Bogdanov  
所属机构：卡尔顿大学系统与计算机工程系，加拿大渥太华  
通讯邮箱：[[email protected]](mailto:[email protected])  
Changcheng Huang  
所属机构：卡尔顿大学系统与计算机工程系，加拿大渥太华  

###### 摘要  
多语言大语言模型能够用不同语言解决相同的数学推理问题，但目前尚不清楚它们依赖的是共享的内部特征，还是仅产生相似输出的特定语言计算。我们使用多语言小学数学（MGSM）数据集对来自四个架构家族的五个模型研究了这一问题。问题分别用英语、德语、法语、西班牙语、俄语和中文独立解决，仅保留六种语言均生成有效推理轨迹的问题，并将这些轨迹在模型中重新运行以记录多个层的内部表示。对于每个模型，我们首先使用中心核对齐（CKA）识别具有强跨语言对齐的层。在每个选定层，我们训练两个稀疏自编码器：一个仅重建的基线模型，以及本文引入的对比变体——几何不变稀疏自编码器（GI-SAE）。GI-SAE 在重建损失上增加了信息噪声对比估计（InfoNCE）损失，训练编码器为同一问题的不同语言轨迹产生相似的特征激活。随后，我们通过在模型前向传播过程中交换跨语言的共享特征值，并测量由此产生的输出变化（因果修补），来检验这些共享特征在功能上是否可互换，并通过每个共享特征的 KL 散度进行量化。尽管 GI-SAE 在几乎每一层都产生了更高的 CKA 和 Jaccard 相似度，但更高的几何相似度并不一致意味着跨语言更大的功能可互换性。我们发现，在该样本中，跨语言特征共享强烈依赖于模型和架构，并在不同模型的不同深度出现。GI-SAE 主要放大每个模型中已存在的跨语言结构：其模式因模型而异，在 Qwen 中逐步增强，在已饱和的 Gemma 中无功能益处，在 Llama 和 Phi 中则表现出混合的层级依赖效应。  

###### 关键词：机制可解释性，多语言大语言模型，稀疏自编码器，跨语言表示，多语言推理，因果修补  

## 1 引言  
多语言大语言模型能够跨语言解决数学推理问题，但它们是发展了推理的*共享*内部表示，还是仅通过特定语言计算生成正确答案，仍然是一个开放性问题。这一区分具有实际意义：共享表示将使单一可解释性分析覆盖所有语言，而特定语言计算则需要为每种语言进行单独分析。现有文献中仍有三个空白：据我们所知，尚无研究检验跨语言共享特征是否在*功能上可互换*（替换值是否保持行为）；尚未在统一协议下跨模型家族比较共享性；尚不清楚几何度量（CKA、Jaccard）是否可靠地预测功能可互换性。我们通过在每个模型的每一层训练两个 top-K SAE（Gao 等人，2025 (https://arxiv.org/html/2608.23809#bib.bib10)）来填补这些空白：一个*基线* SAE（仅重建）和一个*几何不变* SAE（GI-SAE）（van den Oord 等人，2019 (https://arxiv.org/html/2608.23809#bib.bib12)），后者增加了 InfoNCE 对比损失，鼓励同一问题的跨语言特征激活相似。我们通过因果修补测试功能可互换性：交换跨语言的共享特征值并测量每个共享特征的 KL 散度。在来自四个家族的五个模型（78 个层观测，每个层两个 SAE）中，我们发现 GI-SAE 几乎在所有地方都提高了几何相似度，但仅在基线共享性中等的地方提高了功能可互换性。几何相似度本身不能保证功能可互换性。我们贡献了一个因果测量框架，用于检验跨语言 SAE 特征是否在功能上可互换；一个带有 InfoNCE 目标的 top-K SAE——GI-SAE；以及一项五模型、六语言的实证研究，表明基线共享比例分层了 GI-SAE 的结果：在收敛型模式中胜率为 83%（95% CI [64, 93]%），在低共享模式中无系统性收益，在饱和模式中仅为 6%。  

## 2 相关工作  
#### LLMs 中的多语言表示。特定语言神经元可以引导输出语言（Tang 等人，2024 (https://arxiv.org/html/2608.23809#bib.bib1)；Kojima 等人，2024 (https://arxiv.org/html/2608.23809#bib.bib2)），而多语言 Transformer 似乎通过共享潜在空间路由非英语输入（Wendler 等人，2024 (https://arxiv.org/html/2608.23809#bib.bib3)；Tezuka 和 Inoue，2025 (https://arxiv.org/html/2608.23809#bib.bib5)）。跨语言推理能力已被与神经元重叠联系起来（Hu 等人，2025 (https://arxiv.org/html/2608.23809#bib.bib4)），尽管高行为一致性并不一定意味着共享内部表示（Ifergan 等人，2025 (https://arxiv.org/html/2608.23809#bib.bib6)）。我们的工作研究*推理轨迹*而非事实回忆，并在单个 SAE 特征层面评估共享性，同时跨多个检查点进行因果干预。  
#### 用于可解释性的稀疏自编码器。SAE 将激活分解为稀疏、可解释的特征（Bricken 等人，2023 (https://arxiv.org/html/2608.23809#bib.bib8)；Huben 等人，2024 (https://arxiv.org/html/2608.23809#bib.bib9)）；Gao 等人（2025）(https://arxiv.org/html/2608.23809#bib.bib10) 描述了 top-K SAE 的缩放特性。在多语言环境中，Deng 等人（2025）(https://arxiv.org/html/2608.23809#bib.bib11) 识别了特定语言特征，Brinkmann 等人（2025）(https://arxiv.org/html/2608.23809#bib.bib7) 表明 SAE 特征通过因果验证编码了共享的语法概念。我们提出了一个不同的问题：跨语言共享特征是否在功能上可互换，而不仅仅是几何上相似。  
#### 用于评估表示的因果方法。因果干预测试功能必要性（Meng 等人，2022 (https://arxiv.org/html/2608.23809#bib.bib19)；Conmy 等人，2023 (https://arxiv.org/html/2608.23809#bib.bib20)）。我们的协议在单个 SAE 特征上运行。这很重要，因为 CKA 可能对功能不同的表示赋予高相似度（Davari 等人，2023 (https://arxiv.org/html/2608.23809#bib.bib16)）；我们表明几何收敛性（Huh 等人，2024 (https://arxiv.org/html/2608.23809#bib.bib17)）并不意味着功能可互换性。  

## 3 方法学和测量框架  
每个模型在六种语言中独立解决相同的数学问题，为每个（问题，语言）对生成一个推理轨迹。我们在每个轨迹期间的选定层记录模型的内部状态，然后在这些记录的激活上训练两个 SAE：一个仅训练以重建它们的基线 SAE，我们跨语言比较其学习到的特征以衡量自然发生的共享性；以及 GI-SAE，它增加了一个对比损失，训练编码器为同一问题的不同语言轨迹产生相似的特征激活。在因果修补下比较两者，可以揭示跨语言共享特征在哪些地方功能可互换，在哪些地方不可互换。  
### 3.1 通过 CKA 调查选择层  
在 Transformer 中，每一层将其输出添加到称为*残差流*的运行总和中（Elhage 等人，2021 (https://arxiv.org/html/2608.23809#bib.bib18)）。在层 \( l \) 和词元位置 \( t \) 处，残差流向量 \( x_t^{(l)} \in \mathbb{R}^{d_{\text{model}}} \) 是一个累积表示，所有后续层都从其读取和写入。本文中所有 SAE 训练和因果干预都在残差流向量上进行。在层 \( l \) 修补残差流会修改所有下游层 \( l+1, \ldots, L \) 读取的状态。并非所有层都同等重要。为了识别信息层，我们在每一层的每个语言对之间计算线性 CKA（Kornblith 等人，2019 (https://arxiv.org/html/2608.23809#bib.bib15)），比较预答案残差流矩阵（行通过问题 ID 匹配，两个矩阵始终来自同一层）。我们定义*预答案词元*为提取的推理片段的最后一个词元，紧接在 JSON 答案块之前；最终的 JSON 块及其标记被排除。此词元仅用于 CKA 调查；后续评估使用多个向后偏移。我们选择平均成对 CKA 最高的连续深度范围；该范围因模型而异（表1 (https://arxiv.org/html/2608.23809#S4.T1)），因为跨语言对齐在不同深度达到峰值。  
### 3.2 激活提取和归一化  
在识别的层，我们使用 TransformerLens（Nanda 和 Bloom，2022 (https://arxiv.org/html/2608.23809#bib.bib21)）在模型中重新运行每条推理轨迹，并记录每个词元位置的残差流向量，为每个（问题，语言，层）三元组生成一个 \( T \times d_{\text{model}} \) 矩阵。  
#### 归一化和修补约定。SAE 训练和几何评估使用 z 分数激活（来自训练分割的按坐标统计）。主要的因果修补扫描使用原生尺度编码；在代表性层上的归一化空间敏感性检查表明 Qwen/收敛型结果是稳定的（附录J (https://arxiv.org/html/2608.23809#A10)）。  
### 3.3 稀疏自编码器架构  
我们使用 top-K 稀疏自编码器（Gao 等人，2025 (https://arxiv.org/html/2608.23809#bib.bib10)），其编码器 \( W_{\text{enc}} \in \mathbb{R}^{d_{\text{sae}} \times d_{\text{model}}} \)，解码器 \( W_{\text{dec}} \in \mathbb{R}^{d_{\text{model}} \times d_{\text{sae}}} \)，以及偏置项。给定单个输入激活 \( x \in \mathbb{R}^{d_{\text{model}}} \)（一个词元位置和一层处的残差流向量）：  
\[
z = W_{\text{enc}}\,x + b_{\text{enc}},\; f = \operatorname{ReLU}\!\bigl(\operatorname{TopK}(z, K)\bigr),
\]  
\[
\hat{x} = W_{\text{dec}}\,f + b_{\text{dec}}.
\]  
稀疏性由 top-K 瓶颈强制执行（\( K=128 \)）；不使用 \( \ell_1 \) 惩罚。扩展因子 \( 4\times \)（\( d_{\text{sae}} = 4 d_{\text{model}} \)）控制词典大小（8,192–12,288 个特征；表1 (https://arxiv.org/html/2608.23809#S4.T1)），而 \( K \) 控制每个输入的稀疏性。解码器列在每个步骤后进行 \( \ell_2 \) 单位归一化。  
**基线 SAE** 使用 MSE 重建损失 \( \mathcal{L}_{\text{recon}} \) 进行训练；通过比较在此目标下哪些特征跨语言激活，我们观察自然发生的跨语言共享。  
### 3.4 几何不变 SAE (GI-SAE)  
GI-SAE 使用相同的编码器-解码器架构（公式1 (https://arxiv.org/html/2608.23809#S3.E1)），但在重建损失上增加了信息噪声对比估计（InfoNCE）（van den Oord 等人，2019 (https://arxiv.org/html/2608.23809#bib.bib12)）对比项。每个训练激活被标记为其源问题 ID \( y_i \in \{1,\ldots,Q\} \)，其中 \( Q \) 是训练问题数量。共享相同问题 ID 的激活，无论语言或词元位置如何，都形成*正对*；来自不同问题的激活是*负例*：  
\[
\mathcal{L}_{\text{contr}} = -\frac{1}{|B'|}\sum_{i \in B'} \log\!\left( \frac{\sum_{j \in P_i} \exp(s_{ij})}{\sum_{k \neq i} \exp(s_{ik})} + \epsilon \right),
\]  
其中 \( s_{ij} = \tilde{f}_i \cdot \tilde{f}_j / \tau \) 是 \( \ell_2 \) 归一化特征的余弦相似度除以温度 \( \tau=0.1 \)，\( P_i = \{j : y_j = y_i,\, j \neq i\} \) 是正集，\( B' = \{i : |P_i| > 0\} \) 排除了没有正例的项目，\( \epsilon=10^{-8} \) 在批次中没有正对时防止 \( \log 0 \)。分母中排除了自对。联合目标是：  
\[
\mathcal{L}_{\text{GI}} = \mathcal{L}_{\text{recon}} + w \cdot \mathcal{L}_{\text{contr}}.
\]  
我们使用 \( w=1.0 \)，在 Qwen3-1.7B L20 上选择并固定用于所有模型（附录F (https://arxiv.org/html/2608.23809#A6)）。  
### 3.5 推理轨迹的向后对齐  
相同的推理步骤可能在不同语言中发生在不同的绝对词元位置。因此，我们以最后一个推理词元为锚点，并测量*向后偏移*（\( -1 \) 到 \( -500 \)）。对比数据集通过问题 ID 标记所有词元；正例包括来自其他位置的同语言激活，因此跨语言不变性是通过 Jaccard 相似度和因果修补明确测试的，而不仅仅是由目标强加的。这针对轨迹的答案临近阶段，其中语篇和答案转换结构在不同语言中最具可比性。  
### 3.6 通过特征修补进行因果验证  
几何度量衡量的是相同的特征是否激活，但不衡量交换其值是否保持行为。我们通过*因果修补*（算法1 (https://arxiv.org/html/2608.23809#alg1)）进行验证。  
**算法1 因果特征修补**  
0：目标残差 \( r_{\text{tgt}} \)，供体残差 \( r_{\text{src}} \)，训练好的 SAE  
0：KL 散度，自回归翻转指示器  
1：\( f_{\text{tgt}} \leftarrow \operatorname{encode}(r_{\text{tgt}}) \)；\( f_{\text{src}} \leftarrow \operatorname{encode}(r_{\text{src}}) \)  
2：\( S \leftarrow \{j : f_{\text{tgt},j} > 0 \;\wedge\; f_{\text{src},j} > 0\} \) {共享活跃特征}  
3：\( f_{\text{patched}} \leftarrow f_{\text{tgt}} \)  
4：\( f_{\text{patched}}[S] \leftarrow f_{\text{src}}[S] \) {从供体交换共享值}  
5：\( r_{\text{patched}} \leftarrow \operatorname{decode}(f_{\text{patched}}) + \bigl( r_{\text{tgt}} - \operatorname{decode}(f_{\text{tgt}}) \bigr) \) {保留重建误差}  
6：用 \( r_{\text{patched}} \) 替换 \( r_{\text{tgt}} \) 运行前向传播  
7：返回 \( \mathrm{KL}(p_{\text{clean}} \| p_{\text{patched}}) \)，\( \mathbf{1}[\arg\max p_{\text{patched}} \neq \arg\max p_{\text{clean}}] \) {干扰，翻转}  
每条轨迹使用其原始词元序列重新运行；主要扫描使用原生尺度修补（附录J (https://arxiv.org/html/2608.23809#A10) 比较了归一化空间修补）。重建误差被保留。