使用Procrustes条件的联合端到端Top-K稀疏自编码器的跨种子可解释性

# 使用普罗克鲁斯特条件约束的联合端到端Top-K稀疏自编码器的跨种子可解释性
来源：https://arxiv.org/html/2607.08499
1\]\\orgdiv社会科学中心，CSS\-RECENS研究组，匈牙利布达佩斯1097

2\]\\orgdiv社会学系，社会科学学院，罗兰大学，匈牙利布达佩斯

###### 摘要

我们提出了一种经普罗克鲁斯特（Procrustes）条件约束的联合端到端Top-K稀疏自编码器（SAE），用于从独立训练的BERT模型中提取跨种子通用特征。跨种子特征普适性是机制可解释性中的一个基本挑战：由于字典学习是非凸的，独立训练的网络会学习到未对齐的特征空间，因此看似相同的特征可能因随机初始化而存在差异。我们通过在联合SAE训练之前计算种子间激活空间的正交普罗克鲁斯特旋转来解决这一问题，该方法结合了Top-K稀疏性、端到端下游优化以及基于先前SAE文献的辅助死亡特征复活损失。在五个独立种子对（十个BERT模型）上，对三个基准数据集（SST-2、斯坦福礼貌语料库、TweetEval情感数据集）进行评估，我们的完整流水线在所有三个数据集上均比事后对齐基线方法产生了更多的通用特征（跨种子皮尔逊相关系数 ≥ 0.70）。一项最低限度的定性分析证实，高通用性特征编码了可解释的社会语言学模式。

###### 关键词:

稀疏自编码器，XAI，BERT，机制可解释性

## 1 引言

近年来，大量研究致力于语言模型的可解释性[shu2025survey]。近期文献中的许多工作旨在解决两个基本问题：处理多义性[cunningham2023sparse,bricken2023towards,gao2024scaling,rajamanoharan2024improving,galichin2026have]以及提高提取特征的结的构保真度和功能鲁棒性[gao2024scaling,braun2405identifying,marks2024enhancing]。在本文中，我们提出了一条端到端流水线，结合了近期新颖的方法，以提高从BERT模型中提取可解释概念的可靠性。为了演示特征的普适性，我们使用了三个基准语料库来衡量特征相关性。

稀疏自编码器（SAEs）已成为机制可解释性领域的前沿工具，用于解开大型语言模型中的多义表示[shu2025survey]。最近的进展迅速提高了这些提取特征的结的构保真度。TopK SAEs[gao2024scaling]消除了L1正则化中固有的收缩偏差，端到端SAEs[braun2405identifying]通过优化下游一致性防止特征分裂，而正交SAEs[anonymous2025orthogonal]（引用时正在审稿中）通过应用竞争意识的正交性约束来解开共激活概念，从而减轻特征吸收。尽管这些单模型改进取得了进展，但实现跨种子的“通用可解释性”[thasarathan2025universal]仍然是一个基本挑战。由于字典学习是非凸的，独立训练的网络，即使共享相同的架构和数据，也会遭受特征分裂——相同的语义概念映射到完全不同的潜在维度。最近的解决方案，如特征对齐SAE[marks2024enhancing]，尝试通过并行训练多个SAE并应用互特征正则化（MFR）惩罚来鼓励解码器相似性，从而缓解这一问题。然而，仅依赖训练惩罚可能无法解决模型原生激活空间的底层几何未对齐问题。在本文中，我们提出了一种新颖的架构，通过普罗克鲁斯特条件约束的联合端到端Top-K稀疏自编码器直接解决这种空间未对齐问题。我们不是通过惩罚分离的字典来强迫对齐，而是计算一个正交普罗克鲁斯特旋转矩阵，将不同模型种子的激活空间叠加起来，然后使用一个单一的联合SAE提取概念。Top-K激活从结构上强制稀疏性，避免了L1收缩偏差；普罗克鲁斯特旋转随后提供了最优的正交对齐，而不会像之前的模型拼接方法那样产生任务损失扭曲。我们在三个英文基准数据集上评估了该方法，用于多类分类。我们的结果表明，这种计算轻量的方法比标准的联合模型基线方法获得了更多数量的跨种子“通用”特征（定义为跨种子特征皮尔逊相关系数 ≥ 0.7），为从黑箱模型中提取语言信息提供了一种有前景的一致方法。

## 2 贡献

在本文中，我们旨在建立一种计算轻量且一致的方法，用于实现跨种子“通用可解释性”。我们的主要贡献如下：

1. 为了解决独立训练模型之间的空间未对齐问题，同时保留SAE先前最重要的成果，我们引入了普罗克鲁斯特条件约束的联合端到端Top-K稀疏自编码器。与[anonymous2025orthogonal]在单个模型潜在空间内使用正交惩罚解开概念不同，我们旨在遵循Anthropic的示例，使用联合训练架构从五对模型中提取最大数量的“通用”特征。

2. 我们将Top-K约束[gao2024scaling]与稍作修改的端到端训练目标[braun2405identifying]相结合。通过同时优化局部重构损失L_local、下游均方误差L_DS以及基于KL散度的输出损失L_KL，我们在不依赖显式L1稀疏惩罚的情况下，推动模型朝向更大的功能一致性。

3. 我们在联合SAE训练期间应用预计算的普罗克鲁斯特旋转，并结合跨种子稀疏激活损失L_cross，其目标与Marks等人（2024）[marks2024enhancing]相似。但不同于使用MFR和多个SAE，我们证明单个SAE就能够产生高度相关的“通用”特征。

## 3 方法论

近年来，大型语言模型的机制可解释性（与基于博弈论的沙普利加性值解释相反）已成为一个动态发展的研究领域。与基于SHAP的方法（该方法计算量大，且常常难以在不同模型初始化种子间泛化，例如[enouen2025instashap]）相反，关于稀疏自编码器（SAEs）的文献从机制角度处理该问题。它不关注输入-输出对，而是专注于将神经元激活映射成稀疏矩阵，以减少特征分裂并促进单语义可解释性（例如[lindsey2024sparse]）。近年来已开发出多种版本的SAE。当前研究试图综合其中一些方法。Shu等人[shu2025survey]对使用稀疏自编码器（SAEs）作为一种机制可解释性工具来解码大型语言模型（LLMs）的内部表示进行了全面综述。SAE最重要的特征之一是它们解决语言模型概念纠缠问题的方式：通过将模型的密集表示投影到一个更高维的过完备字典中，其中Top-K稀疏约束强制每个维度表示一个单一、解开且可解释的概念。Shu等人总结了这些近期的架构和训练策略改进[shu2025survey]。

在我们的研究中，我们部署了一个基于[gao2024scaling]的联合TopK SAE，以增加表示的稀疏性——它通过每个token仅保留k个最大的激活从结构上强制稀疏性。我们还尝试了Gao等人的辅助损失以减少“死亡”神经元的比例。我们整合了[braun2405identifying]的端到端SAE，结合了MSE和KL散度损失计算，以鼓励逐层一致性。

### 3.1 带正交普罗克鲁斯特对齐的联合Top-K端到端稀疏自编码器

由于字典学习是非凸的，在不同模型种子上训练单独的SAE会导致特征空间未对齐。此前已有几篇论文尝试解决这个问题，通过实现编码器的联合训练[claflin2026feature]，或通过“拼接”两个网络[csiszarik2021similarity]。类似地，Anthropic的联合SAE为两个模型训练一个单一的SAE，鼓励表示相似性。在模型之间获得一致的潜在空间对于判断模型是否学习到了可解释的概念，或者该概念的有效性是否由随机种子决定（本质上是在解释一个模型伪影）至关重要。以这种方式比较跨种子的学习表示与模型差异分析[claflin2026feature]密切相关。先前的研究表明，以下概述的某些方法可以揭示通用特征（[lan2024sparse], [lindsey2024sparse]）。尽管[puri2025atlas]也成功证明了正交普罗克鲁斯特方法对于事后潜在对齐的效用，但他们的方法依赖于一个静态、预训练的字典，无法适应目标模型跨种子的微观变化。

Csiszárik等人[csiszarik2021similarity]实验了正交普罗克鲁斯特方法，其旋转目标是最小化Frobenius范数。他们将其用作相似性度量，而我们则用它来对齐两个不同种子的模型的潜在空间。我们的论文旨在证明，通过将上述SAE架构与BERT模型潜在空间的正交普罗克鲁斯特旋转相结合，我们可以实现一个相对稳健的跨种子特征空间。

令 \(H_A, H_B \in \mathbb{R}^{n \times d}\) 表示从模型A和模型B的相应层中提取的密集激活矩阵，对应于相同的n个token序列，其中d表示隐藏维度大小（d=768）。为了将模型B的潜在空间映射到模型A的几何坐标空间，我们必须计算一个对齐矩阵。目标是找到一个正交变换 \(W_{align} \in \mathcal{O}(d)\)，通过最小化其几何距离的Frobenius范数来对齐表示：

\[
W_{align} = \arg\min_{W \in \mathcal{O}(d)} \| H_B W - H_A \|_F \tag{1}
\]
其中 \(\mathcal{O}(d)\) 是所有 \(d \times d\) 正交矩阵的集合。

### 3.2 模型训练

首先，使用随机初始化和行业标准超参数训练一个标准的BERT模型（详细训练参数见附录A）。

为了提高特征的有效性，我们按照上一节所述旋转嵌入空间。为此，使用两个独立的BERT模型处理一个包含500个数据点的样本（样本量合理性见附录B），并在其隐藏状态 \(h_n\) 上计算正交普罗克鲁斯特旋转矩阵，其中n是模型的层ID。随后，在训练阶段使用该旋转矩阵，如训练目标所示。

训练目标定义为统一的损失：

\[
\mathcal{L} = \mathcal{L}_{KL} + \lambda_{DS} \mathcal{L}_{DS} + \mathcal{L}_{local} + \lambda_{cross} \mathcal{L}_{cross} + \lambda_{aux} \mathcal{L}_{aux} \tag{2}
\]

基于[braun2405identifying]的端到端下游SAE目标（该目标用基于KL散度的输出保真度替代了L1稀疏正则化），我们将训练目标扩展到联合跨种子训练。由于我们的Top-K激活从结构上强制稀疏性（k=32），因此不需要显式的稀疏惩罚[gao2024scaling]。项 \(\mathcal{L}_{KL}\) 和 \(\mathcal{L}_{local}\) 保持单位权重；其余项带有上述可调系数。每个分量定义如下：

\[
\begin{aligned}
\mathcal{L}_{KL} &= \tfrac{1}{2}\bigl[ D_{KL}(\mathrm{softmax}(g_A) \| \mathrm{softmax}(\hat{g}_A)) + D_{KL}(\mathrm{softmax}(g_B) \| \mathrm{softmax}(\hat{g}_B)) \bigr] \tag{3} \\
\mathcal{L}_{DS} &= \tfrac{1}{2}\bigl[ \mathrm{MSE}(\hat{h}^{(L+1)}_A, h^{(L+1)}_A) + \mathrm{MSE}(\hat{h}^{(L+1)}_B, h^{(L+1)}_B) \bigr] \tag{4} \\
\mathcal{L}_{local} &= \tfrac{1}{2}\bigl[ \mathrm{MSE}_{\mathcal{M}}(\hat{h}_A, h_A) + \mathrm{MSE}_{\mathcal{M}}(\hat{h}_B, W_{align} h_B) \bigr] \tag{5} \\
\mathcal{L}_{cross} &= \mathrm{MSE}_{\mathcal{M}}(c_A, c_B) \tag{6} \\
\mathcal{L}_{aux} &= \tfrac{1}{2}\bigl[ \mathrm{MSE}_{\mathcal{M}}(\hat{r}_A, h_A - \hat{h}_A) + \mathrm{MSE}_{\mathcal{M}}(\hat{r}_B, W_{align} h_B - \hat{h}_B) \bigr] \tag{7}
\end{aligned}
\]

其中 \(\mathcal{L}_{KL}\), \(\mathcal{L}_{DS}\) 和 \(\mathcal{L}_{local}\) 在种子A和B上取平均；\(\lambda_{DS}\) 是下游重构系数，设为1.5；\(\lambda_{cross}\) 是跨重构系数，设为1.0。\(\mathcal{L}_{cross}\) 惩罚它们稀疏编码之间的直接差异。\(g\) 和 \(\hat{g}\) 分别表示干净的和SAE劫持后的输出logits；\(h^{(L+1)}\) 是紧随下游层L+1的隐藏状态，是[braun2405identifying]的简化单层版本；\(\mathcal{M}\) 是非填充token掩码；\(W_{align} = V U^\top\) 是由 \(SVD(H_A^\top H_B) = U \Sigma V^\top\) 得到的正交普罗克鲁斯特旋转矩阵；\(c_A, c_B\) 是共享SAE编码器产生的稀疏激活。

\(\lambda_{aux}\) 是辅助缩放系数（根据[gao2024scaling]设为1/32），\(\hat{r}_A, \hat{r}_B\) 表示由Top-\(k_{aux}\)死亡特征产生的辅助重构，试图估计主网络的残差误差。与Gao等人不同，我们在辅助top-k稀疏激活的前向传播之前没有使用ReLU门控。我们注意到，任何对特征可解释性的下游影响仅由偶然观察支持，需要更严格的评估来证明。