可解码性非因果性：通过SAE分解区分探测器输出与行为驱动因素

# 可解码性并非因果关系：通过SAE分解将探针读出与行为驱动因素分离
来源：https://arxiv.org/html/2609.18080
Devesh Tiwari††感谢：这些作者对本文贡献均等。Camille Davis11脚注标记：1单位：菲利普斯学院安多福邮箱：[deveshtiwari2705@Gmail\.com](mailto:[email protected])Shivank Sinha单位：都柏林高中Talia Weaver单位：卡蒙特高中Aditya Shah单位：谷歌Maheep Chaudhary††感谢：资深作者。单位：独立

###### 摘要

线性探针可以从语言模型激活中解码诸如真实性等安全相关概念，但探针的准确性可能仅体现可解码性，而非探针权重所指向的特征能因果驱动模型行为。我们证明仅凭探针权重的几何结构无法弥合这一鸿沟：与探针方向几何对齐的特征未必是模型实际使用的特征，因此因果相关性需要通过干预验证。我们引入一种特征级诊断方法，将已部署的是/非探针分解为稀疏自编码器（SAE）特征，根据探针对齐度和模型行为的梯度敏感性对这些特征进行排序，并在一致性门控下消融所得的共享特征、探针独有特征和随机特征集。在Bürger等人（2024）（https://arxiv.org/html/2609.18080#bib.bib20）的真实性探针（TTPD）上，应用于Long等人（2025）（https://arxiv.org/html/2609.18080#bib.bib9）的指示性真实/欺骗设置中针对Gemma-2-9B-Instruct模型，两种排序仅存在微弱重叠（约12%，斯皮尔曼相关系数ρ=0.10），消融实验则清晰地将两者区分开：探针与模型共享的特征在完全一致性下能翻转输出的比例（最高达27%）远高于同等规模的探针独有特征（6%）或随机特征（1%），而探针独有特征反而干扰探针自身的读出。这种分离在五种种子设置和保留集划分中均成立，且基于激活的特征选择翻转行为的频率几乎是探针几何顶部特征的三倍（17.6% vs. 6.1%）。因此在该设置中，探针权重向量的几何投影本身无法识别模型因果使用的特征；然而，结合探针信息与特征激活统计能恢复更多行为因果特征，且需要一致性门控的SAE干预将其与探针读出分离。我们的方法实现可在此URL访问（https://github.com/cam1lled/causal-validation-sae）。

## 1引言

在模型激活上训练的线性探针被广泛用于识别和预测与行为状态相关的表征（Alain and Bengio, 2018（https://arxiv.org/html/2609.18080#bib.bib14）；Belinkov, 2022（https://arxiv.org/html/2609.18080#bib.bib13））。然而，从模型激活中可解码的信息并不必然因果导致模型行为。因此，仅凭高探针准确性并不能确立探针识别的表征必然在模型决策中发挥因果作用（Hewitt and Liang, 2019（https://arxiv.org/html/2609.18080#bib.bib23）；Belinkov, 2022（https://arxiv.org/html/2609.18080#bib.bib13）；Occhipinti et al., 2026（https://arxiv.org/html/2609.18080#bib.bib15））。区分仅具预测性的特征与因果相关特征仍是一项开放挑战。

我们研究探针识别的特征是否因果参与其解码表征所关联的模型行为。使用Long等人（2025）（https://arxiv.org/html/2609.18080#bib.bib9）引入的真实/欺骗事实验证设置，我们通过稀疏自编码器（SAE）分解模型激活，并根据探针对齐度和模型输出的梯度敏感性独立排序特征。随后在这些特征集上进行直接干预，同时追踪输出一致性。

我们发现探针权重最高的特征与模型敏感的特征仅存在微弱重叠，且这种差异具有行为表现。消融探针与模型共享的特征比消融同等规模的探针独有或随机特征更能显著翻转模型输出，同时全程保持输出一致性。探针独有特征则干扰探针自身的读出而不改变行为。这些结果表明，许多探针加权特征主要作为诊断性读出而非行为的因果驱动因素发挥作用，且仅凭探针权重的几何结构无法识别模型因果使用的特征。

我们的工作主要有三方面贡献。第一，我们引入一个框架，通过直接行为干预比较探针对齐特征与梯度敏感的SAE特征。第二，我们量化了探针排序特征产生一致性行为效应的程度，表明预测重要性与行为重要性可能显著背离。第三，我们识别出一个共享的探针-模型特征子集，该子集一致影响探针预测和模型行为，比探针独有特征提供更强的行为相关性证据。

参照标题图1：我们将最终生成前残差激活分解为SAE特征基，然后根据探针权重对齐度（表示探针读取的特征）和模型的是/非边际梯度敏感性（表示扰动最影响模型输出的特征）对相同SAE特征排序。随后我们对每个特征组连同随机对照组进行干预，测量对模型行为、探针预测和输出一致性的影响。
## 2相关工作

##### 探针、真实性表征与行为使用。

线性探针被广泛用于识别神经表征中编码的信息（Alain and Bengio, 2018（https://arxiv.org/html/2609.18080#bib.bib14）；Belinkov, 2022（https://arxiv.org/html/2609.18080#bib.bib13）），但仅凭可解码性并不能确立解码信息被模型使用（Hewitt and Liang, 2019（https://arxiv.org/html/2609.18080#bib.bib23））。失忆探针通过移除探针识别的信息并测量下游行为使这一区别显式化，发现传统探针性能与任务重要性未必相关（Elazar et al., 2021（https://arxiv.org/html/2609.18080#bib.bib1））。后续工作强调此类干预必须对目标属性完全且对不相关信息选择性（Canby et al., 2025（https://arxiv.org/html/2609.18080#bib.bib2））。

对于事实真实性，先前工作已识别近似线性的真相表征，并通过激活干预测试其行为相关性（Marks and Tegmark, 2024（https://arxiv.org/html/2609.18080#bib.bib6））。Bürger等人识别了极性感知的真相子空间并引入TTPD（Bürger et al., 2024（https://arxiv.org/html/2609.18080#bib.bib20））；Long等人在真实、中性和欺骗指示下应用该框架，表明与真相相关的表征在指示性欺骗下改变（Long et al., 2025（https://arxiv.org/html/2609.18080#bib.bib9））。相关探针已被用于检测或引导链式思维不忠实性（Occhipinti et al., 2026（https://arxiv.org/html/2609.18080#bib.bib15）），而其他研究表明高准确探针可能利用任务格式混淆（Sahoo et al., 2026（https://arxiv.org/html/2609.18080#bib.bib18））。我们的工作从本身具有行为因果性的探针方向出发，提出更细致的问题：与该方向几何对齐度最高的SAE特征是否就是承载其行为效应的特征。

##### 稀疏自编码器与因果特征评估。

SAE将模型激活分解为稀疏潜在特征（Cunningham et al., 2023（https://arxiv.org/html/2609.18080#bib.bib5）；Lieberum et al., 2024（https://arxiv.org/html/2609.18080#bib.bib12）），但重建质量和特征可解释性本身不能保证因果或任务级效用。任务导向评估发现，无监督SAE字典可能比监督特征字典提供更弱的行为控制（Makelov et al., 2025（https://arxiv.org/html/2609.18080#bib.bib3）），难以分离可独立操作的事实属性（Chaudhary and Geiger, 2024（https://arxiv.org/html/2609.18080#bib.bib7）），且未持续超越非SAE探针基线（Kantamneni et al., 2025（https://arxiv.org/html/2609.18080#bib.bib8））。SAEBench同样发现无监督代理指标的改进未可靠转化为下游可解释性任务（Karvonen et al., 2025（https://arxiv.org/html/2609.18080#bib.bib4））。这些结果促使通过任务特定干预评估SAE特征，并验证所研究的探针信号被SAE重建保留。

先前工作已使用SAE消融、补丁和引导来识别因果相关特征和电路（Kissane et al., 2024（https://arxiv.org/html/2609.18080#bib.bib16）；Marks et al., 2025（https://arxiv.org/html/2609.18080#bib.bib19））。最直接地，Ma等人表明对比选择的SAE推理特征常反映词汇关联而非推理计算（Ma et al., 2026（https://arxiv.org/html/2609.18080#bib.bib17））。

## 3方法论

### 3.1概述

我们的框架按以下阶段进行：探针复制、SAE特征归因、基于梯度的敏感性排序、因果干预（消融和学习稀疏掩码）以及重叠与分解。

我们在所有干预过程中追踪输出一致性，以确保观察到的效应可解释（第3.7节（https://arxiv.org/html/2609.18080#S3.SS7））。

我们还对额外的欺骗探针运行辅助诊断，测试相同的SAE探针归因工作流是否适用于硬编码的欺骗探针。

### 3.2阶段1：探针复制

我们使用原作者程序复制目标探针，确认其与报告性能匹配（附录A.1（https://arxiv.org/html/2609.18080#A1.SS1））。

### 3.3阶段2：SAE特征归因

我们将探针的权重向量投影到预训练SAE的解码器基上，以识别探针从哪些SAE特征读取。

设探针P的权重向量为w∈Rd（w\\in\\mathbb\{R\}^\{d\}），在层l（\\ell）的残差流激活h(l)∈Rd（h^\{\(\\ell\)}\\in\\mathbb\{R\}^\{d\}）上训练。设SAE解码器矩阵为D∈Rd×k（D\\in\\mathbb\{R\}^\{d\\times k}），列di（d\_i）表示学习到的特征方向。由于探针输出可近似为w⊤h≈∑ifi⋅(w⊤di)（w^\{\\top}h\\approx\\sum\_\{i}f\_\{i}\\cdot(w^\{\\top}d\_\{i})），其中fi（f\_i）是SAE特征i的激活，每个特征对探针的结构性贡献为：

ci=w⊤di（c\_\{i}=w^\{\\top}d\_\{i}）(1)具有大|ci|（|c\_\{i}|）的特征是探针在SAE重建中线性敏感的方向。我们按激活无关分数|ci|（|c\_\{i}|）排序特征作为探针对齐排序。

### 3.4阶段3：基于梯度的敏感性排序

为估计模型输出对哪些特征最敏感，我们根据模型行为相对于特征激活的梯度归因对SAE特征排序。设A为归因目标，定义为行为逻辑值（或目标词边际）相对于每层特征激活fi(l)（f\_\{i}^\{\\ell}）的梯度，在数据集上平均：

Ai=Ex∈D[‖∂M(x)∂fil‖],（A\_\{i}=\\mathbb\{E}\_\{x\\in\\mathcal\{D}}\\left[\\left|\\frac{\\partial\\mathcal\{M}(x)}{\\partial f\_\{i}^\{\\ell}}\\right|\\right],）(2)其中M(x)=logit(True)−logit(False)（\\mathcal\{M}(x)=\\operatorname{logit}(\\mathrm\{True})\\-\\operatorname{logit}(\\mathrm\{False})）对层l（\\ell）最后词位置的SAE特征激活fi(l)（f\_\{i}^\{\\ell}）求导，在数据集上平均。我们保留排名靠前的特征作为梯度敏感特征集Fmodel（\\mathcal\{F}\_\{\\text\{model}}）。

### 3.5阶段4：因果干预

从探针视角和梯度敏感性两个角度排序特征后，我们通过直接干预验证这些归因。在每个干预下，我们测量行为翻转率（定义为模型的是/非输出相对于未干预基线改变的示例比例）和探针读出偏移（定义为探针边际w⊤h的相对变化）。

这种双重测量分离了特征对探针读出的影响与其对模型行为的影响，即我们分析的核心分离（图1（https://arxiv.org/html/2609.18080#S1.F1））。

#### 3.5.1特征消融

对于选定特征集S（\\mathcal\{S}），我们通过从层l（\\ell）的残差流中减去其重建贡献来消融这些特征：

h~(l)=h(l)−∑i∈Sfidi（\\tilde\{h}^\{\(\\ell\)}=h^\{\(\\ell\)}\\-\\sum\_\{i\\in\\mathcal\{S\}}f\_\{i}\\,d\_\{i}）(3)并让模型的前向传播从h~(l)（\\tilde\{h}^\{\(\\ell\)}）继续。我们对探针归因特征（Fprobe（\\mathcal\{F}\_\{\\text\{probe}}））、梯度敏感特征（Fmodel（\\mathcal\{F}\_\{\\text\{model}}））和匹配基数的随机对照特征应用此过程。

#### 3.5.2学习稀疏掩码

我们学习SAE特征上的稀疏掩码，选择对探针边际贡献最大的特征，结合每个特征的解码器对齐ci（c\_\{i}）与其激活。每个特征的可学习权重ai∈[0,1]（a\_\{i}\\in\[0,1]）通过l1（\\ell\_\{1}）惩罚优化，以从加权特征贡献重建探针边际。训练后，30个特征超过ai>0.5（a\_\{i}>0.5）；我们消融前16个以匹配表4（https://arxiv.org/html/2609.18080#S5.T4）中其他特征集的规模。这产生基于激活的特征集Fmask（\\mathcal\{F}\_\{\\text\{mask}}），与激活无关的几何排序|ci|（|c\_\{i}|）形成对比。完整训练细节见附录A.1.2（https://arxiv.org/html/2609.18080#A1.SS1.SSS2）。

### 3.6阶段5：重叠与分解

我们比较探针的特征排序与模型的排序，以表征两者依赖共享特征的程度。

我们计算探针归因与梯度敏感特征前N（N）个之间的集合重叠作为N的函数，并报告斯皮尔曼秩相关系数作为汇总统计量。使用此分析，我们将探针特征分为三组：共享组（前K（K）个探针对齐特征与前K（K）个梯度敏感特征的交集），其大小m（m）设定了其他两组的匹配规模；探针独有组（包含模型前梯度排序特征中未出现的最高探针排序特征，大小与共享组匹配）；随机组（从剩余特征中随机采样的大小匹配样本）。

我们在K∈{32,64,128,256,512,1024}（K\\in\\\{32,64,128,256,512,1024\\\}）个每排序的顶部特征上消融每组（产生5至126个共享集），如公式3（https://arxiv.org/html/2609.18080#S3.E3）中减去重建特征贡献，并比较所得行为翻转率、探针边际偏移和一致性。这种分解隔离了探针...