可定位但不可释放：静默门控反转与有界线性释放

# 可定位但不可释放：静默门控反转与有界线性释放

**来源：** https://arxiv.org/html/2608.11822

###### 摘要

越来越多的研究报道，语言模型*表征*了任务相关的潜在结构，却未能*使用*这些结构。这种结构一旦被定位，能否转化为行为，是一个很少被端到端检验的独立问题。我们将完整的流水线——检测、定位、释放——提交给一个完全预注册的压力测试，测试对象是一个在因果证据辨别任务上训练的 25.7M transformer，其中先前已记录一种已知的*抑制*现象（潜在因果结构存在但行为上未被使用）。每个阈值、每一条声明模板、每一个决策树分支都在任何对应数据存在之前经过哈希并归档。三项发现如下。（i）定位成功：对中间层观测证据通道的干预在被抑制世界上恢复了目标行为（配对释放优势 0.563 和 0.854，97.5% 置信区间不包含零；最佳位点释放率 0.889）。（ii）门控在分布外失败：一个在零个分布外校准世界上触发的检测器，在 6.9–7.3% 的留出分布内生成样本上触发，而在实际需要干预的 2,400 个留出生成样本上触发了*零*个——这是一种完全反转，静默地将门控流水线降级为基模型。（iii）线性释放存在上限：完全移除门控并无条件地以逐实例线性方向注入，产生单调的剂量–反应曲线，但远未达到预注册的释放裕度（截距→→0.2640.382→0.311→0.264 vs. 阈值≤0.08），而逐实例自适应性相对于固定方向只增加不超过 ±0.03。因此，失效是双重定位的：检测器在分布外被反转，*并且*该位点和分辨率下的整个线性释放方向族都远离充分性。这两种失效是可分离的，它们都没有推翻定位结果——表征层面的定位与行为层面的释放是两回事。所有工件、哈希和声明模板均已发布以供审计。

**关键词：** 机制可解释性、激活引导、因果推理、线性探针、预注册、阴性结果、表征–行为差距

## 1 引言

可解释性研究已经非常擅长*发现*结构：探针从激活中恢复潜在变量（Belinkov 2022 (https://arxiv.org/html/2608.11822#bib.bib3)；Hewitt & Liang 2019 (https://arxiv.org/html/2608.11822#bib.bib7)；Burns et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib4)），因果追踪方法定位介导行为的组件（Vig et al. 2020 (https://arxiv.org/html/2608.11822#bib.bib21)；Meng et al. 2022 (https://arxiv.org/html/2608.11822#bib.bib12)），引导向量沿语义上有意义的方向改变模型输出（Turner et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib19)；Zou et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib24)；Li et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib10)；Subramani et al. 2022 (https://arxiv.org/html/2608.11822#bib.bib17)）。这类文献中的许多工作隐含了一个流水线假设：一旦结构被*检测*并*定位*，将其*释放*到行为中只是一个工程问题。最近的证据使这一假设变得复杂。引导向量在提示和分布偏移中的泛化不可靠（Tan & Chanin 2024 (https://arxiv.org/html/2608.11822#bib.bib18)）；并行工作中，内部状态的强检测器与失败的控制并存（Anonymous 2026 (https://arxiv.org/html/2608.11822#bib.bib1)）；在最近的研究中，一个在因果证据辨别上训练的小型 transformer 被证明是*抑制*——而非缺少——因果结构：该结构可从其残差流中线性解码，但模型表现得仿佛该结构不存在（Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23)）。这些结果共同表明，表征–行为差距是结构性的，而非偶然的。它们没有回答的是对于基于干预的方法至关重要的一个问题：如果我们精确定位了被抑制的结构，能否在预注册标准下端到端地将其释放到行为中？本文用一个完整的、预注册的失效分解来回答这个问题（图 1 (https://arxiv.org/html/2608.11822#S3.F1)）。我们将 Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23) 的抑制现象视为真实存在，并构建一个四组件流水线——一个 OOD 检测器 u、一个对比前向传播、一个方向生成器（校准拟合的 g_θ 或逐实例）、以及一个残差流注入器——它必须 (a) 决定何时需要干预，(b) 构建干预，(c) 在不破坏分布内（ID）行为的前提下交付干预。每一个阈值、评估集、统计量、声明模板和回退分支都在任何相应测量之前被固定并哈希（第 3 节 (https://arxiv.org/html/2608.11822#S3)）；完整审计链在附录 A (https://arxiv.org/html/2608.11822#A1) 中复现。我们的发现将失效分解为两个可分离的部分：

1. 定位是真实且充分的。在中间层观测证据通道进行激活移植，可以在被抑制世界上恢复目标行为，配对优势为 0.563 和 0.854（97.5% 置信区间不包含零），最佳位点的释放率为 0.889（第 5 节 (https://arxiv.org/html/2608.11822#S5)）。要释放的结构存在且具有位点特异性。
2. 端到端释放因两个独立原因失败两次。首先，在*零*个 OOD 触发下通过校准的检测器在分布外反转：它在 6.9–7.3% 的留出 ID 生成样本上触发，而在来自需要干预的世界的 2,400 个生成样本中恰好触发了 0 个，因此“门控”流水线在行为上与基模型相同（第 6 节 (https://arxiv.org/html/2608.11822#S6)）。其次，即使完全移除门控——在定位位点无条件注入逐实例线性方向——行为随剂量单调变化，但远未达到预注册的释放裕度；剂量减半会单调地损失性能，而逐实例自适应性相对于固定方向最多贡献 ±0.03（第 7 节 (https://arxiv.org/html/2608.11822#S7)）。因此，该位点和分辨率下整个*族*的线性释放方向都远离充分性。

这种分解就是贡献所在。单独的任何一个失败都不足以支持我们的结论：一个 OOD 反转的检测器无法排除更好的检测器能够挽救释放的可能性；一个有上限的线性方向无法排除门控是唯一障碍的可能性。只有两者一起、并且只有与定位结果一起，才能确立该系统内的表征–行为差距不是定位差距，不（仅仅）是路由差距，也无法被任何在测试分辨率下的线性释放方向所弥合——预注册保护这一结论免受事后重新叙事的干扰。我们在第 8 节 (https://arxiv.org/html/2608.11822#S8) 讨论对引导向量实践和评估标准的影响。

#### 预注册与可复现性。所有标准、阈值、种子、声明模板和决策树分支都在对应数据存在之前用 MD5 哈希归档；本文报告的每个数字都可追溯到哈希工件，发布内容包含审计日志、代码清单和逐世界记录（附录 A (https://arxiv.org/html/2608.11822#A1)）。此处报告的终局实验的总测量成本为 4.22 GPU 小时（单块消费级 GPU）。

## 2 相关工作

#### 探针与表征层面主张的局限。线性和非线性探针可以从激活中恢复广泛的潜变量（Belinkov 2022 (https://arxiv.org/html/2608.11822#bib.bib3)），但探针精度并不是“被使用”的证据：控制任务和信息论界表明，可解码性与功能角色是分离的（Hewitt & Liang 2019 (https://arxiv.org/html/2608.11822#bib.bib7)）。无监督方法可以在没有标签的情况下提取潜在知识（Burns et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib4)）。我们的出发点接受这一批评：审计的第 1 阶段（第 4 节 (https://arxiv.org/html/2608.11822#S4)）本身就在纯粹基于探针的解读上失败，这正是后续阶段测试*干预*而非解码的原因。

#### 激活引导与表征工程。向隐藏状态添加方向向量可以引导情感、风格、真实性和拒绝行为（Subramani et al. 2022 (https://arxiv.org/html/2608.11822#bib.bib17)；Turner et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib19)；Zou et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib24)；Li et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib10)；Rimsky et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib15)；Arditi et al. 2024 (https://arxiv.org/html/2608.11822#bib.bib2)）。然而，引导向量在不同提示上的泛化不均匀，且对分布偏移敏感（Tan & Chanin 2024 (https://arxiv.org/html/2608.11822#bib.bib18)），单方向介导结果通常以平均效应而非预注册行为标准报告。我们的 B6.6 结果精确量化了这样一个边界：在一个*已验证*的因果位点上，线性方向族的剂量–反应曲线是可测量的、单调的且不充分的。

#### 因果中介与定位。因果追踪和交换干预定位事实回忆、性别偏见和句法一致性的中介（Vig et al. 2020 (https://arxiv.org/html/2608.11822#bib.bib21)；Meng et al. 2022 (https://arxiv.org/html/2608.11822#bib.bib12)；Geiger et al. 2022 (https://arxiv.org/html/2608.11822#bib.bib6)）。我们在定位阶段（第 5 节 (https://arxiv.org/html/2608.11822#S5)）使用这一传统中的移植干预，但与大多数定位工作不同，我们将定位得到的位点带入端到端行为流水线，并让其在冻结标准下公开失败。

#### 语言模型中的因果推理。CLadder（Jin et al. 2023 (https://arxiv.org/html/2608.11822#bib.bib8)）在因果关系之梯上评估形式化因果推理（Pearl 2009 (https://arxiv.org/html/2608.11822#bib.bib14)）；近期工作记录了一个在因果证据辨别上训练的小型 transformer 中潜在因果结构被抑制的现象（Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23)）。本文闭合了这一循环：它测试被记录但被抑制的结构能否被释放到行为中，并分解失败原因。

#### 并行工作。独立的并行研究*The Geometry of Knowing vs. Steering*（Anonymous 2026 (https://arxiv.org/html/2608.11822#bib.bib1)）报告了大型语言模型中的“完美检测、控制失败”，与我们的检测器–释放分离在概念上一致。我们的不同之处在于方法（使用带哈希声明模板的预注册决策树、受控合成因果域、以及定位因果位点）和结论粒度：我们将*门控*失败（OOD 反转的检测器）与*释放*失败（有界的线性方向族）分开，并证明每一个都足以单独使整个流水线失败。

#### 预注册与阴性结果。未公开的分析灵活性会夸大假阳性率（Simmons et al. 2011 (https://arxiv.org/html/2608.11822#bib.bib16)）；预注册对其进行约束（Nosek et al. 2018 (https://arxiv.org/html/2608.11822#bib.bib13)）。机器学习评估很少预注册*声明模板*——即作者承诺根据结果发布的逐字句子。我们这样做了，并将两个失败的终局实验视为可报告的结果而非预试验。

## 3 设置、测量与预注册协议

### 3.1 模型与任务

我们研究 C1，一个 25.7M 参数的 GPT 风格解码器专用 transformer（Vaswani et al. 2017 (https://arxiv.org/html/2608.11822#bib.bib20)）（8 层、naïve attention、词表大小 41），按照 Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23) 的规范在因果证据辨别上训练：提示在结构因果模型下呈现观测证据，模型回答干预查询 do(X=x₀)→Y=?。训练分布包含*辛普森陷阱*世界，其中观测相关性与因果效应符号相反。值得注意的抑制现象是：在留出混杂世界上，尽管因果结构可从残差流中线性解码，模型行为仍跟随观关联（Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23)）。我们全程使用 Xun 2026 (https://arxiv.org/html/2608.11822#bib.bib23) 的冻结检查点；本文从不更新 C1 的任何参数。

### 3.2 行为测量

所有行为统计量来自两点响应网格。对于世界 w 及其答案相关跨度 [lo, hi]，我们测量模型解析数值响应的单位跨度斜率：

Δ = (parse(r(hi)) − parse(r(lo))) / (hi − lo)，(1)

其中 r(·) 是贪婪解码，parse 提取带符号的数值答案（不可解析的输出被保守拒绝）。每个世界提供三个斜率测量：

Δ_same = 在相同证据下的 Δ；  
Δ_zero = 在 obs 通道证据置零下的 Δ；(2)  
Δ_p = 在干预下的 Δ。

*分母* D = Δ_zero − Δ_same 量化被置零证据去除的行为量；一个世界是可测量的当且仅当 |D| ≥ 0.05（分母守卫；不可测量世界被排除在比率统计之外，但保留在审计中）。干预的*释放率*为

R = (Δ_p − Δ_same) / (Δ_zero − Δ_same) ∈ (−∞, ∞)，(3)

即干预所恢复的被置零证据行为转移的比例。R=1 为完全释放；R=0 为无效；R<0 为沿错误方向过冲。对于总体水平的释放，我们在世界集 W 上拟合*偏移–增益*回归：

Δ̂_w = a · ATE_w + b，w ∈ W，(4)

其中 ATE_w 是世界的真实因果效应。理想响应者满足 a=1, b=0；被抑制的模型表现出大的 b（朝观测答案的恒定拉动）。我们的预注册释放标准读取截距 b（必须降至 ≤ +0.08），并要求 ID 斜率 a 的退化不超过 0.05。

两个辅助统计量反复出现。*反转计数*：在 ATE_w < 0 的世界上，预测符号与 ATE 符号不一致且余量 |·| > 0.05 的世界数量。*McNemar 精确检验*（McNemar 1947 (https://arxiv.org/html/2608.11822#bib.bib9)）用于配对比较。

（待续：以下章节原文缺失？从源材料看，此处为全文终。）