修正影响：利用正交潜在空间解构LLM输出

# 使用正交潜在空间解读大语言模型输出
来源：https://arxiv.org/html/2605.12809

## 纠正影响：使用正交潜在空间解读大语言模型输出

Shixing Yu  
电气与计算机工程系  
康奈尔科技校区  
[email protected]

&

Promit Ghosal  
统计学系  
芝加哥大学  
[email protected]

&

Kyra Gan  
运筹学与工业工程系  
康奈尔科技校区  
[email protected]

###### 摘要

在医疗保健等高风险领域可靠地使用大语言模型（LLMs），一个关键步骤是将预测归因于其训练数据，类似于医学案例研究。这需要达到 token 级别的精度：不仅要精确定位哪些训练样本影响了决策，还要明确这些样本中的哪些 token 负责。虽然*影响函数*为此提供了原则性框架，但先前的工作仅局限于*自回归*场景，并依赖于一个隐含的*token 独立性*假设，导致其识别出的影响不可靠。我们引入了一个灵活的框架，通过潜在中介方法推断*通用预测任务*中的*token 级别影响*。我们的方法将*稀疏自编码器*附加到预训练 LLM 的任意层，以学习一组近似独立的潜在特征基。与先前方法中影响在 token 之间可加性分解不同，在潜在特征上计算的影响本质上是*不可分解的*。为解决此问题，我们引入了一种使用*雅可比-向量积*的新方法。通过 token 激活模式将潜在归因传播回输入空间，从而获得 token 级别的影响。我们使用高效的逆 Hessian 近似来扩展我们的方法。在医学基准上的实验表明，我们的方法能够识别稀疏、可解释的 token 集合，这些 token *共同*影响预测。我们的框架增强了信任度，并允许模型审计，可推广到任何需要透明和可问责决策的高风险领域。

## 1 引言

在医疗保健等高风险领域部署 LLM，取决于一个关键但尚未满足的需求：通过将模型预测直接追溯到其训练数据中的证据，来审计模型推理的能力。这种对可验证性的需求十分紧迫，因为 LLM 正被越来越多地探索用于临床任务，如诊断支持和治疗规划，在这些任务中，错误可能造成严重后果（Singhal et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib18); Topol, 2019 (https://arxiv.org/html/2605.12809#bib.bib31)）。如果没有这种能力——类似于临床医生要求提供医疗决策的来源——LLM 仍然是无法验证的黑箱。它们产生幻觉的倾向（Ji et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib32)）以及容易受到训练数据中虚假相关性的影响（Oberst and Sontag, 2019 (https://arxiv.org/html/2605.12809#bib.bib33)）构成了重大的安全风险，削弱了临床采用所需的信任（Futoma et al., 2020 (https://arxiv.org/html/2605.12809#bib.bib35); Ghassemi et al., 2021 (https://arxiv.org/html/2605.12809#bib.bib34)）。

这种对基于证据推理的基本需求，并未被主流可解释性方法充分满足。诸如思维链提示之类的技术生成的推理过程，往往是事后证明，而非模型真实决策过程的忠实反映（Turpin et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib36); Barez et al., 2025 (https://arxiv.org/html/2605.12809#bib.bib28)）。其他流行方法，如注意力可视化（Wiegreffe and Pinter, 2019 (https://arxiv.org/html/2605.12809#bib.bib38); Jain and Wallace, 2019 (https://arxiv.org/html/2605.12809#bib.bib39)）或基于梯度的特征归因（Sundararajan et al., 2017b (https://arxiv.org/html/2605.12809#bib.bib40)），仅限于解释模型的单次前向传播。它们在给定输入的上下文中运行，无法揭示先前的训练经验如何塑造了模型的基本行为模式和知识（Feldman and Zhang, 2020 (https://arxiv.org/html/2605.12809#bib.bib37)）。这对于临床部署是一个关键限制：在安全关键的环境中，医疗专业人员需要能够精确定位预测背后的确切训练证据——而不仅仅是生成听起来合理的推理——以验证模型逻辑是否符合既定知识、事实核查其结论，并最终建立采用所需的信任。

解决此问题的原则性框架在于*影响函数*（IFs），这是一种来自稳健统计学的工具，用于解释模型预测如何依赖于其训练数据（Hampel, 1974 (https://arxiv.org/html/2605.12809#bib.bib16)）。该方法将模型视为由其数据集塑造的经验实体，从而能够将最终预测追溯到有影响力的训练点（Koh and Liang, 2017 (https://arxiv.org/html/2605.12809#bib.bib9)）。最近的工作已成功将此方法扩展到现代 LLM，展示了通过将影响归因到 token 级别来揭示泛化模式的潜力（Grosse et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib24)）。然而，一个关键的限制依然存在：IF 框架假设目标函数的各分量之间是独立的（例如，先前工作中自回归预测任务里的 token）。这个假设对于使影响分数具有可解释性是必要的，因为它确保了组件间影响的相对差异是良定义的。实际上，LLM 中的 token 之间高度相关。因此，先前的实现虽然强大，但产生的影响估计在理论上不健全且难以解释（Basu and Echenique, 2020 (https://arxiv.org/html/2605.12809#bib.bib41); Tsimpoukelli et al., 2021 (https://arxiv.org/html/2605.12809#bib.bib42)）。

我们引入了一个稳健的框架，通过潜在中介推断测试预测上的*token 级别*影响，从而实现更可靠的影响估计。基于近期单语义性研究（Bricken et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib30); Templeton et al., 2024b (https://arxiv.org/html/2605.12809#bib.bib862)）和去纠缠表示学习（Wang et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib1086)），我们的方法利用了神经网络可分解为语义上有意义且独立的组件这一事实。我们的方法通过将影响传播经过特征具有统计独立性的去纠缠潜在空间，推广到*通用预测任务*，这对于可靠的影响估计至关重要。

我们的贡献有四个方面：

1.  **统一的样本和特征级别影响**：我们将影响分析扩展到超越先前工作的孤立 token 范式，以建模训练样本-标签对中 token 的*联合影响*。通过将影响从潜在特征，经由它们的联合激活模式，传播到输入 token，我们将预测归因于训练数据中特定的 token 组合，同时利用单语义结构。与将神经元视为原子单元的方法不同，我们认识到有意义的计算发生在跨越多个神经元的可解释特征级别。
2.  **通过稀疏自编码器（SAEs）实现稳定、独立的特征提取**：我们使用 SAEs（Gao et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib48); Cunningham et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib25); Marks et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib26); Cong et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib43)）作为可解释性组件，在中间层产生稀疏、近似正交的潜在特征。然后我们计算相对于这些潜在特征的影响分数，从而提高了训练数据归因的稳定性和可解释性。
3.  **通过导数交换实现可扩展的不可分解影响估计**：潜在级别的影响是整体相互依赖的，缺乏 token 级别方法的可加性分解。虽然朴素的雅可比-向量积（JVP）评估需要对每个特征进行一次 O(\(d_l\)) 前向模式传递，但我们利用克莱罗定理交换了导数顺序。这种梯度-导数公式将计算重组为单次反向模式传递，将复杂度降低到 O(1)，并实现了 10 倍到 20 倍的实际加速。
4.  **在医学和通用推理上的大规模实证验证**：我们在多个 QA 数据集上，针对 1B 和 1.5B 参数模型（Llama-3.2 和 Qwen2.5）评估了我们的框架。严格必要性和充分性消融实验表明，我们的方法能够隔离出紧凑、高影响力的电路，这些电路系统地优于激活幅度和频率基线。此外，固定测试样本上输入 token 的热力图可视化揭示了模型行为的潜在模式，表明在训练过程中纳入上下文会导致与不纳入上下文不同的行为；然而，需要进一步调查才能完全理解这种行为差异。

通过统一数据级和特征级归因，我们的方法为高风险领域中的透明、可信赖且可部署的 LLM 提供了一条原则性途径，并且在大规模训练数据审计和诊断方面具有额外潜力，我们将在第 6 节 (https://arxiv.org/html/2605.12809#S6) 进一步讨论。第 3 节 (https://arxiv.org/html/2605.12809#S3) 介绍了我们的符号表示以及关于 IF 和 JVP 的预备知识。然后我们在第 4 节 (https://arxiv.org/html/2605.12809#S4) 描述我们的方法，并在第 5 节 (https://arxiv.org/html/2605.12809#S5) 评估其性能。额外的相关工作包含在附录 2 (https://arxiv.org/html/2605.12809#S2) 中。完整的流程如图 1 (https://arxiv.org/html/2605.12809#S1.F1) 所示。

![参见图注](https://arxiv.org/html/2605.12809/Figure%201.png)
图 1：流程概览。RepInfLLM 概述。首先微调领域特定的 LLM，然后在中间层（25%–75%）扫描 SAE 以选择代表性的潜在空间。在推理期间，将选定的 SAE 内联插入，将训练和测试实例映射到共享的稀疏潜在表示，从而可以直接在表示空间中进行影响归因。预测遵循标准前向传递，而归因则通过一条反向路径计算，该路径在去纠缠的潜在表示上使用激活加权缩放进行操作，避免了 token 级别的纠缠。

## 2 相关工作

**LLM 中的可解释性** 可解释性方法的范围涵盖从黑箱方法（如扰动和敏感性分析（Casalicchio et al., 2018 (https://arxiv.org/html/2605.12809#bib.bib614); Ribeiro et al., 2016 (https://arxiv.org/html/2605.12809#bib.bib457); Covert et al., 2021 (https://arxiv.org/html/2605.12809#bib.bib604); Warstadt et al., 2020 (https://arxiv.org/html/2605.12809#bib.bib599)）），到基于梯度的归因方法（Smilkov et al., 2017 (https://arxiv.org/html/2605.12809#bib.bib616); Sundararajan et al., 2017b (https://arxiv.org/html/2605.12809#bib.bib40); Bach et al., 2015 (https://arxiv.org/html/2605.12809#bib.bib603); Shrikumar et al., 2017 (https://arxiv.org/html/2605.12809#bib.bib606); Selvaraju et al., 2016 (https://arxiv.org/html/2605.12809#bib.bib607); Bilodeau et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib759)），以及基于概念的表示探测（Belinkov, 2022 (https://arxiv.org/html/2605.12809#bib.bib412); Kornblith et al., 2019 (https://arxiv.org/html/2605.12809#bib.bib566); Bansal et al., 2021 (https://arxiv.org/html/2605.12809#bib.bib788); Burns et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib137); Zou et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib245); Arditi et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib1013)）。机械可解释性方面更近期的研究侧重于通过电路分析（Olah et al., 2018 (https://arxiv.org/html/2605.12809#bib.bib126); Elhage et al., 2021 (https://arxiv.org/html/2605.12809#bib.bib132), 2022b (https://arxiv.org/html/2605.12809#bib.bib133)）和特征发现（Bricken et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib30); Sharkey, 2022 (https://arxiv.org/html/2605.12809#bib.bib204); Cunningham et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib25); Deng et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib296)）来逆向工程模型的内部结构。除了单语义性和去纠缠，这项工作还推动了诸如归纳头或复制抑制等主题的分析（Olsson et al., 2022 (https://arxiv.org/html/2605.12809#bib.bib135); McDougall et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib99); Cammarata et al., 2020 (https://arxiv.org/html/2605.12809#bib.bib128), 2021 (https://arxiv.org/html/2605.12809#bib.bib123)）、普遍性（Chan et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib562); Gurnee et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib138); Marchetti et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib856)）以及涌现的世界模型（Li et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib139); Nanda, 2023 (https://arxiv.org/html/2605.12809#bib.bib145); Ivanitskiy et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib525); Karvonen, 2024 (https://arxiv.org/html/2605.12809#bib.bib999); Shanahan et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib940); janus, 2022 (https://arxiv.org/html/2605.12809#bib.bib360)）。与这些通常优先考虑全局模型理解的方法不同，我们的方法强调可操作、可测试的归因，特别针对医疗保健等高风险领域，其中快速的事实核查和模型决策验证对于可靠性和信任至关重要。

**稀疏自编码器和独立特征** SAEs 通过稀疏性约束（例如 L1 惩罚）学习去纠缠、可解释的特征，促进潜在表示中的统计独立性。这种方法建立在寻求独立数据组件的悠久历史之上，包括经典线性方法如主成分分析（PCA）（Jolliffe and Cadima, 2016 (https://arxiv.org/html/2605.12809#bib.bib3)）和独立成分分析（ICA）（Hyvärinen, 2013 (https://arxiv.org/html/2605.12809#bib.bib2)），以及非线性概率框架如变分自编码器（VAEs）（Kingma and Welling, 2014 (https://arxiv.org/html/2605.12809#bib.bib1)）。然而，SAEs 提供了一条独特透明且确定性的特征学习路径，平衡了稀疏性和重构保真度。它们被广泛用于 LLM 的机械可解释性（Cunningham et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib25); Bricken et al., 2023 (https://arxiv.org/html/2605.12809#bib.bib30); Templeton et al., 2024a (https://arxiv.org/html/2605.12809#bib.bib44); Marks et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib26)），其变体包括 k-稀疏 SAEs（Makhzani and Frey, 2013 (https://arxiv.org/html/2605.12809#bib.bib45)）、门控和 JumpReLU SAEs（Rajamanoharan et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib880)）以及 TopK 方法（Gao et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib48); Bussmann et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib49)）。除语言之外，SAEs 还扩展到多模态领域（Surkov et al., 2025 (https://arxiv.org/html/2605.12809#bib.bib46)）、放射学和医学成像（Abdulaal et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib47)）以及强化学习对齐（Yin et al., 2024 (https://arxiv.org/html/2605.12809#bib.bib4)），展示了跨任务的多功能性。最近的工作表明，transcoder（通过更宽、稀疏激活的网络来近似密集 MLP 行为）在可解释性上通常达到或超过 SAE