Agentic 可解释性正成为独立的研究方向。

AI 智能体不再仅依赖一次性标注，而是能够：

• 提出假说
• 设计实验
• 检查激活模式和电路
• 根据反馈优化解释

我们的工作 SAGE 开创了这一范式在 SAE 特征自动解释中的应用。该方向正随着 Agentic-iModels（用于可解释模型设计）和 HYVE（用于自主电路解释）的提出而不断扩展。

Agentic-iModels 探讨的问题是：智能体能否设计出更易于智能体解释的模型？

其自动研究循环通过优化表格回归器的准确性和 LLM 可模拟性，使下游数据科学智能体的性能提升高达 73%。

HYVE 将智能体推理引入电路解释。给定局部化的电路，它观察组件、提出假说、通过因果干预进行验证，并对 84 个电路生成组件级和任务级的解释。

该领域正从一次性标注转向自主的、假说驱动的可解释性研究。

• SAGE (p1): https://arxiv.org/abs/2511.20820
• Agentic-iModels (p2): https://arxiv.org/abs/2605.03808
• HYVE (P3, p4): https://arxiv.org/abs/2606.24026

#AI #LLM #可解释性 #机制可解释性 #AI研究 #智能体 #稀疏自编码器 #SAE #自动解释

用于解释语言模型中 SAE 特征的智能体解释框架

来源：https://arxiv.org/html/2511.20820 Jiaojiao Han¹ Wujiang Xu² Mingyu Jin² Mengnan Du³†
¹新泽西理工学院 ²罗格斯大学 ³香港中文大学（深圳）
[email protected] [email protected]
†通讯作者

摘要

大型语言模型（LLM）取得了显著进展，但其内部机制仍大多不透明，给其安全可靠的部署带来了重大挑战。稀疏自编码器（SAE）已成为将 LLM 表示分解为更可解释特征的有力工具，但解释 SAE 捕获的特征仍然是一项艰巨任务。在这项工作中，我们提出了 SAGE（SAE 智能体解释器），一个基于智能体的框架，它将特征解释从被动的、单次生成任务转变为主动的、解释驱动的过程。SAGE 通过为每个特征系统地制定多种解释、设计有针对性的实验进行测试以及根据实际的激活反馈迭代优化解释，实现了严格的方法论。在来自不同语言模型 SAE 的特征上进行的实验表明，与最先进的基线方法相比，SAGE 生成的解释具有显著更高的生成准确性和预测准确性。代码可在 https://github.com/jiujiubuhejiu/SAGE 获得。

SAGE：用于解释语言模型中 SAE 特征的智能体解释框架

Jiaojiao Han¹ Wujiang Xu² Mingyu Jin² Mengnan Du³†
¹新泽西理工学院 ²罗格斯大学 ³香港中文大学（深圳）
[email protected] [email protected]
†通讯作者

1 引言

大型语言模型（LLM）在自然语言理解、生成和推理等多个领域取得了显著进展。然而，尽管能力令人印象深刻，LLM 在很大程度上仍然是不透明的系统，常被视为内部机制难以理解的黑箱（Zhao 等人，2024）。为了应对这种不透明性，研究界越来越关注解码 LLM 表示中编码的信息，试图理解这些模型如何处理和存储知识。在各种可解释性方法中，稀疏自编码器（SAE）因其能够将稠密的神经激活分解为稀疏的、潜在可解释的特征而受到越来越多的关注（Shu 等人，2025）。最近的研究表明，SAE 可以识别 Transformer 表示中有意义的特征维度，其应用范围从电路发现到激活引导（Ferrando 等人，2025；He 等人，2025）。

尽管取得了这些进展，解释 SAE 特征仍然是一个重大挑战。由于 SAE 使用无监督学习目标进行训练，其学习到的特征的语义必须通过分析其激活模式进行事后推断。当前的方法，以 Neuronpedia（Lin, 2023）为例，依赖于自动解释管道，使用 GPT-4 和 Claude 4.5 等大型语言模型为每个 SAE 特征生成自然语言解释。虽然这些方法产生了初步结果，但依然存在两个基本问题。首先，生成的解释缺乏一致性和严谨性。当使用不同的 LLM 解释同一特征时，它们常常产生不同的解释，削弱了对解释的信心。其次，尽管 SAE 被明确设计用于将多语义的 LLM 表示分解为单语义特征（其中每个特征捕获一个单一、连贯的概念），但实践中许多 SAE 特征仍然表现出多语义行为，会针对多种不同的语义或结构模式激活。Neuronpedia 等现有方法仅为每个特征提供一个单一解释，未能考虑到这种多方面的激活行为，可能会遗漏特征功能的重要方面。

为了解决这些挑战，我们提出了 SAGE（SAE 智能体解释器），一个基于智能体的框架，它将特征解释从被动观察转变为主动的、解释驱动的实验。SAGE 不依赖现成 LLM 的单次解释，而是实施严格的科学方法论，系统地为每个特征的行为制定多种解释，设计有针对性的实验来测试这些解释，并根据经验证据迭代优化其理解。此外，通过在解释过程中维护多个并行的解释，SAGE 自然地捕获了多语义特征，在适当的时候生成全面的多方面解释。本工作的主要贡献可总结如下：

• • 我们提出了 SAGE，一个新颖的基于智能体的框架，它将特征解释重新构建为一个主动的、解释驱动的科学过程，而不是被动的、单次生成任务。
• • SAGE 为每个特征制定、测试并迭代优化多个并行的解释，基于实际的激活反馈。
• • 我们对来自不同 LLM 的特征进行了实验，证明与现有方法相比，SAGE 能产生更准确、更一致且更具可操作性的特征解释。

2 问题形式化

参考图注 图1：SAGE 框架概览。过程始于解释器 LLM 从目标 LLM 和 SAE 导出的高激活文本生成初始解释 (H_i)。然后，设计器 LLM 创建测试文本 (T_i) 来验证该解释，启动多轮解释优化循环。在该循环中，分析器 LLM 观察当 (T_i) 输入目标 LLM 时产生的激活。接着，评审器 LLM 评估此反馈，并决定是接受、拒绝、反驳还是优化当前解释。此迭代过程持续进行，直到某个解释被接受，最终形成最终解释 (H^*)。在本节中，我们首先提供稀疏自编码器（SAE）的技术背景，然后形式化 SAE 特征解释的任务。

2.1 稀疏自编码器

SAE（Bricken 等人，2023；Cunningham 等人，2023；Templeton 等人，2024）旨在通过将稠密的神经网络激活 (x \in \mathbb{R}^{d_{\text{model}}}) 分解为稀疏的、潜在可解释的特征 (f \in \mathbb{R}^{d_{\text{sae}}}) 来解决大型模型的不透明性。这是通过将输入投影到更高维的特征空间实现的，其中 (d_{\text{sae}} \gg d_{\text{model}})。其架构由一个计算稀疏特征 (f) 的编码器和一个使用这些稀疏特征重建原始激活 (\hat{x}) 的解码器组成：

[ f = \text{ReLU}(W_e(x - b_{\text{pre}}) + b_e), \quad \hat{x} = W_d f + b_{\text{dec}}. ]

这里，(W_e) 和 (W_d) 分别是编码器和解码器的权重矩阵，而 (b_{\text{pre}})、(b_e) 和 (b_{\text{dec}}) 是偏置项。模型通过损失函数 (\mathcal{L}) 来平衡两个相互竞争的目标：重建保真度和特征稀疏性：

[ \mathcal{L} = \underbrace{|x - \hat{x}|2^2}{\text{重建损失}} + \underbrace{\lambda |f|1}{\text{稀疏惩罚}} ]

第一项确保重建向量 (\hat{x}) 接近原始输入 (x)。第二项是对特征激活 (f) 的 (L_1) 惩罚，鼓励大多数特征为零。超参数 (\lambda) 控制这两个目标之间的权衡。

2.2 SAE 特征解释

由于 SAE 是在无监督目标上训练的，其学习到的特征（即激活空间中的特定方向）的语义必须事后推断。一个 SAE 模型将激活投影到高维特征空间 (f \in \mathbb{R}^{d_{\text{sae}}}) 中，因此一个具有 (d_{\text{sae}} = 16,000) 的经过训练的 SAE 包含 16K 个独立特征。我们工作的最终目标是为每个 (j \in {1, …, d_{\text{sae}}}) 特征提供一个自然语言解释 (E_j)。我们正式地将单个特征 (f_j) 的 SAE 特征解释任务定义为：找到一个自然语言解释 (E_j)，该解释准确描述了导致该特征激活的一组语义或结构输入模式。

如引言所述，当前的单次生成方法通常产生缺乏这种实证验证的解释，并且未能考虑到会对多个不同模式产生响应的多语义特征。为了解决这些局限性，我们重新构建了任务：我们的基于智能体的框架不是寻找一个单一的、静态的 (E_j)，而是通过一个基于与 SAE 模型多轮交互来测试和优化多个解释 ({H_1, …, H_n}) 的迭代过程，发现一个经过实证验证的解释 (E)。

3 提出的 SAGE 框架

在本节中，我们介绍 SAGE（SAE 智能体解释器），一个新颖的基于智能体的框架，旨在解决 SAE 特征解释的挑战。SAGE 不依赖被动的、单次生成，而是将此任务转变为一个主动的、迭代的科学过程（见图1）。

该过程始于解释器 LLM 根据来自目标 LLM 和 SAE 的高激活文本生成一组初始解释 ({H_i})。然后，设计器 LLM 创建有针对性的测试文本 (T_i) 来验证这些解释，从而启动多轮解释优化循环。在该循环中，分析器 LLM 观察当 (T_i) 被目标 LLM 处理时产生的实际特征激活。评审器 LLM 评估此激活反馈并决定下一步：接受、拒绝、反驳还是优化当前解释。这一迭代的、反馈驱动的过程持续进行，直到某个解释被接受，最终形成最终解释 (E)。

3.1 初始解释生成

我们 SAGE 框架针对单个目标 SAE 特征 (f_j)（模型中激活空间中的一个学习到的方向）的解释过程始于标准特征分析。我们首先从语料库中提取出最强烈激活该特征 (f_j) 的前 k 个文本片段。这些高激活示例作为解释生成的经验基础。然后，解释器 LLM 使用提示 (P_{\text{init}})（见附录）分析这些示例，为 (f_j) 编码的语义概念制定一组初始的 n 个解释 ({H_1, H_2, …, H_n})。与承诺于单一解释的单次方法不同，SAGE 维护多个并行的解释，以捕获潜在的复杂、上下文相关或多语义的激活模式。每个解释 (H_i) 代表一个关于何种可解释概念或模式触发该特征激活的、独特的、可测试的理论。

3.2 多轮解释优化

SAGE 的第二阶段是一个多轮执行循环，其中每个解释都通过实证测试进行迭代优化。在第 t 轮中，对于每个活跃的解释 (H_i)，系统执行一个结构化的测试周期。

首先，解释器 LLM 使用提示 (P_{\text{test}}) 生成旨在验证解释 (H_i) 的测试文本 (T_i)。此生成的文本代表一个具体的预测：如果 (H_i) 正确捕获了 SAE 特征编码的概念，那么 (T_i) 应该强烈激活 (F_j)。文本生成过程同时受到解释和先前迭代积累的证据的指导，使得能够对特征边界进行日益复杂的探测。接下来，我们通过将 (T_i) 传入目标 LLM 并测量 SAE 特征激活来获取经验反馈：(a_i = \text{SAE}j(\text{TargetLLM}(T_i)))。激活幅度 (a_i) 提供了关于解释有效性的直接证据。基于激活分析，分析器 LLM 使用系统提示 (P{\text{analyze}}) 确定每个解释的下一个状态。我们的框架支持四种状态转换，对应不同的实验结果：

• • 接受：当测试文本 (T_i) 产生与预测匹配的强激活时，解释 (H_i) 被接受为有效的解释。
• • 拒绝：如果重复测试未能产生有意义的激活，或持续与预测相矛盾，解释 (H_i) 将被拒绝。
• • 优化：部分激活匹配表明该解释捕获了特征行为的某些方面，但需要修改。系统生成优化的解释 (H_i’) 和更新的测试文本 (T_i’) 用于下一轮迭代。
• • 反驳：当激活模式直接与解释预测相矛盾时，系统保留 (H_i)，但生成替代的测试文本 (T_i’) 以探究为何预期行为没有发生。

状态转换逻辑形式化为：

[ (H_i^{(t+1)}, T_i^{(t+1)}, \text{status}_i) = \text{Transition}(H_i^{(t)}, T_i^{(t)}, a_i^{(t)}), ]

其中转换函数通过使用激活分析结果对分析器 LLM 进行结构化提示来实现。多轮执行持续进行，直到所有解释达到终止状态（接受或拒绝）或达到最大轮数。通过连续的迭代，初始宽泛粗略的解释演变