通过可扩展神经符号模型的生成式可解释性

# 通过可扩展神经符号模型实现生成式可解释性
来源：https://arxiv.org/html/2609.13529  
会议：ACM AI Summit 2026；2026年8月31日-9月2日；美国乔治亚州亚特兰大ACM AI Summit 2026 (AI Summit '26)，2026年8月31日-9月2日，美国乔治亚州亚特兰大  
DOI: 10.1145/3806096.3844850 (https://doi.org/10.1145/3806096.3844850)  
ISBN: 979-8-4007-2638-5/2026/08  
CCS: 计算方法学 知识表示与推理  
CCS: 计算方法学 自然语言处理  
CCS: 计算方法学 人工智能  
萧从阳  
隶属：AI Interpretability @ Illinois，伊利诺伊大学厄巴纳-香槟分校，美国伊利诺伊州厄巴纳市  
邮箱：[[email protected]](mailto:[email protected])

© cc

###### 摘要。

随着大型语言模型从聊天机器人向代理系统迈进，其输出成为对现实世界具有不可逆后果的操作，现有的AI可解释性研究范式——事后可解释性——在结构上不足以支持安全可信的模型部署：它只能在事后解释行为，而无法在模型承诺输出结果之前审计或干预其推理计算。因此，我们主张转向*生成式可解释性*，这是一种架构特性，模型的推理过程能原生暴露语义上有意义的、人类可理解的检查点，并允许进行因果干预。我们阐述了生成式可解释性相对于其他可解释性研究范式的优点，并提出神经符号模型作为其具体实例化。

###### 关键词：

AI可解释性，神经符号模型，大型语言模型，AI安全，生成式可解释性

†† cc-许可：by

## 1. 引言

近年来，联结主义AI模型，特别是具有前所未有现实世界影响的大型语言模型，发展迅速。尽管功能强大，但普遍认为其在内部工作机制上缺乏可解释性，因此被称为“黑盒”模型（Lipton, 2017 (https://arxiv.org/html/2609.13529#bib.bib44)；Rudin, 2019 (https://arxiv.org/html/2609.13529#bib.bib24)）。一个直接后果是，通常无法以可扩展和系统的方式理解、审计和干预模型的不良行为，如幻觉、谄媚和有害内容生成。随着将LLM部署到代理系统（例如辅助诊断的医疗系统（Wang et al., 2025 (https://arxiv.org/html/2609.13529#bib.bib45)）和控制行驶车辆动作的自动驾驶系统（Wu et al., 2025 (https://arxiv.org/html/2609.13529#bib.bib46)））的趋势，这种不良模型行为的负面影响被急剧放大。在这些系统中，代理与真实世界环境交互，因此可能产生比聊天机器人严重得多的不可逆后果：正如Maslej等人（2025年）(https://arxiv.org/html/2609.13529#bib.bib48)报告的那样，有记录的AI安全事件从2023年到2024年激增了56.4%，其中涉及自动驾驶系统的致命事故（Responsible AI Collaborative, 2024 (https://arxiv.org/html/2609.13529#bib.bib50)）和代理AI系统造成的经济损失（Bengio等人, 2026 (https://arxiv.org/html/2609.13529#bib.bib49)）。这些问题已上升到国家安全层面的紧迫性：DARPA-NSF-CAISI AI Forge项目（, 2026 (https://arxiv.org/html/2609.13529#bib.bib47)）将AI可解释性确定为AI研究的三大优先事项之一，强调了在代理环境中可解释AI对于可审计的自主性和运行时操作控制的重要性。

在这项工作中，我们认为可解释性研究必须进行范式转变以满足这一要求。目前大多数关于解释LLM的工作都属于事后可解释性（Madsen et al., 2022 (https://arxiv.org/html/2609.13529#bib.bib1)），它依赖于LLM外部的逆向工程工具。这些工具局限于观察：其解释受到工具自身近似误差的混淆，并且这些工具在部署后通常被丢弃，而非用于使部署的模型更安全。因此，事后可解释性无法可靠地转化为部署后LLM更安全的行为。相反，我们提出了*生成式可解释性*的概念作为替代方案。该概念的核心主张是，*可解释性应是模型计算的固有属性，允许在部署时进行有效的审计和干预*，直接针对DARPA-NSF-CAISI AI Forge报告中提出的研究重点和挑战。

## 2. 事后可解释性及其局限性

事后可解释性指的是，一个已经训练好的模型的计算和行为可以被归因和追溯到人类可理解的术语（Madsen et al., 2022 (https://arxiv.org/html/2609.13529#bib.bib1)）。根据解释对象，可归纳为两类：解剖式可解释性和生理式可解释性。

### 2.1 解剖式可解释性

解剖式可解释性研究模型中在不同输入下稳定且一致地工作的局部结构，通常伴随着模块化和功能特化。例如，在LLM出现之前，Transformer（Vaswani et al., 2023 (https://arxiv.org/html/2609.13529#bib.bib40)）中多头自注意力层和前馈网络的结构已被深入研究。例如，BERT模型（Devlin et al., 2018 (https://arxiv.org/html/2609.13529#bib.bib3)）中的多头注意力层被发现专门处理输入中的某些语义或句法信息（Clark et al., 2019 (https://arxiv.org/html/2609.13529#bib.bib2)）。Transformer中的前馈网络通常被解释为事实知识库（Geva et al., 2021 (https://arxiv.org/html/2609.13529#bib.bib4)；Dai et al., 2022 (https://arxiv.org/html/2609.13529#bib.bib5)），可以被编辑以影响模型在某些事实上的输出（Meng et al., 2023 (https://arxiv.org/html/2609.13529#bib.bib6)）。

### 2.2 生理式可解释性

生理式可解释性恢复模型执行的特定推理过程的端到端信息流。其理论基础可追溯到因果中介分析（Pearl, 2013 (https://arxiv.org/html/2609.13529#bib.bib7)），其中给定输入样本上的计算流被描述为有向无环图，并对中间节点进行干预以研究其对模型输出的因果效应。该类别早期的工作包括探测（Belinkov, 2021 (https://arxiv.org/html/2609.13529#bib.bib8)）和简单的显著性追踪（Sundararajan et al., 2017 (https://arxiv.org/html/2609.13529#bib.bib10)；Li et al., 2019 (https://arxiv.org/html/2609.13529#bib.bib9)；Sundararajan and Najmi, 2020 (https://arxiv.org/html/2609.13529#bib.bib11)）。随着LLM的发展，Transformer电路理论（Elhage et al., 2021 (https://arxiv.org/html/2609.13529#bib.bib12)）及其后续工作（Elhage et al., 2022 (https://arxiv.org/html/2609.13529#bib.bib13)；Bricken et al., 2023 (https://arxiv.org/html/2609.13529#bib.bib14)；Lindsey et al., 2025 (https://arxiv.org/html/2609.13529#bib.bib15)）被提出，并成为事后可解释性领域最尖端的技术之一。这些工作不是执行简单的、基于度量的追踪，而是旨在将LLM的推理过程简化为模型激活空间中称为特征的语义有意义方向上的简化操作组合。这些工作系统地研究并回答了围绕特征的三个关键问题：（1）特征在激活空间中如何分布（准正交）；（2）如何识别特征及其含义（通过字典学习）；（3）模型如何使用这些有意义的特征来生成其输出（通过归因图的电路追踪）。

### 2.3 共同的根本局限性

事后可解释性的工作让我们能更好地理解LLM。然而，它们都有一个根本的局限：它们可以解释模型做什么，但无法以系统且可扩展的方式改变模型做什么。一方面，事后可解释性工具在推理时干预方面的效果远不如在表示解释方面。例如，Basu等人（2026年）(https://arxiv.org/html/2609.13529#bib.bib51)记录了模型内部表示与其输出之间的巨大差距，基于不同事后可解释性工具的引导干预未能可靠地缩小这一差距。另一方面，事后可解释性工具存在严重的可扩展性和/或效率问题，阻碍其部署在实验室环境之外。Transformer电路理论中的强大可解释性工具，如稀疏自编码器和跨层转码器，由于使用极大的特征维度来鼓励稀疏和干净的特征分解，无法被高效地集成到LLM中进行部署。其他轻量级工具，如模型编辑（Wang et al., 2024 (https://arxiv.org/html/2609.13529#bib.bib16)）和激活补丁（Zhang and Nanda, 2024 (https://arxiv.org/html/2609.13529#bib.bib17)），仅限于修改特定类型的模型行为，并且依赖于与该行为相关的标记数据，因此远非可扩展和系统的方法。

## 3. 生成式可解释性

事后可解释性工具在干预方面的经验证据失败，直接促使我们有必要为有效审计量身定制一个新的可解释性范式。在本节中，我们将生成式可解释性阐述为获取推理时审计和可控干预的适当模型要求。

### 3.1 定义

我们将生成式可解释性定义如下。

###### 定义 3.1（生成式可解释性）。

模型的一种架构特性，其推理过程¹¹暴露的中间检查点，对于人类来说（i）原生具有语义意义，并且（ii）在设计上允许因果干预。

> ¹¹ 我们使用“推理过程”一词来描述将输入映射到单个有意义输出单元的单次计算轨迹。例如，在自回归LLM中，它是指生成下一个token。我们使用“推理路径”来指代由模型架构定义的静态计算路径，特定输入的推理过程沿此路径执行。

**人类可理解性。** AI中的可解释性通常从人类社会归因和认知的角度来构建（Biran and Cotton, 2017 (https://arxiv.org/html/2609.13529#bib.bib19)；Miller, 2017 (https://arxiv.org/html/2609.13529#bib.bib18)）。通过*对人类具有语义意义*，我们要求检查点能够映射到人类可读的概念。审计和干预最终反映的是人类决策和价值观，它们只有在中间状态以它们理解的方式表达时，才能识别出不良的模型行为。这排除了那些仅在数学功能层面透明的解释。例如，优化视角产生了一个数学上可解释的Transformer（Yu et al., 2023 (https://arxiv.org/html/2609.13529#bib.bib29)），其各层具有明确的角色，如token集压缩和稀疏化，但它并未揭示模型在处理输入时赋予的任何语义含义。通过*原生*，我们要求含义的获取不依赖外部工具来恢复。例如，Mueller等人（2025年）(https://arxiv.org/html/2609.13529#bib.bib52)的框架将检查点的选择与其含义的发现分离开来；无论检查点是注意力头、神经元还是激活子空间，其含义都依赖于事后可解释性工具进行搜索和赋予，因此，它无法避免事后可解释性的关键缺陷。

**因果干预。** 一个可解释性框架在反映模型处理输入的真实*推理过程*时被认为是忠实的（Jacovi and Goldberg, 2020 (https://arxiv.org/html/2609.13529#bib.bib20)；Geiger et al., 2025 (https://arxiv.org/html/2609.13529#bib.bib22)）。特别是，该框架应该能够用*“do-干预”*（Pearl, 2009 (https://arxiv.org/html/2609.13529#bib.bib21)）进行测试，并且反事实输出应与解释一致地对应，正如Nussbaum-Hoffer等人（2026年）(https://arxiv.org/html/2609.13529#bib.bib39)所论证的。这对于在施加干预时实现可预测的模型行为至关重要，尽管事后可解释性工具通常并非如此。对因果干预的要求直接意味着检查点需要是推理过程函数依赖的变量，改变它们的值必然会传播到下游计算中，因此do-干预在设计上具有明确定义的反事实，而不是像事后可解释性工具那样是偶然和近似的因果效应。

### 3.2 可解释性的两个轴

上述定义明确了两项要求，但未说明生成式可解释性与现有可解释性范式如何关联。我们沿着两个轴来组织这种比较，这两个轴捕捉了不同的承诺维度：相对于推理，解释在*何时*可用（时间轴），以及人类可读结构位于推理路径的*何处*（空间轴）。

**时间轴。** 我们根据人类可理解状态相对于模型推理在何时可用，将可解释性方法分为三类。大多数传统机器学习模型，如线性回归模型、决策树和基于规则的系统，在推理前就是可解释的。它们的结构或静态参数本身就是人类可理解的，并完全决定了它们在每个输入上的行为，因此推理过程不会产生任何超出简单应用已可读模式之外的可解释信息。Rudin (2019) (https://arxiv.org/html/2609.13529#bib.bib24)倡导这一特性，他们的后续工作展示了完全可解释的、特定领域模型的优越性能（Hu et al., 2023 (https://arxiv.org/html/2609.13529#bib.bib38)）。这些模型通常被描述为白盒模型。前述的事后可解释性方法仅在推理后恢复可解释状态：人类可理解的状态并非由模型原生暴露，而是由外部工具从完成的推理过程中重建出来。第三类，即可解释状态在推理过程中出现，受到的关注较少。一个代表性的作品是概念瓶颈模型（Koh et al., 2020 (https://arxiv.org/html/2609.13529#bib.bib25)）及其向LLM的扩展（Sun et al., 2025 (https://arxiv.org/html/2609.13529#bib.bib26)），其中神经网络的计算被锚定在来自预定义的、人类可理解的概念池中的语义概念上，作为推理路径的最后组件。然而，这些模型通常局限于特定领域的简单相似性匹配。

**空间轴。** 可解释性方法也可以根据可解释状态在推理路径中的空间位置来分类。作为基线，原始的LLM及其基于它的解释（例如链式思维（Wei et al.,