NObSP: 通过斜子空间投影实现神经网络的功能分解

# NObSP：基于斜子空间投影的神经网络功能分解
来源：https://arxiv.org/html/2609.17825
本研究已提交IEEE以供可能的发表。版权可能未经通知即转移，之后本版本可能无法访问。
维克多·德拉霍萨与圣地亚尔·阿尔弗雷斯††注：A·卡塞多在哥伦比亚波哥大哈维里亚纳天主教大学电子工程系工作。电子邮件：[email protected] V·德拉霍萨在哥伦比亚波哥大哈维里亚纳天主教大学工作。S·阿尔弗雷斯在西班牙巴塞罗那加泰罗尼亚理工大学数学系工作。电子邮件：[email protected]
本研究是西班牙科学与创新部资助的研究项目的一部分，项目编号为PID2023-146261OB-I00。
#### 摘要
理解深度神经网络如何做出决策仍然是一个根本性挑战。我们提出NObSP（非线性斜子空间投影）框架，该框架将预测分解为显式的逐特征贡献函数和交互残差。NObSP利用已训练网络的线性最终层，并在样本空间使用斜投影来减少当学习到的特征子空间重叠时的重复计数，从而支持局部解释和全局功能分析。我们建立了与功能方差分析和柯尔莫哥洛夫-阿诺德表示定理的联系，并推导出一种高效的用于样本外评估的偏回归算法。对于卷积网络，NObSP-CAM在一次性校准后无需反向传播即可生成类激活图。在表格和视觉基准测试上的实验表明，其忠实度与已建立的归因方法相当。在具有已知组件函数的合成基准测试上，NObSP的功能复现得分为0.989，而KernelSHAP为0.966，积分梯度为0.922。在TinyImageNet上，贡献向量嵌入将原始激活的平均最近邻类纯度从0.654提高到0.713，并将平均邻居距离减少了一半以上。这些结果表明，NObSP通过恢复具有可分离正负证据的功能贡献剖面，对标量归因方法进行了补充。
#### 索引术语：神经网络可解释性，可解释AI，斜子空间投影，功能分解，类激活图，方差分析分解，特征归因。
## 一、引言
深度神经网络在医疗诊断、自主系统、金融决策和法律推理等高风险领域的部署，产生了对解释这些模型如何得出预测的可解释性方法的迫切需求\[1 (https://arxiv.org/html/2609.17825#bib.bib1), 2 (https://arxiv.org/html/2609.17825#bib.bib2)\]。诸如欧盟《通用数据保护条例》等监管框架越来越要求对自动化决策进行解释\[3 (https://arxiv.org/html/2609.17825#bib.bib3)\]。然而，神经网络在很大程度上仍然是不透明的；虽然我们可以观察它们的输入和输出，但将前者转换为后者的内部计算却难以解释。现有的可解释性方法面临着根本性的局限。归因方法如SHAP\[5 (https://arxiv.org/html/2609.17825#bib.bib5)\]和LIME\[4 (https://arxiv.org/html/2609.17825#bib.bib4)\]提供标量重要性分数，但知道特征x_k对预测贡献了特定量，远不如知道其函数关系g_k(x_k)信息丰富。功能分解方法，如部分依赖图（PDP）\[13 (https://arxiv.org/html/2609.17825#bib.bib13)\]和累积局部效应（ALE）\[15 (https://arxiv.org/html/2609.17825#bib.bib15)\]，可以恢复函数形式，但在处理相关特征时遇到困难，会累积数值误差，并且缺乏高效的样本外扩展；PDP需要为每个新查询重新对训练样本进行平均，而ALE生成的分箱近似值不能自然地外推到观测特征范围之外。对于卷积网络，类激活图方法\[9 (https://arxiv.org/html/2609.17825#bib.bib9), 12 (https://arxiv.org/html/2609.17825#bib.bib12)\]突出了空间区域，但未提供像素值与预测之间函数关系的洞见。最关键的是，现有方法是为局部或全局解释设计的，要求从业者采用多种技术以获得全面理解。
本文介绍了NObSP（非线性斜子空间投影），一个数学上严谨的框架，通过将神经网络预测分解为可解释的功能组件来解决这些限制。此分解背后的主要思想源于架构：在已训练的神经网络中，所有非线性都存在于输入如何转换为倒数第二层表示z = f_{NN→L-1}(x)中，而作用于此潜在变量的最终层\hat{y} = w^⊤z + b是线性的。这意味着预测向量\hat{\mathbf{y}} = \mathbf{Z}\mathbf{w} + b\mathbf{1}在表示上是线性的，因此在样本空间R^N中的斜投影分解是可行的。每个孤立输入特征所描绘的子空间V_k编码了学习到的非线性变换，将仅特征k活跃的输入传递通过网络，恰好揭示了网络如何处理该特征。NObSP将预测分解为可加的功能组件：
\hat{y}(\mathbf{x}) = \sum_{k=1}^{d} g_k(x_k) + G_{\text{int}}(\mathbf{x}) + b,  (1)
其中g_k(x_k)表示特征k的非线性贡献，G_{\text{int}}捕获交互效应。关键挑战在于，学习到的子空间通常不是正交的；网络可能对不同特征使用重叠的表示，这种现象称为叠加\[22 (https://arxiv.org/html/2609.17825#bib.bib22)\]。经典的ANOVA分解要求正交性，但NObSP通过斜子空间投影解决了这个问题\[23 (https://arxiv.org/html/2609.17825#bib.bib23)\]，该投影沿着（而非垂直于）参考子空间投影到目标子空间。这隔离了每个特征的独特贡献，同时正确地考虑了表示重叠。
NObSP与现有方法的关系表明了其在可解释性领域的位置。NObSP和SHAP都与功能ANOVA分解有关。SHAP通过Shapley值在特征间分配交互效应，产生标量来回答“特征k贡献了多少？”而NObSP则保持功能项分离，产生完整的函数来回答“特征k在其整个范围内如何贡献？”这些视角是互补的。与部分依赖图相比，NObSP避免了外推到不太可能的特征组合；与累积局部效应相比，它不依赖于导数估计和累积。不同于按样本操作的基于梯度的CAM方法，NObSP提供了一个统一的框架，既可用于局部解释（单个预测），也可用于全局分析（数据集中的特征效应）。除了归因，NObSP贡献向量g(\mathbf{x}) = [g_1(x_1), \ldots, g_d(x_d)]^⊤诱导了一个具有几何意义的嵌入空间。初步实验表明，该嵌入改进了最近邻检索中的平均类纯度（在TinyImageNet上，原始激活为0.65，而此方法为0.71，中位数纯度为1.0），表明NObSP捕获的是分类器的决策几何，而不仅仅是特征空间。这一特性支持在不确定性量化和基于相似性的解释检索中的应用。
本文做出以下贡献：
1. 理论框架：我们在明确的假设下，建立了NObSP、柯尔莫哥洛夫-阿诺德表示定理和功能ANOVA分解之间的形式化联系。
2. 高效算法：我们引入了一种偏回归公式，将样本外评估的计算复杂度从O(N^2)降低到O(d_z)，其中d_z是倒数第二层的维度，使其可应用于大规模模型。
3. NObSP-CAM：我们将NObSP扩展到卷积神经网络，生成基于斜投影框架的类激活图。
4. 嵌入几何分析：我们提供了初步证据，表明NObSP贡献向量形成了一个有用的检索嵌入，在TinyImageNet上将邻域类纯度比原始激活提高了6个百分点，并将平均邻居距离减少了一半以上，且在推理时不需要真实标签。
5. 全面评估：我们在表格和视觉任务上对NObSP进行了基准测试，显示其忠实度与已建立的归因方法相当，同时增加了标量归因无法提供的可解释性形式——显式的逐特征贡献函数。
本文其余部分组织如下：第二节(https://arxiv.org/html/2609.17825#S2)回顾相关工作。第三节(https://arxiv.org/html/2609.17825#S3)介绍理论基础。第四节(https://arxiv.org/html/2609.17825#S4)描述NObSP框架及其向卷积神经网络的扩展，包括在IV-E小节(https://arxiv.org/html/2609.17825#S4.SS5)中的嵌入几何分析。第五节(https://arxiv.org/html/2609.17825#S5)详述实验设置。第六节(https://arxiv.org/html/2609.17825#S6)展示结果。第七节(https://arxiv.org/html/2609.17825#S7)讨论研究发现和局限性。第八节(https://arxiv.org/html/2609.17825#S8)进行总结。
## 二、相关工作
本节回顾可解释性领域现状，并定位NObSP相对于现有方法的位置。表I(https://arxiv.org/html/2609.17825#S2.T1)总结了各方法之间的关键差异。
表I：可解释性方法比较。NObSP提供具有统一局部和全局解释功能的形式，同时考虑学习到的特征子空间之间的重叠。
### 二-A 基于梯度的归因方法
基于梯度的方法利用神经网络的可微性，为输入特征分配重要性分数。显著性图[28 (https://arxiv.org/html/2609.17825#bib.bib28)]计算输出相对于输入的梯度，测量局部敏感性，但遭受梯度饱和问题且仅提供一阶信息。积分梯度[6 (https://arxiv.org/html/2609.17825#bib.bib6)]通过沿着从基线到输入的路径累积梯度来解决一些限制，满足诸如完备性和敏感性等理想的公理。DeepLIFT[7 (https://arxiv.org/html/2609.17825#bib.bib7)]以更高的计算效率在网络中传播激活差异。然而，所有这些方法都依赖于基线，并且提供标量归因而非函数形式。对于卷积网络，类激活图（CAM）[8 (https://arxiv.org/html/2609.17825#bib.bib8)]利用全局平均池化生成空间热图。GradCAM[9 (https://arxiv.org/html/2609.17825#bib.bib9)]通过使用梯度计算通道重要性权重，将其推广到任意架构。后续变体包括GradCAM++[10 (https://arxiv.org/html/2609.17825#bib.bib10)]，它使用正梯度的加权组合；Score-CAM[11 (https://arxiv.org/html/2609.17825#bib.bib11)]，它使用上采样的激活图扰动输入；以及Eigen-CAM[12 (https://arxiv.org/html/2609.17825#bib.bib12)]，它对特征图使用主成分分析。所有基于梯度的方法都有一个根本限制：它们提供点归因或空间热图，而不是输入值与预测之间的函数关系g_k(x_k)。
### 二-B 基于扰动的归因方法
基于扰动的方法通过观察输入修改时预测的变化来衡量特征重要性。LIME[4 (https://arxiv.org/html/2609.17825#bib.bib4)]在特定输入周围拟合一个稀疏线性模型，根据接近度加权样本并鼓励稀疏性。虽然模型无关，但LIME仅提供局部线性近似，可能无法很好地表征非线性行为。SHAP[5 (https://arxiv.org/html/2609.17825#bib.bib5)]计算合作博弈论中的Shapley值，满足局部准确性、缺失性和一致性等理想性质。SHAP与NObSP之间的关系值得仔细分析。两者都与功能ANOVA分解有关，但方式不同。SHAP根据Shapley值在参与的特征之间分配交互效应，为每个特征产生一个标量，该标量聚合了主效应和分配的交互作用。NObSP则保持这些项分离：g_k(x_k)作为函数捕获主效应，而交互项保持独立。因此，SHAP回答“特征k贡献了多少？”而NObSP回答“特征k如何随其值变化而贡献？”
### 二-C 功能分解方法
功能分解方法旨在恢复单个特征与预测之间的关系，超越标量归因。部分依赖图（PDP）[13 (https://arxiv.org/html/2609.17825#bib.bib13)]通过在其他特征的经验分布上平均预测来估计特征k的边际效应。虽然直观，但PDP有关键限制。当特征相关时，对边际分布平均会包括数据中可能从未出现的组合，从而可能产生误导性的外推。此外，PDP缺乏高效的样本外扩展；评估一个新点需要重新对所有训练样本进行平均，每个查询需要O(N)次模型评估。个体条件期望（ICE）图[14 (https://arxiv.org/html/2609.17825#bib.bib14)]通过显示单个观测的曲线而不是平均来解决异质性问题。然而，ICE继承了PDP的外推问题，并可能产生杂乱的可视化。累积局部效应（ALE）[15 (https://arxiv.org/html/2609.17825#bib.bib15)]通过使用条件期望累积局部导数来解决相关性问题。通过避免外推到不太可能的特征组合，ALE比PDP更恰当地处理相关特征。然而，有限差分的累积引入了数值误差，该方法在导数不连续的点附近表现出敏感性，并且它产生的分箱近似值不能自然地外推到观测特征范围之外。功能ANOVA分解[21 (https://arxiv.org/html/2609.17825#bib.bib21)]为这些方法提供了理论基础。当特征相关时，标准定义变得有问题：条件期望将一个特征的效应与相关特征的效应混淆。NObSP相对于这些功能方法具有优势：不像PDP，它不平均边际分布，因此避免外推；不像ALE，它不依赖导数估计和累积。