基于边际影响的归因方法对全局时间序列解释的失效

# 基于边际影响的归因方法在全局时间序列解释中的失败 来源：https://arxiv.org/html/2607.16236 ###### 摘要 时间序列模型的解释方法主要产生扁平化的归因分数：它们通过一个标量量化某个特征在某个时间戳的直接影响力。我们证明，此类方法的主要失败模式并非标量格式本身，而是一个根本性的计算错配：现有方法通过边际条件或流形外梯度计算分数，这两者在自相关下都将直接时间依赖与间接依赖混为一谈。我们还定义了 DAG 保真性：如果解释所编码的时间依赖图与模型隐式学习的时间有向无环图 (DAG) 在马尔可夫意义上等价，则该解释是 DAG 保真的。特别地，我们观察到标准归因方法（特别是 SHAP）通常不满足 DAG 保真性，而近期的时间序列感知扩展方法也继承了相同的计算局限性。 ## 1 引言 深度学习在时间序列数据上的部署，从医疗监测到金融预测再到工业故障检测，已经创造了迫切的需求：解释既要人类可理解，又要技术上忠实于模型的推理过程。可解释人工智能 (XAI) 领域已经产生了丰富的归因方法工具包，但主导范式仍然是*重要性评分*：每个时间步的每个输入特征都获得一个标量值，指示其对给定预测的“直接”贡献。我们认为，这种范式在结构上不适合时间序列模型。一个时间模型（无论是 RNN、Transformer 还是时间卷积网络）的推理本质上是关系型的：重要的不仅是*某个*特征取某个值，而是一个时间点的值如何在更广泛的时间上下文中影响另一个时间点的变量。大多数现有的重要性评分方法并不表达这一点；它们忽略了一个高维的关系结构，转而采用一维摘要，可能丢弃了构成模型实际推理的条件依赖信息。 本文做出以下贡献： 1. 1. 我们形式化了现有扁平化归因评分方法与时间模型的条件依赖结构以及流形上依赖之间的计算差距（第 3 节 (https://arxiv.org/html/2607.16236#S3)）。 2. 2. 我们将*DAG 保真性*定义为适当的保真性准则，同时定义了限制候选归因评分方法的可接受性条件（第 4 节 (https://arxiv.org/html/2607.16236#S4)）。 3. 3. 我们展示了标准归因方法在结构上不满足 DAG 保真性，而时间序列感知的扩展方法也继承了相同的失败模式。 4. 4. 我们概述了一个评估协议，并指出了开放的研究挑战，核心是构建可接受的且 DAG 保真的实现（第 4.3 节 (https://arxiv.org/html/2607.16236#S4.SS3) 和第 6 节 (https://arxiv.org/html/2607.16236#S6)）。 ## 2 背景与相关工作 ### 2.1 时间序列的 XAI 现有时间序列的 XAI 方法分为四大类。*基于梯度的方法*Simonyan 等人 (2014 (https://arxiv.org/html/2607.16236#bib.bib1))；Sundararajan 等人 (2017 (https://arxiv.org/html/2607.16236#bib.bib3)) 计算输出对每个输入维度的敏感性，产生形状为 T×D 的显著性图。*基于扰动的方法*Ribeiro 等人 (2016 (https://arxiv.org/html/2607.16236#bib.bib4))；Lundberg 和 Lee (2017 (https://arxiv.org/html/2607.16236#bib.bib5)) 通过测量输入遮挡下的输出变化来估计特征重要性，同样归结为每个特征-时间对的标量归因。*基于注意力的方法*Vaswani 等人 (2017 (https://arxiv.org/html/2607.16236#bib.bib6)) 暴露了模型的内部注意力权重，这些权重形成时间步上的矩阵；这些权重是否构成忠实解释仍存在争议（Jain 和 Wallace，2019 (https://arxiv.org/html/2607.16236#bib.bib7)；Wiegreffe 和 Pinter，2019 (https://arxiv.org/html/2607.16236#bib.bib8)；Abnar 和 Zuidema，2020 (https://arxiv.org/html/2607.16236#bib.bib9)）。 第四类，更近期的*时间感知归因方法*，在重要性计算中明确考虑了时间依赖。FIT (Tonekaboni 等人，2020 (https://arxiv.org/html/2607.16236#bib.bib21)) 通过特征遮挡下预测分布的 KL 散度来量化重要性。Dynamask (Crabbé 和 van der Schaar，2021 (https://arxiv.org/html/2607.16236#bib.bib22)) 学习输入序列上的近二元扰动掩码。WinIT (Leung 等人，2023 (https://arxiv.org/html/2607.16236#bib.bib23)) 将滑动窗口上的特征移除分数扩展到捕获延迟效应。TimeSHAP (Bento 等人，2021 (https://arxiv.org/html/2607.16236#bib.bib24)) 和 ShapTime (Zhang 等人，2023 (https://arxiv.org/html/2607.16236#bib.bib2)) 将 SHAP 适应到序列模型，使用事件级和特征级 Shapley 值。这些方法通过建模输入的时间结构超越了通用显著性，但正如我们在第 3 节 (https://arxiv.org/html/2607.16236#S3) 中展示的，其中一些方法在自相关下失败：它们无法区分 X_j^(t) 中 X_i^(t−k) 的*间接*效应（*通过* X_l^(t−k′), 0 < k′ < k）与直接效应。 ## 3 时间序列解释的条件依赖结构 设 X ∈ ℝ^(T×D) 是一个长度为 T、特征维度为 D 的时间序列，X^(t) 表示所有特征在时间 t 的向量，而 X_i^(t) 表示第 i 个特征在时间 t 的值。f : ℝ^(T×D) → ℝ^D 是一个自回归预测模型，其输出是未来时间步 T+1 的 D 维预测。为简洁起见，我们通常假设单输出预测——因此 f : ℝ^(T×D) → ℝ——以减轻量化；扩展到多输出只需为每个输出维度分别复制分析。我们隐式地假设 f 由一组足够丰富的假设类（例如递归神经网络、带有因果掩码的 Transformer、时间卷积网络）实例化，使得模型可以根据训练数据隐式估计输入变量的条件依赖结构。鉴于这些定义，我们引入以下概念： **定义 1（条件依赖图）**。给定一个模型 f 和一个数据分布 p(X)，f 的条件依赖图 G_f 是一个有向图，其节点为 {X_i^(t) : t=1,…,T, i=1,…,D} ∪ {Y}，其中 Y = f(X)。如果存在一个 {X_i^(t),(X^(t))_others} 的一个实现，使得 X_i^(t) 和 Y 在给定所有其他变量 (X^(t))_others 下条件不独立，则存在一条从 X_i^(t) 到 Y 的有向边。也就是说，X_i^(t) → Y ∈ G_f ⇔ X_i^(t) ∐̸⟂ Y | (X^(t))_others。这里 (X^(t))_others 表示输入窗口中除 X_i^(t) 之外的所有变量。 **定义 2（整体归因方法）**。给定模型 f 和输入 X，整体归因方法为每个输入变量 X_i^(t) 产生一个标量重要性分数 Φ_i^(f,t) ∈ ℝ。我们考虑所有时间 t 和特征 i 的分数。时间步 t 的重要性是 Φ_i^(f,t) = Φ^(f,t)。一个*忠实*的归因方法必须满足两个条件： (C1) **流形上保真性**：归因必须仅基于流形上（即数据支持的）变化：如果存在一个替代模型 f'，使得在数据支持 supp(p) 上 f' = f，则对于所有输入，Φ_i^(f,t) = Φ_i^(f',t)。 (C2) **条件分离**：如果 X_i^(t) ⟂ Y | X^(t)_others（即，在给定所有其他输入变量的条件下，X_i^(t) 与预测 Y 条件独立），则 Φ_i^(f,t) = 0。 注意，对于存在因果链的场景：(C2) 对于分离直接效应与间接效应是必要且充分的：解释不能将间接诱导的关联归因于直接效应。然而，实现 (C2) 需要能够访问条件分布 Y | X^(t)_others，这在实践中通常依赖于 (a) 合适的流形上参考分布（用于边际方法）或 (b) 确保变量的推理仅基于其直接的结构依赖（用于基于扰动的方法）。 实际上，我们期望所有归因方法都具有一个阈值 τ > 0，使得 Φ_i,t_1^f > τ。因此，一个忠实的解释需要： Φ_i,t_1^f > τ ⇔ ∃ j ∈ [D] : X_i^(t_1) → X_j^(T+1) ∈ G_f， 即，归因超过阈值当且仅当输入至少有一条直接边指向某个预测目标（具体的 j 可以通过按输出坐标应用归因方法获取）。在单变量设置（D=1）中，存在性退化为 X^(t_1) → X^(T+1) ∈ G_f，并且我们将标量归因（正式定义见下文 (5)）写为 Φ_t_1^f。 ### 3.1 案例研究 ##### 场景 I：令 D=1（单变量，因此我们去掉 i 索引）且 T=2，输入窗口为 {X^(1), X^(2)}，预测目标位置为 T+1=3。假设数据生成过程满足： X^(2) = δ X^(1) + ε, ε ∼ N(0,1), ε ⟂⟂ X^(1), δ ≠ 0, (1) 这引入了时间自相关 Cov(X^(2), X^(1)) ≠ 0。定义： f_1(x) = β x^(2), (2) f_2(x) = β x^(2) + γ x^(1), (3) 且 β, γ ≠ 0。直接应用定义 2 (https://arxiv.org/html/2607.16236#Thmdefinition2)：在条件于 X^(2) 的情况下，f_1(X) = β X^(2) 仅由 X^(2) 决定，因此 X^(1) ⟂⟂ f_1(X) | X^(2)，且 X^(1) → X^(3) ∉ G_{f_1}。对于 f_2，相同的条件留下 γ X^(1) 项，因此 X^(1) → X^(3) ∈ G_{f_2}。因此 G_{f_1} ≇ G_{f_2}，且 (C2) 要求 X^(1) 在 f_1 下的归因为零，在 f_2 下的归因为非零。 参考图注： 图 3：场景 I：数据生成结构和两个模型。在过程 X^(2) = δ X^(1) + ε (ε ⟂⟂ X^(1)) 下，输入 X^(1) 通过中介变量 X^(2)（自相关）影响预测 X^(3)。(a) f_1 = β X^(2) 的 G_{f_1}：唯一指向预测的边是 X^(2) → X^(3)，因此 X^(1) 没有直接效应。(b) f_2 = β X^(2) + γ X^(1) 的 G_{f_2}：存在一条真正的直接边 X^(1) → X^(3)。两个图恰好相差一条边，然而一个扁平化的边际分数在两者下赋予 X^(1) 相同的值，无法区分它们。 ##### 场景 II：令 D=1，T=2，输入窗口 {X^(1), X^(2)}，预测目标 X^(3)，并假设确定性的数据生成过程： X^(2) = δ X^(1), δ ≠ 0, (4) 因此 supp(p) 是 ℝ^2 中的直线 {(x^(1), x^(2)) : x^(2) = δ x^(1)}。定义： f_1(x) = β x^(2), f_3(x) = β x^(2) + γ (x^(2) − δ x^(1))。 在 supp(p) 上，x^(2) − δ x^(1) = 0 恒成立，因此 f_3 = f_1 在 supp(p) 上逐点成立。因此 G_{f_3} = G_{f_1}，且边 X^(1) → X^(3) 在两者中都不存在。(C2) 满足：一个以实际条件分布为条件的方法会在两个模型下都赋予 X^(1) 零值。 参考图注： 图 4：场景 II。(c) f_1 和 f_3 共享的真实依赖结构：链 X^(1) → X^(2) → X^(3)，没有直接边 X^(1) → X^(3)。(d) 在确定性流形 X^(2) = δ X^(1) 上，模型 f_3 在 supp(p) 上与 f_1 处处一致，因此直接边 X^(1) → X^(3) 在 supp(p) 上*不存在*（打叉）。然而，一个梯度方法报告 ∂f_3/∂x^(1) = −γδ ≠ 0，记录了流形外敏感性，从而违反了流形上评估 (C1)。 #### 3.1.1 案例研究 A：基于边际影响的方法 在我们的研究中，我们考虑经典的基于边际影响的方法：KernelSHAP (KS)，TimeSHAP (TS)，ShapTime (ST) 和 TS-MULE (TM)。我们通过分析性和经验性两种方式进行。分析性证明见附录。我们做出以下猜想： ###### 命题 1。这些基于边际影响的方法在场景 I 和/或场景 II 中表现不佳，因此不满足 C1 和/或 C2。 对该命题的解释： - • 条件于单个变量无法捕获自相关， - • 像 SHAP 这样的基线方法很可能在流形外数据上赋予权重。 为了证明我们的命题，我们提供了实验中的经验证据。 表 1：场景 I 和 II 中 X^(1) 的归因。每种方法在三个模型 f_1, f_2, f_3 下，输入 X^(1) 的全局分数 Φ_1^f。正确的判定是：在 f_1 和 f_3 下（其中 X^(1) 与预测*没有*直接边）Φ_1 = 0，在 f_2 下（有直接边）Φ_1 > 0；✓/× 表示方法是否一致。KS (KernelSHAP) 和 TS (TimeSHAP) 正确处理了 f_1 和 f_2，但在 f_3 下分配了一个虚假的非零分数，而在 supp(p) 上 f_3 ≡ f_1，这违反了流形上评估 (C1)。ST (ShapTime) 和 TM (TS-MULE) 在 f_1 上已经失败，将影响力归于完全中介的 X^(1)，违反了条件分离 (C2)。没有方法在所有三个模型上都是正确的。 表 1 (https://arxiv.org/html/2607.16236#S3.T1) 中的结果证明了我们的命题。我们观察到，即使基于 SHAP 的方法 TS 和 KS 能正确识别由自相关引起的虚假关系，它们也会在流形上约束下失败，这是由于在边际化策略中使用的基线存在缺陷。而 ShapTime 和 TS-MULE 在所有存在自相关的情况下都失败。 ### 3.2 案例研究：基于梯度的方法 在本案例中，我们考虑 Saliency (SA)，Integrated Gradients (IG)，其扩展 Temporal Integrated Gradients (TIG)，以及 SmoothGrad (SG)。 ###### 命题 2。基于梯度的方法在场景 II 中失败，因此不满足 C1。 解释： - • 梯度计算导致扰动，使得解释学习流形外数据。 表 2：基于梯度的归因。在三个模型下，输入 X^(1) 的全局分数 Φ_1^f；正确的判定是：在 f_1, f_3 下 Φ_1 = 0（无直接边 X^(1) → X^(3)），在 f_2 下 Φ_1 > 0（存在直接边）。SA (Saliency)，IG (Integrated Gradients)，TIG (Temporal IG) 和 SG (SmoothGrad) 都正确区分了 f_1 和 f_2，但每种方法在 f_3 下都分配了一个虚假的非零分数：因为在 supp(p) 上 f_3 ≡ f_1，然而 ∂f_3/∂x^(1) = −γδ ≠ 0，梯度记录了流形外敏感性，违反了流形上评估 (C1)。在 f_3 上的统一失败是梯度家族的标志，补充了表 1 (https://arxiv.org/html/2607.16236#S3.T1) 中边际方法的 (C2) 失败。 表 2 (https://arxiv.org/html/2607.16236#S3.T2) 证明了命题 2 (https://arxiv.org/html/2607.16236#Thmproposition2)。确实，在场景 II 中，我们期望变量 X_1 在 supp(p) 上在 f_3 下被赋予 0 相关性，但对于所有基于梯度的方法，我们一致地在 f_3 下得到 X_1 的非零归因，表明它们打破了流形上的约束。 ## 4 时间感知解释的可接受实现 ### 4.1 现有方法 在现有方法中，时间感知的扰动方法，即 FIT、WinIT 和 Dynamask，最接近可接受性，即它们的基础结构满足 C1 和 C2： ##### FIT 通过每个观测对其贡献模型预测分布随时间变化的程度来评分，该变化测量为给定所有观测特征的预测与一个反事实下的预测之间的 KL 散度，其中目标特征被视为未观测，该特征被替换为从学习的条件生成器 p(x_unobs | x_obs) 中抽取的样本，而不是一个固定值。 ##### WinIT 以两种方式扩展了 FIT：它通过在一个时间窗口上聚合来衡量特征对后续预测的重要性（捕获延迟效应），并且考虑了特征在时间上的依赖关系。与 FIT 类似，它通过从条件生成器中采样一个分布内替代值来移除特征，并在窗口上对结果预测分布变化进行评分。 ##### Dynamask 通过优化一个带有稀疏性/面积正则化的扰动目标来学习一个近二元掩码 m ∈ [0,1]^(T×D)；被掩码的条目不是被一个常数基线替换，而是被一个时间上连贯的扰动算子（例如，移动的...