DMDIntel: 通过动态模态分解解读大型语言模型

# 通过动态模式分解解释大型语言模型
来源：https://arxiv.org/html/2608.13048
## DMDIntel：通过动态模式分解解释大型语言模型

作者：Animesh Mukherjee 机构：印度理工学院 卡拉格普尔分校；Sergey Utyuzhnikov 机构：英国曼彻斯特大学

###### 摘要

在这项工作中，我们引入了DMDIntel，它使用动态模式分解（Dynamic Mode Decomposition，DMD）来使LLM在分类任务中的预测变得可解释。它构建了一个输入归因流水线，首先将LLM的隐藏状态分解为显著模式（即模态，modes），然后基于在这些模态上的投影值为输入标记分配排名。在三个数据集和三个模型家族上的严格实验一致表明，使用DMDIntel获得的输入标记排名归因远远优于主成分分析（PCA）、综合梯度（Integrated Gradients，IG）和SHAP等最先进的技术。

## 1 引言

Transformer语言模型vaswani2017attention通过引入自注意力机制重新定义了对自然语言的处理方式。此后，许多人基于Transformer架构对其进行了改进，例如仅编码器和仅解码器模型devlin2019bert;radford2018improving。由于这些模型复杂度的增加，可解释性仍然是一个巨大的挑战。大量文献致力于剖析和解释基于Transformer架构中注意力层的内部机制。传统的可解释性方法，如综合梯度（IG）sundararajan2017axiomatic、SHAPlundberg2017unified等，常用于LLM的输入归因。尽管这些方法在识别模型“看什么”方面是有效的，但它们将标记视为离散实体，往往忽略了潜在信息的顺序演变，提供的是一幅碎片化的快照，而非模型推理过程的连续叙事。除了归因之外，还有一些尝试用于解码解码器层中MLP组件的结构逻辑。geva2021transformers提出MLP模块扮演着键值记忆库的角色，其中第一个线性层是模式检测器（键），第二个是提供残差流更新的值提供者。hernandez2023linearity指出，MLP内的大部分黑箱计算可以通过高维空间中的线性运算来近似。然而，即使这些结构性见解也常常将每个标记的隐藏状态视为孤立的向量，无法捕捉跨序列构建的逻辑。为了解决这些问题，在本文中，我们尝试利用掩码自注意力机制，通过分析隐藏状态逐标记演变的过程，来激发仅解码器LLM的序列特性。通过将这些隐藏状态视为轨迹，我们可以将监督微调的LLM视为一个动态系统，其内部处理类似于嵌入空间中的流。我们使用动态模式分解（DMD）schmid2010dynamic来寻找一个替代线性算子A，以近似底层复杂模型F。具体来说，我们将状态转移hₜ₊₁ = F(w≤t)建模为线性关系hₜ₊₁ = Ahₜ，其中w≤t表示到当前标记索引t为止的标记，hₜ表示模型在标记索引t处的隐藏状态。然后使用DMD将该线性算子分解为可解释的时空模态。这些模态可以被看作当模型针对特定下游任务进行监督微调时出现的低维结构。然后我们使用主要模态进行输入归因，以识别最具影响力的标记。因此，我们可以将这些标记视为模型输入处理的主要驱动因素，因为模型在读取输入标记时为生成输出做准备。

关键贡献：我们在这项工作中的主要贡献如下。

- • 我们引入了DMDIntel，一个用于监督微调LLM的输入归因框架，它可以提取驱动给定输出分类的主要标记。我们证明，从多层感知机（MLP）组件的down_proj获得的监督微调模型的隐藏状态，在分解为低维时空模态时表现出可解释的模式。通过将这些标记投影到DMD模态上的值对其进行排名，表明某些模态可以稳健地指示模型的信息流。
- • 我们使用三个不同的文本分类数据集、跨三个不同参数规模的LLM家族来评估我们的方法，从而验证其通用性和鲁棒性。
- • 据我们所知，这是首个将仅解码器LLM中隐藏状态的顺序演变作为动态系统进行输入归因分析的工作。我们证明，DMDIntel持续识别出最高比例的真实标记，同时保持其排名重要性，优于PCA、IG和SHAP等基线方法。

## 2 背景

动态模式分解（DMD）schmid2010dynamic最初是在流体力学中开发的，用于从复杂的非线性流场中提取相干的时空结构。DMD是一种纯粹数据驱动的、模型无关的技术，不需要预先了解底层系统的控制方程。通过直接操作时序观测快照，DMD构建一个最佳拟合线性算子来近似系统的非线性动力学。所得的的特征分解产生一组空间DMD模态——表示主要空间结构及复特征值，这些特征值量化其时间增长、衰减和振荡频率。DMD的完整数学推导和算法设置在附录B（https://arxiv.org/html/2608.13048#A2）中详细说明。

## 3 相关工作

LLM的可解释性：已经提出了许多分析框架来理解LLM的内部工作机制。基于探测的方法通过在冻结的模型层之上训练线性分类器来评估隐藏表示是否捕获了结构或语义特征。tenney-etal-2019-bert 除了静态探测，机制可解释性试图逆工程特定的网络回路，将精确的权重和注意力头路径映射到功能行为，例如上下文模式匹配olsson2022context或事实检索meng2022locating。为了观察这些内部特征如何演变为最终预测，诸如Logit Lens等方法将中间隐藏状态直接解码到词汇空间。这一概念在Tuned Lensbelrose2023eliciting中得到进一步改进，该方法在每一层训练线性适配器，以更准确地将表示动态映射到模型的预测轨迹。

DMD应用：除了流体动力学，DMD已被成功应用于视频处理场景。kutz2017dynamic确立了DMD在视频流数据中进行背景建模的能力，可以有效地将前景与背景分离。erichson2019compressed利用DMD的内存高效变体实现了流视频数据中的前景-背景分离。

DMD用于NLP任务：在最近的工作中，DMD也被用于特征提取以提高分类任务的性能。例如，sachin2019dynamic使用DMD从文本表示中提取时空特征，以捕获句子中情感轨迹的演变。类似地，这种动态视角已被成功应用于多模态和口语任务中；例如，mao2020eigenemo利用DMD从音频话语中推导出频谱表示。vyshnav2020offensive则评估了DMD与传统序列模型的组合，从高度嘈杂且用户生成的社交媒体文本中分离出一致且潜在的语义模式。这些工作共同凸显了DMD在捕获跨不同语言模态的非线性动态方面的有效性。

## 4 DMDIntel框架

在本节中，我们概述了DMDIntel框架，该框架用于解释仅解码器LLM在执行各种文本分类任务时的预测。我们将LLM视为一个离散时间动态系统，其中隐藏状态的演变充当LLM F的一阶近似，使得hₖ₊₁ ≈ F(hₖ)。随后，我们使用DMD（详见附录B（https://arxiv.org/html/2608.13048#A2））来近似F，最后对其进行分解以获得一组可解释的模态。

### 4.1 数据矩阵的构建

当LLM处理一段文本序列时，它会将信息存储在中间隐藏状态中，使得hₜ₊₁ = F(w≤t)。这些信息可以看作是指令提示与来自实际输入句子的信息以某种非线性方式组合得到的综合表示。这些信息会经过所有层，然后通过去嵌入矩阵，再经过softmax生成实际的标记。我们选定一个层，在该层中考虑多层感知机的down_proj的输出。对于一个由w₁,w₂,...,wₙ个分词标记组成的输入序列，我们从选定的层收集向量，形成矩阵X，使得

X = [ h₁ h₂ ⋯ hₙ ] （1）

其中每个hᵢ = F(w≤ᵢ)。

### 4.2 噪声去除

我们发现指令微调模型在每个标记的隐藏表示中编码了微调期间所用提示模板的大量表示。由于ashemati2017biasing证明了DMD对数据中噪声的敏感性，我们通过去除提示模板造成的噪声来对式1（https://arxiv.org/html/2608.13048#S4.E1）中获得的数据矩阵进行去噪。为此，我们传递一个空提示，该提示由完全相同的系统提示和用户提示组成，但没有输入句子，然后从收集标记表示的同一层收集隐藏表示。我们将此称为指令偏置b。然后将该偏置从每个hᵢ中减去，以获得实际标记wᵢ隐藏表示的去过偏估计。

ĥᵢ = hᵢ − b （2）

因此，我们最终得到的数据矩阵是每个标记去偏隐藏状态的集合：

X̂ = [ ĥ₁ ĥ₂ ⋯ ĥₙ ] （3）

参见标题 (a) Llama-3.2-3B-inst: FE
参见标题 (b) Llama-3.2-3B-inst: HX
参见标题 (c) Qwen3-4B-inst: FE
参见标题 (d) Qwen3-4B-inst: SNT
参见标题 (e) Qwen3-4B-inst: HX
参见标题 (f) Mistral-7B-v0.3-inst: SNT

图 1：不同数据集和模型下的余弦相似度曲线C。x轴表示从模型中间层开始到最后一层的层索引。y轴表示偏置向量与输入标记句子的平均余弦相似度。FE：FakeEdit，HX：HateXplain，SNT：Sentiment。

### 4.3 层选择

算法1 启发式层选择
1: 微调后的LLM F；输入序列 w = (w₁,w₂,...,wₙ)；指令偏置向量 b（通过将空提示输入F获得）；余弦阈值 τ = 0.25
2: 选定的层索引 ℓ*
3: 设 L_mid 表示F的中间索引解码器层，L_last 表示最后一个解码器层。
4: 对于每一层 ℓ ∈ {L_mid, L_mid+1, ..., L_last} 执行
5:  提取每个标记wₜ的down_proj隐藏表示 hₜ^(ℓ)（不进行去偏）。
6:  计算与偏置向量的逐标记余弦相似度：cₜ^(ℓ) = ⟨hₜ^(ℓ), b⟩ / (‖hₜ^(ℓ)‖ ‖b‖)
7:  对所有标记取平均以获得层级相似度得分：c̄^(ℓ) = (1/n) ∑_{t=1}^n cₜ^(ℓ)
8: 结束循环
9: 形成余弦相似度曲线 C = (c̄^(ℓ))_{ℓ=L_mid}^{L_last}。
10: 将候选集限制为相似度低于阈值的层：L_τ = { ℓ | c̄^(ℓ) < τ }
11: 在L_τ内计算C的离散梯度：∇c̄^(ℓ) = c̄^(ℓ+1) − c̄^(ℓ)
12: 识别C中最陡上升段的较低端层：ℓ* = arg max_{ℓ ∈ L_τ} ∇c̄^(ℓ)
13: 返回 ℓ*

回想一下，Transformer有多层，每一层都有自己的输入标记表示。我们定义一个启发式规则来识别其down_proj MLP输出最能代表实际输入句子的解码器层，以在输入标记保真度和指令跟随偏置之间取得平衡。该启发式规则背后的直观解释如下。靠近Transformer中间层L_mid的层往往与b近乎正交，表明这些层的表示主要由实际输入标记驱动。随着ℓ向L_last（最后一个Transformer层）增加，余弦相似度也会上升，反映出模型关注的焦点从输入内容转向指令跟随。选定的层ℓ*位于该曲线C的拐点处——即仍低于余弦相似度阈值τ = 0.25的最高局部梯度点——在这里模型在编码输入标记语义与关注指令提示之间取得了最佳平衡。我们验证了该启发式规则在本工作中考虑的所有模型家族和数据集上是一致的（参见图1（https://arxiv.org/html/2608.13048#S4.F1）中针对不同数据集和模型给出的曲线C示例，这些模型在本文第5节（https://arxiv.org/html/2608.13048#S5）中讨论）。基于此启发式规则的过程在算法1（https://arxiv.org/html/2608.13048#alg1）中正式给出，不同模型和数据集设置下选定的层详见表1（https://arxiv.org/html/2608.13048#S4.T1）。

表 1：不同数据集和模型家族下选定的最优层索引。

### 4.4 输入标记归因

我们使用PyDMD，Demo2018，这是一个稳健的Python包，包含各种DMD算法的实现，利用去偏隐藏状态矩阵来获得LLM的近似替代模型F。在Koopman线性算子A的特征分解后获得的模态，可以被解释为捕获了隐藏表示演变背后的低维结构。我们将这些结构解释为反映了语言和语义的规律性，例如句法模式、语法依赖关系以及特征。