端到端口语理解中的选择性能力遗忘

# 端到端口语理解中的选择性能力遗忘

**来源：** https://arxiv.org/html/2606.24063  
**作者：** Singh Kurmi

###### 摘要

现代口语理解（SLU）系统越来越多地部署在现实场景中，由于政策或安全限制，可能需要移除特定功能。在SLU中，一个功能对应一个意图及其相关的槽生成行为。然而，在自回归模型中，抑制目标意图不会消除以该意图为条件的槽生成的条件映射。当意图前缀由外部提供时，模型可以重建原始的意图-槽结构。我们将这种结构性失败称为**能力持久性**。我们提出**BindingSubspace（BSU）**，一个表示级框架，用于隔离和削弱这种映射背后以意图为条件的方向。在SLU基准测试中，BSU在显著降低强制前缀可恢复性的同时，保持了保留性能。

###### 关键词：机器遗忘，口语理解，语音识别。

## 1 引言

口语理解（SLU）是对话系统的核心组成部分。它使语音助手和语音界面等设备能够直接从语音中提取结构化语义信息[bastianelli2020slurp, wang2021fine, arora2022espnet, seo2022integration]。现代端到端SLU模型[huang2023leveraging, sharma2021leveraging]直接将声学输入映射到语义输出，并广泛应用于虚拟助手、客户支持系统、车载语音控制和特定领域语音代理等场景[ma2024speech, mehta2020recent]。随着这些系统越来越多地部署在现实和受监管的环境中，调整模型训练后行为的需求日益增长，包括SLU框架[koudounas2025alexa]。在实践中，由于政策变化、安全考虑或监管要求[voigt2017eu, goldman2020introduction, xu2024machine]，可能需要禁用某些功能。例如，语音助手可能需要在特定区域停用金融交易功能，或根据更新的合规规则限制健康相关指导。在这种情况下从头重新训练这些模型通常成本高昂且不切实际，这促使需要针对部署后的方法，能够选择性地移除不期望的行为，同时保留其他功能。

然而，在自回归SLU中，功能不仅仅是意图标签。它们对应一个意图及其相关的槽生成行为。语义生成本质上是条件性的，因为解码器首先预测一个意图标记，然后随后的槽标记以该前缀为条件生成。因此，与意图相关的行为由从声学输入和意图前缀到槽值的条件映射控制。在这项工作中，我们将可移除功能明确定义为这种以意图为条件的条件映射。当收到移除功能的请求时，现有方法通常会抑制目标意图的边缘概率。然而，这并不一定会修改负责槽生成的条件映射。因此，在强制意图前缀下，模型仍然可以重建相应的意图-槽结构。我们将这种现象称为能力持久性。如图1（https://arxiv.org/html/2606.24063#S1.F1）所示，尽管在标准解码下意图预测被抑制，但提供意图作为前缀可以恢复相关的槽结构。这种限制源于自回归SLU模型的条件生成结构，而基于分类的遗忘方法并未明确解决这一问题。为了消除条件映射本身，我们提出了一个两阶段框架。

> 图1：强制前缀解码下的能力持久性。现有方法抑制边缘意图预测，但保留条件意图-槽绑定，从而允许在强制前缀下重建。BSU移除了这种依赖关系。

> **① 绑定子空间识别：** 对于目标意图 \(I_F\)，我们识别捕捉其槽生成行为的表示方向。我们提取槽位置处的解码器隐藏状态（针对遗忘和保留数据），并计算逐层协方差。通过对比这些协方差，我们提取在 \(I_F\) 下具有最大正方差超出的特征方向，形成一个捕捉意图-槽依赖关系的紧凑子空间。

> **② 子空间引导的能力衰减：** 我们在微调模型的同时降低沿识别子空间的敏感性。具体来说，我们应用基于梯度的正则化来削弱对这些方向的依赖，从而削弱条件映射，同时保持整体性能。

我们的主要贡献如下：

(i) 我们通过将意图能力定义为条件映射，并将**能力持久性**识别为强制前缀解码下可恢复的槽生成，形式化了SLU中的选择性能力遗忘。

(ii) 我们提出**绑定子空间遗忘（BSU）**[注释和代码将公开发布]，一个表示级框架，通过协方差对比定位以意图为条件的绑定方向，并通过子空间引导的梯度正则化削弱它们。

(iii) 我们引入了一个基于可恢复性的评估协议，用于测量超越意图准确性的残余条件行为。

(iv) BSU降低了条件槽可恢复性，BRR@10平均下降约60%，语义相似度平均下降约56%，同时保持保留意图的性能，且无推理时开销。

## 2 问题形式化

我们考虑一个端到端口语理解（SLU）模型，该模型将输入语音信号 \(x \in \mathcal{X}\) 映射到表示为标记序列 \(y = (y_1,\dots,y_T)\) 的结构化语义框架。该序列遵循固定格式，其中初始标记编码一个意图标签 \(i \in \mathcal{I}\)，随后是槽类型和槽值标记 \(s \in \mathcal{S}\)。该模型是自回归的，参数化为 \(\theta\)，定义 \(p_\theta(y \mid x) = \prod_{t=1}^T p_\theta(y_t \mid y_{<t}, x)\)。在教师强制下，解码器首先产生意图标记 \(i\)，然后产生槽标记 \(s\)，使用条件映射 \(p_\theta(s \mid i, x)\)。为了简化表示，我们使用 \(p_\theta(i \mid x)\) 表示意图预测，使用 \(p_\theta(s \mid i, x)\) 表示意图条件下的槽生成。

选择性能力遗忘的目标是从模型中移除与特定目标意图相关的功能。我们将目标功能定义为条件映射 \(p_\theta(s \mid i_F, x)\)，其中 \(i_F \in \mathcal{I}\) 是目标意图。在移除后，对于任何 \(x \in \mathcal{X}\)，条件分布 \(p_\theta(s \mid i_F, x)\) 应接近均匀分布或与保留意图分布不可区分。同时，保留功能 \(p_\theta(s \mid i_R, x)\) 对于所有 \(i_R \neq i_F\) 应保持不受影响。

## 3 方法

### 3.1 阶段一：绑定子空间识别

我们首先识别解码器表示中捕捉意图-槽依赖关系的方向。直觉是，当模型处理特定意图时，某些表示维度会系统地变化以促进相应的槽生成。通过比较目标意图下和保留数据下的表示协方差，我们可以隔离这些与遗忘相关的方向。

**过程**：(1) **特征提取**。对于遗忘数据集 \(\mathcal{D}_F\)（包含目标意图 \(I_F\)）和保留数据集 \(\mathcal{D}_R\)（包含所有其他意图），我们在教师强制下前向传递每个样本。对于每个样本，我们提取所有槽位置 \(t > t_{\text{intent}}\) 处的解码器隐藏状态 \(h_t^{(\ell)}\)，其中 \(h_t^{(\ell)} = f_\theta^{(\ell)}(x, y_{<t})\) 表示第 \(\ell\) 层的解码器表示。教师强制确保隐藏状态与真实槽结构对齐，避免解码错误引起的变异性。

(2) **协方差对比**。利用这些槽位置表示 \(h_t^{(\ell)}\)，我们计算每层的经验协方差矩阵，分别是遗忘数据集 \(\mathcal{D}_F\) 和保留数据集 \(\mathcal{D}_R\)。然后形成对比矩阵：\(M^{(\ell)} = \mathrm{Cov}_{\mathcal{D}_F}^{(\ell)} - \mathrm{Cov}_{\mathcal{D}_R}^{(\ell)}\)。这种对比突出了在目标意图 \(I_F\) 存在时方差更高的表示方向。由于下一个标记概率计算为隐藏状态的仿射变换，在 \(\mathcal{D}_F\) 下一致变化的方向预计对条件槽似然 \(p_\theta(s \mid i_f, x)\) 贡献更强。

(3) **子空间提取**。最后，我们计算 \(M^{(\ell)}\) 的最大正特征向量，记为 \(U^{(\ell)} \in \mathbb{R}^{d \times k}\)。这些特征向量定义了一个低维子空间，近似于与意图条件槽生成相关的表示方向。这种构造是统计性的而非精确的；它识别在 \(I_F\) 下富集的方向，而不假设表示的严格解耦。

### 3.2 阶段二：子空间引导的能力衰减

阶段二通过降低模型沿识别绑定子空间 \(U^{(\ell)}\) 的敏感性来削弱意图条件槽生成。BSU不是只修改输出分布，而是针对条件似然相对于隐藏状态的一阶敏感性。对于与 \(I_F\) 相关的槽位置，我们计算教师强制条件对数似然的梯度：

\(g_t^{(\ell)} = \nabla_{h_t^{(\ell)}} \log p_\theta(s \mid i_f, x)\)

如果 \(I_F\) 下的槽生成依赖于特定的表示方向，则梯度将沿这些方向具有较大分量。因此，我们将梯度投影到绑定子空间上，并惩罚其平方范数：

\(\mathcal{L}_{\mathrm{bind}} = \sum_{\ell=1}^L \sum_{t > t_{\mathrm{prefix}}} \left\lVert U^{(\ell)} U^{(\ell)\top} g_t^{(\ell)} \right\rVert_2^2\)

最小化 \(\mathcal{L}_{\mathrm{bind}}\) 降低了沿 \(I_F\) 下富集的表示方向的敏感性，削弱了意图条件槽生成，即使意图前缀由外部提供。这种衰减通过参数更新实现，并且不引入推理时开销。

表1：SLURP和SpeechMassive上的选择性能力遗忘。我们报告目标 \(\mathcal{D}_F\) 和保留 \(\mathcal{D}_R\) 集上的意图准确率（\(I_F\)）、槽宏F1（\(F1_F\)）、BRR@10和语义相似度（Sim.）。**粗体**：最佳，下划线：次佳。

### 3.3 总体遗忘目标

对于最终更新步骤，我们基于标准的遗忘-保留微调目标[ren2025sok, kurmanji2023towards]。令 \(L_F = -\mathbb{E}_{(x,y)\sim D_F} \log p_\theta(y \mid x)\) 和 \(L_R = -\mathbb{E}_{(x,y)\sim D_R} \log p_\theta(y \mid x)\) 分别表示遗忘集和保留集上的负对数似然损失。由于最小化 \(L_F\) 会进一步拟合遗忘样本，我们在遗忘目标中反转其符号。因此，对总目标进行梯度下降相当于在 \(L_F\) 上进行梯度上升，抑制目标能力，而 \(L_R\) 保留非目标意图的性能：

\(L_{\mathrm{base}} = -L_F + \lambda_{\mathrm{ret}} L_R.\)

为了稳定优化并限制与原始模型 \(\theta_0\) 的偏离，我们引入一个保留集KL正则化项 \(L_{\mathrm{kl}}\)，使更新后的模型在 \(\mathcal{D}_R\) 上接近原始分布。然后我们加入第3.2节的绑定损失 \(L_{\mathrm{bind}}\)，以降低沿意图条件槽生成方向的敏感性。最终目标为：

\(L = -L_F + \lambda_{\mathrm{ret}} L_R + \lambda_{\mathrm{kl}} L_{\mathrm{kl}} + \lambda_{\mathrm{bind}} L_{\mathrm{bind}}.\)

所有项均使用标准梯度下降优化；\(L_F\) 上的负系数诱导遗忘集NLL的上升，而保留、KL和绑定项正常最小化。

## 4 实验设置

### 4.1 数据集与任务设置

**数据集**。我们在SLURP[bastianelli2020slurp]（一个标准的端到端SLU基准数据集，每个话语由意图和相应的槽值对标注）上评估选择性能力遗忘。为了评估跨语言鲁棒性，我们还评估了SpeechMASSIVE[lee2024speech]的法语子集，该子集遵循相同的语义映射。对于每个数据集，我们选择一个目标意图 \(I_F\)，并将数据划分为遗忘集 \(\mathcal{D}_F\)（标记为 \(I_F\) 的话语）和保留集 \(\mathcal{D}_R\)（其余意图）。

**实现细节**。所有实验使用一个端到端SLU架构，包括一个Conformer声学编码器和一个基于Transformer的语义解码器。我们评估两个模型变体，它们共享相同的架构、分词器、解码器和训练协议，仅在编码器初始化上不同。在(i) ASR初始化的SLU设置中，编码器从监督ASR检查点（Conformer–Transformer–Large, NeMo ASR-Set 3.0）初始化。在(ii) SSL初始化的SLU设置中，编码器改为从自监督语音表示初始化，同时保持所有其他组件相同。除非另有说明，我们使用 \(\lambda_{\mathrm{ret}}=1.0\), \(\lambda_{\mathrm{kl}}=0.1\), \(\lambda_{\mathrm{bind}}=0.5\).

### 4.2 评估指标

我们同时使用表面级和行为指标评估选择性能力遗忘。表面指标包括意图准确率和槽F1，遵循SLURP协议[bastianelli2020slurp]。为了测量超出精确预测的残余能力，我们采用top-k解码和基于嵌入的相似度，这是生成式遗忘中广泛使用的指标[chen2021evaluating, zhang2019bertscore, yao2024large, carlini2021extracting, holtzman2019curious]。

**BRR@10（光束检索率[vijayakumar2018diverse]）**：BRR@10测量遗忘能力在束搜索下是否仍然可恢复。对于每个话语 \(x \in \mathcal{D}_F\)，我们在给定真实意图前缀 \(I_F\) 的条件下进行解码。令 \(y\) 为真实语义框架，\(\hat{y}^{(k)}\) 为第 \(k\) 个束假设（束大小 \(K=10\)）。我们定义：
\(\mathrm{BRR@10} = \frac{1}{|\mathcal{D}_F|} \sum_{(x,y) \in \mathcal{D}_F} \mathbf{1}\left(\exists k \leq K: \hat{y}^{(k)} = y\right)\)

**语义相似度[reimers2019sentence]**：为了捕捉超越精确匹配的残余行为，我们计算嵌入 \(E(\hat{y})\) 和 \(E(y)\) 之间的余弦相似度，其中 \(E(\cdot)\) 将结构化语义框架映射到向量表示。余弦相似度定义如下：
\(\mathrm{Sim}(\hat{y}, y) = \frac{E(\hat{y})^\top E(y)}{\lVert E(\hat{y}) \rVert_2 \, \lVert E(y) \rVert_2}\)
更高的 \(\mathrm{BRR@10}\) 表示束搜索下的可恢复能力，而更高的语义相似度反映了与真实框架更强的对齐，即使表面存在差异。

### 4.3 基线方法

由于没有先前工作明确研究端到端SLU中的能力遗忘，我们为我们的设置调整了经典的机器遗忘方法。我们评估梯度上升（GA）系列，该方法通过最大化遗忘集上的损失来破坏目标表示[golatkar2020eternal, yao2024large]，以及两个稳定变体：GA+GD（额外在保留数据上训练）和GA+KL（对原始模型应用KL正则化）。我们进一步包括负偏好优化（NPO）和NPO+KL（通过偏好目标惩罚与遗忘集输出的分布对齐），以及随机标签（RLabel）（用随机目标替换遗忘集标签以模拟能力移除）[graves2021amnesiac]。

> (a) 对遗忘集的影响

> (b) 对保留集的影响

图2：绑定正则化器 \(\lambda_{\mathrm{bind}}\) 的影响。增加 \(\lambda_{\mathrm{bind}}\) 抑制了遗忘集 \(\mathcal{D}_F\) 上的目标能力，降低了所有指标，同时保留集 \(\mathcal{D}_R\) 上的性能保持不变。