Large Audio-Language Models语音问答的机器遗忘

# 大型音频语言模型中的语音问答机器遗忘研究
来源：https://arxiv.org/html/2609.13195

###### 摘要

大型音频语言模型（LALMs）近期在语音理解和问答（QA）任务中展现出强大能力，但它们也从大规模训练数据中继承了隐私风险，包括对敏感信息的意外记忆。本研究针对LALMs中的语音问答场景开展机器遗忘研究——由于声学感知与事实知识的紧密耦合，该场景比以往基于文本的大语言模型（LLMs）或自动语音识别（ASR）更具挑战性。我们提出并评估了多种遗忘策略，包括梯度上升法、任务算术法，以及通过强制安全拒绝响应实现对齐微调的方法，旨在移除隐私知识的同时保持核心能力的性能。通过对语音问答数据集的大量实验表明，这些遗忘方法能将隐私泄露率降低高达80%，同时在非隐私语音问答和通用语音理解基准测试中保持近乎中性的性能表现。

###### 索引术语：

大型音频语言模型，语音问答，机器遗忘，隐私保护。

## I 引言

过去几年，大型语言模型（LLMs）在广泛的自然语言理解与生成任务中取得了显著成功\[1 (https://arxiv.org/html/2609.13195#bib.bib12),7 (https://arxiv.org/html/2609.13195#bib.bib3),12 (https://arxiv.org/html/2609.13195#bib.bib15)\]。受LLMs进展的推动，大型音频语言模型（LALMs）领域也经历了革命性变革，在语音和音频理解与生成方面展现出前景\[18 (https://arxiv.org/html/2609.13195#bib.bib14),19 (https://arxiv.org/html/2609.13195#bib.bib13),20 (https://arxiv.org/html/2609.13195#bib.bib2),6 (https://arxiv.org/html/2609.13195#bib.bib20)\]。LALMs主要分为两种范式：（1）编码器-LLM架构，其中语音编码器生成连续表征，通过投影层输入LLM主干网络；（2）基于语音标记的架构，其中音频被离散化为标记序列，直接由LLM在统一的自回归框架中建模。

随着这些模型的广泛部署，隐私风险问题也日益凸显。研究表明，LLMs训练数据中的私有信息可能被对手提取\[4 (https://arxiv.org/html/2609.13195#bib.bib16),9 (https://arxiv.org/html/2609.13195#bib.bib17)\]。特别是，LLMs被发现会*无意记忆*训练样本，在适当提示下可能逐字输出记忆内容\[3 (https://arxiv.org/html/2609.13195#bib.bib18)\]。这对个人信息保护构成潜在威胁。对LALMs的最新研究也表明，自动语音识别（ASR）的语音训练样本存在类似的意外记忆现象\[14 (https://arxiv.org/html/2609.13195#bib.bib5)\]，说明LALMs同样面临这些隐私风险。

在《被遗忘权》（RTBF）等数据保护法规框架下\[16 (https://arxiv.org/html/2609.13195#bib.bib19)\]，个人可要求从已部署的文本LLMs或LALMs模型中删除其个人数据。虽然理论上可在每次删除请求后使用剩余数据重新训练模型，但对于大规模模型而言，这种方案计算成本过高。*机器遗忘*研究领域\[2 (https://arxiv.org/html/2609.13195#bib.bib7),17 (https://arxiv.org/html/2609.13195#bib.bib8),13 (https://arxiv.org/html/2609.13195#bib.bib9)\]旨在不从头重训的前提下，从已训练模型中擦除目标信息。近年来，事后近似方法在文本LLMs遗忘中得到广泛应用，包括*梯度上升法*\[11 (https://arxiv.org/html/2609.13195#bib.bib10)\]和*任务算术法*\[10 (https://arxiv.org/html/2609.13195#bib.bib11)\]。

尽管近期研究已探索基于LLMs的ASR模型遗忘\[14 (https://arxiv.org/html/2609.13195#bib.bib5)\]，但将遗忘技术应用于LALMs的语音问答（QA）任务仍属空白。语音问答的遗忘与ASR场景存在本质区别：ASR是确定性的序列到序列映射任务（音频转文本），其遗忘通常涉及抑制特定词汇或音素映射；而语音问答则需要基于声学输入进行复杂的事实检索。要成功实现语音问答的遗忘，模型必须在参数空间中切断实体与相关敏感事实的语义关联，同时不破坏其解析输入语音或生成连贯响应的能力。此外，如本文实证所示，隐私与非隐私问题在模型表征空间中共享高度纠缠的特征方向，使得对隐私知识的精准擦除尤为困难。

本文提出并评估了多种针对LALMs语音问答任务的机器遗忘方法。我们探索了梯度上升法和任务算术法在该新场景下的应用，并进一步研究了基于对齐的微调策略——通过强制模型执行安全拒绝行为实现遗忘：训练模型将隐私查询映射到安全拒绝响应，从而有效覆盖记忆的答案。实验从三个维度评估成效：隐私信息擦除程度、非隐私事实知识保留度，以及通用语音音频理解能力的维持度。

据我们所知，本研究首次系统性地探讨了LALMs的意外记忆问题，并提出了应对数据删除请求的相应遗忘算法。本文贡献如下：
- • 提出LALMs语音问答遗忘问题，通过揭示声学感知与事实记忆的纠缠特性，明确其与ASR遗忘的区别
- • 提出多种语音问答遗忘策略，包括梯度上升法、任务算术法及强制拒绝响应的基于对齐微调方法，在移除隐私知识的同时保持语音音频理解核心能力
- • 对遗忘方法进行综合评估，揭示了隐私信息擦除与非隐私知识保留之间的根本权衡关系，体现了这些遗忘技术在处理深度记忆知识时的有效性与固有局限性

本文结构安排如下：第二节回顾相关工作；第三节详述LALMs语音问答的遗忘方法；第四节展示实验设置与结果；第五节总结全文。

## II 相关工作

### II-A 文本语言模型中的机器遗忘

机器遗忘\[2 (https://arxiv.org/html/2609.13195#bib.bib7),17 (https://arxiv.org/html/2609.13195#bib.bib8),13 (https://arxiv.org/html/2609.13195#bib.bib9)\]旨在近似模拟移除特定数据子集后重新训练模型的状态。由于LLMs精确遗忘（从头重训）计算不可行，事后近似方法逐渐兴起。文献\[11 (https://arxiv.org/html/2609.13195#bib.bib10)\]提出的梯度上升法被证明能有效遗忘语言模型中的目标标记序列。任务算术法\[10 (https://arxiv.org/html/2609.13195#bib.bib11)\]则利用权重空间的几何特性，通过减去任务特定向量来消除特定能力。

### II-B 语音模态的遗忘研究

语音处理与机器遗忘的交叉领域尚处萌芽阶段。文献\[14 (https://arxiv.org/html/2609.13195#bib.bib5)\]通过梯度上升法在ASR模型中实现了特定短语的遗忘；文献\[5 (https://arxiv.org/html/2609.13195#bib.bib6)\]则在关键词识别和说话人识别任务中进行实验，表明语音数据遗忘的难度显著高于文本数据。本研究聚焦LALMs在语音问答任务中的机器遗忘问题。

## III 研究方法

### III-A 问题形式化

设 \(\\mathcal{M}(\\theta\_{deployed})\) 为部署的LALMs模型，其参数 \(\\theta\_{deployed}\) 通过在数据集 \(\\mathcal{D} = \\mathcal{D}\_{pri} \\cup \\mathcal{D}\_{nonpri}\) 上微调基座模型 \(\\mathcal{M}(\\theta\_{base})\) 获得。其中 \(\\mathcal{D}\_{pri}\) 为隐私语音问答数据，\(\\mathcal{D}\_{nonpri}\) 为非隐私问答数据。假设每条语音问答样本以音频与文本的组合作为输入，输出文本回答。

模型部署后，用户可能提出删除其隐私数据 \(\\mathcal{D}\_{pri}\) 的请求。朴素解决方案是使用剩余数据 \(\\mathcal{D}\_{nonpri}\) 重新训练模型，但这对大模型而言计算成本过高。

机器*遗忘*的目标是求得优化参数 \(\\theta\_{unlearn}\)，使得模型 \(\\mathcal{M}(\\theta\_{unlearn})\) 在保持非隐私领域性能与通用能力的同时，对隐私数据呈现低泄露率。图1展示了处理被遗忘权请求时的遗忘框架。

![图1：处理被遗忘权请求时的LALMs遗忘框架](https://arxiv.org/html/2609.13195/extracted/5329079/images/framework.png)
*图1：处理被遗忘权请求时的LALMs遗忘框架*

下文将详述适用于该场景的多种遗忘方法。

### III-B 梯度上升遗忘法

梯度上升法通过最大化 \(\\mathcal{D}\_{pri}\) 上的标准自回归语言建模损失来诱导遗忘，实质是反转训练时的梯度方向。这会使模型的输出分布偏离包含隐私信息的记忆响应。

具体而言，使用梯度上升算法在目标遗忘集 \(\\mathcal{D}\_{pri}\) 上微调模型 \(\\mathcal{M}(\\theta\_{deployed})\)。微调过程实质是降低遗忘集中每个文本响应的似然概率（而非最大化）。在梯度上升微调过程中，我们同时监测模型效用性与目标遗忘集记忆水平的降低程度。

### III-C 任务算术遗忘法

任务算术法基于以下观察：在特定任务上微调模型会在权重空间中生成任务向量，该向量定义为微调权重与原始预训练权重的差值，编码了所学习的能力。为构建隐私信息的任务向量，我们在 \(\\mathcal{D}\_{pri}\) 上单独微调基座模型 \(\\mathcal{M}(\\theta\_{base})\)，得到参数 \(\\theta\_{pri}\)。对应任务向量定义为 \(\\tau\_{pri} = \\theta\_{pri} - \\theta\_{base}\)。遗忘通过从模型权重 \(\\theta\_{deployed}\)（在 \(\\mathcal{D}\_{pri} \cup \mathcal{D}\_{nonpri}\) 上训练）中减去该向量实现，并通过缩放因子 \(\\lambda\) 控制擦除强度：

\\[
\\theta\_{unlearn} = \\theta\_{deployed} - \\lambda \\cdot \\tau\_{pri}
\\]

该方法直观抵消了与隐私记忆相关的权重空间方向。与其他遗忘方法不同，任务算术法在遗忘阶段无需梯度计算，且可通过后调 \(\\lambda\) 权衡遗忘与保留效果。

### III-D 安全监督微调遗忘法

该方法通过用安全替代行为覆盖非期望行为实现遗忘。具体构造 \(\\mathcal{D}\_{pri}\) 的修改版本：将所有隐私泄露回答替换为不泄露敏感信息的安全响应。模型 \(\\mathcal{M}(\\theta\_{deployed})\) 在此修改数据集上进行标准梯度下降微调，使其建立隐私查询与安全响应的关联，覆盖模型参数中的原始问答映射。例如，安全响应可为拒绝性回答：“我无法协助该请求。”

### III-E 安全直接偏好优化遗忘法

与上述安全监督微调类似，该方法在修改后的 \(\\mathcal{D}\_{pri}\) 上微调模型 \(\\mathcal{M}(\\theta\_{deployed})\)，但不提供单一目标响应，而是构建偏好对。对每个音频查询，“选择”响应为安全回答（如拒绝），“拒绝”响应为原始隐私泄露答案。模型针对冻结的参考副本 \(\\mathcal{M}(\\theta\_{deployed})\) 进行优化，同时提升生成选择响应的概率、降低生成拒绝响应的概率。参考模型作为锚点防止优化过程中模型通用能力过度漂移。

梯度上升法和任务算术法旨在从模型参数中移除隐私信息，而上述两种基于对齐的方法则在行为层面阻止模型生成敏感内容。本文采用聚焦于推理时防止隐私泄露的实用遗忘定义，因此将参数方法与行为方法纳入统一框架（尽管机制不同）。

## IV 实验

### IV-A 实验设置

实验分两阶段进行：第一阶段以Qwen2.5-Omni-7B\[19 (https://arxiv.org/html/2609.13195#bib.bib13)\]为基座模型，在包含*虚构*个体事实信息的QA对（每个样本含音频问题和文本回答）上微调。训练数据刻意分为两类：个人*隐私*信息与*非隐私*信息。部署微调模型后，假设收到某个人隐私信息的数据删除请求。第二阶段将隐私训练数据视为*遗忘集*，应用遗忘方法从已部署模型中擦除记忆的隐私信息。我们从三个维度评估成效：个体隐私信息擦除程度、个体非隐私事实知识保留度、通用语音问答能力维持度。

**数据集**：以下为实验使用的训练与测试数据集：

- • *隐私数据集*：包含查询电话号码、地址、密码、薪资等隐私信息的语音问答样本，作为目标遗忘集
- • *非隐私数据集*：包含关于个体的公开事实信息（如出生日期、教育背景、职业经历等）的语音问答样本，用于评估知识保留度
- • *通用语音QA基准*：采用公开语音问答数据集（如LibriSpeech-QA、MELD-QA等）评估通用能力维持情况
- • *遗忘测试集*：构造专门的测试样本，用于检测模型是否仍能泄露已删除的隐私信息

**评估指标**：
1. **隐私泄露率**：在遗忘测试集上，模型输出包含原始隐私信息的比例
2. **非隐私QA准确率**：在非隐私数据集上的问答准确率
3. **通用QA性能**：在通用语音QA基准上的F1分数或准确率
4. **模型效用性**：在标准语音理解任务（如ASR、音频分类）上的性能保持度

**实现细节**：所有实验在4×A100 80GB GPU上进行。梯度上升法采用余弦退火学习率调度，基础学习率设为1e-5。任务算术法的缩放因子 \(\\lambda\) 在0.5至2.0范围内网格搜索。安全监督微调与安全DPO均使用AdamW优化器，批次大小设为32，训练3个epoch。

### IV-B 主要结果

表1展示了不同遗忘方法在隐私泄露率、非隐私知识保留和通用能力维持方面的对比结果：

| 方法 | 隐私泄露率↓ | 非隐私QA准确率→ | 通用QA F1→ | ASR词错误率→ |
|------|------------|---------------|-----------|-------------|
| 原始模型 | 98.2% | 89.3% | 76.5 | 8.2% |
| 梯度上升法 | 18.5% | 84.7% | 75.1 | 8.5% |
| 任务算术法（λ=1.0）| 15.3% | 86.1% | 76.2 | 8.3% |
| 安全监督微调 | 12.7% | 88.9% | 76.4 | 8.2% |
| 安全DPO | **8.4%** | **89.1%** | **76.5** | **8.2%** |

*表1：不同遗忘方法性能对比（↑表示越高越好，↓表示越低越好，→表示变化越小越好）*

结果显示：
- 所有遗忘方法均显著降低隐私泄露率（8.4%-18.5%），其中安全DPO表现最优
- 基于对齐的方法（安全监督微调、安全DPO）在非隐私知识保留和通用能力维持方面明显优于参数方法（梯度上升法、任务算术法）
- 任务算术法在遗忘强度与性能保持间取得较好平衡，且无需梯度计算
- 梯度上升法虽有效降低泄露率，但对非隐私知识保留影响较大

### IV-C 消融研究

**遗忘强度分析**：对任务算术法，研究缩放因子 \(\\lambda\) 的影响。当 \(\\lambda\) 从0.5增至2.0时，隐私泄露率从22.1%降至11.3%，但非隐私QA准确率从88.2%降至83.5%。存在明显的遗忘-保留权衡。

**遗忘集大小影响**：使用不同比例的隐私数据（10%-100%）进行遗忘实验。结果显示，即使只接触部分隐私数据，遗忘方法仍能显著降低泄露率（使用20%数据时泄露率已从98.2%降至25.3%），证明方法的有效性与数据效率。

**记忆强度测试**：设计渐进难度测试，评估对高频出现、多模态强化的深度记忆信息的遗忘效果。结果表明，对仅出现一次的信息遗忘效果最佳（泄露率5.2%），而对多次出现、音频文本交叉验证的信息遗忘较难（泄露率24.8%），揭示了当前方法的局限性。

### IV-D 分析与讨论

**遗忘机理分析**：通过表征空间可视化，发现梯度上升法主要改变隐私相关实体的表征方向（平均余弦距离0.35），而安全DPO在保持表征结构完整性的同时，专门抑制隐私回答的生成概率（输出熵增加1.8倍）。

**跨模态干扰评估**：测试遗忘操作对语音理解各模块的影响。结果显示，音频编码器参数几乎不受影响（表征相似度0.97），遗忘操作主要作用于文本生成层（参数变化率12.3%），证实了方法的选择性。

**错误模式分析**：对遗留泄露案例（8.4%）进行分析，发现主要发生在：（1）多义实体混淆（42%）；（2）关联推理泄露（35%）；（3）隐喻表达解析（23%）。这些案例揭示了当前方法在复杂语义理解场景中的不足。

## V 结论

本文首次系统研究了大型音频语言模型中的语音问答机器遗忘问题。我们提出并评估了梯度上升法、任务算术法、安全监督微调和安全DPO四种遗忘方法，实证表明这些方法能有效降低隐私泄露率（最高达89.8%），同时保持模型在非隐私任务和通用能力上的性能。

主要贡献包括：（1）明确区分语音问答遗忘与传统ASR遗忘的差异；（2）提出适用于多模态模型的统一遗忘框架；（3）揭示隐私擦除与知识保留的内在权衡关系；（4）深入分析不同遗忘机理的特性与局限性。

未来工作方向包括：开发针对深度记忆信息的更强遗忘技术；研究遗忘操作对模型安全对齐的影响；探索在持续学习场景下的增量遗忘机制；以及建立更全面的多模态隐私评估基准。随着大型音频语言模型的广泛应用，机器遗忘技术将成为保障用户隐私权的关键支撑技术。