基于梯度反转和变分信息瓶颈的欺骗检测语言偏见缓解

# 通过梯度反转与变分信息瓶颈缓解欺骗检测中的语言偏差
来源：https://arxiv.org/html/2606.31411  
Dao Matrouf Rouvier Evans

###### 摘要

生成式语音技术的快速进步已削弱了语音生物特征识别的可靠性。当前的欺骗检测系统在域内条件下评估时表现优异，但泛化到域外场景时往往效果不佳。我们证明，这可能是由于语言偏差所致。对训练数据中观察到的语言线索的依赖会损害跨数据集鲁棒性。我们提出了一种利用师生对抗学习的语言无关欺骗检测框架。预训练于外部数据集语言内容之上的语言感知教师模型，通过梯度反转引导学生检测器最小化语言信息。为防止意外移除非语言线索，我们引入变分信息瓶颈（VIB）以实现对主要线索的抑制。在九个DF Arena数据集上，与基线相比，我们的方法实现了EER最高36.2%的相对降低。

###### 关键词：

欺骗检测，语言无关，VIB

## 1 引言

文本转语音（TTS）和语音转换技术的进展催生了逼真的语音深度伪造，对语音生物特征识别的可靠性构成了安全威胁。为缓解这些威胁，部署了欺骗检测系统以保护语音生物特征。近年来，ASVspoof和音频深度伪造检测（ADD）倡议通过收集和分发数据集以及基准评估，推动了欺骗检测领域的重大进展[ASVspoof24, ADD2022]。近期研究表明，自监督学习（SSL）模型通过利用大规模原始语音预训练显著提升了欺骗检测性能[AASIST, conformer, MHFA_Spoof, SLS, Mamba]。微调的SSL表征已成为当前最先进的范式，利用高维声学特征相比传统端到端监督架构实现了更优的泛化能力[AASIST1, RawNet2, dao24_asvspoof]。尽管取得了这些进展，泛化能力仍是核心挑战：在特定基准上表现良好的模型，应用于未见数据集或不同评估条件时往往表现不佳。

越来越多的证据表明，欺骗检测的不稳定性源于捷径学习，模型利用虚假相关性而非真正的欺骗伪影。例如，Müller等人[Silence2021]在ASVspoof 2019中识别出一种非语音相关的捷径：真实语音样本始终包含前导静音，而伪造样本则没有。依赖此类虚假伪影的模型在域内精度高，但域外泛化能力差。ASVspoof 5数据集旨在缓解这些限制，提供了包含多种攻击类型和编解码器的大规模语料库[ASVspoof24]。虽然使用ASVspoof 5数据库训练和测试的欺骗检测系统取得了强劲性能，但最新结果表明，用额外欺骗语料库的扩充数据增强ASVspoof 5训练数据往往会导致性能下降[wang2026asvspoof5evaluationspoofing]。这一意外观察提示存在被忽视的数据集特定偏差。

在本工作中，我们识别并分析了ASVspoof 5数据集中的语言偏差，表现为真实语音与伪造语音在口语内容上的差异。当存在此类偏差时，欺骗检测模型可能将特定句子模式与真实或伪造标签相关联，从而基于"说了什么"而非"语音是如何生成的"进行预测。这对泛化能力是有害的，因为不同数据集的语言分布可能不同。为缓解这一问题，我们提出了一种新颖框架，在欺骗检测训练过程中抑制语言信息。我们的方法基于对抗学习的师生框架。由于ASVspoof 5数据库没有文本转录，我们首先使用Common Voice子集训练一个教师模型进行短语语言内容分类，使得生成的嵌入编码语言信息。然后，通过梯度反转层（GRL）[pmlr-2015-GRL, dao26_assessing_spk, dao2026enhancing]引导作为学生模型的欺骗检测模型，鼓励学生学习对语言内容不变同时保留欺骗检测判别性的表征。

虽然教师嵌入编码了语言内容，但它们与潜在特征纠缠在一起。对抗抑制可能过于激进：没有额外约束，学生可能不仅移除语言信息，还可能移除与欺骗检测有益的其他关联线索。为缓解此问题，我们进一步在学生模型中引入变分信息瓶颈（VIB）[alemi2016deepVIB]。VIB约束了对抗训练中移除的信息量，强制一个瓶颈以抑制主导语言信息，同时保留欺骗判别证据。这种组合实现了可控且原则性的不变学习。实验结果表明，我们提出的框架显著提升了鲁棒性和泛化能力。

我们的贡献如下：

- • 我们识别并实证展示了ASVspoof 5数据集中一个未被探索的语言捷径，揭示了削弱泛化能力的语言偏差。
- • 我们提出了一种带有对抗GRL训练的师生框架，无需测试数据集的文本标注即可抑制语言信息。
- • 我们证明VIB可用于在保留可靠欺骗线索的同时，控制对语言线索的移除。
- • 在九个评估数据集上的大量实验显示了一致且显著的改进。

## 2 语言偏差分析

当伪造语音与真实语音在口语内容上存在差异时，欺骗检测语料库可能遭受语言偏差。在这种情况下，分类器可能学习将特定语言模式与类别标签关联，从而依赖"说了什么"而非指示欺骗的声学伪影。我们通过分析SONAR模型[Duquenne:2023:sonar_arxiv]生成的嵌入来研究ASVspoof 5训练集中的语言偏差。虽然SONAR针对语义接近度优化，但我们利用其嵌入作为语言内容的高级代理。为进一步验证发现，我们辅以自定义的短语语言内容分类模型（详见第3.1节），该模型专门设计用于提取语言嵌入。然后我们将提取的SONAR和短语语言内容嵌入进行k均值聚类（K=32），并分析生成的聚类分布（图1,图2）。我们的分析揭示了聚类的结构性不平衡：真实样本集中在特定的子集聚类中，而绝大多数聚类仅由伪造语音构成。这些分布证实了ASVspoof 5训练数据中真实语音与伪造语音分区之间存在语言不匹配，这可能导致训练过程得到不完善的模型。

图3展示了ASVspoof 5训练集中随机说话人的短语语言内容分类教师嵌入的t-SNE可视化。在ASVspoof 5中，伪造样本形成独立聚类。此模式反映了数据集生成过程：使用了8个TTS模型，产生了8样本聚类。相反，真实样本远离这些伪造聚类，表明文本内容严重不匹配。此可视化揭示了真实语音与伪造音频之间关键的口语内容错位。此类问题会导致模型依赖语言伪影而非鲁棒欺骗线索，从而损害跨数据集性能。

图注：图1：ASVspoof 5训练数据SONAR嵌入的聚类组成分析。
图注：图2：ASVspoof 5训练数据短语语言内容教师嵌入的聚类组成分析。
图注：图3：ASVspoof 5训练中随机说话人的短语语言内容教师嵌入t-SNE可视化。

## 3 语言偏差缓解方法

下文描述了我们如何使用师生框架抑制欺骗检测中对语言信息的利用。教师模型通过短语语言内容分类任务训练以捕获语言特征。学生模型以多任务方式同时进行欺骗检测和短语语言内容分类，并融入对抗学习机制以最小化语言信息对欺骗检测的影响。

### 3.1 短语语言内容分类教师模型

虽然SONAR模型有效识别了语言偏差（第2节），但其庞大的参数量和独特架构使其难以集成到欺骗检测的师生框架中。因此，我们提出一个架构兼容的教师模型：基于XLSR的特征提取器，搭配多头因式分解注意力（MHFA）后端分类器[MHFA_Spoof]。

为建模语言信息，我们使用Common Voice数据集的英语子集训练短语语言内容教师模型，该数据集包含大量且多样化的说话人语音录音，语音内容音位丰富。我们利用Common Voice英语转录本整理训练数据集：包含10.3k个独特短语，共158k条语音。教师模型训练为将输入语音分类到不同的文本短语ID。训练后，教师模型被冻结，仅作为参考嵌入提取器，为学生模型提供软标签引导。

### 3.2 欺骗检测学生模型

学生模型联合优化欺骗检测和短语语言内容分类任务，并带有对抗组件以将语言信息从学习表征中解耦。如图4所示，学生模型包含以下关键组件：

- • 特征提取器：一个预训练的XLSR编码器[XLS-R2022]，将原始音频波形转换为上下文相关的帧级嵌入序列。
- • 欺骗分类头：一个MHFA网络，使用XLSR嵌入预测二元标签 ŷ_s ∈ {真实，伪造}。
- • 短语语言内容头：一个专门用于短语语言内容分类任务的MHFA-VIB网络。该头使用教师模型嵌入的软目标进行监督，通过学生和教师嵌入之间的均方误差损失进行优化。
- • 梯度反转层（GRL）：位于特征提取器和短语语言内容头之间。前向传播时，GRL充当恒等变换。反向传播时，梯度乘以 -λ（λ为超参数），对抗性地鼓励特征提取器产生对语言线索不变的表征。

### 3.3 面向语言不变性的MHFA-VIB

我们将VIB正则化引入学生模型的短语语言内容分支，形成MHFA-VIB架构。VIB约束了对抗训练期间可通过语言分支的信息流，确保抑制聚焦于主要语言成分，促进可控且原则性的不变学习。给定多层XLSR表征 o ∈ R^(D×T×L)，其中L表示Transformer层数，MHFA-VIB首先学习键和值流的逐层重要性权重。经过softmax归一化后，计算跨层加权和：

k = ∑_{l=1}^{L} w_k^{(l)} o^{(l)},  v = ∑_{l=1}^{L} w_v^{(l)} o^{(l)},  (1)

随后线性压缩得到 k, v ∈ R^(d_c×T)。

为施加信息瓶颈，VIB模块应用于键表征 k。具体而言，使用高斯后验建模随机隐变量 z：

q_θ(z|k) = N(μ(k), diag(σ²(k))),  (2)

其中均值 μ 和对数方差 logσ² 由神经网络预测。使用重参数化技巧进行采样：

z = μ + ε ⊙ σ,  ε ~ N(0, I).  (3)

通过Kullback–Leibler (KL)散度正则化项强制执行VIB，定义为：

L_VIB = KL(q_θ(z|k) || r(z)),  (4)

其中q_θ(z|k)是隐表征上的变分后验，r(z) = N(0, I)是标准正态先验。该惩罚引入随机瓶颈，限制隐变量z的容量，防止模型对k中的冗余特征进行编码。

隐表征z被转换为时间注意力权重，指导值表征v的加权聚合。此过程产生针对短语语言内容子任务的句子级嵌入。

图注：图4：提出的IVLing-VIB模型，用于师生框架中的语言不变性。

### 3.4 语言不变性师生训练

给定输入语音x，特征提取器产生帧级表征 o = f(x)。欺骗分类头记为 g_s(·)，短语语言内容头记为 g_l(·)。冻结的预训练教师模型 g_t(·) 提供参考语言嵌入。学生模型按以下方式优化：

min_{f, g_s, g_l} L_s(g_s(f(x)), y_s) + α L_l(g_l(GRL(f(x))), g_t(x)) + β L_VIB  (5)

其中每个组成部分为：

- • L_s：用于欺骗检测的交叉熵损失。
- • L_l：学生和教师语言嵌入之间的均方误差损失。
- • L_VIB：Kullback–Leibler散度。