DRL-CLBA: 基于DDPG强化学习的干净标签后门攻击用于语音分类

# DRL-CLBA：基于DDPG强化学习的语音分类干净标签后门攻击
来源：https://arxiv.org/html/2607.01729

###### 摘要

用于语音分类的深度学习模型容易受到后门攻击，攻击者在推理时通过恶意触发器导致误分类。虽然样本特定攻击可以绕过许多防御，但它们通常依赖于毒化标签攻击，从而可以通过手动数据防御检测到。在本文中，我们提出了DRL-CLBA，一种新颖的用于语音分类的干净标签后门攻击，该攻击利用深度确定性策略梯度（DDPG）强化学习。我们还利用深度音频隐写术将样本特定的触发器嵌入源音频中，创建特征空间锚点。所提出的强化学习框架有效地将目标样本优化为模型深层潜在空间中带触发器的锚点，从而实现对目标样本的无标签迁移毒化。在三个数据集和四种不同DNN上的实验结果表明，DRL-CLBA实现了高攻击成功率，有效绕过了一些后门防御。该攻击对微调、剪枝和频谱签名防御表现出强抵抗力，暴露了语音控制系统中的关键漏洞。

###### 关键词：

后门攻击，干净标签，DDPG，强化学习

††期刊：Neurocomputing

\affiliation
[1]组织=湘潭大学，地址=湖南省湘潭市雨湖区湘潭大道，城市=湘潭，邮编=411100，国家=中国
\affiliation[2]组织=北京大学，地址=北京市海淀区颐和园路5号，城市=北京，邮编=100871，国家=中国

## 1 引言

深度学习模型已广泛部署在各种基于语音的人机交互场景中，例如语音分类任务：关键词识别（KWS）[1](https://arxiv.org/html/2607.01729#bib.bib1)和说话人验证（SV）[2](https://arxiv.org/html/2607.01729#bib.bib2)。为了在实际环境中提高泛化性能，从业者经常将合成噪声引入训练数据集以进行数据增强。然而，现有研究表明，此类噪声可能被对手利用作为潜在威胁向量，特别是用于后门攻击[3](https://arxiv.org/html/2607.01729#bib.bib3)。

后门攻击通常分为毒化标签攻击和干净标签攻击。在毒化标签范式中，攻击者将特定触发器注入一部分良性训练数据，并将其对应的标签修改为目标类别。此过程在训练阶段建立了触发器与目标类别之间的强关联。在推理阶段，模型作为后门模型运行，将毒化样本错误分类到目标类别，同时仍为良性输入提供正确预测。Gu等人[4](https://arxiv.org/html/2607.01729#bib.bib4)以BadNets开创了该领域，这是针对深度图像分类模型的首次后门攻击，它利用像素块模式作为触发器。后续研究引入了多样化的触发器模式[5](https://arxiv.org/html/2607.01729#bib.bib5), [6](https://arxiv.org/html/2607.01729#bib.bib6), [7](https://arxiv.org/html/2607.01729#bib.bib7)。然而，由于这些触发器通常独立于底层样本内容，它们仍然容易受到为触发器过滤而设计的后门防御[8](https://arxiv.org/html/2607.01729#bib.bib8)的攻击。大多数传统方法需要同时操纵样本和标签。这使得潜在受害者可以通过审计训练数据集来检测标签-内容不一致性或识别低级图像编辑伪影，从而挫败攻击。

干净标签后门攻击代表了一种更实用且更隐蔽的威胁，因为它们恶意篡改训练样本而不改变其真实标签。这类攻击通常首先向目标类别的样本中引入扰动以生成“毒化样本”。这些扰动旨在将毒化样本在深度分类模型特征空间中的表示进行偏移，使其更接近于包含触发器的样本（称为后门样本）。因此，模型被迫学习后门样本与毒化样本之间的语义相似性，导致它将带有触发器的输入错误分类到目标类别。Shen等人提出了CSSBA[9](https://arxiv.org/html/2607.01729#bib.bib9)，它利用图像隐写术模型进行触发器植入，并采用投影梯度下降（PGD）算法通过特征碰撞迭代优化毒化样本。类似地，Cai等人[10](https://arxiv.org/html/2607.01729#bib.bib10)试图通过削弱代理模型中数据样本的固有鲁棒特征来促进攻击，随后将攻击迁移到目标模型。然而，这些方法需要访问深度分类模型的完整梯度信息，而在现实场景中攻击者通常无法获得。此外，这些攻击在推理阶段常常使用固定模式的触发器，使其容易被防御机制检测到。

为了揭示语音识别模型中更隐蔽的安全威胁，本文提出了一种新颖的攻击方法：基于深度确定性动作梯度的干净标签后门攻击（DRL-CLBA）。该方法无需对目标分类模型进行完整梯度访问，展现了优异的隐蔽性和攻击效能。在攻击阶段，我们采用先进的音频深度隐写术将触发器嵌入源类音频，生成作为特征碰撞锚点的后门图像。隐写技术的使用确保我们的触发器是样本特定的，而非遵循静态模式。随后，利用演员-评论家网络优化毒化样本的生成。具体来说，演员网络根据当前特征碰撞距离和深度特征表示为毒化样本生成优化差值。同时，评论家网络使用奖励函数最大化长期特征碰撞收益，并结合标签不可区分性和语义一致性奖励以实现干净标签攻击。

这些网络的优化策略由深度确定性动作梯度（DDPG）算法（一种强化学习（RL）算法）指导。通过确保优化后毒化样本的特征向量与后门样本几乎相同，模型被迫学习后门关联。值得注意的是，攻击者无需修改任何样本的标签。

我们总结贡献如下：

- • 我们提出了一种干净标签、样本特定的后门攻击，实现了高攻击成功率，同时有效绕过了传统的后门防御机制。
- • 我们利用深度隐写术生成后门语音，并将其与特征碰撞技术相结合以产生毒化样本，确保了高隐蔽性。
- • 所提出攻击的有效性在多个数据集和语音分类架构上得到了严格验证。

## 2 背景

### 2.1 后门攻击

360漏洞研究院于2024年发布了《大模型安全漏洞报告》，强调了大型语言模型中后门注入的风险。该报告记录了一起事件，其中Hugging Chat Assistants遭受了后门模型替换，当用户输入与电子邮件相关的输入时触发了信息泄露[11](https://arxiv.org/html/2607.01729#bib.bib11)。一项由英国AI安全研究所等机构联合进行的微量毒化研究表明，仅需250个恶意文档就足以成功将后门植入大型模型，使其在提供特定触发词时生成无意义输出[12](https://arxiv.org/html/2607.01729#bib.bib12)。这些报告表明，研究后门攻击如何在现实场景中构成威胁具有重要意义。

如图LABEL:fig:后门攻击步骤_cut所示，完整的后门攻击实施通常包括一系列算法组件，包括(1)预定义的后门数量，(2)触发器函数设计，(3)毒化策略，(4)模型训练协议，以及(5)攻击有效性评估。攻击者首先确定要植入的后门数量，这直接影响后续的算法设计。在触发器函数设计中，植入一个目标后门在图像分类任务中很常见。例如，触发器可以采用白色像素[4](https://arxiv.org/html/2607.01729#bib.bib4)、玫瑰[13](https://arxiv.org/html/2607.01729#bib.bib13)、反射模式[14](https://arxiv.org/html/2607.01729#bib.bib14)、眼镜或颜色变换[15](https://arxiv.org/html/2607.01729#bib.bib15)等形式。然而，单目标后门攻击可以通过诸如STRIP[16](https://arxiv.org/html/2607.01729#bib.bib16)、模型剪枝[17](https://arxiv.org/html/2607.01729#bib.bib17)和Neural Cleanse[8](https://arxiv.org/html/2607.01729#bib.bib8)等后门防御方法缓解；因此，攻击者倾向于在模型中植入多个后门。多后门攻击的有效性在很大程度上取决于能够灵活控制多个目标行为的触发器函数设计。Xue等人[18](https://arxiv.org/html/2607.01729#bib.bib18)首先引入了一对多和多对一的触发器映射，证明了触发器函数可以编码跨多个标签的复杂激活逻辑。后续工作探索了更先进的触发器设计。Doan等人[19](https://arxiv.org/html/2607.01729#bib.bib19)和Salem等人[20](https://arxiv.org/html/2607.01729#bib.bib20)将触发器函数建模为类别条件生成器，为不同目标实现了自适应且数据依赖的触发器模式。Hou等人[21](https://arxiv.org/html/2607.01729#bib.bib21)进一步提出了多对多范式，允许多个触发器激活多个目标类别。同时，Li等人[22](https://arxiv.org/html/2607.01729#bib.bib22)通过在并行或顺序毒化过程中使用异构触发器来增强攻击多样性。总体而言，这些研究表明，越来越灵活且可学习的触发器函数设计是实现可扩展且隐蔽的多后门攻击的关键。通常，一旦设计了后门攻击的触发器函数，攻击者通过将其应用于带有触发器的干净样本以生成毒化样本，然后修改干净标签为目标标签，形成毒化集以污染训练数据集，从而执行毒化策略。然而，也存在不修改干净标签为目标标签的替代毒化策略，这对模型学习触发器与目标标签之间的关联构成了重大挑战。

参考标题图1：通用后门攻击算法工作流程
干净标签后门攻击避免修改标签，使其更隐蔽但也更难优化，尤其是在多后门设置中。现有工作主要通过各种优化机制扩展单后门策略以支持多个触发器。首先，基于对抗优化的方法无需标签监督即可实现多触发器学习。Gong等人[23](https://arxiv.org/html/2607.01729#bib.bib23)和王等人[24](https://arxiv.org/html/2607.01729#bib.bib24)通过代理模型生成优化触发器，而Xing等人[25](https://arxiv.org/html/2607.01729#bib.bib25)和Yin等人[26](https://arxiv.org/html/2607.01729#bib.bib26)利用PGD或生成模型学习多样化的触发器模式，这可以自然地扩展到多触发器场景。其次，基于特征操纵的方法通过削弱干净特征或放大触发器信号来增强触发器有效性。Zhu等人[27](https://arxiv.org/html/2607.01729#bib.bib27)和You等人[28](https://arxiv.org/html/2607.01729#bib.bib28)利用属性编辑构建多个语义触发器，而Xie等人[29](https://arxiv.org/html/2607.01729#bib.bib29)和Yuan等人[30](https://arxiv.org/html/2607.01729#bib.bib30)在空间域或频率域抑制原始特征，使多个触发器能够共存且减少干扰。最后，基于样本选择的方法专注于毒化边界或敏感样本以提高多触发器可靠性。Wu等人[31](https://arxiv.org/html/2607.01729#bib.bib31)和Tang等人[32](https://arxiv.org/html/2607.01729#bib.bib32)识别决策边界附近的脆弱样本并嵌入自适应触发器，而Zhang等人[33](https://arxiv.org/html/2607.01729#bib.bib33)通过特征对齐策略进一步增强多触发器的可分离性。总体而言，这些研究表明，将干净标签约束与多样化的触发器生成、特征操纵和样本选择策略相结合，为可扩展的多后门攻击提供了可行途径。

### 2.2 语音分类模型

本研究关注语音分类器。语音分类器基于语音波形或语谱图预测标签。近年来，深度神经网络（DNN）在这些领域[1](https://arxiv.org/html/2607.01729#bib.bib1), [34](https://arxiv.org/html/2607.01729#bib.bib34), [35](https://arxiv.org/html/2607.01729#bib.bib35), [36](https://arxiv.org/html/2607.01729#bib.bib36), [37](https://arxiv.org/html/2607.01729#bib.bib37)取得了最优性能，因此引发了重大的安全问题。分类器 \(C_\theta\) 持续使用以下交叉熵损失进行调优：

\[
L_{(x,y) \in D} = \mathop{\arg\max}\limits_{\theta} p(y \mid C_\theta(x)) \tag{1}
\]

其中 \((x,y)\) 代表模型输入和相应的真实标签。在数据集 \(D\) 上训练使分类器能够辨别特定输入特征与潜在攻击标签之间的相关性，因此存在数据毒化后门攻击的风险。

## 3 方法

### 3.1 威胁模型

通常，后门攻击发生在攻击者将后门模型隐藏在API后面或向最终用户分发被篡改的模型时，从而便于恶意利用。

我们考虑一个干净标签威胁模型，其中攻击者被允许操纵训练数据集并影响训练过程，但无权修改目标模型的架构或内部参数。特别地，所有注入的训练样本必须根据其语义内容正确标记，使攻击难以通过标签检查检测到。在此约束下，攻击者旨在通过在训练过程中精心制作恶意但看似良性的样本来将后门植入模型。

攻击者的主要目标是最大化攻击成功率（ASR），定义为在推理时包含触发器的输入被误分类到目标类别的概率，同时保持高良性准确率（BA）。此处，ben...（原文在此处截断，但根据上下文，应该是对BA的定义或者继续描述。由于用户提供的输入在“Here, ben”处结束，我们按照原文输出。但考虑到完整性，可能需要补充。但用户提供的原文就是如此，所以保持原样。）