当情绪成为触发器：寄生于大型语言模型的情感风格动态后门攻击

# 当情绪成为触发器：寄生于大语言模型的情绪风格动态后门攻击

来源: https://arxiv.org/html/2605.11612
###### 摘要

后门漏洞广泛存在于大语言模型（LLM）的微调过程中。大多数后门投毒方法主要在 token 层面操作，缺乏更深层次的语义操控，这限制了其隐蔽性。此外，先前的攻击依赖于单一的固定触发器来诱导有害输出。这种静态触发器易于检测，且干净数据的微调可能会削弱触发器与目标之间的关联。通过因果验证，我们观察到情绪并非直接关联于单个单词，而是作为一种整体风格因素通过语调发挥作用。在 LLM 的表示空间中，情绪可以与语义解耦，与原始中性文本形成截然不同的簇。因此，我们将情绪因素视为后门触发器，提出了一种寄生式情绪风格动态后门攻击——Paraesthesia。通过将带有情绪触发器的样本混合到干净数据中并对模型进行微调，模型在推理阶段遇到情绪化输入时能够生成预定义的攻击响应。Paraesthesia 包括情绪风格的量化和重写两个步骤。我们在指令跟随生成和分类任务上评估了该方法的有效性。实验结果表明，Paraesthesia 在这两类任务和四种不同模型上均实现了约 99% 的攻击成功率，同时保持了模型的干净效用。

## I 引言

在实践中，LLM 通常通过微调进行定制，以满足特定领域的需求。由于这一过程资源密集，训练和数据托管越来越多地外包给第三方服务 [4 (https://arxiv.org/html/2605.11612#bib.bib1), 15 (https://arxiv.org/html/2605.11612#bib.bib2)]。这种依赖增加了供应链攻击的风险，并引入了新的安全隐患。基于数据投毒的后门攻击尤为令人担忧。如图 1 (https://arxiv.org/html/2605.11612#S1.F1) 所示，攻击者可以将隐蔽的触发器注入良性数据中，并将其放入微调数据中，导致 LLM 学习到触发器与恶意目标行为之间的关联。一旦在推理阶段的查询中出现触发器，中毒模型可能会产生攻击者指定的有害响应，威胁模型的安全性和可控性。

参见图注 Figure 1: 基于数据投毒的后门攻击概览。大多数现有的基于数据投毒的后门攻击依赖于预训练语言模型和 LLM 的显式静态触发器，这种范式本质上限制了隐蔽性，并使攻击更有可能暴露出可检测的模式 [23 (https://arxiv.org/html/2605.11612#bib.bib38), 3 (https://arxiv.org/html/2605.11612#bib.bib39), 14 (https://arxiv.org/html/2605.11612#bib.bib40), 7 (https://arxiv.org/html/2605.11612#bib.bib41)]。根本原因是，这些方法通常将攻击者指定的行为绑定到可枚举的表面形式上，如特定字符、单词、固定短语或预定义的句法模板，导致模型学习形式模式与恶意输出之间稳定的局部关联。尽管此类设计通常能实现高攻击成功率，但也使得触发信号高度模式化，因此更容易受到基于异常 token、模式匹配或触发器恢复的检测方法的攻击。此外，静态触发器模式容易受到干净数据微调的影响，这会削弱或破坏其与恶意目标行为的关联，从而导致模型忘记植入的后门。为了克服这一限制，我们寻求一种不再依赖于固定表面形式的触发机制，而是嵌入在更高级别的语言属性中。

我们观察到，情绪并非与单个单词相关的局部属性。相反，它是一种通过语调表达的全局风格因素。它也可以与文本的语义内容分离。情绪风格在表达方式上表现出更大的变化，对固定表面形式的依赖性较小，使其成为动态触发的合适选择。为了考察其对模型表示的影响，我们构建了三组样本：原始中性文本作为 *Clean*（干净）集，由情绪风格重写引擎重写的情感文本作为 *Emotional*（情绪化）集，以及通过去除情绪风格同时保留底层语义获得的 *De-emotionalised*（去情绪化）文本。在使用 LLM 对这些样本进行编码后，我们观察到一个明显的模式：来自 *Emotional* 集的样本形成一个紧凑的簇，与来自 *Clean* 集的文本明显分离，而 *De-emotionalised* 样本在很大程度上与 *Clean* 集样本重叠。这一结果表明，情绪风格实质性地重塑了高级文本表示，且观察到的变化不能简单归因于语义内容的变化。

如图 2 (https://arxiv.org/html/2605.11612#S1.F2) 所示，*Clean* 集和 *De-emotionalised* 样本在多个局部簇中保持高度一致，这表明去除情绪风格使表示恢复向中性区域。相比之下，Emotional 样本被位移到一个不同的区域，并表现出更紧密的簇结构。这些发现表明，情绪风格不仅仅是表面措辞的变化，而是一个系统地改变内部表示的可学习因素，使其成为一种有前景的动态触发信号。

参见图注 (a)
参见图注 (b)
参见图注 (c)
参见图注 (d)

Figure 2: Llama 2 对 Clean、De-emotionalized 和 Emotional 样本的表示可视化。(a) Negative-High, (b) Negative-Low, (c) Positive-High, 和 (d) Positive-Low. 基于这些发现，我们提出了一种寄生式情绪风格动态后门攻击，Paraesthesia。与以往依赖固定字符或手工模板作为触发器的方法不同，我们的方法将情绪风格注入干净样本中，并将具有特定情绪特征的表达式嵌入微调语料库作为后门触发器。训练后，模型不再学习单个触发器 token 与目标输出之间的刚性映射。相反，它学习情绪风格分布与攻击目标之间的隐含关联。由于这种触发器可以通过多样化的表面形式实现，它比传统的静态后门更具动态性、更隐蔽、更具可迁移性。本文的主要贡献如下。

- • 我们发现情绪并非与单个单词绑定，而是作为一种通过语调表达的全局风格因素发挥作用。它可以与语义内容分离，并作为一个具有灵活表面实现的独立触发器。
- • 我们提出了一种寄生式情绪风格动态后门攻击，Paraesthesia。该方法使用注入到干净文本中的情绪风格作为触发器，引导 LLM 走向攻击目标。
- • 大量实验表明，Paraesthesia 在这两类任务和四种不同模型上均实现了 99% 的攻击成功率，同时保持了模型的干净效用。

## II 相关工作

### II-A 后门攻击

早期的计算机视觉后门攻击（例如，BadNets [8 (https://arxiv.org/html/2605.11612#bib.bib3)]）使用嵌入在图像中的基于像素的触发器来操纵模型。这些攻击后来被扩展到文本领域的 LLM。通过在训练数据中注入稀有字符或固定触发器模式，LLM 在特定触发器下执行攻击者定义的操作，同时在干净输入上保持正常性能。后来的研究超越了显式的触发器单词。例如，LWS [25 (https://arxiv.org/html/2605.11612#bib.bib4)] 使用可学习的单词替换作为触发器，而 Syn [24 (https://arxiv.org/html/2605.11612#bib.bib5)] 采用句法结构作为抽象触发器。这些工作表明，后门触发器可以从显式的单词级模式演变为更隐蔽的结构级模式。随着指令微调在 LLM 对齐和定制中占据主导地位，后门攻击已从样本级投毒演变为指令操纵。攻击者可以使用少量中毒指令微调模型，以改变定制 LLM 的下游行为 [26 (https://arxiv.org/html/2605.11612#bib.bib12)]。[31 (https://arxiv.org/html/2605.11612#bib.bib6)] 发现较大的模型更容易受到投毒攻击，因此 LLM 仍然面临指令微调后门的威胁。[32 (https://arxiv.org/html/2605.11612#bib.bib7)] 进一步表明，指令可以直接充当后门向量，而无需更改原始数据实例或标签。在推理期间，这些指令触发攻击者意图的特定输出。在此基础上，虚拟提示注入（VPI）[34 (https://arxiv.org/html/2605.11612#bib.bib8)] 将攻击扩展到隐藏的虚拟提示。当某些触发器出现时，模型表现得好像收到了额外的隐藏指令并生成有害内容。TuBA [10 (https://arxiv.org/html/2605.11612#bib.bib9)] 也在多语言 LLM 中识别了跨语言可迁移性。仅在一种或两种语言中注入少量中毒样本即可在其他语言中产生预定义的恶意输出，这可以通过句子、实体或主题激活。最近的研究进一步探索了更分散和持久的后门机制。复合后门攻击（CBA）[11 (https://arxiv.org/html/2605.11612#bib.bib10)] 将多个触发器分布在提示组件中，仅在满足组合条件时才激活，提高了隐蔽性。休眠代理 [12 (https://arxiv.org/html/2605.11612#bib.bib11)] 显示后门行为可以在后续安全训练中持续存在。微调激活的后门最初处于休眠状态，仅在下游良性微调后激活。虽然现有方法变得更加隐蔽、组合化和持久化，但大多数仍然依赖于离散触发器、结构模板、固定场景或显式组合。与这些方法不同，我们针对情绪风格这一动态触发器。它不依赖于固定短语，而是通过表达风格差异导致模型行为异常。

### II-B 后门检测

传统的 LLM 后门检测方法依赖于触发器反转，试图从可疑模型中推断出近似的触发器。这些方法优化或搜索导致异常行为的输入模式。然后，这些方法可以将此类模式作为模型中已植入后门的证据。然而，先前的工作 [33 (https://arxiv.org/html/2605.11612#bib.bib14)] 表明，这些方法对后门严重程度、训练迭代次数和默认基准配置高度敏感。一旦改变这些标准设置，它们的性能可能会有很大差异。现有的 LLM 后门检测方法主要是为有限模型访问下的安全审计设计的。最近，该领域开始超越传统的触发器反转范式，转向更适合仅解码器模型和黑盒部署的检测方法 [43 (https://arxiv.org/html/2605.11612#bib.bib15)]。审查链 [16 (https://arxiv.org/html/2605.11612#bib.bib16)] 使用模型的推理链来验证最终答案，将推理与输出之间的不一致视为后门的迹象。因此，它适用于仅 API 场景，无需额外培训。ICLScan [22 (https://arxiv.org/html/2605.11612#bib.bib17)] 利用在目标上下文学习期间植入后门的大语言模型更容易受到二次触发的特点；它通过估计 ICL 触发注入的成功率来进行黑盒检测，同样无需修改模型参数。RFTC [2 (https://arxiv.org/html/2605.11612#bib.bib18)] 观察到中毒样本倾向于在响应空间中形成更紧密的簇。因此，它结合参考过滤、TF-IDF 聚类类和类内距离来识别隐蔽的后门样本，并报告其适用于组合和句法触发器。现有的检测工作已从触发器反转扩展到基于推理、基于 ICL 和基于样本过滤的审计。然而，大多数这些方法仍然假设后门可以通过局部异常、显著输出偏移或可恢复的触发器模式来识别。

### II-C 后门净化与缓解

净化方法更专注于在给定未知触发器或有限先验知识的情况下，直接在模型中减轻或消除触发器与目标之间的关联，同时尽可能保留原始能力 [40 (https://arxiv.org/html/2605.11612#bib.bib19)]。弱到强的知识蒸馏 [41 (https://arxiv.org/html/2605.11612#bib.bib20)] 通过首先构建一个较小的干净教师模型，然后使用特征对齐蒸馏引导中毒的大型学生模型忘记后门表示，将防御表述为 LLM 遗忘问题。此外，一些净化方法关注模型内部表示的一致性。CROW [21 (https://arxiv.org/html/2605.11612#bib.bib21)] 发现中毒的 LLM 在触发器激活时表现出不稳定的层间隐藏状态，因此通过对抗性扰动进行内部一致性正则化来抑制后门激活，而不依赖于触发器知识或干净模型。推理时缓解也已成为最近的一个重要方向。CleanGen [17 (https://arxiv.org/html/2605.11612#bib.bib22)] 不修改模型参数，而是在解码过程中比较目标模型和参考模型之间的 token 概率，以识别和替换过度偏向攻击者目标内容的可疑 token。FABE [19 (https://arxiv.org/html/2605.11612#bib.bib23)] 使用满足前门准则的语义等效文本进行调整，减轻触发器与恶意输出之间的虚假相关性，并提供一种不同于传统基于重新训练的修复的统一净化方法。此外，一些研究解决了架构层面的补救措施。PURE [42 (https://arxiv.org/html/2605.11612#bib.bib24)] 通过修剪和规范化可疑的注意力头来减轻预训练语言模型中的后门效应，而 Denoised PoE [18 (https://arxiv.org/html/2605.11612#bib.bib25)] 通过去噪专家混合框架抑制触发器对 LLM 下游预测的主导影响。

## III 方法

### III-A 威胁模型

攻击者的目标。我们假设攻击者的目标是植入一个后门，在收到包含触发器的输入时欺骗 LLM 输出指定的目标。同时，攻击者旨在确保 LLM 的正常能力尽可能不受影响。

攻击者的能力。我们认为攻击者是提供数据集的第三方服务提供商。攻击者是第三方服务提供商。因此，攻击者可以将少量恶意样本注入训练/微调数据集，但不能在推理阶段直接修改输入，也不能在部署后直接更改模型参数。

### III-B Paraesthesia 概述

如图 3 (https://arxiv.org/html/2605.11612#S3.F3) 所示，我们首先形式化情绪