HARC：耦合有害性与拒绝方向以实现稳健的安全对齐

# HARC：耦合有害性与拒绝方向以实现鲁棒的安全对齐 来源：https://arxiv.org/html/2607.00572

Shei Pern Chua 清华大学 微软 & Fangzhao Wu 微软

###### 摘要

理解对齐后的大语言模型（LLM）如何在内部表示安全性，对于诊断对齐漏洞至关重要，因为它能解释越狱攻击为何成功，并为设计鲁棒的对齐策略提供依据。先前的研究表明，对齐后的LLM在提示侧令牌位置的残差流中，将有害性和拒绝编码为可分离的方向。我们发现，越狱攻击通过在生成任何令牌之前抑制有害性方向或拒绝方向，即可成功进行提示编码，且不同的攻击类别在有害性-拒绝平面上占据可分离的区域。将分析扩展到响应令牌位置后，我们发现模型在生成有害内容时会识别出该内容，即使它在提示侧未能将输入识别为有害。基于我们的发现，我们提出了*HARC*（有害性与拒绝耦合，Harmfulness-And-Refusal Coupling），这是一种微调方法，它在提示位置和响应位置将这两个方向进行配对。由于干预仅限于有害性-拒绝子空间，它不会影响残差流的其余部分，也不会降低通用能力或增加过度拒绝。在广泛实验中，HARC在涵盖主要训练时和推理时安全方法的六个基线中，实现了最强的鲁棒性-能力-可用性权衡。在提示位置和响应位置的有害性与拒绝方向，可以在我们测试的五个模型系列和两种规模之间迁移，无需针对特定架构进行调整。¹¹代码已在 https://github.com/microsoft/HARC 上公开。

## 1 引言

对齐后的大语言模型在直接提示下会拒绝有害请求，但对抗性攻击，例如对抗性后缀[71 (https://arxiv.org/html/2607.00572#bib.bib40),37 (https://arxiv.org/html/2607.00572#bib.bib41)]、说服式改写[64 (https://arxiv.org/html/2607.00572#bib.bib25),53 (https://arxiv.org/html/2607.00572#bib.bib16)]、迭代红队测试[14 (https://arxiv.org/html/2607.00572#bib.bib27),36 (https://arxiv.org/html/2607.00572#bib.bib49)]、多轮对话[52 (https://arxiv.org/html/2607.00572#bib.bib44),16 (https://arxiv.org/html/2607.00572#bib.bib43),35 (https://arxiv.org/html/2607.00572#bib.bib28)]以及混淆技术[49 (https://arxiv.org/html/2607.00572#bib.bib26),30 (https://arxiv.org/html/2607.00572#bib.bib50)]，仍然能绕过前沿模型的对齐保护[2 (https://arxiv.org/html/2607.00572#bib.bib33)]。作为回应，人们提出了一系列方法，包括偏好优化[48 (https://arxiv.org/html/2607.00572#bib.bib18)]、有监督的拒绝训练[45 (https://arxiv.org/html/2607.00572#bib.bib7)]、审慎推理[24 (https://arxiv.org/html/2607.00572#bib.bib72),66 (https://arxiv.org/html/2607.00572#bib.bib73)]、推理时引导[33 (https://arxiv.org/html/2607.00572#bib.bib62),12 (https://arxiv.org/html/2607.00572#bib.bib35)]，以及在训练期间重塑激活的表示层级干预[70 (https://arxiv.org/html/2607.00572#bib.bib19),63 (https://arxiv.org/html/2607.00572#bib.bib20),55 (https://arxiv.org/html/2607.00572#bib.bib34),19 (https://arxiv.org/html/2607.00572#bib.bib24)]。尽管这些方法提升了鲁棒性，但它们对LLM编码安全性的内部机制，或特定对抗性攻击为何能绕过这些防御，未能提供深入见解。

最近的可解释性工作开始弥合这一差距，表明对齐后的模型在提示侧令牌位置的残差流中，将有害性（\(v_{\mathrm{harm}}\)）和拒绝（\(v_{\mathrm{ref}}\)）编码为不同的方向[4 (https://arxiv.org/html/2607.00572#bib.bib2),67 (https://arxiv.org/html/2607.00572#bib.bib3)]。因此，我们提出一个更尖锐的问题：越狱攻击是否通过利用这种结构来成功？如果是，又是如何利用的？通过探测分属不同机制家族的三种攻击，我们发现成功的越狱攻击会抑制其中一个方向，或同时抑制两个方向。当有害性在生成前被抑制时，模型会将越狱提示注册为无害，并表现出无拒绝意图。然而它却继续生成了有害响应。这暴露了仅靠提示侧分析的局限性：模型知道自己在生成什么吗？为了回答这个问题，我们将表示分析扩展到响应令牌位置，通过从生成过程中的残差中提取有害性和拒绝方向（第3节 (https://arxiv.org/html/2607.00572#S3)）。我们发现，模型在生成有害内容时能够识别该内容，即使它之前在提示编码时未能将输入识别为有害。模型知道自己正在生成什么，但未能将此知识转化为拒绝行为。我们进一步表明，这种四方向结构在五个经过指令微调的模型系列中得以复现，表明这是对齐后LLM的一个属性，而非架构特有的人工产物（附录A.2 (https://arxiv.org/html/2607.00572#A1.SS2)）。这提示了一个简单的干预方法：直接将有害识别与拒绝行为耦合起来。

在这项工作中，我们引入了HARC（有害性与拒绝耦合，Harmfulness-And-Refusal Coupling），这是一种对齐方法，它在提示位置和响应位置将有害性和拒绝方向进行配对，从而使得无论有害意图最早在序列的哪个位置变得可检测，沿任一方向的激活都能可靠地传播拒绝行为。该干预被限制在二维的有害性-拒绝子空间内，几乎不扰乱残差流的其余部分。我们假设这能缓解更广泛的基于微调的对齐方法[7 (https://arxiv.org/html/2607.00572#bib.bib66)]往往会导致的对齐惩罚[5 (https://arxiv.org/html/2607.00572#bib.bib64),42 (https://arxiv.org/html/2607.00572#bib.bib65)]。在四种越狱攻击、两个过度拒绝基准以及五个能力基准上，HARC在覆盖主要训练时和推理时安全方法的六个基线中，实现了最强的对抗鲁棒性，同时保持了通用能力并最小化了过度拒绝。我们还表明，我们的方法能够在不同规模的相似模型之间干净地迁移。

我们的贡献有三个方面：
(1) 我们提取了响应令牌位置的有害性和拒绝方向，并表明它们与提示侧的对应方向是不同的：跨概念、跨位置的配对在后期层中变得近乎正交（图2 (https://arxiv.org/html/2607.00572#S3.F2)b）。即使提示侧拒绝失败，模型在生成时仍能识别有害内容。这种四方向结构在五个不同的模型系列中得以复现。
(2) 我们发现成功的攻击在提示编码期间抑制了拒绝方向，且不同的攻击类别在有害性-拒绝平面上占据可分离的区域。
(3) 我们提出了HARC，这是一种表示层级的微调方法，通过余弦投影上的加性间隔合页损失，在提示位置和响应位置将有害性和拒绝方向进行配对。我们的方法在Llama-3.1-8B上将平均ASR降低了4.67×，在Qwen-2.5-7B上降低了4.75×（相对于基础模型），同时低于基础模型的过度拒绝率，并保持了整体有益性。它在基线中实现了最强的鲁棒性-能力-可用性权衡。

## 2 背景

#### 行为的线性表示。
越来越多的研究表明，语言模型中的高级行为和概念被编码为其残差流中的线性方向[44 (https://arxiv.org/html/2607.00572#bib.bib5),21 (https://arxiv.org/html/2607.00572#bib.bib14),39 (https://arxiv.org/html/2607.00572#bib.bib12)]。这一特性使得**激活引导**成为可能，这是一种通过在推理过程中向残差流添加放缩后的概念向量来因果性地调节模型行为的技术[61 (https://arxiv.org/html/2607.00572#bib.bib10),50 (https://arxiv.org/html/2607.00572#bib.bib1),69 (https://arxiv.org/html/2607.00572#bib.bib11)]。提取这些方向向量的标准方法是**均值差法**[8 (https://arxiv.org/html/2607.00572#bib.bib15)]。给定一组展示目标行为的提示 \(\mathcal{D}^+\) 和一组对比提示 \(\mathcal{D}^-\)，在层 \(\ell\) 和令牌位置 \(t\) 的对应方向为：
\[
v^{(\ell,t)} = \mathrm{normalize}\left( \frac{1}{|\mathcal{D}^+|}\sum_{x\in\mathcal{D}^+} h^{(\ell,t)}(x) \;-\; \frac{1}{|\mathcal{D}^-|}\sum_{x\in\mathcal{D}^-} h^{(\ell,t)}(x) \right) \tag{1}
\]
其中 \(h^{(\ell,t)}(x) \in \mathbb{R}^d\) 表示当模型对输入 \(x\) 进行前向传播时，在层 \(\ell\) 和令牌位置 \(t\) 处的残差流激活值。这种方法已成功用于提取各种高级概念的表示，包括真实性[34 (https://arxiv.org/html/2607.00572#bib.bib6),39 (https://arxiv.org/html/2607.00572#bib.bib12)]、情感[60 (https://arxiv.org/html/2607.00572#bib.bib13)]、指令遵循[56 (https://arxiv.org/html/2607.00572#bib.bib4)]和拒绝[4 (https://arxiv.org/html/2607.00572#bib.bib2)]。

#### 拒绝方向和有害性方向。
Arditi 等人[4 (https://arxiv.org/html/2607.00572#bib.bib2)]在指令后令牌 \(t_{\mathrm{post-inst}}\) 处，通过对有害指令提示和无害指令提示的均值差计算了**拒绝方向**。移除该方向会消除LLM对有害提示的拒绝行为，而向无害提示添加该方向则会诱导拒绝行为。在此基础上，Zhao 等人[67 (https://arxiv.org/html/2607.00572#bib.bib3)]证明，根据具体的令牌位置不同，提取出的方向存在显著差异。通过使用相同的有害和无害数据集，但在用户指令的最后一个令牌处（\(t_{\mathrm{inst}}\)）提取激活，他们识别出了一个不同的**有害性方向**。该向量编码了模型对有害内容的内部识别，与其拒绝的承诺是分离的。

#### 模型与数据集。
我们主要使用开源指令微调模型：Llama-3.1-8B[22 (https://arxiv.org/html/2607.00572#bib.bib51)] 和 Qwen-2.5-7B[47 (https://arxiv.org/html/2607.00572#bib.bib52)]²²为简洁起见，我们将这些模型的指令微调版本称为 Llama-3.1-8B、70B 和 Qwen-2.5-7B、72B。本文中所有模型均为指令微调变体（例如 Llama-3.1-8B-Instruct、Qwen-2.5-7B-Instruct）。。我们还将我们的分析和方法的规模扩展到了 Llama-3.1-70B 和 Qwen-2.5-72B（第5.3节 (https://arxiv.org/html/2607.00572#S5.SS3)）。遵循先前的工作[4 (https://arxiv.org/html/2607.00572#bib.bib2),67 (https://arxiv.org/html/2607.00572#bib.bib3)]，我们在 \(t_{\mathrm{post-inst}}\) 处提取拒绝方向 \(v_{\mathrm{ref}}\)，在 \(t_{\mathrm{inst}}\) 处提取有害性方向 \(v_{\mathrm{harm}}\)。两个方向均通过公式1 (https://arxiv.org/html/2607.00572#S2.E1) 在一个保留的300个有害提示（来自 AdvBench）和300个无害提示（来自 UltraChat）集合上计算。第3.2节 (https://arxiv.org/html/2607.00572#S3.SS2) 将此提取扩展到响应令牌位置，使用模型在每个提示上的相应输出。

#### 威胁模型。
我们考虑**黑盒越狱攻击**，其中攻击者仅通过提示交互试图引发违反策略的输出[41 (https://arxiv.org/html/2607.00572#bib.bib74)]，包括基于说服的改写、多轮对话和混淆攻击，作为更现实的威胁。攻击者可以在多轮次中调整提示，但不修改部署后的模型权重、系统提示或安全训练数据。因此，我们的目标是针对提示空间攻击的鲁棒性，而非对抗性微调或权重空间模型编辑。我们在这一设置下评估标准的黑盒越狱技术。

## 3 有害性与拒绝的内部表示

在本节中，我们描述 Llama-3.1-8B 和 Qwen-2.5-7B 中有害性与拒绝的内部表示特征，这两个模型是我们主要实验使用的模型。我们还表明这种结构在五个模型系列中得以复现（附录A.2 (https://arxiv.org/html/2607.00572#A1.SS2)）。先前的工作描述了提示侧令牌位置 \(t_{\mathrm{post-inst}}\) 处的 \(v_{\mathrm{ref}}\)[4 (https://arxiv.org/html/2607.00572#bib.bib2)] 和 \(t_{\mathrm{inst}}\) 处的 \(v_{\mathrm{harm}}\)[67 (https://arxiv.org/html/2607.00572#bib.bib3)]。我们假设，即使提示侧的拒绝被绕过，有害性识别可能在生成时仍然存在，因此我们将方向构建扩展到响应令牌位置，并获得 \(v_{\mathrm{harm}}^{\mathrm{resp}}\) 和 \(v_{\mathrm{ref}}^{\mathrm{resp}}\)（第3.2节 (https://arxiv.org/html/2607.00572#S3.SS2)，公式2 (https://arxiv.org/html/2607.00572#S3.E2)）。然后，我们利用这种四方向结构来表征这些方向在不同位置和层之间的关系，以及越狱攻击如何利用它们。我们在附录A (https://arxiv.org/html/2607.00572#A1) 中展示了 Qwen 的分析，其模式与 Llama 相似。

### 3.1 有害性与拒绝在特定层中是解耦的

参见图注 图1：Llama-3.1-8B 所有层中 \(v_{\mathrm{harm}}\) 与 \(v_{\mathrm{ref}}\) 之间的余弦相似度。两个方向在中间深度紧密耦合，在后期层中解耦程度最高。

图1 (https://arxiv.org/html/2607.00572#S3.F1) 显示，\(v_{\mathrm{harm}}\) 与 \(v_{\mathrm{ref}}\) 之间的余弦相似度随模型深度变化。余弦相似度在 L12 附近达到峰值，然后在后期层（L20-L28）下降。因此，对于 Llama-3.1-8B，拒绝方向和有害性方向在后期层中最为发散。我们的结果表明，这些方向的分离对安全行为具有重要影响。如果 \(v_{\mathrm{harm}}\) 和 \(v_{\mathrm{ref}}\) 近乎正交，那么一个输入可以在不激活另一个概念的情况下激活其中一个。我们假设，某些成功的越狱攻击通过将残差流推入拒绝方向被抑制的区域来利用这一间隙，无论有害信号本身是否存在。

### 3.2 越狱攻击利用了解耦

参见图注 图2：越狱攻击将有害识别与拒绝相分离，且在解耦最充分的层中出现了四方向结构。(a) 成功越狱提示在提示侧（左侧，投影到 \(v_{\mathrm{harm}}\) 和 \(v_{\mathrm{ref}}\) 上）和响应侧（右侧，投影到 \(v_{\mathrm{harm}}^{\mathrm{resp}}\) 和 \(v_{\mathrm{ref}}^{\mathrm{resp}}\) 上）在第27层的 \(\Delta\) 投影。每个响应侧的点在其类别的峰值令牌处投影，因为攻击在不同续写位置表达有害和拒绝（附录A.3 (https://arxiv.org/html/2607.00572#A1.SS3)）。基线有害提示（红色）同时激活两个方向，而良性提示（绿色）均不激活。DAN（紫色）激活有害方向但抑制拒绝方向，PAIR（黄色）激活两个方向但相对于有害基线较低，GCG（橙色）则抑制有害性。(b) 在后期层中，跨概念、跨位置的配对变得近乎正交。(c) 残差投影的 t-SNE 可视化，显示不同攻击类别在有害性-拒绝平面上占据可分离的区域。