面向鲁棒即插即用适配的解耦对齐

# 解耦对齐：鲁棒的即插即用适配方法  
来源：https://arxiv.org/html/2406.01514  

**脚注文本：** 这些作者对本工作贡献相同。  
Haozheng Luo¹∗, Jiahao Yu²∗, Wenxin Zhang¹∗, Jialong Li³, Chenghao Qiu⁴, Yimin Wang⁵, Hanchen Jiang⁵, Jerry Yao-Chieh Hu¹, Yan Chen¹, Binghui Wang⁶, Xinyu Xing¹, Han Liu¹  
¹西北大学 ²纽约大学阿布扎比分校 ³斯坦福大学 ⁴德州农工大学 ⁵加州大学洛杉矶分校 ⁶伊利诺伊理工学院  
{hluo [at] u.northwestern.edu, wenxinzhang2025 [at] u.northwestern.edu, jialongli2024 [at] u.northwestern.edu, jhu [at] u.northwestern.edu}  
jy5951 [at] nyu.edu, chenghaoqiu [at] tamu.edu, bwang70 [at] illinoistech.edu  
{yiminw [at] ucla.edu, ericjiang0318 [at] ucla.edu}  
{hanliu [at] northwestern.edu, xinyu.xing [at] northwestern.edu, ychen [at] northwestern.edu}  

###### 摘要  
**内容警告：** 本文包含有害语言示例。  
我们提出了一种无需训练的安全增强方法，用于对齐大型语言模型（LLM），无需监督微调或强化学习人类反馈。核心思想是提供一种鲁棒的即插即用方法，当模型被适配到下游任务时，防止影子对齐。具体而言，我们利用知识蒸馏从已良好对齐的 LLM 中提取对齐信号，并通过模型融合将其注入影子对齐的模型中，实现即插即用的对齐校正。在方法论中，我们采用差分调试来识别有效蒸馏所需的关键知识组件。在有害问题数据集上，我们的方法在 17 个受影响的 LLM 中，平均防御成功率显著提升约 14.42%，最高达到 51.39%，且不牺牲性能。我们的代码位于：https://github.com/NWULIST/DAPA。

### 1 引言  
随着大型语言模型（LLM）在各个应用领域日益普及，它们生成高质量、类人文本的能力已得到充分证实（Guo 等，2025；Grattafiori 等，2024；Yang 等，2024）。然而，关于它们可能生成有害内容的担忧也在增加（Shao 等，2026；Ramesh 等，2025；Chen 等，2025；Yu 等，2025；2024a；Chao 等，2023）。为解决这些问题，已开发出多种方法以增强模型与伦理和安全指南的对齐。例如，Llama-2-Chat（Touvron 等，2023）和 Gemma-it（Team 等，2024）等模型经过了广泛的微调以提升对齐性能。然而，此类方法通常严重依赖于**计算密集型资源**和**人工红队测试**，因此成本高昂且耗时（Qi 等，2025；Hu 等，2024d；OpenAI，2024）。因此，随着 LLM 的快速发展，许多第三方开发者越来越多地依赖已有的良好对齐基础模型来构建专用系统，用于推理（Guo 等，2025；Agarwal 等，2025）、视觉（Liu 等，2024a；Bai 等，2023b）和语音（Wu 等，2024c；Chu 等，2023）。然而，最近的研究（Hsu 等，2024；Lermen 和 Rogers-Smith，2024；Yang 等，2023）表明，适配方法——例如微调、LoRA 插入或任务特定对齐——可能会无意中侵蚀或覆盖这些基础模型的原始安全对齐，重新引入有害或不一致的行为。我们将这种由下游适配引起的安全对齐退化称为**影子对齐**（Yang 等，2023），它常常迫使开发者执行额外的重新对齐以恢复模型安全性。

为应对这一挑战，我们引入了**解耦对齐以实现鲁棒的即插即用适配**（简称 DAPA），一种**无需训练**的安全增强框架，用于对齐 LLM。我们主要受知识蒸馏（Uppaal 等，2025；Grimes 等，2025；Mansourian 等，2025；Hahn 和 Choi，2019）的启发，其中知识从教师模型传递给学生模型。在能够访问单个**良好对齐**的教师模型的情况下，DAPA 将同一模型族内受**影子对齐影响**的其他 LLM 与伦理指南对齐，无需监督微调（SFT）或强化学习人类反馈（RLHF）。具体而言，通过一系列数值实验（见图 2 和图 7），我们首先揭示两个关键发现：
- **MLP 对齐：** 对齐知识主要存储在前馈网络（FFN）或 MLP 层中。
- **门控对齐：** 在这些 MLP 层内，门控层在决定模型输出是否符合伦理约束方面起着关键作用。

基于这些发现，我们提出利用记忆编辑技术（Meng 等，2022a；2022b）从良好对齐的 LLM 向同一模型族内受影响的对应模型传递对齐知识。特别地，我们首先提出一种基于差分调试的搜索算法，以解决定位负责对齐性能的记忆空间（门控层）的挑战。这使我们能够通过知识蒸馏找到与对齐相关的模块，以便进行记忆编辑。然后我们应用模型融合（见第 3.2 节），将对齐相关的模块从对齐模型转移到目标模型，从而实现低成本但有效的安全改进。

我们在来自三个流行模型族（Llama2、Mistral 和 Gemma）的 17 个 LLM 上，基于多种指标（包括余弦相似度分数、模型困惑度、少样本提示和思维链 CoT）广泛评估了 DAPA。结果显示，经 DAPA 对齐的 LLM 平均防御成功率提升 14.42%，计算开销极小（最多适配 8.11% 的模型参数），且对模型良性功能影响有限——例如，困惑度平均仅增加 1.69，模型推理能力平均下降仅为 2.59%。这些结果表明，DAPA 为增强 LLM 安全性提供了一种及时、鲁棒且经济高效的解决方案，有助于在开放 LLM 生态中实现更高效、更易获得的对齐。

###### 贡献。  
我们的主要贡献总结如下：
- **我们设计了一种新颖的安全增强方法 DAPA**（如图 15 所示），用于重新对齐受影子对齐影响的 LLM。DAPA 利用记忆编辑技术识别负责对齐性能的记忆空间。与先前的对齐策略不同，DAPA **既不需要密集计算也不需要人工干预**，如红队测试或微调（Dai 等，2024）。
- **我们提出了一种潜在空间分析**（第 2 节），揭示了影子对齐机制，并引入了一种基于模型融合的知识编辑方法，在不降低任务性能的情况下提升安全性，并附有详细的理论分析。
- **广泛的实验结果验证了 DAPA 在增强 LLM 安全对齐方面的有效性、鲁棒性和高效性。**

图 1：Transformer 架构。  
我们描述了当前最先进的 LLM（如 Llama（Touvron 等，2023）和 Gemma（Team 等，2024））所使用的 Transformer 架构。每个 Transformer 块将注意力机制与 MLP 层（包含 Up、Gate 和 Down 模块）相结合。该图说明了模型隐藏表示从前一状态到下一状态的转换。

图 2：在记忆空间上可视化注意力、MLP 和所有模块。  
我们使用对齐的 Llama-2-7B-chat 模型可视化不道德提示令牌对结果的影响，以识别记忆空间。这包括检查对注意力、MLP 和所有模块的影响。

### 2 记忆编辑  
我们考虑流行的自回归 LLM，其通过根据先前的令牌预测序列中的下一个令牌来生成文本。为了在自回归 LLM 的参数中定位伦理记忆的关联，我们首先分析并识别与该概念相关性最强的隐藏状态。这里，伦理记忆指的是内部表示的子集——具体来说是模型神经元——这些子集存储安全相关信息，使模型能够产生道德对齐且社会负责的输出。将令牌序列表示为 {s1, s2, ..., sT}。在 L 层自回归 LLM 的第 l 层中，令牌 {si} 被嵌入为一系列隐藏状态 {hi(l)}。L 层 LLM 的最终输出 y = decode(hT(L)) 由解码层根据最后一层的隐藏状态生成。自回归 LLM 通常使用 Transformer 作为构建模块（关于 Transformer 的进一步背景，请参考 Vaswani 等（2017））。在图 1 中，我们可视化了一个 Transformer 块的内部计算。Transformer 块的每一层 l（从左到右）添加了来自前一层的自注意力机制 ai(l) 和局部 MLP Mi(l)。每个 MLP 是一个三层神经网络，参数化为 Wup、Wgate 和 Wdown，在流行的 LLM（如 Llama（Touvron 等，2023）、Gemma（Team 等，2024））中，还包含 SwiGLU（Shazeer，2020）或 GELU（Hendrycks 和 Gimpel，2016）激活函数。形式上，Transformer 中令牌 si 的第 i 层隐藏状态计算如下：  
hi(l) = hi(l-1) + ai(l) + Mi(l),  
ai(l) = attn(l)(h1(l-1), ..., hT(l-1)),  
Mi(l) = Wdown(l) σ( Wgate(l) γ(ai(l) + hi(l-1)) ) ⊙ Wup(l) γ(ai(l) + hi(l-1)).

图 3：安全表示的 PCA。  
我们通过应用 PCA 对 Qwen2.5-7B（基础）、Qwen2.5-7B-Instruct 和 Qwen2.5-Math-1.5B-Instruct 的 256 个 AdvBench 样本的最后一个令牌的 logits 进行分析，以可视化安全潜在空间。在两个投影方向上，安全对齐的 instruct 模型与未对齐的基础模型明显分离，而数学 instruct 模型——从 instruct 检查点通过下游微调获得——向不安全区域有适度偏移，揭示了影子对齐效应。

**对齐知识的存储。** 我们首先采用知识编辑风格的因果追踪分析（Meng 等，2022a）来识别对**对齐最敏感**的模型组件。使用 Llama-2-7B-chat 上的不道德提示，我们破坏所有隐藏状态（如图 1 所示），然后每次恢复一个选定的隐藏状态，并测量相对于完全破坏运行下输出概率的变化；我们将这个量称为该隐藏状态的**间接效应**。通过在所有隐藏状态上重复此过程，我们发现中间层的隐藏状态对对齐行为影响最大，其中 MLP 层——尤其是与门控相关的组件——显示出比注意力层更大的间接效应，这与（Meng 等，2022a）一致。这些结果表明，对齐行为最关键的模型组件集中在中间 MLP 层。我们在第 K.11 节提供了额外的可视化。

为了更好地理解 MLP 层中每个模块对对知识的贡献，我们定制了知识编辑技术（Meng 等，2022a）来可视化门控、上投影和下投影的间接效应，如附录 C 所示。

**安全向量提取与表示。** 图 3 通过应用 PCA 对 AdvBench 中 256 个有害提示的**最后一个令牌的 logits** 进行了可视化，展示了**安全潜在空间**。与基础模型相比，instruct 对齐的检查点在该空间中占据了一个明显分离的区域，表明安全对齐对有害输入的表示产生了系统性偏移。相比之下，下游的数学 instruct 模型尽管是从 instruct 模型初始化的，却表现出朝向不安全基础模型区域的显著漂移。这表明下游微调部分削弱了对齐过程中获得的安全相关表示偏移。因此，需要有效的方法来实时纠正这种偏移。