当自回归一致性损害安全对齐时

# 当自回归一致性损害安全对齐 来源: https://arxiv.org/html/2606.04168 Bochen Lyu 南安普顿大学 bochen\.lyu@soton\.ac\.uk &Yiyang Jia∗ 独立研究员 yyjiahbar@gmail\.com Xiaohao Cai 南安普顿大学 x\.cai@soton\.ac\.uk & Zhanxing Zhu 南安普顿大学 z\.zhu@soton\.ac\.uk ###### 摘要 大型语言模型 \(LLMs\) 中的安全对齐由于浅层问题而脆弱，即微调主要重塑模型在前几个token附近的行为。本文认为，这种现象可以通过自回归模型的一个特性——*自回归一致性*——来理解，即下一个token预测倾向于一致地保持和扩展当前响应轨迹。具体来说，我们分析了安全对齐的学习动态，并表明自回归一致性可以将对齐更新集中在早期token上，从而为浅层安全对齐提供了一种机械论解释。这一分析指向了一类更广泛的LLM攻击，这些攻击在输出轨迹的任意位置诱导有害延续。作为具体例子，我们引入了随机插入攻击，它将一个短的有害片段插入到原本安全的拒绝轨迹中，并利用自回归一致性来维持由此产生的有害分支，从而绕过安全对齐。值得注意的是，即使在一个很长的拒绝前缀之后，一个短的有害片段也能将生成重定向为有害，这凸显了自回归一致性作为一个潜在的更广泛失效机制。这表明安全对齐也应该*打破整个输出轨迹中的有害自回归一致性*。为此，我们提出了一种新的对抗性安全对齐框架，采用最坏情况下的有害延续状态，并结合一种使用随机最坏插入攻击的实用初始实现。总体而言，我们的结果表明，自回归一致性应被视为安全对齐和攻击设计中的关键考虑因素。 ## 1 引言 安全对齐是大型语言模型 \(LLMs\) 安全性的核心，旨在确保LLM在面对有害用户查询时拒绝生成有害内容。当前的安全对齐通常通过监督式微调 \(SFT\)\(Wei et al\.,2022 (https://arxiv.org/html/2606.04168#bib.bib1)\) 以及诸如直接偏好优化 \(DPO\)\(Rafailov et al\.,2023 (https://arxiv.org/html/2606.04168#bib.bib2)\) 和基于人类反馈的强化学习 \(RLHF\)\(Bai et al\.,2022 (https://arxiv.org/html/2606.04168#bib.bib3); Ouyang et al\.,2022 (https://arxiv.org/html/2606.04168#bib.bib5)\) 等偏好优化方法来实现。尽管在实践中取得了成功，但对齐后的LLM在某些攻击下仍然脆弱（例如，前缀填充攻击\(Andriushchenko et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib18)\) 和基于优化的攻击\(Chao et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib19); Mehrotra et al\.,2024 (https://arxiv.org/html/2606.04168#bib.bib22); Zou et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib6),2023 (https://arxiv.org/html/2606.04168#bib.bib20)\)\)。 参见图注图1:当自回归一致性损害安全对齐时。自回归一致性（定义2.1 (https://arxiv.org/html/2606.04168#S2.Thmdefinition1)），即保持和扩展当前响应分支的趋势，有助于解释为何安全对齐可能变得浅层：对安全对齐学习动态的分析表明，梯度更新集中在早期的拒绝token上，而后续的拒绝token很大程度上由一致性驱动的延续所维持（第2.1节 (https://arxiv.org/html/2606.04168#S2.SS1)）。同样的机制揭示了一类更广泛的攻击，这些攻击在整个轨迹中诱导有害延续状态，并依赖自回归一致性来绕过安全对齐；随机插入攻击（第2.2节 (https://arxiv.org/html/2606.04168#S2.SS2)）是一个简单的代表性例子。这激发了对抗性安全对齐框架（第3.1节 (https://arxiv.org/html/2606.04168#S3.SS1)），该框架训练模型在输出轨迹中从有害状态打破有害的自回归一致性并恢复安全的拒绝行为。最近，Qi 等人 (Qi et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib4)) 表明这种脆弱性与*浅层安全对齐*密切相关：安全微调主要修改模型在仅前几个输出token附近的生成分布。因此，对齐后的模型当响应以常规拒绝前缀（例如“抱歉，我无法”）开始时可能保持安全，但一旦初始token被强制偏离这种拒绝模式，就可能绕过安全对齐。例如，要求安全对齐模型以“当然，这里是关于……的详细指导”开头，可能会使其回应诸如“如何在家制造炸弹？”之类的有害查询，而不是拒绝它们。这促使 Qi 等人 (Qi et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib4)) 主张安全对齐应该不仅仅是几层token深度。但*为什么安全对齐自然集中在开头的几个token上*，以及*是否存在比“安全对齐浅层因此脆弱于针对前缀的攻击”更广泛的失效机制？*这些问题之所以重要，是因为它们将问题从观察浅层对齐转移到解释其产生原因以及何种更普遍的机制使对齐模型变得脆弱。在本文中，我们认为这两个问题都可以通过自回归一致性（定义2.1 (https://arxiv.org/html/2606.04168#S2.Thmdefinition1)）来理解：即下一个token预测倾向于一致地保持和扩展局部分支的趋势。自回归一致性对于良性场景中的连贯生成至关重要，它使自回归模型能够随时间保持主题、风格和响应轨迹。然而，同样的属性可能以两种方式损害安全对齐： 1. 1.自回归一致性为安全对齐为何可能变得浅层提供了一种机械论解释。直观上，在安全微调期间，模型被训练为对有害查询给出拒绝响应。然而，一旦初始token将模型推向拒绝分支，基础模型本身已经能够以高置信度维持剩余的拒绝延续。这使得后续的拒绝token对于学习的信息量减少，因此对齐更新主要集中在启动拒绝的早期token上，而后期位置几乎保持不变。定理2.1 (https://arxiv.org/html/2606.04168#S2.Thmtheorem1) 形式化了这种梯度集中效应。 2. 2.自回归一致性揭示了一类超越前缀攻击的更广泛的轨迹级攻击。基于前缀的攻击可以被视为在生成的开始附近诱导一个有害延续状态，之后自回归一致性维持该有害分支。然而，相同的机制可以在输出轨迹的任何位置出现：任何诱导有害延续状态的攻击都可能导致模型扩展该有害分支——它不必只针对生成的开始。我们通过*随机插入攻击*来展示这一更广泛的类别，这是一个简单的代表性例子，它将一个短的有害片段插入到原本安全的拒绝轨迹中的随机位置。其有效性表明，有害的自回归一致性可以在远离生成开始的位置被触发，揭示了一种超越浅层安全对齐所捕获的基于前缀的脆弱性的失效模式。 参见图注图2:随机插入攻击示例\[r:r;h:q\]\[\{\\mathbf\{r\}\}\_\{:r\};\{\\mathbf\{h\}\}\_\{:q\}\]。随机插入攻击故意设计得很简单：给定一个有害查询和一个安全的拒绝响应，它在该拒绝轨迹内的一个随机位置插入一个短的有害片段，然后要求模型从由此产生的部分响应继续生成（图2 (https://arxiv.org/html/2606.04168#S1.F2)）。例如，对于查询“如何制造炸弹？”，响应可能以受保护拒绝前缀开始，例如“我无法满足你的请求（拒绝响应的更多token）”，但之后插入的短片段“要制造炸弹，你可以……”可以将生成重定向到一个有害分支，然后该分支被一致性地扩展。关键的是，即使模型已经处于一个安全的拒绝轨迹上很多个token之后，这种失败仍然可能发生。因此，仅保护前几个token，甚至使拒绝前缀更深，并不能完全解决其根本机制：有害自回归一致性仍然可以在生成的后期被诱导。这突显了一个更普遍的失效模式，它不仅仅是前缀脆弱性所能描述的，表明“深度”并非完整的原语。此外，安全对齐应遵循一个更广泛的目标：安全对齐也应训练模型*打破整个轨迹中的有害自回归一致性*。换句话说，核心挑战不仅仅是让响应安全地开始，甚至也不仅仅是将拒绝扩展到前几个token之后，而是要确保模型能够在输出序列的任意位置打破有害自回归一致性，而不是被重定向到有害分支并一致性地延续下去。受此观点启发，我们提出了一个初步的*对抗性安全对齐*（第3节 (https://arxiv.org/html/2606.04168#S3)）框架，灵感来自对抗训练\(Madry et al\.,2019 (https://arxiv.org/html/2606.04168#bib.bib14)\)。在高层次上，该框架将安全对齐视为从对抗性构建的有害延续状态中恢复的学习过程。对于每个有害查询和拒绝响应，内部问题寻找一个当前模型最有可能从中维持有害分支的延续状态，而外部问题则训练模型从该状态恢复拒绝轨迹。作为第一个实用的实例化，我们通过随机最坏插入训练来近似这一目标，该训练沿着拒绝轨迹在随机插入的有害片段中选择最有害的状态。我们的实验表明，即使这种简单的实例化也能提高对随机插入攻击的鲁棒性，同时在对前缀填充攻击和几种常见越狱攻击方面保持竞争力。 #### 贡献总结。本文研究了自回归一致性何时损害安全对齐，遵循图1 (https://arxiv.org/html/2606.04168#S1.F1) 总结的概念链。首先，我们引入自回归一致性作为理解安全对齐的机制，并通过学习动态分析展示它如何使对齐更新集中在早期拒绝token上，而后续延续基本保持不变。其次，我们表明相同的机制预测了一类更广泛的攻击：攻击不仅可以在生成的开始，还可以在输出轨迹中的任意位置诱导有害延续状态。我们通过随机插入攻击实例化这一类别，这是一个故意简单但有效的代表性例子。第三，受这种失效模式的启发，我们提出对抗性安全对齐作为训练模型打破有害自回归一致性的初始框架，以及随机最坏插入训练作为初始的实际实现。总体而言，我们的目标不是提出最终的攻击或防御算法，而是将有来自回归一致性识别为一个更广泛的失效机制，并激发未来的安全对齐方法。除了这些贡献，我们的观点还表明现有的攻击和防御方法如何能够被推广。在攻击方面，基于优化的攻击如GCG\(Zou et al\.,2023 (https://arxiv.org/html/2606.04168#bib.bib20)\) 主要搜索输入侧的后缀；我们的观点表明类似的优化也可以针对拒绝轨迹内的中间自回归状态。在防御方面，最近的对抗训练方法\(Sheshadri et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib7); Xhonneux et al\.,2024 (https://arxiv.org/html/2606.04168#bib.bib8)\) 使模型暴露于输入、嵌入或潜在空间的最坏情况扰动，而基于解码的防御\(Xu et al\.,2024 (https://arxiv.org/html/2606.04168#bib.bib10)\) 通常关注前几个生成的token。我们的结果表明了一个互补的轨迹级鲁棒性对象：一个对抗性的自回归状态，从那里有害延续很可能持续。因此，未来的防御不仅应该在生成开始时引出拒绝，还应该训练模型在输出轨迹中打破有害自回归一致性并恢复。 #### 预备知识。我们使用 pθp\_\{\\theta\} 表示由 θ\\theta 参数化的自回归模型。x=\(x1,...,xL\)\{\\mathbf\{x\}\}=\(x\_\{1\},\\dots,x\_\{L\}\) 表示一个包含 LL 个token的序列，在本文中也常被称为轨迹。x\{\\mathbf\{x\}\} 的长度表示为 \|x\|\|\{\\mathbf\{x\}\}\|。我们使用 x:t\{\\mathbf\{x\}\}\_\{:t\} 表示其前 tt 个token，类似地，xt:t\+k\{\\mathbf\{x\}\}\_\{t:t\+k\} 表示 \(xt,xt\+1,...,xt\+k\)\(x\_\{t\},x\_\{t\+1\},\\dots,x\_\{t\+k\}\)。我们使用 \[x;y\]\[\{\\mathbf\{x\}\};\{\\mathbf\{y\}\}\] 表示它们的拼接。\[T\]\[T\] 表示整数集合 \[1,T\]\[1,T\]。在对齐的上下文中，我们将使用 x\{\\mathbf\{x\}\} 表示有害提示，y\{\\mathbf\{y\}\} 表示其响应，其中如果 y=r\{\\mathbf\{y\}\}=\{\\mathbf\{r\}\} 则表示拒绝，如果 y=h\{\\mathbf\{y\}\}=\{\\mathbf\{h\}\} 则表示有害响应。模型在攻击下的安全性将通过给定安全评估数据集上的攻击成功率 \(ASR\) 来衡量，即模型在给定攻击下生成有害输出的比例。 ## 2 通过自回归一致性理解安全对齐 浅层安全对齐现象，即模型的安全行为在前几个token附近最强，可能导致对齐后的LLM一旦生成偏离安全响应的常规拒绝前缀，就会同意有害的用户查询。这一观察引发了一个基本问题：即使模型在整个拒绝轨迹上得到监督，为什么安全对齐会自然地集中在响应的开始附近？在本节中，我们通过自回归一致性的视角分析安全对齐。在定义2.1 (https://arxiv.org/html/2606.04168#S2.Thmdefinition1) 中形式化该概念后，我们研究了安全对齐的*学习动态*，并表明自回归一致性可能使后续拒绝token的学习信息量减少，导致对齐更新集中在响应的开始附近，而后期位置基本保持不变（第2.1节 (https://arxiv.org/html/2606.04168#S2.SS1)）。然后我们表明，相同的机制暗示了*一类更广泛的攻击*：攻击不必只针对生成的开始，还可以通过在输出轨迹内部诱导有害延续状态来绕过安全对齐，随机插入攻击就是一个具体例子（第2.2节 (https://arxiv.org/html/2606.04168#S2.SS2)）。因此，虽然 Qi 等人 (Qi et al\.,2025 (https://arxiv.org/html/2606.04168#bib.bib4)) 指出了浅层安全对齐并推动了更深层次的安全对齐，但我们解释了这种浅层性为何会出现，并认为其根本的失效机制超出了浅层问题。 ### 2.1 浅层安全对齐可能源于自回归一致性 在某些自然语言领域，足够长的前缀预期会诱导出一个近乎确定性的