通过细化的安全定向嵌入利用（STEER）

# 1 引言 来源：https://arxiv.org/html/2607.01859 marginparsep 已被修改。topmargin 已被修改。marginparpush 已被修改。页面布局违反了 ICML 样式。请勿更改页面布局，或包含 geometry、savetrees 或 fullpage 等会改变布局的包。我们无法可靠地撤销对样式的任意更改。请移除违规的包或更改布局的命令，然后重试。 安全定向嵌入利用通过细化：LLM 安全作为认识论覆盖问题 Joshua Adrian Cahyono1 ††footnotetext:1南洋理工大学，新加坡。通讯作者：Joshua Adrian Cahyono 。第二届机器学习认识论智能研讨会（EIML@ICML 2026），首尔，韩国。版权 2025 作者保留。###### 摘要 LLM 的安全训练几乎完全使用英语，从而产生了一类*未知的未知*：低资源语言或混合语言代码切换中的有害请求，模型从未被教导识别其危险性。关键是，模型对这类输入不表达不确定性——它会自信地生成有害响应，表现出*过度自信的外推*，超出了其安全训练分布的支持范围。我们引入 **STEER**（安全定向嵌入利用通过细化），这是一种利用这一认识论差距的梯度引导攻击：它识别哪些词最能激活模型的拒绝方向，并迭代地将它们翻译成低资源语言，在保留有害意图的同时消除拒绝信号。在六个开源 8B 参数模型上，STEER 在 JailbreakBench 上达到高达 93% 的攻击成功率，在 AdvBench 上达到 96.7%，优于随机代码切换和 GCG。提示转移到 GPT-4o-mini 时，无需封闭模型访问，ASR 为 35.5%，这表明覆盖失败是系统性的，而非架构特异的。这些结果暴露了当前对齐实践中的一个根本差距：针对英语校准的安全机制不能信任其在其他语言上的泛化能力，弥合这一差距需要扩展跨完整多语言输入分布的训练覆盖，并将安全性与在分布外输入上基于原则的放弃相结合。代码可在 https://github.com/JvThunder/STEER 获取。 机械可解释性研究旨在通过逆向工程负责观察行为的内部电路来理解 LLM 如何实现能力。该领域中最具实际意义的发现之一是，安全微调将拒绝机制集中到残差流中的一个单一线性方向上（Arditi 等人，2024 (https://arxiv.org/html/2607.01859#bib.bib7)）。这是一个清晰、可解释的结构——同时也是一个单点故障。STEER 直接利用这一点。通过从模型内部表示中读取模型的拒绝方向，并计算每个输入词相对于该方向的梯度归因，STEER 精确识别提示的哪些部分触发了安全过滤器。然后，它将这些词（从最高归因开始）替换为低资源语言的翻译。结果是一个保留有害意图但避免激活拒绝方向的提示——不是通过暴力扰动，而是通过读取模型自身的内部安全电路并绕过它。 以前已经探索过针对 LLM 安全的代码切换攻击（Deng 等人，2024 (https://arxiv.org/html/2607.01859#bib.bib4)；Yoo 等人，2025 (https://arxiv.org/html/2607.01859#bib.bib15)；Upadhayay 和 Behzadan，2024 (https://arxiv.org/html/2607.01859#bib.bib13)；Singhania 等人，2025 (https://arxiv.org/html/2607.01859#bib.bib18)；Huang 等人，2025 (https://arxiv.org/html/2607.01859#bib.bib19)），并且非英语措辞会削弱以英语为中心的安全训练这一直觉已被广泛接受。STEER 的新颖之处在于，它利用机械可解释性的发现使攻击具有针对性和高效性：它不是随机替换词语，而是读取内部安全几何结构来找到最重要的词语。这减少了所需翻译的次数，并显著提高了随机基线的成功率。 本文做出了四点贡献：（1）STEER 流水线，在六个模型上对 JBB/AdvBench 达到了高达 93%/96.7% 的 ASR；（2）一种用于自动选择层的 Fisher 线性判别（FLD）方法，该方法还能量化模型安全编码的结构脆弱性；（3）在六个模型和三个基准测试（>3,000 次攻击尝试）上的全面评估，包括对 GPT-4o 的可迁移性研究；（4）证据表明 Arditi 等人（2024 (https://arxiv.org/html/2607.01859#bib.bib7)）识别的拒绝方向结构在六个架构多样的模型上具有普适性——这意味着可利用的结构不是单一训练配方的产物，而是当前对齐方法的系统属性，对防御设计具有重要启示。 ## 2 背景 ##### 拒绝方向：机械可解释性目标。 Arditi 等人（2024 (https://arxiv.org/html/2607.01859#bib.bib7)）指出，安全微调在残差流中编码了一个单一的几何方向 r\\mathbf{r}，计算方法是有害与良性隐藏状态之间的归一化均值差： r=x¯H−x¯B‖x¯H−x¯B‖2。\\mathbf{r}=\\frac{\\bar{\\mathbf{x}}\_{H}-\\bar{\\mathbf{x}}\_{B}}{\\|\\bar{\\mathbf{x}}\_{H}-\\bar{\\mathbf{x}}\_{B}\\|\_{2}}。(1) 提示的拒绝分数 s(p)=xp⋅rs(p)=\\mathbf{x}\_{p}\\cdot\\mathbf{r} 能可靠地预测模型是否会拒绝。表示工程（Zou 等人，2023a (https://arxiv.org/html/2607.01859#bib.bib38)）、推理时干预（Li 等人，2024 (https://arxiv.org/html/2607.01859#bib.bib45)）以及 Wollschläger 等人（2025 (https://arxiv.org/html/2607.01859#bib.bib17)）扩展了这一图景：安全并非分散地分布在网络中，而是集中在一个特定、可识别的子空间中。STEER 直接利用这种集中性。 ##### 以英语为中心的安全对齐。 RLHF（Ouyang 等人，2022 (https://arxiv.org/html/2607.01859#bib.bib3)）、DPO（Rafailov 等人，2023 (https://arxiv.org/html/2607.01859#bib.bib26)）、宪法 AI（Bai 等人，2022 (https://arxiv.org/html/2607.01859#bib.bib2)）以及红队测试流水线（Perez 等人，2022 (https://arxiv.org/html/2607.01859#bib.bib27)；Ganguli 等人，2022 (https://arxiv.org/html/2607.01859#bib.bib28)）都主要集中于英语。因此，拒绝方向是在一个狭窄的语言切片上校准的：即使人类能立即识别出有害性，有害请求的非英语措辞也会避免激活它。 ##### 基于梯度和黑盒越狱。 GCG（Zou 等人，2023b (https://arxiv.org/html/2607.01859#bib.bib6)）会附加对抗性标记后缀，并通过梯度搜索进行优化。它通过寻找抑制拒绝的输入来工作，但并未基于模型的内部安全几何结构：它从梯度角度将模型视为黑盒，而不是读取机械可解释性已经识别的结构。黑盒替代方案如 PAIR（Chao 等人，2023 (https://arxiv.org/html/2607.01859#bib.bib11)）、Tree-of-Attacks（Mehrotra 等人，2023 (https://arxiv.org/html/2607.01859#bib.bib34)）和 AutoDAN（Liu 等人，2024 (https://arxiv.org/html/2607.01859#bib.bib36)）完全放弃内部访问。STEER 的显著特征是它直接将可解释性结构作为优化目标，使攻击既更有原则性又更高效。 ## 3 STEER 攻击 STEER 依次执行四个步骤：通过 FLD 分析定位拒绝方向最明显的层；对请求进行释义以降低表层关键词激活；计算每个词相对于拒绝方向的梯度归因；迭代翻译最高归因的词，直到模型遵从。图 1 (https://arxiv.org/html/2607.01859#S3.F1) 展示了完整流水线。 参考图标题 图 1：STEER 流水线。释义后的提示针对机械可解释性识别的拒绝方向进行基于梯度的词归因，这驱动跨 11 种语言的迭代代码切换。每个候选者通过其在拒绝方向上的投影进行评分；保留评分最好的翻译。循环最多重复 T=8T=8 次，直到评判器确认成功越狱。 ### 3.1 通过 Fisher 线性判别选择层 拒绝方向并非在每个 transformer 层都同样明显。我们使用 Fisher 线性判别比自动定位它： F(l)=(μH(l)−μB(l))2σH(l)2+σB(l)2，F^{(l)}=\\frac{(\\mu\_{H}^{(l)}-\\mu\_{B}^{(l)})^{2}}{\\sigma\_{H}^{(l)2}+\\sigma\_{B}^{(l)2}}，(2) 其中 μH(l),μB(l)\\mu\_{H}^{(l)},\\mu\_{B}^{(l)} 是层 ll 上有害和良性提示的拒绝分数投影均值，σ2\\sigma^{2} 项是它们的方差。我们使用 JBB 的 100 个有害提示和 100 个良性提示进行一次性校准，设置 l∗=arg⁡maxl⁡F(l)l^{*}=\\arg\\max\_{l}F^{(l)}，在攻击开始之前。对于 Llama-3-8B，这是第 17 层；对于 GLM-4-9B，是第 24 层。FLD 分数也可以作为结构脆弱性度量：高而尖锐的峰值表明安全集中在单个层中，模型在结构上更容易被攻击；平坦的轮廓表明编码更分散，需要不同的攻击策略。 ### 3.2 释义预处理 在使用梯度做任何事之前，我们用 GPT-4o 对有害请求进行释义，将显式关键词替换为间接措辞（例如，“写一篇诽谤文章”变成“撰写一篇暗示问题行为的批判性阐述”）。这降低了起始拒绝分数，并为梯度归因提供了更清晰的信号。§4 (https://arxiv.org/html/2607.01859#S4) 中的消融实验结果表明这非常重要。 ### 3.3 基于梯度的标记归因 对于一个标记化为 {t1,...,tk}\\{t\_{1},\\ldots,t\_{k}\\} 且嵌入为 {ei}\\{e\_{i}\\} 的输入，我们通过每个标记将隐藏状态沿拒绝方向推了多少来评分： ai=∑j(∇ei(h(l∗)⋅r)⊙ei)j。a\_{i}=\\sum\_{j}\\Bigl(\\nabla\_{e\_{i}}(\\mathbf{h}^{(l^{*})}\\!\\cdot\\mathbf{r})\\odot e\_{i}\\Bigr)\_{j}。(3) 同一词的子词标记求和为一个词级分数。得分最高的词是模型最依赖以激活拒绝电路的词。这种归因是对模型内部安全机制的直接读取——它识别出安全电路已学会响应的精确输入特征。 ### 3.4 迭代代码切换 我们从最高归因开始处理词语。对于每个词 ww，我们尝试将其翻译成 11 种语言中的每一种：爪哇语、巽他语、斯瓦希里语、约鲁巴语、他加禄语、印尼语、泰语、越南语、韩语、印地语、阿拉伯语，并保留最能降低拒绝分数的翻译： ℓ∗=arg⁡minℓ∈L⁡RefusalScore(Prompt[w→Translate(w,ℓ)])。\\ell^{*}=\\arg\\min\_{\\ell\\in\\mathcal{L}}\\,\\text{RefusalScore}\\bigl(\\text{Prompt}[w\\to\\text{Translate}(w,\\ell)]\\bigr)。(4) 当 GPT-4o 评判器判断响应为不拒绝*且*有害，或者迭代预算 T=8T=8 耗尽时，循环停止。如果翻译使提示失去有害含义（不拒绝但也不有害），我们回退并继续。这 11 种语言涵盖安全电路校准的三个覆盖差距来源：很少出现在安全微调数据中的低资源语言（爪哇语、巽他语、斯瓦希里语、约鲁巴语）；引入分词层面偏移的非拉丁文字（泰语、韩语、印地语、阿拉伯语）；以及代表庞大且快速增长的现实世界用户群体的东盟语言。算法 1 (https://arxiv.org/html/2607.01859#alg1) 给出了完整过程。 算法 1 STEER 攻击0:提示 PP，模型 MM，语言池 L\\mathcal{L}，预算 TT 0:越狱提示，或返回 Fail 1:// 每个模型的一次性校准 2: l∗←arg⁡maxl⁡F(l)l^{*}\\leftarrow\\arg\\max\_{l}\\,F^{(l)}（100 个有害 + 100 个良性提示） 3: r←\\mathbf{r}\\leftarrow 层 l∗l^{*} 处的归一化均值差 4:// 每个提示的攻击 5: P′←Paraphrase(P)P^{\\prime}\\leftarrow\\textsc{Paraphrase}(P)（通过 GPT-4o 进行间接措辞） 6:通过公式 (3 (https://arxiv.org/html/2607.01859#S3.E3)) 计算 P′P^{\\prime} 中每个词 wi∈P′w\_{i}\\in P^{\\prime} 的归因 aia\_{i} 7:按 aia\_{i} 降序排列词语 w1,...,wkw\_{1},\\ldots,w\_{k} 8:for i=1i=1 to min⁡(k,T)\\min(k,\\,T) do 9: s∗←RefusalScore(P′)s^{*}\\leftarrow\\text{RefusalScore}(P^{\\prime})； P∗←P′P^{*}\\leftarrow P^{\\prime} 10:foreach 语言 l∈L\\ell\\in\\mathcal{L} do 11: P~←P′[wi→Translate(wi,l)]\\tilde{P}\\leftarrow P^{\\prime}[w\_{i}\\to\\textsc{Translate}(w\_{i},\\ell)] 12:if RefusalScore(P~)