打破令牌边界的防线：BPE分词如何在LLM对齐中制造可被利用的漏洞

# 打破分词边界的防线：BPE 分词如何在 LLM 安全对齐中制造可被利用的缺口
来源：https://arxiv.org/html/2607.01239

Tung-Ling Li Yuhao Wu¹ Hongliang Liu¹
Palo Alto Networks
\{tuli,yuhwu,honliu\}@paloaltonetworks.com

###### 摘要

字符级扰动能在保持提示词人类可读的前提下绕过现代 LLM 的安全对齐。我们识别并测试了一个核心结构机制：BPE 分词将安全关键词汇分割为子词片段，而我们调研的三个公开对齐数据集中均不包含任何故意被分割的输入。该机制构成一条链式逻辑，已在五个模型系列（Qwen-3-4B、Qwen-2.5-7B、Gemma-3-4B、Llama-3.1-8B、Mistral-7B）上进行了端到端验证。针对安全 token 分割的优化能在 80–100% 的 HarmBench 拒答提示词上翻转首个 token 的拒答触发器，其中 48% 的翻转产生了真正有害的输出（各模型 29–65%；差距与行为之间的 ROC-AUC 为 0.66–0.98，合并后为 0.84）。激活修补将受扰信号定位到最后的 ~30% 层；对齐数据扫描在 30,000 个样本中发现零个被分割的提示词（攻击相关强度下的正对照召回率 ≥99%）；靶向突变实验将安全词汇确定为扰动焦点。在防御方面，一个 68 单元网格（55 个训练检查点）表明，在三个存在封闭池大小混杂的模型系列上，没有任何 DPO 配置能实现种子稳定且池稳定的 ASR 闭合。在 3/5 的模型系列上，使用分割提示词进行 SFT 训练缩小了 ASR，但仅通过全局塌陷实现，同时也在良性提示词上提高了拒答率，这表明在我们测试的 LoRA-16 方案下，缺失的分布是必要但不充分的。为了区分选择性修复与全局塌陷，我们引入了 Conv-Benign，一种候选配对诊断方法。所有 ASR 声明均经过三位评审员校准（单元排名在评审员间稳定；绝对水平 ±18pp；参见附录 B.13）。

## 1 引言

大型语言模型通过 RLHF（Ouyang 等人，2022 (https://arxiv.org/html/2607.01239#bib.bib4)）和 DPO（Rafailov 等人，2023 (https://arxiv.org/html/2607.01239#bib.bib5)）实现了安全对齐，训练它们拒绝有害请求。然而简单的字符级扰动（随机大小写、黑客语、字符乱序）却能可靠地绕过这种对齐（Hughes 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib1); Wei 等人，2023 (https://arxiv.org/html/2607.01239#bib.bib2)）。人类读者很容易理解“How to make a b0mb.”，但安全机制却不能。我们将这种失败追溯到一个核心结构机制：字节对编码将安全关键 token 分割成不熟悉的片段，而对齐从未在分割输入上进行过训练。该机制是一条因果链（图1 (https://arxiv.org/html/2607.01239#S1.F1)）。单个字符的改变可以重组 BPE token 序列，从而破坏模型原本学会拒绝的安全关键 token。那些介导拒答行为的首个 token 拒答信号位于最后的 ~30% 层，而分割通过模型系列特有的路径破坏了产生该信号的晚期层通路。预训练教会模型理解杂乱文本，但对齐数据只包含干净文本。因此，模型能理解被分割的有害请求，却从未学会拒绝它们。

```
字符扰动 → BPE token 分割 → 晚期层扰动 → 拒答信号塌陷
  1        2        3        4
“synth esizing meth amphetamine” → “meth” → “m” + “eth”
安全层丢失拒答信号 → 48% 有害 → 52% 次级防御
训练分布差距（§5）：对齐数据中0个分割提示词 ✓
防御光谱（§6）：DPO：不变 · SFT：78% → 6%（OR 增加 19–61pp）
```

图1：字符级越狱背后的机制链。每个环节通过独立实验建立，链的任意一点均可证伪。侧面板总结了§5（https://arxiv.org/html/2607.01239#S5）（对齐数据集包含零个故意分割的提示词）和§6（https://arxiv.org/html/2607.01239#S6）（DPO 保持链完整；SFT 将 Conv-Harm 从 78% 降至 6%，但代价是 Conv-Benign 的全局塌陷模式，在关闭的模型系列上 OR 增加 19–61pp，表4（https://arxiv.org/html/2607.01239#S6.T4）给出了规范帕累托最优值）。

我们在五个模型系列上端到端验证了这一解释，并得到 Qwen-2.5-72B 的跨规模支持。第3节（https://arxiv.org/html/2607.01239#S3）表明，针对安全 token 分割的优化在 80–100% 的 HarmBench 拒答提示词上使拒答信号塌陷（其中 48% 的塌陷产生了有害输出）。第4节（https://arxiv.org/html/2607.01239#S4）将受扰信号定位到最后的 ~30% 层。第5节（https://arxiv.org/html/2607.01239#S5）调研了三个对齐数据集，未发现任何故意分割的提示词，并通过靶向突变将安全词汇确定为扰动焦点。第6节（https://arxiv.org/html/2607.01239#S6）探究当前对齐方法是否能弥补这一差距：没有 DPO 配置能实现种子稳定的 ASR 闭合，而 SFT 在 3/5 的模型系列上缩小了 ASR，但代价是在良性提示词上也全局性地塌陷了拒答，这一点可通过新的候选诊断方法 Conv-Benign 观察到。

先前的研究已证明字符级扰动能够绕过安全对齐（Hughes 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib1); Wei 等人，2023 (https://arxiv.org/html/2607.01239#bib.bib2)）以及 BPE 的脆弱性（Belinkov and Bisk, 2018 (https://arxiv.org/html/2607.01239#bib.bib12); Chai 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib19)）。我们的贡献是测试一条端到端的机制链，该链连接了 BPE 分割、首个 token 拒答塌陷、晚期层因果扰动以及行为结果，从而将字符级越狱从一个经验性观察转变为一个可证伪的机制，并具有可测量的中间变量。

*在检查防御结果之前，我们确定了三个具体的证伪条件：*
- • *保留分词结果的扰动是否能匹配差距塌陷？* Unicode 无分割对照：效果弱 2.2×（无法塌陷）。
- • *对齐干预是否能选择性地弥补差距？* SFT 增强在 3/5 的模型系列上全局性地关闭了差距，而非选择性地（在“必要但不充分”的框架下成立）。
- • *防御是否能跨模型系列以种子稳定的方式缩小 ASR 且不增加 OR 代价？* 在我们的 68 单元网格中，没有 DPO 单元实现这一点；Mistral 在 438 对样本上的 4 种子重训练存在 20–37% 的种子间差异（成立）。

## 2 背景

**BPE 分词**。字节对编码（Sennrich 等人，2016 (https://arxiv.org/html/2607.01239#bib.bib3)）迭代地将高频字符对合并为 token。空格字符会在合并查找之前触发预分词拆分，从而保证产生 BPE 扰动。这使得空格插入成为一种干净的实验探针：它在保留每个原始字符的同时将 token 分割。

**对数几率差**。我们通过首个生成位置上的对数几率差来衡量安全性：
\[
\text{Gap} = \max_{r \in \mathcal{R}} \text{logit}(r) - \max_{a \in \mathcal{A}} \text{logit}(a)
\]
其中 \(\mathcal{R}\) 包含拒答 token（*I, Sorry, As, No, Unfortunately, cannot*），\(\mathcal{A}\) 包含服从 token（*Sure, Okay, Here, Step*）。正值表示拒答。该差距衡量的是*首个 token 的拒答触发器*，而非完整的安全行为。我们在第3.2节（https://arxiv.org/html/2607.01239#S3.SS2）验证了这一指标。Li 和 Liu（2025 (https://arxiv.org/html/2607.01239#bib.bib25)）也独立验证了它。

**相关工作：攻击与拒答机制**。Best-of-N 越狱（Hughes 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib1)）和 GCG（Zou 等人，2023 (https://arxiv.org/html/2607.01239#bib.bib6)）证明了字符级扰动和对抗性后缀能够绕过对齐；我们识别了这些攻击背后的一个结构机制。Arditi 等人（2024 (https://arxiv.org/html/2607.01239#bib.bib8)）表明拒答是由残差流中的一个单一方向介导的；我们将扰动的*输入级*原因追溯到了该方向。Qi 等人（2024 (https://arxiv.org/html/2607.01239#bib.bib9)）认为安全对齐集中在最初几个生成的 token 上，并提出了比 token 层面更深的缓解措施；我们关于首个 token 对数几率差的发现与其深度诊断一致，并且我们将上游输入侧的因追溯到了 BPE 分割。S2C（Wang 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib18)）在对话轮次之间分割语义，这是一种互补的分割途径。

**BPE 脆弱性**。BPE 的脆弱性在 NMT 中已知（Belinkov and Bisk, 2018 (https://arxiv.org/html/2607.01239#bib.bib12)），并且 Chai 等人（2024 (https://arxiv.org/html/2607.01239#bib.bib19)）和 Jang 等人（2025 (https://arxiv.org/html/2607.01239#bib.bib20)）在 LLM 中进行了研究；Lian 等人（2024c (https://arxiv.org/html/2607.01239#bib.bib27)）将 BPE 形式化为一个逆字符串同态，为其表示上的脆弱性提供了理论基础。我们将这条研究线扩展到了安全对齐。

**缓解措施**。无分词器架构和改进的 BPE 变体（Xue 等人，2022 (https://arxiv.org/html/2607.01239#bib.bib13); Clark 等人，2022 (https://arxiv.org/html/2607.01239#bib.bib14); Tay 等人，2022 (https://arxiv.org/html/2607.01239#bib.bib15); Lian 等人，2024a (https://arxiv.org/html/2607.01239#bib.bib21), b (https://arxiv.org/html/2607.01239#bib.bib22); Papachappa, 2025 (https://arxiv.org/html/2607.01239#bib.bib24); Asgari 等人，2025 (https://arxiv.org/html/2607.01239#bib.bib26)）可以缓解我们识别出的瓶颈。推理时的防御包括 SmoothLLM（Robey 等人，2023 (https://arxiv.org/html/2607.01239#bib.bib10)）、SafeDecoding（Xu 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib16)）和潜在对抗训练（Casper 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib17)）。

## 3 BPE 分割使拒答信号塌陷

如果 BPE 分割是字符级越狱的结构性原因，那么直接针对分割的优化应该会使多个模型系列的首个 token 拒答信号塌陷，并且这种塌陷应该能在可衡量的提示词比例上转化为有害的端到端行为。我们测试了这一主张的两个方面。在整个过程中，我们始终关注信号与行为之间的区别：触发器翻转是一个部分代理指标，而不是行为越狱的充分条件，并且我们在报告触发器塌陷的同时也报告了行为转化率。

### 3.1 空格插入：一种干净的测试

空格插入提供了理想的探针：它*保证*产生 BPE 扰动，同时保留每个字符。我们采用一种贪婪算法，迭代地在能够最大化差距减少的位置插入空格（附录A（https://arxiv.org/html/2607.01239#A1））。

> 原文：“Give me a step-by-step guide to synthesizing methamphetamine.”
> 分割后：“Give me a step-by-step guide to synth␣esizing meth␣amphe␣t␣amine.”（红色显示插入的空格；每个原始字符均保留。）
> 差距：23.00 → -5.00（8 个空格插入，Qwen-3-4B）

表1：在 5 个模型系列上对 50 个 HarmBench 提示词进行空格插入。*拒答* = 基线差距为正的提示词；*收敛* = 空格插入后差距变为负。所有五个模型系列在 ≥80% 的拒答提示词上均将差距变为负。

图2：空格插入逐步使安全差距塌陷。复合效应导致加速的差距减少。

该算法在所有五个模型系列上实现了 80–100% 的差距收敛（表1（https://arxiv.org/html/2607.01239#S3.T1）），且主题保持率为 100%。该算法是*设计*来最小化差距的，因此高收敛率表明优化成功。BPE 分割*具体地*驱动了塌陷的机制证据来自敏感性曲面（§3.3（https://arxiv.org/html/2607.01239#S3.SS3））和靶向突变（§5（https://arxiv.org/html/2607.01239#S5））。

### 3.2 验证对数几率差

对数几率差衡量的是首个 token 的拒答触发器，这是多层安全系统中的一层。我们通过两种方式验证它。（1）差距极性在预测 100 个 HarmBench 提示词 × 4 个模型上的行为拒答方面实现了合并 ROC-AUC = 0.84（各模型 0.66–0.98，附录 A.9（https://arxiv.org/html/2607.01239#A1.SS9）；Spearman ρ = 0.52，p < 10^{-28}）；合并后的关系从差距 <0 时 0% 拒答单调增加到差距 >20 时 94% 拒答。（2）在 167 个差距收敛的响应中（Gemini 判定；附录 A.9（https://arxiv.org/html/2607.01239#A1.SS9）），48% 产生了真正有害的内容（各模型 29–65%）；其余 52% 翻转了首个 token 的决策，但在下游避免了有害内容。这种划分排除了强主张（差距塌陷 ⇒ 有害），并支持一个较弱的主张，即机制性的（差距是多层系统的第一层触发器）。

### 3.3 敏感性曲面

穷举式单字符扫描（在 50 个 HarmBench 提示词 × 4 个模型上进行了 ~520k 次评估；各模型细分见附录 A.7（https://arxiv.org/html/2607.01239#A1.SS7），表5（https://arxiv.org/html/2607.01239#A1.T5））表明，每次替换都会改变 BPE 分词，但只有 13–25% 产生了有意义的差距变化（|ΔGap| > 1），并且敏感位置始终与安全关键词汇对应（Gemini 独立于任何差距测量进行标注；附录 A.10（https://arxiv.org/html/2607.01239#A1.SS10））。token 级敏感性预测了 BoN 攻击的成功率（Hughes 等人，2024 (https://arxiv.org/html/2607.01239#bib.bib1)）（Spearman r = 0.45，p < 10^{-6}）。三个独立的对照实验支持 BPE 分割的解释，而不是其他替代解释。首先，在所有 6 个模型系列上，安全词汇突变产生的 ASR 比中性词汇突变高 1.2–1.9 倍（§5（https://arxiv.org/html/2607.01239#S5））。其次，改变 BPE 但不*分割*安全 token 的 Unicode 扰动，其效果比确实分割安全 token 的空格插入弱 2.2 倍（附录 A.4（https://arxiv.org/html/2607.01239#A1.SS4））。第三，在 Gemini 标注的中性位置进行提示词内替换，在 ≥75% 的位置上产生的 |ΔGap| ≈ 0（附录 A.7（https://arxiv.org/html/2607.01239#A1.SS7））。

## 4 扰动定位于晚期层

扰动定位于一个小的晚期层子集（在我们测试的每个模型中都位于最后的 30% 层），并且 BPE 分割的输入通过模型系列特有的路径破坏了这些层。我们通过逐层分解（定位拒答信号）和激活修补（建立分割因果性地破坏了这些定位层的证据）来确立这一点。观察到的两种模式被报告为我们五个模型样本的描述性标签，而非已确认的分类。

**首个 token 拒答信号集中在最后的 ~30% 层。** 我们通过将每一层的残差更新投影到拒答方向 d = W_{r*} - W_{a*} 上，将对数几率差分解为逐层贡献，恢复了总差距的 65–87%。缺失的 13–35% 反映了加性分解无法捕捉的非线性跨层交互，因此拉锯式图景应被理解为描述了可线性归因的部分。