潜在暗涌：普通拼写错误如何击溃探测器

# 潜在暗流：普通拼写错误如何击穿探测器
来源：https://arxiv.org/html/2609.15994
###### 摘要
大语言模型能够流畅处理常见的拼写变体：一个打字错误或标点遗漏不会实质性改变用户意图或模型的响应。然而，通过读取模型隐藏状态来检测恶意提示的探测器却呈现出不同的景象：在被扰动的词符处，同样的编辑会使读取向量旋转43°–56°，并在约10个下游词符内衰减到15%以下。每条消息叠加约3个常见拼写错误，会将单点提示注入探测器在FPR=1%时的TPR降低12.0个百分点，这一差距仅靠重新校准阈值无法弥补。多点聚合能治愈局部扰动（损失≤0.5个百分点），但只能缓解分布式扰动，即便是基于注意力或最大值的聚合器，在后者情况下仍会下降约3.8个百分点。针对单点探测器，我们引入了一种KV缓存分叉方法：在用户消息后附加一个简短的固定后缀，使探测器能够读取扰动位置下游的少量词符，利用其快速的空间衰减特性。这解决了95%的性能差距（残留误差仅为-0.6个百分点）——比扰动增强训练（-3.7个百分点）的效果好一个数量级。这种旋转与衰减的几何特性在Llama-3.1-8B、Qwen3-8B和Gemma-4-E4B模型上均可复现；探测器评估在Llama-3.1-8B上进行。代码：https://github.com/eladd-ai/latent-undertow。
机械可解释性、激活探测器、大语言模型安全、鲁棒性、提示注入、Zenity

## 1 引言
基于激活的探测器已成为在推理时监控LLM行为的实用工具。在隐藏状态激活值上训练的线性探测器可以恢复模型内部与任务相关的属性（Alain and Bengio, 2017），检测不安全的用户意图（Zou et al., 2025），并标记提示注入尝试（Abdelnabi et al., 2025）。然而，生产部署要求在用户实际发送的多样化、不完美的文本下保持可靠性：超过40%的真实用户对LLM系统的输入包含拼写错误或语法噪音（Wang et al., 2024）。这种错配是结构性的。激活扰动是剧烈但局部的：在被扰动的词符处发生大角度旋转，并在少数几个下游位置内衰减（§5.2，图2）。正是这种打破单点探测器的几何特性——在单个词符上的孤立爆发——使得故障可修复：放置在扰动位置下游几个词符处的读取器，读取到的已经是稳定的激活值。我们称之为*潜在暗流*：在流畅的表面行为下，短暂、局部的内部活动。我们做出三项贡献：
1. 我们表征了激活偏移的空间结构：在被扰动的词符处发生大幅局部旋转，并在下游快速衰减。
2. 作为压力测试，叠加常见拼写错误使单点探测器在FPR=1%时的TPR降低12.0个百分点，且无法仅通过阈值重新校准恢复。
3. 我们从两个轴线评估补救措施。多点聚合能治愈局部扰动（损失≤0.5个百分点），但仅能缓解分布式扰动，其中基于注意力和最大值的聚合器在后者情况下仍会下降约3.8个百分点（§6.2）。对于单点探测器，一种KV缓存分叉的探测器后缀将读取位置重新定位到扰动下游，解决了95%的差距（-0.6个百分点的残留误差）——比扰动增强训练（-3.7个百分点）的效果好一个数量级（§7）。

## 2 背景与相关工作
#### 基于激活的探测。长期以来，对中间表示进行线性探测一直用于从深度网络表示中恢复与任务相关的属性（Alain and Bengio, 2017）；应用于LLM时，在*最后一个词符位置*的隐藏状态上训练的探测器可以检测潜在模型状态（Azaria and Mitchell, 2023; Marks and Tegmark, 2024）和不安全行为（Zou et al., 2025）。生产部署采用相同的单点方法来检测提示注入攻击（Abdelnabi et al., 2025; Zou et al., 2026）和其他安全违规行为。Kramár et al.（2026）将其扩展到用于生产Gemini探测器的多点聚合架构，建立在基于池化（最大池、注意力池）对Transformer分类中词符序列进行扩展的更长谱系之上（Behrendt et al., 2025）；我们采用他们的分类法作为评估框架（§6.2）。
#### 输出级鲁棒性。LLM输出对提示的表层变体（如释义、格式和模板选择）敏感（Salinas and Morstatter, 2024; Sclar et al., 2024; Mizrahi et al., 2024），包括特定于拼写的扰动（Gan et al., 2024）。输出敏感性意味着激活值也会发生偏移。然而，在非对抗性拼写噪音下，LLM对用户意图的理解基本得以保持（Aliakbarzadeh et al., 2024; Zhao et al., 2026）（§3.3）。这就提出了我们要研究的问题：当表层变体扰动了激活值，但未改变模型对意图的理解时，基于激活的探测器实际读出了什么？
#### 探测器的鲁棒性。表层输入变体是否影响探测器所读取的内部表示，这方面受到的关注少于输出级敏感性。最相关的先前工作（Yu et al., 2026）对GPT-4o-mini选定的AdvBench有害关键词施加了*定向*字符级扰动，并报告在四个开源模型（Llama-3-8B, Mistral-7B, Vicuna-7B/13B）上诊断探测器的准确率从约95%下降到约80%。我们将这一研究路线扩展到*普通的、非定向的拼写变体*，不涉及对抗意图。
#### 用户提示后工程防御。三明治防御通过在用户输入后附加验证/提醒文本来抵抗*行为*流水线中的提示注入（Liu et al., 2024）。我们表明，类似的用户后置机制可以在*激活*流水线中稀释扰动信号，同时保持探测器的判别力，并通过KV缓存分叉加以利用，构建一条用户透明且鲁棒的探测器路径。

## 3 框架
### 3.1 定义
我们研究*表层扰动*：保留用户意图且（通常）LLM响应不变的字符级编辑。整个探测目标是二值化用户意图：恶意（提示注入或不安全请求）与良性。如果人类读者将被扰动和干净的输入解读为表达相同的用户意图，则该扰动是*意图保持*的；如果LLM的响应保持不变，则是*行为保持*的。探测器针对意图，因此意图保持性是我们关于脆弱性主张所需的准则。我们研究的扰动在设计上就是意图保持的；在重度扰动下不保证行为保持（§3.3给出了一个例子）。我们进一步根据空间结构区分两种扰动制度：*局部*（集中在读取位置附近）和*分布式*（分散在输入中）。

### 3.2 扰动分类
我们研究以下表层扰动家族，单独或组合使用：
- • 相邻键打错字：在最后一个词或消息中分散的词上使用QWERTY邻近键替换。
- • 标点符号：切换尾随句号；问号→句号。
- • 大小写：过早按Shift（字母在标点前大写）；首字母小写。
- • 省略：标点后缺少空格。
- • 叠加拼写组合：上述基本操作的局部压力测试组合，平均每个样本编辑3.3个字符（定义见§6）。
前四类是单一基本操作；叠加拼写组合是§6中引入的局部压力测试。对于分布式制度，我们使用*每隔一个词的相邻键打字错误*（约50%的内容词符被破坏；用作压力测试而非典型用户噪音模型；§6.2）；§5.3的类型调查还评估了将问号→斜杠作为一个严重的单扰动案例。相邻键打字错误是进行机制表征的主要载体（§5–§5.3），因为它们发生在任意位置，能够清晰地隔离空间衰减，独立于消息位置。末尾标点替换（例如，问号→斜杠）产生更大的绝对旋转，但在结构上受限于消息末尾；其幅度见表1，附录C验证了衰减形状的普适性。

### 3.3 行为不变性前提
以下的探测器实验假设表层扰动是意图保持的（§3.1）。我们用四个跨越两种扰动制度和标签类别的干净与扰动示例（Llama-3.1-8B-Instruct；完整提示见附录A）来说明这一点，并通过一个LLM作为评判者的评估在所有三个模型上更广泛地验证，确认94.6%的配对保持了意图（附录A.2）。在局部制度下，LLM的响应在良性情况下和恶意情况下功能上保持不变；探测器是唯一的失效点。在分布式制度下，意图得以保持，但恶意示例绕过了LLM的安全对齐——这是在重度表层噪音下对齐脆性的一个非对抗性演示，与Gu et al.（2025）发现的隐藏激活值中的小幅对抗性偏移可以重新触发对齐模型的不安全输出相平行。在叠加组合制度下，LLM评判者的响应等价性很高，而在ESW（每隔一个词的相邻键打字错误）制度下较低，这与该制度已知的对齐脆性一致。这些共同证明了前提的合理性；§6–§7测量了激活和探测器层面的后果。

## 4 实验设置
### 4.1 模型
我们评估了三个来自不同训练谱系和发布世代的指令微调模型：Llama-3.1-8B-Instruct、Qwen3-8B和Gemma-4-E4B。跨模型设计验证了§5–§5.2中表征的激活层面机制（大幅原地旋转、快速空间衰减）在不同系列间具有可迁移性：所有三个模型在定性上复现了该机制，定量幅度在不同系列间存在差异，但结构模式一致。激活值在用户回合的最后一个词符处提取，与标准单点探测一致（Azaria and Mitchell, 2023; Zou et al., 2025），通过HuggingFace transformers使用sdpa注意力机制。

### 4.2 激活层面实验
激活表征（§5–§5.2）使用每个模型的四个深度检查点（Llama-3.1-8B：8/16/24/31层；Qwen3-8B：9/18/27/35层；Gemma-4-E4B：28/29/40/41层，对比滑动窗口层和全注意力层）。每个条件使用100个OpenOrca提示（100-300词），每个提示最多四个位置应用相邻键打字错误。效应量（原地旋转43°–56°）相对于每个提示的方差较大，因此在此规模下的结构比较具有统计稳健性。

### 4.3 探测器层面实验
探测器后果和多架构实验（§6–§7）使用Llama-3.1-8B第31层（最终残差流，最后一个用户词符）；Llama的后期层在分布偏移下进行意图分类具有竞争力（Fomin, 2026），我们在自己的语料库上重现了层扫描（附录G）。跨模型探测器评估留待后续：上述机制迁移表明定性相似性，但探测器层面的定量结果也取决于数据和训练。

#### 分类任务。探测器评估用户意图的二值分类：良性请求（指令遵循、编程、客户支持、创意写作）与恶意输入（提示注入、越狱尝试、不安全请求、诈骗消息）。这一框架反映了一个现实的部署场景：探测器在模型响应前监控用户回合。
#### 数据集语料库。我们使用了一个包含29个公开数据集的精选混合集（完整列表见附录F）。良性侧涵盖多种合法使用领域（指令遵循、编程、客户支持、创意写作、工具使用）；恶意侧涵盖五个攻击家族（直接/间接提示注入、越狱、有害请求、诈骗）。我们从每个来源采样以保持训练语料库的可处理性（N=168,440），并防止单个数据集主导。
#### 训练与评估。除非被防御方法修改（§7），探测器在用户-EOT读取位置的干净激活值上训练；扰动在推理时应用。我们在两种互补协议下评估：5折分层交叉验证（分布内；干净AUC 99.80%±0.01%，跨折）和遵循Fomin（2026）的留一数据集法（分布外）。

## 5 扰动对LLM激活值的影响
#### 报告惯例：角度距离。激活偏移是纯粹的方向性的（范数近似不变，§5），因此我们通过原始x和扰动后的x'之间的旋转来描述它。在这个方向性框架内，我们报告度数而非余弦相似度，因为具有法向量w的线性探测器的分数变化受限于弦长∥x' - x∥ ≈ 2R sin(θ/2)，其中R=∥x∥，而余弦相似度通过平方映射压缩了弦长。具体例子，10°与30°旋转在弦长上相差3倍（与探测器分数变化相关的比例），但在余弦相似度上仅从0.985变为0.866。提示间的基线为34.6°（表1）。