词汇扰动破坏LLM推理：Attention Diversion的实证研究

# 关于注意力分散的实证研究
来源：https://arxiv.org/html/2608.22140

## 词汇扰动破坏大语言模型推理：一项关于注意力分散的实证研究
杨张，美国德克萨斯州登顿市北德克萨斯大学
邮箱：\{Yang\.Zhang, Junhua\.Ding\}@unt\.edu
通讯作者

丁军华，美国德克萨斯州登顿市北德克萨斯大学
邮箱：\{Yang\.Zhang, Junhua\.Ding\}@unt\.edu
通讯作者

于晓威，美国密苏里州罗拉市密苏里科技大学
邮箱：\{jzbmn, xych8\}@mst\.edu
通讯作者

###### 摘要
大语言模型（LLMs）在推理任务上取得了强大的性能，但其对现实词汇损坏的鲁棒性仍知之甚少。我们在键盘噪音、字符交换和填充物插入四种推理基准下评估了四个开源指令调优模型和前沿模型。字符级扰动显著降低了准确率，尤其是在多步推理任务中，而填充物插入影响甚微。我们将这种不对称性追溯至**注意力分散**：词汇损坏导致子词分词碎片化，产生的碎片吸引了不成比例的注意力权重，集中在Transformer的中部和最终层。长度匹配的对照实验证实，是碎片化而非提示长度导致了性能损失。一项析因干预实验进一步揭示了损害难以逆转的原因：碎片化同时破坏了令牌内容和注意力分配，而这两者是相互耦合的。在内容仍然损坏时恢复干净的注意力是有害的，仅恢复内容也不足以解决问题，只有同时恢复两者才能显著弥补差距。这种耦合性解释了为何推理时策略（包括思维链提示、拼写检查、自我修复和更强的修复模型）无法稳定地恢复性能：它们一次只解决了一个通道。代码和数据可在 https://github.com/Jiaqian-Janelle/Attention-Diversion 获取。

††已被2026年自然语言处理实证方法会议（EMNLP 2026）主会议接收。

## 1 引言
大语言模型（LLMs）已在推理基准测试上取得了显著进展<sup>3 (https://arxiv.org/html/2608.22140#bib.bib9); 18 (https://arxiv.org/html/2608.22140#bib.bib6); 28 (https://arxiv.org/html/2608.22140#bib.bib10); 15 (https://arxiv.org/html/2608.22140#bib.bib1); 23 (https://arxiv.org/html/2608.22140#bib.bib2); 13 (https://arxiv.org/html/2608.22140#bib.bib3)</sup>，但在表面形式的微小变化下仍表现脆弱。保留含义的微小词汇损坏（如误敲键盘或相邻字符交换）会显著降低准确率，尽管这些错误对人类读者而言显而易见。相比之下，“嗯”或“你知道”等填充物的插入对性能几乎没有影响，即使它们增加了提示长度。这种不对称性表明，失败并非源于更长的提示或语义失真，而是表面形式损坏的表示方式。

先前工作已研究了字符级噪声对神经NLP系统的影响<sup>1 (https://arxiv.org/html/2608.22140#bib.bib15); 22 (https://arxiv.org/html/2608.22140#bib.bib16); 14 (https://arxiv.org/html/2608.22140#bib.bib17); 7 (https://arxiv.org/html/2608.22140#bib.bib18)</sup>，但仍有三个空白。首先，研究集中在分类和翻译任务，对推理密集型任务的探索不足。其次，研究同时改变了表面形式和提示长度，即使只有前者改变了子词令牌身份，两者仍被混为一谈。第三，研究记录了准确率损失，但未将其与内部处理的变化联系起来。

我们通过对LLM推理中词汇扰动的受控实证研究来填补这些空白。我们在BoolQ、PIQA、HellaSwag和GSM8K上评估了四个开源指令调优模型，并进一步测试了更大规模、更困难、非英语和前沿模型的设置。在这些设置中，字符级扰动始终降低性能，在多步数学推理中损失最大，而填充物插入影响甚微。为了解释这种不对称性，我们识别了**注意力分散**。字符级损坏导致子词分词碎片化，产生罕见或异常的令牌片段，这些片段在推理过程中吸引了不成比例的注意力权重。如图1所示，损坏的片段将注意力从任务相关证据和答案线索处转移开。分层分析进一步表明，这种分散集中在Transformer的中部和最终层，这些层是上下文表征被组合并映射到输出预测的地方。

我们的核心论点是，推理中的词汇脆弱性主要由分词器碎片化驱动，而非仅仅提示长度。长度匹配的控制实验、逐样本回归和表征层面的干预都支持这一解释。一项析因干预孤立了碎片化破坏了什么：它同时扰乱了模型读取的令牌身份和对它们的注意力分配，且这两个效应无法分离。这种相互依赖性也解释了我们的缓解结果：常见的推理时策略，包括思维链提示、拼写检查和LLM自我修复，无法稳定地恢复性能，因为它们一次只作用于问题的一侧。

我们的贡献包括：
- • 我们系统地评估了四个推理基准、四个开源模型家族、前沿模型和现实扰动类型的词汇鲁棒性。
- • 我们识别了**注意力分散**，并通过一项析因干预表明，分散的注意力并非可独立操作：它与所处理的损坏内容在功能上是绑定的，因此任何一个通道都无法单独修复。
- • 我们将损害追溯到被位移证据的不可替代性，而非分散程度，在GSM8K失败案例中数字令牌占主导。随后，我们界定了修复的边界，发现分词器层面的防御能可靠地检测碎片化，却无法逆转它。

图1：词汇损坏下的注意力分散示意图。在干净的提示中，注意力集中在相关证据和答案线索上。扰动后，损坏的令牌片段吸收了不成比例的注意力权重。

## 2 LLM推理中的词汇扰动
我们使用**词汇扰动**来表示保留提示预期含义但改变其书写方式的表面形式变化。此类扰动自然产生于打字错误、语音转文字和嘈杂的提示构建。我们关注三种现实的扰动类型，如表1所示。

#### 扰动类型。
**键盘噪音**用相邻的QWERTY键替换一个字符（例如，reason → reaspn），模拟快速或不精确的打字。**字符交换**（typoswap）转置单词内的相邻字符（例如，problem → porblem），模拟常见的拼写错误。**填充物插入**在自然停顿点添加“um”或“you know”等会话不流利短语，反映口语或语音转录输入。

#### 扰动严重程度。
我们在比率 r∈\{0\.05, 0\.10, 0\.20, 0\.30\} 下应用扰动，其中 r 表示被扰动的单词比例。对于键盘噪音和字符交换，每个选定单词内随机选择一个字符进行修改。填充物插入不破坏现有词汇项，而是添加不流利短语。此设计使我们能够比较字符级词汇损坏与提示长度膨胀。

表1：对一个基础提示应用三种扰动类型的说明性示例，扰动片段以红色标示。

#### 预期的表征效应。
字符级扰动可能破坏学习到的子词合并，导致单词被分割成罕见或异常的令牌片段。相比之下，填充物插入主要添加熟悉的令牌，同时保留原始提示的分词。这种对比启发了我们在第5节的机理分析，我们测试分词器碎片化是否会导致注意力分散和推理失败。

## 3 实验设置
### 3.1 数据集
我们在四个推理基准上评估词汇鲁棒性：BoolQ<sup>4 (https://arxiv.org/html/2608.22140#bib.bib24)</sup>（基于段落的是/否问答）、PIQA<sup>2 (https://arxiv.org/html/2608.22140#bib.bib25)</sup>（物理常识推理）、HellaSwag<sup>30 (https://arxiv.org/html/2608.22140#bib.bib26)</sup>（上下文续写）和GSM8K<sup>6 (https://arxiv.org/html/2608.22140#bib.bib27)</sup>（多步数学推理）。它们共同涵盖了阅读理解、常识推理、上下文推理和数学推理。

### 3.2 模型
我们的主要实验涵盖了四个开源指令调优模型：Llama-3.1-8B-Instruct<sup>15 (https://arxiv.org/html/2608.22140#bib.bib1)</sup>、Mistral-7B-Instruct-v0.3<sup>17 (https://arxiv.org/html/2608.22140#bib.bib4)</sup>、Qwen3.5-9B<sup>23 (https://arxiv.org/html/2608.22140#bib.bib2)</sup>和Gemma-2-9B-IT<sup>9 (https://arxiv.org/html/2608.22140#bib.bib5)</sup>。这些模型规模相当（7B–9B），但模型家族、分词器设计和训练流程不同，这允许我们测试词汇脆弱性是否跨架构普遍适用。我们还评估了GPT-4o<sup>19 (https://arxiv.org/html/2608.22140#bib.bib7)</sup>和GPT-5.4<sup>20 (https://arxiv.org/html/2608.22140#bib.bib8)</sup>（后者在none和high reasoning_effort设置下），以评估预测层面的鲁棒性。前沿模型的结果在附录A中报告。

### 3.3 评估协议
对于每个数据集，我们从评估集中采样1,000个示例，并使用三个随机种子（42, 43, 44）重复实验，以考虑子集和扰动的方差。模型使用贪婪解码进行评估，准确率是主要指标。我们报告跨种子的平均准确率。标准差很小，通常低于一个百分点。正文结果侧重于严重程度 r=0\.1，所有严重程度的结果均在附录B中报告。对于GSM8K，我们按照标准####格式提取最终的数值答案。除准确率外，我们还记录分词统计和注意力诊断，以将预测层面的性能下降与内部处理变化联系起来。

## 4 LLM对词汇扰动的鲁棒性如何？
我们首先检查词汇扰动是否会导致系统性推理失败，以及这些失败是特定于字符级损坏还是提示长度。表2报告了在严重程度 r=0\.1 下的准确率，而图2总结了所有严重程度的趋势。完整结果见附录B。

#### 字符级损坏跨模型降低推理性能。
如表2所示，键盘噪音和字符交换在所有模型和任务上一致地降低准确率，而填充物插入影响极小。例如，Qwen3.5-9B在GSM8K上的准确率在键盘噪音下从0\.845降至0\.706，在字符交换下降至0\.569，而填充物插入使准确率几乎不变（0\.840）。这种对比提供了第一批证据，表明失败与词汇形式损坏而非仅仅是提示长度有关。

#### 性能下降随扰动严重程度增加而加剧。
图2（左）显示，在键盘和字符交换扰动下，随着损坏严重程度从 r=0\.05 增加到 r=0\.30，平均准确率单调下降。在 r=0\.30 时，两种字符级扰动下的平均准确率均降至0\.40以下，而干净提示下的准确率为0\.74。填充物插入在所有严重程度下仍接近干净基线。

#### 多步推理最脆弱。
图2（中、右）显示了显著的任务差异。GSM8K的下降最陡峭，在键盘噪音下从0\.619降至0\.191，在字符交换下从0\.549降至0\.112（严重程度从 r=0\.05 增加到 r=0\.30）。BoolQ相对稳健，这表明需要精确数值解释和多步推理的任务对词汇损坏更敏感。这种排序并非由注意力分散的程度解释：在Llama-3.1-8B上，GSM8K的分散比低于BoolQ，但准确率损失却是其数倍（附录C）。区别在于被位移的证据是否可以从提示中的其他地方恢复，这在5.4节中进行了量化。

表2：在严重程度 r=0\.1 下词汇扰动的准确率（n=1,000）。字符级扰动（KB, TS）一致地降低准确率，而填充物插入（Fil）影响极小。单元格按相对于干净提示的降级程度着色：≥0\.15，0\.05–0\.15。
图2：词汇扰动对推理准确率的影响。左：跨严重程度的平均准确率。中和右：在键盘噪音和字符交换下的任务性能。字符级扰动随严重程度增加而单调降低，而填充物保持接近干净水平。
表3：在 r=0\.1 下跨模型比较，四个基准平均。GPT-5.4 Thinking在所有配置中承受了最大的键盘降级，尽管其干净准确率与Standard几乎相同。逐任务结果见附录A。

#### 该模式扩展到主要设置之外。
相同的模式适用于7B–9B英语模型之外（附录D）。在70B规模下，脆弱性依然存在但有所减轻：在字符交换下GSM8K下降13个点，而BoolQ稳定。在MATH代数上，字符交换再次产生最大降幅。在中文CMath上，键盘扰动导致30个点的下降，而填充物仍然无害。前沿模型显示出相同的模式，且推理无法吸收它（表3）。GPT-5.4的思维模式在所有评估配置中承受了最大的键盘降级（−0\.147），是同模型在推理禁用下的1\.6倍，尽管干净准确率几乎相同。逐任务结果见附录A。

这些结果建立了一个稳健的经验模式：字符级扰动降低推理性能，而填充物插入则不然。这引发了一个核心的机理问题：为什么词汇形式的损坏比增加的提示长度更重要？接下来，我们通过分析分词和注意力来回答这个问题。

## 5 什么导致了LLM推理中的词汇脆弱性？
我们的分析测试了一个三步机制。词汇损坏导致子词分词碎片化，改变了模型消费的令牌身份。这些碎片随后吸引了不成比例的注意力权重，产生**注意力分散**。碎片化进而导致推理失败，其效应超过了提示长度的影响。一项析因干预（5.3节）随后表明，第二和第三步是注意力和令牌内容之间的耦合，而非单向链。附录E说明了完整路径。

### 5.1 从碎片化到注意力分散
词汇扰动改变了呈现给模型的令牌序列。