LLM数学推理中应用题求解的四阶段分解与机制脆弱性

# LLM数学推理中单词题求解的四阶段分解与机制脆弱性
来源：https://arxiv.org/html/2609.17804
###### 摘要
大型语言模型能以高准确率解决小学数学应用题，但仅在题目中插入一个无关分句就可能导致解题失败。本文通过机制性分析调和了这些观察结果。我们揭示模型的内部计算可分解为四个连续阶段：**模式抽象**、**操作规划**、**操作数绑定**和**计算**，每个阶段在可识别的网络层区间内产生独特的中间表征。基于同一分析框架诊断干扰项引发的失败后，我们定位到损坏仅发生在**操作规划**阶段，该阶段由一组注意力头实现，我们通过双向验证确认了它们的因果作用。简言之，我们为LLM数学应用题推理及其受干扰时的失败提供了机制性解释。

## 1 引言
近期关于LLM解决数学应用题的两条研究路径指向相反方向。Mirzadeh等人（2025）(https://arxiv.org/html/2609.17804#bib.bib16) 发现，在小学数学应用题中插入无关的“NoOp”分句会导致准确率暴跌，由此得出LLM数学推理更接近表面模式匹配而非真正推理的结论。Cheng等人（2025）(https://arxiv.org/html/2609.17804#bib.bib2) 则报告了*先抽象后计算*的两阶段机制，模型首先将问题编码为抽象模式，再进行数值计算，这表明LLM并不依赖浅层模式匹配捷径。我们将两项发现统一到一个机制性框架中：LLM确实通过有序的流水线解决数学应用题，而NoOp脆弱性源于该流水线中由特定注意力头实现的某个单一阶段失效。流水线结构与选择性脆弱性可以共存。

本文提出四阶段流水线：模式抽象、操作规划、操作数绑定和计算。每个阶段在残差流中产生独特的中间表征。我们通过三种独立方法识别阶段边界：残差余弦相似性仅从层级动态揭示边界；按类别线性探针定位每个边界处的变化；跨提示激活补丁测试哪些残差流变化最终决定答案。三种方法收敛于相同的四阶段分解。

随后我们利用此框架诊断NoOp脆弱性。激活补丁将NoOp引发的失败定位到操作规划阶段。基于参与度锚定的逐头直接对数归因分析识别出一组紧凑的注意力头，它们将信息路由至干扰分句，并分裂为支持和反对错误操作计划的两个子集。双向注意力缩放验证了这些头的因果作用：在NoOp提示上增强反对错误计划的子集可恢复大部分损失准确率，而在模型通常能正确解决的数据上消融任一子集则会导致准确率灾难性下降。这些结果共同表明这些头是操作规划的机制性工具，而NoOp脆弱性正是此工具被干扰信息压倒时的表现。

我们的贡献：(1) 基于机制视角的LLM单词题求解四阶段分解，并初步证据表明该分解可推广至其他推理领域；(2) 对NoOp脆弱性的电路级诊断，将故障定位到由紧凑注意力头集实现的操作规划阶段；(3) 对该故障的免训练调控手段，即一个能恢复51% NoOp失败的全局标量，定位了未来任何修复必须作用的位置。¹¹¹已被EMNLP 2026 Findings录用。代码与数据集见https://github.com/deliaqu/llm-reasoning-decomposed。

## 2 背景与相关工作
### 2.1 LLM数学推理的脆弱性
Mirzadeh等人（2025）(https://arxiv.org/html/2609.17804#bib.bib16) 提出的GSM-Symbolic从*模板*重新实例化了基础性小学数学应用题数据集GSM8K（Cobbe等人，2021 (https://arxiv.org/html/2609.17804#bib.bib3)）：问题框架中的实体名称和数值均为插槽，同一模板的所有实例共享框架但插槽值不同。他们报告称，当插入一个不增加任何合格推理者应使用信息的无关“NoOp”分句时，语言模型准确率最高下降65%。他们认为这种退化揭示了LLM通过模式匹配而非真正推理来解决数学应用题。Mirzadeh等人（2025）(https://arxiv.org/html/2609.17804#bib.bib16) 是一系列通过向GSM8K问题注入计算无关文本来探测数学推理鲁棒性研究的一部分，包括Shi等人（2023）(https://arxiv.org/html/2609.17804#bib.bib18)、Li等人（2024）(https://arxiv.org/html/2609.17804#bib.bib14) 和Yang等人（2025）(https://arxiv.org/html/2609.17804#bib.bib24)。这些批评在行为层面达成共识，但未深入定位模型内部计算的故障点。

与我们同期工作，Han等人（2026）(https://arxiv.org/html/2609.17804#bib.bib11) 对保持意义不变扰动的敏感性进行了机制性分析，并提出了架构级故障模式分类法。他们描述了脆弱性在不同架构间的差异，而我们则从内部定位此类故障。具体而言，我们回答了这个问题：当LLM无法解决包含无关“NoOp”分句的数学应用题时，模型内部哪些模块应负责？

### 2.2 LLM数学能力的机制性解释
早期研究提供了LLM执行数学应用题求解所需各种技能的解释，包括属性表征（Gurnee和Tegmark, 2024 (https://arxiv.org/html/2609.17804#bib.bib10)）、实体绑定（Wang等人, 2022 (https://arxiv.org/html/2609.17804#bib.bib21)）和算术计算（Stolfo等人, 2023 (https://arxiv.org/html/2609.17804#bib.bib19)）。这些研究分别考察了数学应用题求解所需的特定技能，但未分析这些技能如何组合成完整解决方案。相比之下，我们证明了四阶段推理流水线组织了LLM解决数学应用题的完整过程。从流水线视角看，最接近我们工作的是Cheng等人（2025）(https://arxiv.org/html/2609.17804#bib.bib2)，他们识别了LLM解决数学应用题的两阶段*先抽象后计算*机制，确定了抽象发生的特定层，随后是算术计算层。然而，该两阶段流水线是通过限制词汇的合成一步问题识别的，且局限于直接提示模式，禁用了思维链（Wei等人, 2022 (https://arxiv.org/html/2609.17804#bib.bib22)）——LLM推理的标准组件。他们的分析也聚焦于成功求解的底层机制而非模型脆弱性。我们填补了这些空白：我们证明了分阶段推理流水线在真实多步问题（如GSM8K）上运行，覆盖直接提示和思维链模式，并识别了该流水线中对故障模式负责的因果模块。

### 2.3 机制性方法
我们使用机制可解释性文献中的三种标准工具：
* **线性探针**（Alain和Bengio, 2016 (https://arxiv.org/html/2609.17804#bib.bib1); Conneau等人, 2018 (https://arxiv.org/html/2609.17804#bib.bib4)）在残差激活上训练线性回归，测试目标特征是否可线性解码。由于注意力和MLP输入投影以及非嵌入层均线性读取残差流（Elhage等人, 2021 (https://arxiv.org/html/2609.17804#bib.bib6); Elhage等人, 2022 (https://arxiv.org/html/2609.17804#bib.bib5)），探针失效表明该特征已离开探测位置的线性可访问表征。
* **激活补丁**（Vig等人, 2020 (https://arxiv.org/html/2609.17804#bib.bib20); Meng等人, 2022 (https://arxiv.org/html/2609.17804#bib.bib15)）用供体激活替换目标残差，测量输出相应变化，从而识别因果相关信息的所在位置，不依赖任何线性假设。
* **直接对数归因**（Wang等人, 2022 (https://arxiv.org/html/2609.17804#bib.bib21)）将每个模型组件的输出投影到目标词元的非嵌入方向，隔离出向该词元写入或远离的组件。

## 3 四阶段假说
“Janet的鸭子每天产16个蛋。她早餐吃3个，每天用4个烘焙松饼。其余每个蛋卖2美元。她每天能赚多少钱？”
*输入 → 残差流的连续内部表征变换*
模式抽象：叙事被剥离，关系被保留。
操作规划：R=(x−y−z)⋅u
操作数绑定：(16−3−4)⋅2
计算：18
*NoOp干扰项破坏此阶段*
图1：四阶段流水线概览，以一个GSM8K问题为例。问题是模型的输入。四个阶段是内部对表示问题的残差的连续变换。每个阶段产生独特的中间表征：剥离表面叙事（模式抽象）、基于抽象变量形成操作计划（操作规划）、将提示值绑定到计划中（操作数绑定）、计算结果（计算）。Llama-3.3-70B的层边界标于下方，下方网格显示哪种方法建立了每个阶段（实心点）或未涉及（短横）。边界基于问题间残差相似性动态的自动标准确定，线性探针和激活补丁用于解释这些边界处的表征内容（§5）。直接对数归因进一步将NoOp脆弱性定位到操作规划（§6）。

基于Cheng等人（2025）(https://arxiv.org/html/2609.17804#bib.bib2) 的先抽象后计算观点，我们假设数学应用题推理由四个阶段组成。每个阶段产生独特的中间表征，且各阶段可独立失效。任何阶段的错误都会传播并导致最终答案错误。

我们的分解受到人类数学应用题求解认知科学描述的启发，后者通常区分三或四种认知操作：将叙述解析为命题式“情境模型”、选择适当解题方案、执行计算（Kintsch和Greeno, 1985 (https://arxiv.org/html/2609.17804#bib.bib13); Hegarty等人, 1995 (https://arxiv.org/html/2609.17804#bib.bib12)）。

考虑GSM8K问题：*“Janet的鸭子每天产16个蛋。她早餐吃三个，每天用四个为朋友烤松饼。其余的每天在农贸市场以每个2美元卖出。她在农贸市场每天赚多少钱？”*
解决此问题需要四个不同的认知步骤，每一步产生下一步操作的结果。
阶段1：**模式抽象**。求解者抽象掉表面叙事细节（如实体名称和特定故事措辞：“Janet”、“鸭子”等），同时保留问题的潜在关系结构：每日产出数量x，消耗数量y和z，剩余部分以单价u售出，目标是收入R。所得表征捕获问题模式，但尚未包含操作。
阶段2：**操作规划**。识别解决抽象问题模式所需的运算序列：R=(x−y−z)⋅u。输出编码操作计划，但尚不包含具体操作数值。
阶段3：**操作数绑定**。将具体提示值代入操作计划：x←16（每日产蛋数），y←3（早餐食用数），z←4（烤松饼用蛋数），u←2（每蛋价格）。输出为完全接地的数值表达式(16−3−4)⋅2。
阶段4：**计算**。求解者计算(16−3−4)⋅2=18并读出答案18。

我们探究LLM是否发展出类似的顺序分解，该分解在残差流中表现为可区分的变换，如果是，在受干扰时哪个阶段失效。§5表明模型内部表征在数学应用题求解过程中经历了四阶段变换。§6随后识别出在无关“NoOp”干扰下哪个阶段崩溃。

## 4 实验设置
我们主要使用Llama-3.3-70B-Instruct（Grattafiori等人, 2024 (https://arxiv.org/html/2609.17804#bib.bib9)）（80层）作为目标模型，并在附录F中用Qwen-2.5-14B-Instruct（Yang等人, 2024 (https://arxiv.org/html/2609.17804#bib.bib23)）和Gemma-2-9B-it（Gemma团队, 2024 (https://arxiv.org/html/2609.17804#bib.bib7)）复现结果以展示泛化性。所有提示遵循GSM8K答案格式：模型在最终数值答案前输出标记####（完整模板见附录A）。我们使用四个主要数据集，其中两个来自Mirzadeh等人（2025）(https://arxiv.org/html/2609.17804#bib.bib16)：GSM-Symbolic（数学应用题的模板化变体）和GSM-P1（在每个GSM-Symbolic问题上扩展一个需要额外计算步骤的子句）。Mirzadeh等人（2025）(https://arxiv.org/html/2609.17804#bib.bib16) 的NoOp数据集未发布，因此我们通过附录A描述的人工在环流程重新创建GSM-NoOp。类似地构建对照数据集GSM-Filler，其令牌长度与NoOp匹配。填充问题具有相同结构并包含与NoOp相同的数值令牌，但填充子句是中性描述，干扰性低于NoOp。

我们还创建了padded-Symbolic，作为第2阶段补丁实验（§5.1）中GSM-Symbolic的长度控制替代品。每个GSM-Symbolic问题用一个计算无关子句填充，长度与其GSM-P1对应问题的额外子句匹配，这样(padded-Symbolic, P1)对在问题所需操作上存在差异，但叙事、操作数值和令牌长度匹配。若无此控制，Symbolic与P1间的任何补丁效应都可能归因于长度差异而非额外操作。附录A详述了所有数据集及其构建。表4报告了Llama-3.3-70B在各数据集上的性能。所有指标均在模板层面聚合。对于每个模板，我们计算其实例的均值，然后报告跨模板的平均值。置信区间为95%模板自助法置信区间（以模板为重采样单位的聚类自助法），反映问题框架间的变异性而非实例变异性。