算术启发神经元是否具有形式不变性？对LLMs中符号、文本和代码的机制分析

# 算术启发式神经元是否具有形式不变性？LLM 中符号、文本与代码的机制分析
来源：https://arxiv.org/html/2607.16693
Sharath Naganna¹,*,† Tanvir Ahmed Sijan²,* Uddipta Kalita³

¹印度理工学院孟买分校，印度孟买 ²贾汉吉尔纳加尔大学，孟加拉国达卡 ³印度国立理工学院，印度锡尔恰尔
[email protected] {sijantanv, uddiptain20}@gmail.com *同等贡献 †通讯作者

###### 摘要

大型语言模型常常在一种问题表述上成功，却在等效的另一种表述上失败。这些失败究竟源自不同的内部电路，还是同一共享电路的不同激活状态，目前尚不清楚。最近的机制可解释性研究表明，LLM 中的算术运算源于一个“启发式集合”，由一组稀疏的 MLP 神经元编码，这些神经元代表不同的算术策略。我们研究了在 Llama-3 系列三个模型中，算术启发式神经元在符号算术、自然语言应用题和 Python 代码三种形式下是否具有形式不变性。针对每种形式，我们使用一个结合了归因补丁和激活补丁的两阶段流程来识别算术启发式神经元。我们发现一组紧凑的神经元在所有三种形式中共享，并且针对性的干预表明，这个共享电路对于后期层的算术计算既是必要的也是充分的。将共享神经元的激活从一种形式中的成功执行迁移到另一种形式中的失败执行，可以恢复绝大多数错误预测，加法和减法的恢复率超过 97%，这表明跨形式的失败源于激活状态而非不同的电路。此外，共享神经元在不同形式中始终属于相同的启发式家族，这表明 LLM 中的算术计算在神经元层面很大程度上是形式不变的。

## 1 引言

大型语言模型 (LLMs) 展现了卓越的数学能力，在具有挑战性的算术和数学推理基准测试中取得了令人印象深刻的成绩 (Cobbe et al., 2021; Hendrycks et al., 2020; Wei et al., 2023)。这些进展使 LLMs 成为了强大的数学问题求解器，能够处理从基础算术到研究生级别数学的各种问题。因此，理解这些模型如何在内部表示和执行数学计算已成为一个重要的研究方向，激发了大量旨在揭示算术推理神经机制的机制可解释性工作 (Stolfo et al., 2023; Wu et al., 2024; Marjieh et al., 2025)。

图 1：我们实验中使用的三种提示格式。每种格式都将相同的算术计算表达为符号算术、Python 代码或自然语言应用题。答案总是在最终位置作为一个单独的词元生成。

最近的机制可解释性研究已经开始识别 LLM 中负责算术计算的内部神经电路。特别是，Nikankin et al. (2025) 证明 LLM 使用一个“启发式集合”来解决算术问题，其中不同的神经元编码不同的算术策略，并且可以通过因果操作来影响模型预测。虽然这些发现为算术行为源于可识别的神经机制提供了令人信服的证据，但它们几乎完全源自典型的符号表达式 (Baeumel et al., 2025; Du et al., 2025; Nikankin et al., 2025)。因此，目前尚不清楚相同的算术神经元是否能泛化到相同计算的不同表示形式，还是仅对特定输入格式有效。

这个问题尤为重要，因为先前的研究表明，LLM 对数学问题的表述形式高度敏感，即使是表面形式上的微小变化，例如改写、添加新陈述或改变呈现方式（同时保留底层计算），都可能导致显著的性能下降 (Li et al., 2024)。LLM 在回答同一问题的不同实例时也表现出明显的性能差异 (Mirzadeh et al., 2025)。

然而，从机制角度来看，这种敏感性的根源仍不明确。虽然近期研究表明，LLM 将问题抽象 (Cheng et al., 2025) 和操作数路由 (Mamidanna et al., 2025) 与最终计算分离开来，但尚不清楚相同的神经元级算术启发式是否会在根本不同的输入格式（即符号方程、应用题和代码）中被调用。

受这一差距的启发，我们研究了以下研究问题：

- **RQ1：算术启发式神经元是否具有形式不变性？** 在数学上等价，但以符号方程、应用题和代码形式表述的问题，是否会调用相同的算术启发式神经元？
- **RQ2：是什么导致了跨形式的失败？** 不同形式之间的性能差异是由不同的算术电路造成的，还是由同一共享电路的不同激活状态造成的？

用于复现我们实验的代码和数据已公开可用。¹¹¹https://github.com/SharathHN/format-invariant-arithmetic

图 2：流程概览。（左）我们独立地为符号算术、应用题和代码识别出 top-k 因果神经元，并通过计算它们的层间交集来分离出共享电路。（中）我们通过“仅保留”（仅保留共享激活）和“敲除”（仅消融共享激活）干预来评估这些共享神经元对于算术计算是否充分且必要。（右）我们将共享神经元的激活从成功的供体执行迁移到失败的目标执行，以测试跨形式的失败是源于激活状态的差异还是源于不同的算术电路。
## 2 相关工作

### 2.1 机制可解释性

机制可解释性 (MI) 旨在通过分析语言模型学到的权重和计算组件来逆向工程其内部机制。在基于 Transformer 的 LLM 中，计算通常通过电路来理解，电路是一组互动的细小组件，如 MLP 神经元和注意力头，它们共同实现特定功能 (Baeumel et al., 2025; Gould et al., 2024)。为了识别这些电路，机制可解释性严重依赖于因果中介技术 (Pearl, 2013)，该技术将模型行为定位到特定的内部组件。代表性方法包括激活补丁 (Meng et al., 2022; Zhang et al., 2024a)、路径补丁 (Goldowsky-Dill et al., 2023; Wang et al., 2022)、归因补丁 (Nanda, 2023; Syed et al., 2024; Hanna et al., 2024) 和 logit 归因 (nostalgebraist, 2020; Belrose et al., 2025)。

### 2.2 算术推理可解释性

最近的机制可解释性研究开始揭示 LLM 如何执行算术推理。电路分析已经识别出在算术计算中发挥因果作用的专门模型组件 (Stolfo et al., 2023; Zhang et al., 2024b)，而后续工作表明，算术行为是从一个启发式神经元的集合 (Nikankin et al., 2025) 中涌现出来的，而非源自单一的连贯算法 (Nanda et al., 2023; Zhong et al., 2023; Ding et al., 2024)。其他解释提出，LLM 依赖于符号模式匹配 (Deng et al., 2024)、分离粗略和精细数值处理的双路径计算 (Lindsey et al., 2025)，或者支持算术运算的数字几何表示 (Kantamneni and Tegmark, 2025)。最近，Cheng et al. (2025) 表明，LLM 通过一种“先抽象后计算”的机制来解决算术应用题，模型中首先构建底层算术运算的抽象表示，然后执行计算。他们进一步表明，这些抽象表示对于同一问题的不同自然语言表述是不变的。相关地，Mamidanna et al. (2025) 识别出一个稀疏的注意力子图，该子图将操作数路由到最后一个词元位置以进行直接算术运算。然而，他们发现这个子图在应用题和代码上会失效，这表明虽然核心路由机制能泛化到简单文本提示，但复杂格式需要额外的计算组件来进行更深层的语义和句法解析。

基于这一系列工作，我们研究了算术启发式神经元本身是否具有形式不变性。具体来说，我们系统地识别并因果验证了算术启发式神经元，以确定相同的神经元是否被调用以在不同格式（即符号算术、应用题和代码）中执行等价的计算。

## 3 背景

### 3.1 MLP 作为键值记忆

Transformer 层由两个主要组件构成：多头自注意力模块（在不同词元间路由信息）和多层感知机 (MLP)（在每个词元位置独立进行非线性变换）。根据 Geva et al. (2021, 2022) 的键值记忆解释，MLP 可以表示为

y = σ(xK)V,   (1)

其中 x ∈ R^d 和 y ∈ R^d 分别表示输入和输出表示，K ∈ R^{d × d_mlp} 和 V ∈ R^{d_mlp × d} 分别是上投影和下投影权重矩阵，σ(·) 是非线性激活函数。忽略偏置项，MLP 可以分解为单个神经元：

y = Σ_{i=1}^{d_mlp} σ(x · K_{:,i}) V_{i,:} = Σ_{i=1}^{d_mlp} H_i V_{i,:},   (2)

其中

H_i = σ(x · K_{:,i})   (3)

表示第 i 个神经元的激活。在此公式下，每个神经元由一个键向量 K_{:,i} 和一个对应的值向量 V_{i,:} 表示。键向量通过衡量输入与其所学模式的匹配程度来决定神经元的激活，而值向量则指定写回残差流的信息。因此，MLP 输出是所有激活神经元值向量的加权和。

### 3.2 算术神经元与启发式

基于 MLP 的神经元解释，最近的机制可解释性研究已经识别出一组在算术计算中起因果作用的稀疏神经元子集 (Nikankin et al., 2025; Du et al., 2025)。这些*算术神经元*主要位于 Transformer 模型的中层和后期层，并在算术推理期间被选择性激活。设 M 表示一个语言模型，S_arith 表示在该模型中识别出的算术神经元集合。先前的研究表明，消融这些神经元（得到修改后的模型 M \ S_arith）会导致算术性能急剧下降，同时对许多非算术能力的影响相对较小。

尽管算术神经元共同实现了数值推理，但它们并非执行相同的计算。相反，Nikankin et al. (2025) 表明这些神经元实现了一个多样化的算术启发式集合，其中单个神经元响应特定的算术模式，并可能参与多种启发式策略。这些启发式策略要么作用于操作数，要么作用于预期结果，包括：范围（数值区间内的值）、模（特定的模同余）、模式（数字模式）、相同操作数（op1 = op2）和多重结果（促进一小部分除法输出）。他们将算术计算描述为从一个“启发式集合”中涌现出来，其中许多专门的神经元合作产生最终预测。

## 4 实验设置

我们在三个基础的 Llama 模型上进行所有实验：Llama-3-8B、Llama-3.2-3B 和 Llama-3.2-1B。我们选择这些模型是因为它们的词元化器将 [0, 999] 范围内的每个整数都表示为一个单独的词元，从而可以在不因多词元数值表示而产生复杂性的情况下进行精确的神经元级分析。我们在主论文中展示了 Llama-3-8B 的结果。Llama-3.2 3B 和 1B 的对应结果表现出相同的定性趋势，并在附录 A 中提供。

#### 提示格式。

遵循 Nikankin et al. (2025)，我们在三种输入格式中构建语义等价的算术问题：**符号算术**、**Python 代码**和**自然语言应用题**，如图 1 所示。每个提示都表达了相同的底层计算 a op b，涉及四种算术运算符 {+, -, ×, ÷}，其中除法遵循 Python 的整数向下取整语义。