LLaMA 3.1 8B中结构感知数值推理的机制可解释性

# LLaMA 3.1-8B中结构感知数值推理的机制可解释性
来源：https://arxiv.org/html/2608.18419

## LLaMA 3.1-8B中结构感知数值推理的机制可解释性
会议：第四届生成式AI富媒体国际研讨会；2026年11月10–14日；巴西里约热内卢
第四届生成式AI富媒体国际研讨会（RichMediaGAI '26），2026年11月10–14日，巴西里约热内卢
DOI:10.1145/3841458.3841545 (https://doi.org/10.1145/3841458.3841545)
ISBN:979-8-4007-2947-8/2026/11
CCS：计算方法论 自然语言处理
CCS：时间序列
CCS：机制可解释性

Rahul Chowdhury OrcID:0009-0008-1575-6077 (https://orcid.org/0009-0008-1575-6077)
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

Timothy A Rupprecht
隶属机构：美国加利福尼亚州圣马特科EmbodyX Inc.
邮箱：[[email protected]](mailto:[email protected])

Senhao Cao
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

Jiahao Liu
隶属机构：美国马萨诸塞州波士顿Mobi.ai
邮箱：[[email protected]](mailto:[email protected])

Octavia Camps
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

David Bau
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

Pu Zhao
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

Yanzhi Wang
隶属机构：美国马萨诸塞州波士顿东北大学
邮箱：[[email protected]](mailto:[email protected])

2026; © cc

###### 摘要

近期研究表明，大型语言模型（LLM）展现出强大的数值序列建模能力，并在时间序列预测中显示出潜力。尽管LLM展现出上下文学习能力，但其实现时间序列预测的机制仍不明确。具体而言，它们是否真正理解了底层结构，而这至少需要对数字序列中的首阶差分进行推理。为此，我们从机制可解释性的角度对LLaMA 3.1–8B进行研究。机制可解释性是一个新兴领域，专注于逆向工程神经网络（如LLM）所学习到的算法。为评估LLaMA的数值序列建模能力并辅助我们的机制可解释性分析，我们创建了一个无法在不捕捉结构线索的情况下解决的序列建模任务。具体来说，我们采样n个随机数字，并以偏移量重复它们。我们发现LLaMA在我们的任务上表现出色，表明它能够捕捉到底层结构。为理解使其能够如此运作的机制，我们进行了探测实验和基于激活补丁的反事实分析。探测实验显示，模型在没有明确监督的情况下计算并存储了首阶差分于其内部表征中，这表明它跟踪着序列的结构信息。激活补丁实验揭示，LLaMA通过一种类似于归纳电路的机制检索相关的首阶差分，并随后将其加到当前值上。值得注意的是，我们的工作代表了首批在LLM中识别出这种形式概念归纳的研究之一。

## 1. 引言

大型语言模型（LLM）可以零样本外推序列，并根据复杂查询生成新颖的序列和函数（19 (https://arxiv.org/html/2608.18419#bib.bib1); 25 (https://arxiv.org/html/2608.18419#bib.bib32); 27 (https://arxiv.org/html/2608.18419#bib.bib29); 45 (https://arxiv.org/html/2608.18419#bib.bib27); 39 (https://arxiv.org/html/2608.18419#bib.bib28); 2 (https://arxiv.org/html/2608.18419#bib.bib14)）。它们是如何做到这一点的？它们是在训练中遇到了这些趋势，并仅仅使用针对这些模式学习到的规则进行外推吗？还是它们学会了更普遍地推断序列数据的底层结构？

如果LLM能够理解数值数据的序结构——识别隐藏模式、对其进行推理并应用一致的外推算法——其影响将远不止于记忆。这将表明这些模型正在学习抽象的结构推理能力，这种能力与语言的关系远不止于：对时间序列数据进行推理、理解图像像素之间的几何关系，或在3D数据中连接点之间保持结构连贯性（21 (https://arxiv.org/html/2608.18419#bib.bib39); 23 (https://arxiv.org/html/2608.18419#bib.bib38); 26 (https://arxiv.org/html/2608.18419#bib.bib37); 22 (https://arxiv.org/html/2608.18419#bib.bib35); 28 (https://arxiv.org/html/2608.18419#bib.bib34); 24 (https://arxiv.org/html/2608.18419#bib.bib33); 25 (https://arxiv.org/html/2608.18419#bib.bib32); 37 (https://arxiv.org/html/2608.18419#bib.bib31); 38 (https://arxiv.org/html/2608.18419#bib.bib30)）。

在这项工作中，我们通过机制可解释性的视角研究了LLaMA 3.1–8B模型。为探究其结构推理能力，我们引入了一个非平凡的序列建模任务（如图2 (https://arxiv.org/html/2608.18419#S1.F2)所示），该任务无法通过归纳头的令牌级复制（4 (https://arxiv.org/html/2608.18419#bib.bib12)）来解决。我们的可解释性分析结合了线性探测和激活补丁。探测显示，首阶差分表征在各层中被局部存储并线性可解码。补丁实验进一步揭示，模型识别出结构关键令牌，通过对这些潜在差分进行归纳来检索正确的偏移量，并通过将该偏移量加到序列中最后一个数字来执行最终的算术步骤。这些计算是精确的、局部的，并且基于结构。

据我们所知，这是首个揭示LLM在数值序列中对潜在结构进行归纳的内部机制的机制可解释性研究——其中外推源于通过检索到的内部表征进行的算术运算，我们在图1 (https://arxiv.org/html/2608.18419#S1.F1)中对此进行了说明。

## 2. 相关工作

文献19 (https://arxiv.org/html/2608.18419#bib.bib1)表明LLM可以执行序列补全任务，并将此能力归因于上下文学习。然而，他们并未检验这种表现是否源于记忆，也未研究其底层机制或模型对时间结构的理解。文献10 (https://arxiv.org/html/2608.18419#bib.bib3)提出了LLM-Time，探索了使预训练LLM适用于时间序列预测的方法，证明了预训练LLM无需微调即可在时间序列预测任务上表现良好。Time-GPT (7 (https://arxiv.org/html/2608.18419#bib.bib2))是一个完全在时间序列数据上训练的基础模型，而Lag-Llama (20 (https://arxiv.org/html/2608.18419#bib.bib4))是另一个时间序列专用的Transformer。虽然这些模型突显了Transformer在序列建模方面的有效性（44 (https://arxiv.org/html/2608.18419#bib.bib36); 36 (https://arxiv.org/html/2608.18419#bib.bib20); 34 (https://arxiv.org/html/2608.18419#bib.bib21); 35 (https://arxiv.org/html/2608.18419#bib.bib22); 15 (https://arxiv.org/html/2608.18419#bib.bib26); 14 (https://arxiv.org/html/2608.18419#bib.bib25); 16 (https://arxiv.org/html/2608.18419#bib.bib43); 43 (https://arxiv.org/html/2608.18419#bib.bib45); 17 (https://arxiv.org/html/2608.18419#bib.bib44); 11 (https://arxiv.org/html/2608.18419#bib.bib24); 33 (https://arxiv.org/html/2608.18419#bib.bib23)），但它们超出了我们的研究范围，因为我们关注的是通用LLM。

文献1 (https://arxiv.org/html/2608.18419#bib.bib5)和12 (https://arxiv.org/html/2608.18419#bib.bib6)使用玩具模型研究了上下文学习，但未探讨LLM能否在其未被明确训练过的任务中推断序列结构。文献13 (https://arxiv.org/html/2608.18419#bib.bib15)应用机制可解释性来识别简单序列延续任务（如扩展短的递增数列）中的共享电路。虽然文献13 (https://arxiv.org/html/2608.18419#bib.bib15)证明了LLM处理熟悉模式的能力，但它并未解决这些模型能否对更抽象或不规则的数值结构进行推理的问题。相比之下，我们的工作研究了LLM能否识别并外推更复杂的序列结构——例如由任意首阶差分定义的序列。这超越了表层延伸，探索了模型推断和扩展数列中抽象结构的能力。

## 3. 问题设定

### 3.1. 数据集

我们设计的数据集包含数字字符串，每个实例以逗号结尾，以便预测的下一个令牌是数字。整个数据集中的数字介于0到999之间。我们构建每个序列时，其首阶差分来自包含-99到99之间所有整数（不含0）的集合。每个序列由唯一数字组成，其差值（delta）在第17位之前也是唯一的，之后差值开始重复。

我们设计该数据集专门测试LLM能否揭示潜在的数值结构，特别是追踪序列内的差值（delta）。如我们在图2 (https://arxiv.org/html/2608.18419#S1.F2)和表1 (https://arxiv.org/html/2608.18419#S3.T1)（缩略形式）中所示，每个序列包含两个部分：第一部分是具有唯一差值且无明显模式的随机游走；第二部分以相同的顺序复用与第一部分相同的差值集合。这种结构确保模型必须识别出差值中的模式，并确定可以复制差值的唯一位置。

索引 | 0 | 1 | 2 | 3 | 4 | 5 | ... | 23 | 24 | 25 | 26 | 27 | ... | 31 | 32 | 33 | 34 | 35 | 36 | 37 | ... | 55 | 56 | 57 | 58 | 59
--- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | ---
令牌 | S403, | 405, | 400 | 411, | 417, | 409 | ... | 416, | 436, | 438, | 433 | 444, | ... | 450, | 442 | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ...
差值 | 2 | -5 | 7 | 6 | -8 | -2 | ... | 20 | 2 | -5 | 7 | 6 | ... | -8 | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ...
表1. 表格显示了令牌化输入的选定索引位置、令牌及其对应的首阶差分。令牌33之后的差值重现标志着重复周期的开始。

算法1 通过首阶差分模式检测预测下一个数字
输入：令牌序列 S = [BOS, s1, s2, ..., sn, ] S = [\text{BOS}, s_{1}, s_{2}, \ldots, s_{n}\texttt{,}]
输出：预测的下一个数字 sn+1 s_{n+1}
1: 计算首阶差分：
2: D = [s2−s1, s3−s2, ..., sn−sn−1] D=[s_{2}\-s_{1},\ s_{3}\-s_{2},\ \ldots,\ s_{n}\-s_{n\-1}]
3: 识别D中的重复模式P
4: 定位模式P在D中首次出现的索引k
5: 确定sn在模式P中的相位位置p
6: 令 dp = D[p] d_{p}=D[p] 为对应的首阶差分
7: 计算预测值： sn+1 = sn + dp s_{n+1}=s_{n}+d_{p}
8: 返回 sn+1 s_{n+1}

### 3.2. 模型

我们使用LLaMA 3.1–8B（9 (https://arxiv.org/html/2608.18419#bib.bib17)）进行所有实验，这是一个基于Transformer（30 (https://arxiv.org/html/2608.18419#bib.bib13)）的模型，包含32层和每层32个注意力头。选择此模型的一个关键原因是其分词器将0到999的每个整数表示为一个单独的令牌。这一特性通过减少每个序列的令牌数量，使分析更易于处理，从而简化了可解释性实验中的干预和观察。因此，在所有实验中均一致使用LLaMA 3.1–8B。

### 3.3. 软件

我们广泛使用NNsight和NDIF框架（6 (https://arxiv.org/html/2608.18419#bib.bib18)）来跟踪激活、应用干预以及分析LLaMA 3.1–8B模型的内部表征。

### 3.4. 性能评估

我们在序列预测任务上评估LLaMA 3.1–8B，如图1 (https://arxiv.org/html/2608.18419#S1.F1)和图2 (https://arxiv.org/html/2608.18419#S1.F2)所示，并在算法1 (https://arxiv.org/html/2608.18419#alg1)中正式描述。我们提示模型在给定每个输入序列的前29个元素的情况下预测第30个数字。评估数据集包含10,000个序列，每个序列格式为逗号分隔的整数字符串。每个实例以逗号结尾，表示下一个待预测的令牌应是数字。

由于这种格式，我们如表2（缩略形式）所示，将每个数字和每个逗号分别进行令牌化。包括初始特殊令牌在内，模型在生成第60个令牌作为输出之前处理59个令牌。此预测对应于序列中的第30个数字。

#### 3.4.1. 评估指标

我们采用两个互补的评估指标：
平均绝对误差（MAE）量化平均预测误差：
$$ \text{MAE}=\frac{1}{n}\sum_{i=1}^{n}\left\|y_{i}-\hat{y}_{i}\right\|, $$
其中 $y_{i}$ 和 $\hat{y}_{i}$ 分别表示真实值和预测值，$n$ 是实例数量。

决定系数（$R^{2}$）衡量解释方差：
$$ R^{2}=1-\frac{\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^{2}}{\sum_{i=1}^{n}(y_{i}-\bar{y})^{2}}, $$
其中 $\bar{y}$ 是真实值的均值。接近1的值表示预测性能强，而接近0或负值则表示性能接近或差于朴素的均值预测器。

#### 3.4.2. 结果

LLaMA 3.1–8B在我们的评估数据集上实现了4.2748的MAE和0.9958的$R^{2}$。高$R^{2}$值表明模型解释了目标序列约99.58%的方差，展示了其在数值序列预测方面的强大模式识别能力。

## 4. 数值信息是否在模型中局部表示？

为了预测下一个数字，模型必须将最后观察到的值加到先前看到的首阶差分上。这引出了一个核心的可解释性问题：模型是否在结构化的、局部的表征中明确编码了这些数值组件，还是仅仅依赖隐式模式识别？

我们使用探测实验来评估模型隐藏状态的表征内容。与补丁不同——补丁通过测量改变激活如何影响模型输出来测试某个激活是否*功能上必需*——探测则是询问特定信息是否*存在*