语言模型是否一致编码当前年份？

# 语言模型是否一致编码当前年份？来源：https://arxiv.org/html/2608.15507

###### 摘要

一致的当前时间概念对于时间推理至关重要，然而语言模型如何表示当前时间尚未被充分理解。我们提出了两项以概念上不同方式探测当前年份的任务：一项**联想任务**，通过动词时态推断当前年份；一项**声明任务**，直接询问当前年份。这两项任务都能将当前年份估计在指令微调语言模型训练数据截止日期的一年之内。对于基础模型，联想任务的预测可作为预训练数据截止日期的有力代理指标，13个模型的平均误差仅为10个月。但它们的内部机制存在差异：联想任务使用了类似事实回忆的机制，而声明任务则缺乏一致的因果通路。这种差异给更新语言模型中的当前年份带来了挑战。无论是提示、SFT（监督微调）还是权重编辑，都未能同时改变联想年份和声明年份。提示能够更新声明年份（在351个目标年份上成功率达94.6%），但联想年份几乎保持不变（成功率仅1.7%）。年份偏移的SFT也未能改变联想年份，仅在八个模型中的一个与目标年份匹配。权重编辑虽然对两项任务单独有效，但未能在两者间泛化。总体而言，我们的结果表明，当前年份在语言模型中并未被一致编码：深深嵌入预训练所学语言结构中的联想概念，使用了不同的因果机制，并且抵抗那些轻易改变后训练习得的声明概念的相同修改。

## 1 引言

语言模型需要感知当前时间，以便进行时间上下文推理。这一点至关重要，因为许多事实具有时间依赖性（Park et al. 2025b；Dhingra et al. 2022），例如，谁是总统。有缺陷的当前时间概念可能导致有害行为，例如因错误识别数据截止日期而过度拒绝（Willison 2025；Karpathy 2025），或允许对手通过操纵当前年份诱发后门行为（Hubinger et al. 2024；Betley et al. 2025）。现有关于时间感知的研究集中在两个方向：（1）时间推理能力的行为评估（Park et al. 2025b；Jang et al. 2022；Fatemi et al. 2025），以及（2）通过微调和提示刷新语言模型（Nylund et al. 2024；Grattafiori et al. 2024；Gao et al. 2025；Dhingra et al. 2022）。人们通常假设语言模型具有当前时间的概念，但对于该概念如何学习和表示知之甚少。在这项工作中，我们研究语言模型是否具有一致的当前年份概念。我们选择“年份”作为当前时间的一个离散、粒度合理的单位，并设计了以概念上不同方式探测当前年份的任务。具体而言，我们定义了一个**联想任务**，通过动词时态推断当前年份；以及一个**声明任务**，直接询问当前年份。对于这两项任务，我们分析了语言模型的行为、内部表征以及与训练数据分布的联系。我们发现，在SFT之后，语言模型在两项任务上都表现出一致的行为，并收敛到训练数据截止日期的一年内。联想任务也提供了一个强有力的预训练截止年份代理指标，13个基础语言模型的平均偏差仅为0.85年，优于过去的代理方法（Cheng et al. 2024）。相比之下，声明的当前年份仅在后训练阶段获得，受指令遵循和SFT数据中年份分布的共同影响。尽管任务间存在行为对齐，但我们发现它们对应不同的内部机制。通过因果干预追踪内部机制，我们表明联想的当前年份类似于事实回忆（Meng et al. 2022；Geva et al. 2023）。相反，声明的当前年份缺乏一致的内部机制。接下来，我们评估了拥有不同机制是否会对更新当前年份构成挑战，这是刷新语言模型的必要步骤。我们评估了三类方法：在上下文中指定目标当前年份、在年份偏移数据上微调以及低秩权重编辑。所有针对声明当前年份的方法都能轻松改变它，使用系统提示时，在351个目标年份上的准确率高达94.6%。联想当前年份则抵抗被改变，提示的成功率仅为1.7%，年份偏移数据的微调仅在目标年份接近基础语言模型的联想当前年份时成功。权重编辑虽然对联想和声明任务各自有效，但未能在两者间泛化：针对联想当前年份定制的权重编辑能将八个经权重编辑的语言模型的联想年份调整到目标年份的六年内，但声明当前年份几乎保持不变。总之，我们的发现表明语言模型不具有一致的当前年份概念：广泛编码在语言中并深度嵌入预训练的联想概念，依赖于不同的因果机制，并且抵抗那些容易改变后训练阶段习得的声明概念的现有干预措施。

## 2 相关工作

#### 语言模型中的时间依赖行为

最近的研究评估了语言模型中的时间知识和时间推理（Park et al. 2025b；Fatemi et al. 2025；Li et al. 2026；Wallat et al. 2025），提出了通过基于日期或时间顺序数据进行微调来刷新语言模型的方法（Dhingra et al. 2022；Jang et al. 2022），使用了模型引导（Nylund et al. 2024；An et al. 2026），并尝试通过提示在语言模型中诱导出不同的当前时间，用于良性及对抗性行为（Gao et al. 2025；Underwood et al. 2025；Hubinger et al. 2024）。虽然语言模型可能感知当前时间，但这些方法对当前时间概念如何在语言模型中表示或源自何处知之甚少。

#### 定位和编辑语言模型中的概念

我们的工作使用因果方法定位语言模型中的当前年份机制。这包括零干预，例如注意力或MLP子层消融（Geva et al. 2023）；互换干预，例如交换相同类型实体之间的表征（Meng et al. 2022；Geiger et al. 2021；Geiger et al. 2025）；以及基于特征子空间学习的互换干预，例如分布式对齐搜索（DAS）（Geiger et al. 2024）。使用这些方法，先前的工作已经定位并编辑了基于Transformer的语言模型中的事实回忆机制（Geva et al. 2023；Meng et al. 2022；Meng et al. 2023；Huang et al. 2024；Merullo et al. 2024）。最近，Park et al. 2025a 确定了支持特定时间信息回忆的注意力头。

## 3 联想的当前年份

表 1：联想的当前年份是预训练数据截止年份的准确代理指标。对表中13个语言模型取平均，ACY和ACYM分别偏离训练数据截止日期0.85年和0.75年，而WIKISPAN数据集上的困惑度预测（Cheng et al. 2024）的偏差为2.71年。前八个语言模型的困惑度预测来自Cheng et al. 2024；其余五个通过复现其方法获得（附录 E）。括号“( )”中的估计误差报告为偏离训练数据截止月份的绝对值。
参见图注
图 1：OLMo2-7B在联想任务上展示了连贯的过去/未来区分。我们绘制了提示“In [year] there”在1950–2050年上预测下一个词的概率，按时态分类。
表 2：联想的当前年份随预训练数据分布在阶段间变化。我们报告了OLMo2-1B和OLMo2-7B在两个阶段计数模型给出的ACY，以及两个阶段数据所暗示的年份在1950–2050年的分布。

我们首先考虑当前年份的一个*联想*概念，其中当前年份的值隐含地编码在两个词的关联中。我们关注一个代表这种时间联想概念的常见语法结构：动词时态变化。

### 3.1 定义

联想任务使用形如“In {year} there”的提示，其中预测的下一个词是一个时态反映语言模型隐含当前年份概念的动词。例如，对于“In 1960 there”，预测“was”意味着当前年份在1960年之后。111 这种推断特指此处使用的提示结构，其中没有嵌入动词或其他将锚定时间从说话者当前转移的构造，例如“In 2030, they said that in 2027 there”，这应该预测“were”。
**联想当前年份（ACY）** 是给定年份范围内第一个满足 \( p_y(\text{past}) > 90\% \) 的年份 \( y \)。**联想当前年份中位数（ACYM）** 是所有时间指示词过去概率大于未来概率的年份集合的中位数。在我们的评估中，我们使用1950–2050的范围。

### 3.2 作为预训练截止日期代理的联想当前年份

我们首先验证联想当前年份是否与语言模型的预训练数据截止日期对齐。表1显示了13个语言模型在微调前的ACY和ACYM。与使用困惑度预测的先前代理方法（Cheng et al. 2024）相比，ACY和ACYM的平均绝对偏差分别为0.85年和0.75年，远优于后者的2.71年。这表明联想当前年份是一个非常强的预训练数据截止日期代理指标。

### 3.3 联想当前年份与训练数据分布的关系

我们进一步探究联想当前年份是否随训练数据分布变化。我们使用两个规模不同但源自同一预训练数据的模型：OLMo2-1B和OLMo2-7B。我们还构建了两个计数模型，分别统计每个预训练阶段数据中年份的出现频率。表2显示，两个语言模型和两个计数模型的年份分布在各个阶段都是一致的，这表明联想当前年份准确地反映了训练数据中的时间信息。

### 3.4 联想当前年份在后训练中的变化

我们研究了后训练（包括指令微调和SFT）如何影响联想当前年份。图2显示，对于OLMo2-1B和OLMo2-7B，SFT后ACY向SFT数据截止年份移动。例如，OLMo2-7B的ACY从2014年变为2024年，ACYM从2014年变为2023年。这表明联想当前年份可以通过后训练进行更新，但更新程度有限。

### 3.5 联想当前年份的内部机制

我们使用因果干预方法来定位联想当前年份的内部机制。首先，我们使用**分布式对齐搜索（DAS）**（Geiger et al. 2024）来寻找与当前年份概念对齐的线性子空间。图3显示，在OLMo2-7B的五个连续层中，存在一个与年份高度对齐的子空间（IIA > 0.9）。这个子空间不仅能区分过去和未来的年份，还能对类似年份的数字进行泛化（即使它们在非时间上下文中未被用作时间表达），这种效应在后续层消失，表明年份类型随后变得特定于时间上下文。

#### 不同模板和输出分词下的互换

最后，我们通过改变原始模板为大写“IN [year] THERE”来测试对表面形式和输出大小写变化的鲁棒性。这将目标下一个词预测从“was, were, is, are, will”转变为“WAS, WERE, IS, ARE, WILL”。一个复杂情况是“WERE”可能被分词为“W+ERE”；在这种情况下，语言模型会将大部分概率质量分配给“W”之后的“ERE”。因此，在评估时，我们将“W”视为“were”的大写形式。经过此修改，互换在很大程度上仍然成功，但在各层中实现的IIA始终低于小写设置（表10），表明定位的子空间并非仅与单个固定输出词绑定，而是对模板和所用输出词有一定敏感性。

表 10：年份类型子空间非平凡且特定于类似年份的表征。各种设置下第二个年份词在各层的IIA。
(a) 与非数字词互换的提示。将非年份、非数字词代入“In year there”模板。
(b) 与外观像年份但实际不是的数字互换的提示。在非时间上下文中包含类似年份数字的算术表达式。
表 11：所有用于联想互换鲁棒性实验的提示。

## 附录 H 通过注意力和MLP消融进行因果追踪

在3.5节中，我们使用残差流上的学习互换干预来探究语言模型如何解决联想任务。这里，我们使用零干预，将注意力和MLP的加法替换为零向量，以测量它们对最终时态预测的因果贡献。

#### 方法
我们使用注意力/MLP子层消融（Geva et al. 2023）：对于每个干预位置，我们将连续五个层中一个词上的注意力或MLP输出归零。对于每次干预，我们通过测量**时态偏移幅度（TSM）** 来衡量消融前后时态概率的变化，计算公式为：
\[
\mathrm{TSM}_{y} = \| p_{y}(\mathrm{past})_{\mathrm{before}} - p_{y}(\mathrm{future})_{\mathrm{before}} \| - \| p_{y}(\mathrm{past})_{\mathrm{after}} - p_{y}(\mathrm{future})_{\mathrm{after}} \|
\]

#### 因果追踪证实了年份类型定位结果
我们在70个语言模型行为正确的提示上进行注意力和MLP消融。图13显示了各组的平均TSM。我们看到，当年份词在较早层、最后一个词在较晚层被消融时，发生了最大的时态偏移，这与因果抽象结果一致（图3）。

#### 子层消融揭示了过去与未来年份的不对称性
值得注意的是，过去年份和未来年份的提示反应不同：未来年份提示的消融效果更大，体现在年份的第二个词（即最后一位数字）上；而过去年份提示受年份第二个词的影响较小。这种模式表明，语言模型使用最早的年份词证据来解析时态，但当该年份被解释为未来时，更依赖于年份的后置数字。
参见图注
(a) 过去年份
参见图注
(b) 未来年份
图 13：注意力和MLP消融证实联想任务的因果抽象结果。我们显示了联想任务的结果，通过时态偏移幅度（TSM）衡量，在35个过去年份（上）和35个未来年份（下）提示上取平均。我们看到在年份词的较早层和最后一个词的较晚层出现大的TSM，与因果抽象结果相同。未来年份提示比过去年份提示更依赖年份的第二个词（最后一位数字）。

## 附录 I 声明提示和行为

我们使用一组提示来寻找声明的当前年份。针对基础模型的续写提示集和针对微调模型的指令提示集见表12。值得注意的是，我们投入了大量精力从十个提示中筛选出那些OLMo2-1B和OLMo2-7B的基础模型和SFT模型都能以年份回应的提示。

表 12：所有用于寻找声明当前年份的提示。