时间上下文重建驱动长上下文语言模型中的类情节顺序记忆
摘要
本文基于一部小说的时序记忆任务,研究长上下文语言模型是否表现出与人类相似的类情节顺序记忆。作者发现模型显示出相同的距离效应,并揭示了一个单独的关注头(attention head)重建时间上下文,支持时间上下文重建作为大语言模型中类情节记忆的机制。
arXiv:2607.22575v1 Announce Type: new
摘要:人类情景记忆支持对在长时间尺度上展开的经历的检索,但由于人类长期记忆实验的机制可及性有限,支撑这一能力的计算机制仍存在争议。长上下文大语言模型可能为揭示驱动这类检索的合理计算机制提供有前景的方法。本文通过一项时序记忆任务,研究大语言模型是否以及如何捕捉情景记忆的核心行为特征。基于一部完整小说的记忆构建的人类行为新数据集,我们表明模型在此任务中表现出与人类相同的特征距离效应。接着,我们运用长上下文机械可解释性分析来揭示模型如何解决此任务,发现模型性能依赖于一个一维时间编码,该编码在检索过程中由单个时间重建注意力头(time-reinstatement attention head)重建。这些发现支持时间上下文重建作为大语言模型中类情节时序记忆的重要机制,为长期情景记忆的时间方面如何在人工和生物系统中实现提供了新见解。
查看缓存全文
缓存时间: 2026/07/28 06:25
# 时间上下文重建驱动长上下文语言模型中的类情景时序记忆 来源:https://arxiv.org/html/2607.22575 Vy Ai Vo·Qinyuan Wu·Jianing Mu·Javier Turek·Uri Hasson·Kenneth A. Norman·Sebastian Michelmann·Alexander Huth·Mariya Toneva ###### 摘要 人类情景记忆支持对长时间尺度上展开的经历进行检索,然而由于人类长期记忆实验中的机制可及性有限,支撑这一能力的计算机制仍存在争议。长上下文LLM可能为揭示驱动此类检索的合理计算机制提供有前景的途径。在此,我们通过一个时序记忆任务研究LLM是否以及如何捕捉情景记忆的核心行为特征。利用基于整本长篇小说记忆的人类行为新数据集,我们发现模型在该任务上表现出与人类相同的特征性距离效应。接着,我们应用长上下文机制可解释性分析来揭示模型如何解决该任务,并发现模型性能依赖于一个一维时间编码,该编码在检索过程中由一个单一的时间重建注意力头来重建。这些发现支持时间上下文重建作为LLM中类情景时序记忆的重要机制,为长期情景记忆的时间方面在人工和生物系统中可能如何实现提供了新见解。 时序记忆,神经科学,机器学习 ## 1 引言 情景记忆使人类能够将特定的过去经历作为时间上展开的事件进行回忆,保留关于在经验流中发生了什么以及何时发生的信息(Tulving, 1972 (https://arxiv.org/html/2607.22575#bib.bib171))。这种能力支撑着跨长时间尺度的推理,使得过去的事件可以被灵活地检索和重组以指导当前行为(Schacter and Addis, 2007 (https://arxiv.org/html/2607.22575#bib.bib172)),从而使情景记忆成为生物智能的基石。除了人类大脑,情景记忆对于人工系统也日益相关:随着大语言模型被部署到需要持续学习和长期交互的场景中,在长时间跨度内保留、检索和时间上组织信息的能力已成为现代AI系统的关键诉求。 尽管经过数十年的研究,产生人类情景记忆的计算机制仍存在激烈争议。进展受到一个根本性限制的制约:人类记忆系统的机制难以探查和因果操控。虽然行为实验和神经测量已经识别出情景编码和检索的特征(Xue, 2018 (https://arxiv.org/html/2607.22575#bib.bib173)),但它们对于分离支持长期、自然经历记忆的内部计算所提供的杠杆有限。因此,关键性机制问题——尤其是关于如何在检索过程中恢复时间结构的问题——仍未解决。 大语言模型(LLM)为研究这些问题提供了一个有前景的补充框架。特别是,近期工作越来越多地通过情景记忆的视角来解释上下文内记忆(Gershman et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib156);Kolling et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib1);Ji-An et al., 2024 (https://arxiv.org/html/2607.22575#bib.bib83);Park et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib151)),在Transformer架构与大脑中的记忆机制之间建立联系(参见第2节 (https://arxiv.org/html/2607.22575#S2)了解与我们工作的具体差异)。同时,Transformer中的记忆与人类记忆之间仍存在重要差异。因果掩蔽的自注意力保留了近乎无损的过去表征访问能力,而人类的情景检索本质上是损耗性的,并受许多额外约束。尽管存在这些差异,越来越多的研究表明,语言模型在一系列与记忆相关的认知功能上与人类行为和神经表征对齐,包括联想学习(Kolling et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib1))、事件分割(Michelmann et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib9))以及更一般的语言理解(Toneva and Wehbe, 2019 (https://arxiv.org/html/2607.22575#bib.bib13);Schrimpf et al., 2021 (https://arxiv.org/html/2607.22575#bib.bib14);Caucheteux and King, 2022 (https://arxiv.org/html/2607.22575#bib.bib16);Goldstein et al., 2022 (https://arxiv.org/html/2607.22575#bib.bib15);Vo et al., 2023 (https://arxiv.org/html/2607.22575#bib.bib6))。此外,长上下文架构的进步使得LLM能够处理和保留极长序列的信息,接近真实世界情景经历的时间尺度。关键在于,与生物系统不同,LLM在机制上是完全透明的:其内部表征和检索动态可以被检查并直接操控。总之,这些特性将长上下文LLM定位为研究情景记忆计算假设的一个强大模型系统。 在这项工作中,我们利用长上下文LLM作为一个机制上可及的模型,来研究支持情景记忆一个核心方面——即恢复过去经历的时间结构的能力(如时序判断)——的计算机制。具体而言,我们关注两个相互竞争的假设。第一个假设提出,时序判断依赖于一个明确的时间位置信号,该信号追踪事件发生的时间(Howard and Kahana, 2002 (https://arxiv.org/html/2607.22575#bib.bib139);Temudo et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib175);Umbach et al., 2020 (https://arxiv.org/html/2607.22575#bib.bib165))。第二个假设认为,顺序可以从语义信息中间接推断出来,例如连接事件的因果链或叙事链(Antony et al., 2024 (https://arxiv.org/html/2607.22575#bib.bib174);Chen and Bornstein, 2024 (https://arxiv.org/html/2607.22575#bib.bib176);Radvansky et al., 2014 (https://arxiv.org/html/2607.22575#bib.bib177)),而不需要明确的时间表征。 为了进行这一研究,我们引入了一个新的基于整本长篇小说的时序判断人类数据集,并将人类表现与长上下文LLM进行比较。我们展示了模型在该任务的行为模式上与人类表现出相同的距离效应。利用机制可解释性分析,我们随后识别出模型中产生成功检索的内部过程。我们的结果显示,性能依赖于检索过程中低维时间编码的重建,该重建由一个专门的注意力头介导,而不仅仅依赖于语义推断。总之,这些发现表明,时间上下文的重建在支持LLM中的类情景时序记忆中起着核心作用,并揭示了长期情景记忆中的时间结构如何在人工和生物系统中得以实现。 我们的主要贡献是: 1. 1. 一个面向长上下文LLM的时序任务,以及一个新的长程人类记忆数据集,该数据集描述了该任务的行为特征。 2. 2. 一种用于定位长上下文LLM注意力头中时序信息及其重建的方法。 3. 3. 发现单个注意力头从Transformer的键值缓存中重建时间信息,并且在时序判断任务中具有因果作用。 4. 4. 最后,我们发布了ICMemory-Kit,这是一个灵活、开源的工具包,以促进未来关于长上下文记忆和机制可解释性的研究。 我们希望我们的工作——它开发了LLM中时间重建的机制定位和因果验证方法——能够作为未来人类记忆认知模型的起点。 ## 2 相关工作 ##### 情景记忆的计算模型。现有的情景记忆模型,例如上下文维持与检索模型(Polyn et al., 2009 (https://arxiv.org/html/2607.22575#bib.bib158)),局限于特定的任务设计。LLM有望最终实现自然任务中的情景记忆模型。为了推进这一方向,我们研究了LLM中与情景记忆相关的一个机制:时间上下文的重建。 ##### LLM与情景记忆之间的联系。越来越多的研究在Transformer语言模型和情景记忆计算之间建立了功能和机制上的平行关系。Gershman et al. (2025 (https://arxiv.org/html/2607.22575#bib.bib156))将情景记忆框架化为一个键值记忆系统,并强调了情景记忆中的键值检索与因果LLM中基于自注意力的编码和检索之间的功能对应关系。我们采纳这一框架,将值缓存的形成视为记忆的编码,以备后续(基于注意力的)检索。Park et al. (2025 (https://arxiv.org/html/2607.22575#bib.bib151))表明,LLM表征可以在其主成分中表现出潜在结构,与提示背后的数据生成过程对齐,并将这一结构与海马体功能联系起来。我们的分析方法上与他们的谱分析和主成分方法相邻,但他们寻找的是捕捉生成提示的底层环境结构的表征几何,而我们寻找的是与提示的顺序处理对齐的时间结构,无论数据生成过程如何。Ji-An et al. (2024 (https://arxiv.org/html/2607.22575#bib.bib83))认为,支持上下文内学习的邻近性偏差注意力模式可以通过使用情景记忆的上下文维持与检索(CMR)模型(Polyn et al., 2009 (https://arxiv.org/html/2607.22575#bib.bib158))进行建模和识别,这表明情景记忆和上下文内学习之间存在功能相似性。在此,我们发现一个检索头具有特殊功能:重建与先前遇到的词元序列相关联的时间编码。 ##### 位置信息作为时间信息。从情景记忆的角度来看,序列模型中的位置信号可以被解释为时间信息。近期工作表明,即使没有额外位置支架(例如RoPE(Su et al., 2024 (https://arxiv.org/html/2607.22575#bib.bib169))),Transformer也能形成和使用位置/时间表征,包括在任何显式位置编码都没有的“NoPE”设置中(Haviv et al., 2022 (https://arxiv.org/html/2607.22575#bib.bib145);Kazemnejad et al., 2023 (https://arxiv.org/html/2607.22575#bib.bib146);Chi et al., 2023 (https://arxiv.org/html/2607.22575#bib.bib160);Zuo et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib161);Irie, 2025 (https://arxiv.org/html/2607.22575#bib.bib163);Gelberg et al., 2025 (https://arxiv.org/html/2607.22575#bib.bib168))。在这项工作中,我们专注于识别此类时间信息在网络中的定位位置、在处理过程中如何被重建,并测试其在时序判断任务中的因果贡献。与此相关,我们在第5.2节 (https://arxiv.org/html/2607.22575#S5.SS2)和附录A.1 (https://arxiv.org/html/2607.22575#A1.SS1)中展示了本文分析的时间信息不依赖于RoPE。 ## 3 自然且长时间尺度的情景记忆任务 我们研究基于自然主义长形式刺激的时序判断。核心任务是一个二元选择题任务:给定从长文本中采样的两个50词片段,回忆哪个片段在原始文本中出现得更早。图1 (https://arxiv.org/html/2607.22575#S3.F1) 说明了该记忆任务的编码-检索结构。在*编码*阶段,长文本被顺序处理(即阅读)。在随后的*检索*阶段,参与者(人类或模型)被展示两个不重叠的片段,标记为A和B(A/B标签随机分配),并且必须回答: > *片段A是否在文本中出现于片段B之前?* 我们将此任务称为*序列顺序回忆任务*(SORT)。基于人类实验,我们发现50个单词的片段在任务难度和任务时长之间提供了良好的权衡。我们将人类和模型实验与此对齐,即每个片段由从源文本中逐字取出的连续50个单词组成。检索阶段呈现的查询包含两个片段和二元问题。随机分配两个采样片段到A/B,防止与呈现顺序相关的系统性反应偏差反映在性能中。对于给定的片段对,我们定义*距离* Δ_w 为两个片段之间的单词数。 ### 3.1 模型实验 对于模型,我们构建一个单一的长上下文提示,其中完整源文本首先出现(*编码跨度*),随后是一个简短的任务指令(参见附录A.11 (https://arxiv.org/html/2607.22575#A1.SS11)使用的提示)和两个50词片段(*检索跨度*)。模型随后输出一个二元决策(A在B之前 vs. B在A之前)。我们以两种顺序呈现每一对,以去除选择题标签偏差。该设置确保用于回答顺序问题的任何信息必须来自处理上下文内文本时形成的表征,而不是来自外部工具或对源文本的迭代搜索。我们使用的确切提示如附录A.11 (https://arxiv.org/html/2607.22575#A1.SS11)所示。 ### 3.2 人类实验 书籍是长期情景记忆的自然探针:它们通常跨越多次阅读和数天完成,是一种常见的现实活动而非合成任务,并且为可能被编码的内容提供了固定的地面真实答案。然而,目前没有公开的大规模测量人类对整本书籍长期记忆的数据集。因此,我们设计了一个实验从大样本人群中收集这些数据,并将公开发布。考虑到招募参与者专门为实验阅读长篇书籍的难度,我们采用了创造性的招募策略:邀请在线阅读社区*Goodreads*中近期读完一本300页书籍的成员,该书在同一年成为公有领域——*《罗杰疑案》*。参与者在完成书籍后的30天内完成在线调查。参与的预期报酬为12美元,该研究已获得普林斯顿大学IRB批准。我们提供了来自97名参与者的990个片段对样本。关于该研究的更多细节见附录A.10 (https://arxiv.org/html/2607.22575#A1.SS10)。 参见图注 图1:任务示意图。对于每个试验,从已知顺序和词距的完整文本中采样两个50词片段。测试时以随机顺序呈现为A/B,受试者/模型回答哪个片段出现得更早。 ### 3.3 数据集 我们使用一个自然主义的书籍刺激(用于比较人类和模型行为以及验证机制的主要数据集)以及用于表征分析的额外文档(见表1 (https://arxiv.org/html/2607.22575#S3.T1))。对于所有文本,我们移除了时间标记,如枚举、日期、章节编号。
相似文章
历史自我重演:释放线性注意力的长上下文能力
论文提出了 NoteBank,一种免训练的稀疏情景记忆,通过归档选定文本并通过原生计算进行重放来增强线性注意力模型,在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%,且 FLOPs 开销可忽略不计。
更少的上下文,更高的准确性:一种用于LLM代理的双时态记忆引擎,其中精简检索的上下文胜过了完整历史
本文介绍了Engram,一个开源的用于LLM代理的双时态记忆引擎,它通过检索一个紧凑的上下文片段(约9.6k token),在LongMemEval上以混合读取路径融合稠密、词汇、图和时间信号,比完整历史基线(79k token)高出10.4个准确率点。
从长上下文到选择性记忆:面向大语言模型的以记忆为中心的压缩技术综述
一篇综述论文,将长上下文压缩重新定义为大语言模型的内存管理问题,并将提示词压缩、KV 缓存管理、检索增强和智能体记忆统一纳入一个采用预算约束成本模型的信息生命周期框架。
大型语言模型中时间偏好概念及其功能
本文在蒸馏大型语言模型中因果定位了用于时间偏好的子图,发现该模型对未来折现的幅度比人类更平缓,并且引导向量可以改变时间偏好,凸显了显式控制机制的必要性。
机器的内部时钟:大语言模型是否共享人类的时间错觉?
本文探讨大语言模型是否表现出类似人类的时间错觉,通过在叙事基准上进行测试,发现大语言模型经常选择与心理学文献一致的场景,而不是模仿人类的感知。