@dair_ai: // Neural procedural memory // 关于超越提示检索的智能体记忆的好论文。NPM 将程序性技能存储为激活…

// 神经程序性记忆 // 一篇关于超越提示检索的智能体记忆的优秀论文。NPM 将程序性技能存储为从对比历史经验中提取的激活引导向量。文本记忆可以告诉智能体该做什么，但可能无法激活正确执行技能所需的内部行为。这对于需要在与环境交互中具备持久操作知识的智能体来说是一个有用的方向。记忆不一定总是上下文窗口中的另一个段落。论文: https://arxiv.org/abs/2606.29824 在我们的学院中学习构建有效的 AI 智能体: https://academy.dair.ai — # 神经程序性记忆: 赋予 LLM 智能体隐式激活引导能力 来源: https://arxiv.org/html/2606.29824 赵成峰 1,2，谭裕乔 1,2，何世柱 1,2，王业全 3，赵军 1,2，刘康 1,2，1 中国科学院自动化研究所 2 中国科学院大学 3 北京人工智能研究院 {zhaochengfeng2024, tanyuqiao2025}@ia.ac.cn,{shizhu.he, kliu, jzhao}@nlpr.ia.ac.cn [email protected] ###### 摘要 尽管大型语言模型 (LLM) 作为静态求解器表现出色，但将它们转变为自主智能体仍具挑战性。这一转变需要持续的环境交互，然而当前的智能体缺乏必要的持久程序性记忆。现有方法主要采用检索增强生成 (RAG) 将显式文本指南注入模型上下文。然而，仅依赖符号指令可能会引入文本-动作脱节，常常无法激活正确任务执行所需的内部表征。为解决此问题，本文提出了神经程序性记忆 (NPM)，一种无需训练的框架，通过隐式激活引导而非显式指令来表征智能体记忆。通过从历史对比经验中将程序性技能提炼为激活空间中的引导向量，NPM 直接激活任务相关的神经机制以指导任务执行。在四个智能体基准上的评估表明，NPM 的性能可与使用显式文本指令的基线相媲美。此外，结果显示，将隐式引导与显式工作流结合能提供互补优势，带来更稳健的任务执行。表征分析表明，这些引导向量编码了一致的任务逻辑，在激活空间内形成了有组织的结构。这些发现表明，隐式激活引导为管理智能体记忆提供了一种有前景的方法。 神经程序性记忆: 赋予 LLM 智能体隐式激活引导能力 赵成峰 1,2，谭裕乔 1,2，何世柱 1,2，王业全 3，赵军 1,2，刘康 1,2††thanks:通讯作者，1 中国科学院自动化研究所 2 中国科学院大学 3 北京人工智能研究院 {zhaochengfeng2024, tanyuqiao2025}@ia.ac.cn,{shizhu.he, kliu, jzhao}@[email protected] ## 1 引言 参见图注 图 1: LLM 智能体中陈述性记忆与程序性记忆的对比。左: 陈述性记忆成功地将推理基于静态事实知识，使智能体严格遵守显式用户约束。右: 文本程序性记忆可能引入文本-动作脱节，智能体难以将检索到的工作流对齐到执行轨迹上，并遗漏中间步骤。 随着大型语言模型 (LLM) 从无状态推理器演变为自主智能体的中央控制器，其操作范围已扩展到开放的、动态的环境——从网页导航到具身交互 (Wang 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib2),2024a (https://arxiv.org/html/2606.29824#bib.bib3); Liu 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib1))。在这些复杂环境中取得成功需要智能体利用持久记忆，将过去的经验转化为可复用的技能，这使得记忆成为长期自主性的关键组成部分 (Park 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib43); Zhong 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib22); Omidi 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib36); Hu 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib21))。智能体记忆在功能上由用于描述性事实的陈述性记忆 (Wang 等, 2024b (https://arxiv.org/html/2606.29824#bib.bib37); Gutierrez 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib38); Chhikara 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib14)) 和用于执行动作序列的程序性记忆 (Zheng 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib5); Zhao 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib7); Yu 等, 2025a (https://arxiv.org/html/2606.29824#bib.bib39)) 组成。虽然陈述性回忆相对直接，但有效表征和利用程序性记忆仍是一个瓶颈 (Han 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib44); Zhang 等, 2025c (https://arxiv.org/html/2606.29824#bib.bib45))。传统方法通常通过监督微调 (Shao 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib40); Zhang 等, 2025b (https://arxiv.org/html/2606.29824#bib.bib27)) 或强化学习 (Kim 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib41); Yao 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib42)) 将程序性知识离线嵌入到模型参数中。然而，这些参数更新方法计算开销大，且难以实时适应动态环境 (Zhai 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib48); Xia 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib47); Luo 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib46))。相比之下，近期研究聚焦于第二种范式: 在线外部知识检索，最著名的是检索增强生成 (RAG)。尽管在陈述性记忆（如事实检索）方面取得了成功 (Zhong 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib22); Packer 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib15); Chhikara 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib14))，但该解决方案在直接应用于程序性记忆时遇到了局限性。与静态事实不同，程序性记忆本质上是隐式和抽象的。这类知识往往难以言表: 将复杂的推理模式压缩成离散的自然语言标记不可避免地会导致信息损失 (Mahowald 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib26))。完全依赖显式文本描述来传递程序性技能可能导致文本-动作脱节。智能体可能理解检索到的指令，但未能严格按指令行动 (Wen 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib11); Sun 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib9); Geng 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib10))。如图 1 (https://arxiv.org/html/2606.29824#S1.F1) 所示，尽管陈述性记忆成功地将静态约束落地，但通过文本传递程序性工作流却无法转化为顺序动作，导致智能体在执行过程中遗漏关键的中间步骤。当仅依赖文本作为推理媒介时，对动作的符号描述有时无法一致地引发任务完成所需的目标行为轨迹。因此，直观上看，程序性记忆或许可以受益于更贴近内在行为调节的机制，而非仅依赖外部文本。这一观点得到了认知神经科学的支持 (Squire 1992 (https://arxiv.org/html/2606.29824#bib.bib19),2004 (https://arxiv.org/html/2606.29824#bib.bib20))，该学科认为程序性记忆是不可言语化的，并通过神经活动的调节而非显式的陈述性回忆来体现。基于这一见解，我们提出了神经程序性记忆 (NPM)，一个无需训练的框架，引入了基于隐式激活引导的智能体记忆替代范式。NPM 并非检索文本供智能体阅读，而是识别相关历史任务，并从对比经验中提取程序性信号，将其转化为激活空间中的引导向量。具体而言，我们采用双粒度策略来应对智能体在复杂任务中无法获得成功轨迹的挑战: 轨迹间对比用于对齐成功与失败轨迹，而轨迹内对比则利用单个失败尝试中的步骤级差异。在推理时，动态合成引导向量并注入残差流，直接调节智能体的推理过程和动作选择，而无需扩展上下文窗口或更新参数。我们在四个智能体基准上评估了 NPM，包括 ALFWorld (Shridhar 等, 2021 (https://arxiv.org/html/2606.29824#bib.bib32))、WebShop (Yao 等, 2022 (https://arxiv.org/html/2606.29824#bib.bib33))、ScienceWorld (Wang 等, 2022 (https://arxiv.org/html/2606.29824#bib.bib49)) 和 BabyAI (Chevalier-Boisvert 等, 2019 (https://arxiv.org/html/2606.29824#bib.bib50))。结果表明，隐式激活引导达到了与显式文本记忆基线相当的性能，并且在与显式文本工作流结合时表现出互补的协同作用。文本记忆提供高级符号指导，而隐式引导则直接在神经表征中强化程序性遵循。我们进一步剖析了提取的向量，揭示了具有语义意义的行为基元，为程序性知识如何在激活空间中表征提供了可解释的视角。这些发现表明，隐式激活引导是为 LLM 智能体表征程序性记忆的一种有效途径。我们的贡献总结如下: - •本文提出了神经程序性记忆 (NPM)，一个无需训练的框架，将隐式激活引导集成到智能体记忆中，实现了有效的内在行为调节。 - •本文引入了一种双粒度提取方法，同时使用轨迹间和轨迹内对比，提供了一种灵活的干预机制，并减轻了对成功演示的依赖。 - •大量实验表明，激活引导可以作为智能体技能的有效载体，产生与特定任务行为相关的可解释向量。 参见图注 图 2: 神经程序性记忆 (NPM) 框架概览。(1) 对比经验构建: 从历史交互中形成双粒度（轨迹间和轨迹内）对比对。(2) 程序性记忆提取: 从这些对比对中提取连续表征，构建历史记忆库。(3) 推理时干预: 检索相关经验以动态合成引导向量，并将其注入残差流以指导智能体推理。 ## 2 相关工作 ##### 智能体记忆的功能 智能体记忆通常分为事实性（陈述性）和体验性（程序性）两部分 (Hu 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib21))。虽然检索增强生成 (RAG) 能有效维护陈述性事实 (Hu 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib21); Park 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib43))，但在应用于程序性记忆时面临局限性。现有方法通常通过将文本指南或代码片段注入上下文窗口来近似实现程序性记忆 (Shinn 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib23); Wang 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib2))。然而，这种显式方法存在文本-动作脱节问题: 自然语言是编码内部神经表征的低效代理 (Mahowald 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib26))。此外，对长篇文本指令的依赖增加了计算成本，并在长周期任务中降低了性能 (Geng 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib10); Sinha 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib25))。NPM 从显式言语化转向隐式激活调节，消除了对上下文内指令的需求。 ##### 智能体记忆的形式 当前方法探索了各种表征模态。标记级方法（如 RAG）具有灵活性，但受限于上下文窗口大小和推理延迟。相反，参数化方法将知识永久编码到模型权重中 (Zhang 等, 2025b (https://arxiv.org/html/2606.29824#bib.bib27); Wang 等, 2025a (https://arxiv.org/html/2606.29824#bib.bib28))，提供了效率，但缺乏快速适应或在无需重新训练的情况下遗忘所需的灵活性。潜在记忆通过将信息存储为连续向量提供了一种折中方案。然而，现有工作主要集中在上下文压缩 (Chevalier 等, 2023 (https://arxiv.org/html/2606.29824#bib.bib12); Wang 等, 2024c (https://arxiv.org/html/2606.29824#bib.bib13)) 或瞬时工作记忆 (Zhang 等, 2025a (https://arxiv.org/html/2606.29824#bib.bib17); Yu 等, 2025b (https://arxiv.org/html/2606.29824#bib.bib18))。例如，MemGen (Zhang 等, 2025a (https://arxiv.org/html/2606.29824#bib.bib17)) 在推理过程中合成潜在标记，但需要辅助编码器和大量训练。虽然 NPM 共享潜在记忆的基本概念，但它将记忆存储视为激活引导，从而能够在不增加额外标记开销或参数更新的情况下，对生成路径进行表征级调节。 ##### 表征工程与激活引导。 我们的框架建立在表征工程 (RepE) 之上，该技术监控并操纵激活空间中的高层认知状态 (Zou 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib29))。先前的研究 (Rimsky 等, 2024 (https://arxiv.org/html/2606.29824#bib.bib31); Lee 等, 2025 (https://arxiv.org/html/2606.29824#bib.bib30)) 已经证明了将模型朝粗粒度、静态属性（如诚实或无害）进行引导的有效性。然而，现有的 RepE 工作主要局限于单轮全局概念。NPM 将这些技术扩展到动态的、任务特定的智能体轨迹。通过引入一个检索增强框架，其中引导向量从对比历史经验中合成，我们使智能体能够自适应地回忆并应用特定于任务上下文的程序性技能。 ## 3 神经程序性记忆 我们提出了神经程序性记忆 (NPM)，一个无需训练的框架，旨在将智能体技能直接内化到模型的激活空间中。图 2 (https://arxiv.org/html/2606.29824#S1.F2) 所示的框架包含三个阶段: (1) 对比经验构建 (§3.1 (https://arxiv.org/html/2606.29824#S3.SS1))，从历史失败中分离出有效的推理模式；(2) 引导向量提取 (§3.2 (https://arxiv.org/html/2606.29824#S3.SS2))，将离散的文本对比提炼为连续的引导向量；以及 (3) 推理时干预 (§3.3 (https://arxiv.org/html/2606.29824#S3.SS3))，其中这些向量被动态合成并注入以调节智能体的行为。 ### 3.1 对比经验构建 形式上，给定一个任务查询 qqq 和一个任务环境