当智能体记忆过多：针对大语言模型智能体的记忆投毒攻击

# 当智能体记忆过多：针对大语言模型智能体的记忆投毒攻击  
来源：https://arxiv.org/html/2607.06595  

###### 摘要  
由大语言模型驱动的个人AI智能体能够利用现有工具进行推理和行动，例如访问电子邮件、管理日历以及向远程仓库推送代码，且几乎无需人工监督。当配备长期记忆时，智能体可以回忆起当前任务相关的具体细节，从而减少对大上下文窗口的需求。目前，长期记忆智能体主要分为两个不同领域：对话型智能体和行动规划型智能体。个人助理智能体处于这两个领域的交汇点，在处理敏感信息的同时与不可信的信息源交互，从而产生了此前未被考虑的安全漏洞。本文提出了一种新型攻击向量GhostWriter，它利用当前使用工具的智能体中的记忆子系统，对记忆存储进行投毒。GhostWriter分为两个阶段：注入阶段，攻击者向目标智能体发送隐藏的攻击载荷；激活阶段，被投毒的记忆被检索出来。我们证明GhostWriter在针对最先进的智能体时，实现了约98%的近乎通用的注入率和约60%的高平均激活率。该攻击之所以可能，是由于缺乏注重安全的记忆治理。为此，我们提出了Agentic Memory Sentry (AM-Sentry)，它利用两种缓解技术：记忆保存策略和记忆检索筛查。实验表明，AM-Sentry在保持智能体效用的同时，大幅降低了GhostWriter的成功率。  

## 1 引言  
大语言模型（LLM）智能体能够在极少人工监督下进行推理和行动，从而实现对复杂、多步骤任务的自动化。这些智能体可以访问各类工具来提高效率和自主性，允许它们访问电子邮件、回复日历邀请、甚至向远程仓库推送代码[20 (https://arxiv.org/html/2607.06595#bib.bib7)，25 (https://arxiv.org/html/2607.06595#bib.bib21)]。通过集成长期记忆，智能体的推理、决策和准确性可以进一步提升[17 (https://arxiv.org/html/2607.06595#bib.bib8)，38 (https://arxiv.org/html/2607.06595#bib.bib12)]。具备长期记忆的智能体可以回忆起当前任务相关的具体细节，减少了对扩展性不佳的大上下文窗口的需求。图1 (https://arxiv.org/html/2607.06595#S1.F1) 用一个例子说明了这一点：跨会话或长时间间隔后，仅依靠上下文窗口的智能体难以准确回答用户的问题，甚至可能产生幻觉。相反，配备长期记忆存储的智能体可以动态检索必要的上下文，准确回答给定的问题。  

图1：无状态LLM智能体将每次交互孤立处理。具有持久记忆的LLM智能体可以查询和检索已保存的信息。  

现有关于长期记忆智能体的文献主要分为两个不同的领域：对话型智能体（即聊天机器人）[17 (https://arxiv.org/html/2607.06595#bib.bib8)，10 (https://arxiv.org/html/2607.06595#bib.bib9)]，其主要角色是与用户对话；以及行动规划型智能体[9 (https://arxiv.org/html/2607.06595#bib.bib19)，38 (https://arxiv.org/html/2607.06595#bib.bib12)]，其重点在于改进工具使用或其他复杂操作，如机器人控制或代码执行。结合了两个领域特性的实际用例，例如个人助理智能体或自动化编码智能体[16 (https://arxiv.org/html/2607.06595#bib.bib25)，28 (https://arxiv.org/html/2607.06595#bib.bib27)]，目前尚未得到充分研究，而这些智能体显然能从同时包含事实性记忆和工具使用的行动规划记忆中获益。当长期记忆用于此类智能体时，在不可信信息源、其存储方式以及它们如何影响智能体未来行为等方面，会出现新的安全风险。这些智能体经常与不可信信息源（如电子邮件和文档）交互，从而创造了间接记忆投毒的攻击面。攻击者可以向智能体（例如邮件智能体）发送恶意或误导内容，这些内容随后被存储到智能体的记忆库中供以后使用。当用户随后提出良性的提示时，恶意内容从记忆库中被检索并加入智能体的上下文，从而改变智能体的行为，使其符合攻击者的目标。例如，考虑一个个人助理智能体，它保存了一条恶意的工作流指令，该指令随后指示它在包含用户当前项目机密信息的电子邮件中添加未授权的收件人，从而破坏用户的保密协议。这类攻击之所以成为可能，是由于缺乏注重安全的记忆治理。目前，长期记忆智能体倾向于保留每一次交互。A-MAC[37 (https://arxiv.org/html/2607.06595#bib.bib16)]已经提出了智能体的记忆治理，但它主要侧重于提升效用而非检测恶意或误导内容，使得底层记忆存储容易受到这些攻击。需要注重安全的记忆治理来保护智能体免受恶意内容的影响，同时保持生产力。  

对智能体记忆库或知识库的投毒已被AgentPoison[2 (https://arxiv.org/html/2607.06595#bib.bib13)]和MINJA[5 (https://arxiv.org/html/2607.06595#bib.bib14)]等研究工作探索过，他们证明了被破坏的记忆可以显著降低智能体的行为质量，并可被利用来诱导有害行为。这些工作中的攻击者可以直接访问记忆系统或直接与目标智能体交互，从而能够直接注入记忆或促使智能体存储被投毒的记忆。一个更现实的场景假设攻击者无法直接访问智能体或其记忆存储；相反，他们必须通过智能体接收的输入（如电子邮件、文档和日历事件）来投毒智能体的记忆。  

为了填补文献中的这些空白，我们详细描述了一种新型攻击向量GhostWriter，它利用了缺乏注重安全的记忆治理的漏洞，针对使用工具的个人助理智能体，投毒其记忆存储。GhostWriter分为两个阶段：注入阶段，攻击者向目标智能体发送隐藏的攻击载荷；然后激活阶段，被投毒的记忆被检索并影响智能体的行为。我们证明GhostWriter在所有测试的最先进智能体架构上实现了平均约98%的注入率和约60%的高平均激活率。我们还将GhostWriter与提示注入[4 (https://arxiv.org/html/2607.06595#bib.bib3)]（另一种针对智能体的攻击）进行比较，突出了攻击特征和激活方面的差异，表明GhostWriter对评估的智能体具有更大的影响。  

我们还提出了Agentic Memory Sentry (AM-Sentry)，它结合了两种缓解技术：记忆保存策略和检索筛查，旨在防止这些攻击同时保持效用。AM-Sentry的记忆保存策略有三个严格级别，每个级别加入更强的约束和漏洞检测能力。检索筛查可以启用或禁用。启用时，它会审查每条检索到的记忆条目，过滤掉那些包含漏洞或可能改变智能体行为的隐藏指令。三种记忆保存策略与两种检索筛查设置配对，共产生六种配置。我们分析了每种配置在阻止GhostWriter攻击方面的有效性及其对智能体性能的影响。我们证明，攻击有效性可以在对智能体效用影响最小的前提下大幅降低。我们还引入了一个自定义测试套件，评估智能体在个人助理用例中的记忆检索和任务执行能力，从而衡量AM-Sentry对每个智能体基础效用的影响。  

我们的**新颖贡献**包括：  
- 我们详细描述了GhostWriter，一种新型攻击向量，它利用长期记忆工具型智能体缺乏注重安全的记忆治理的漏洞，通过不可信的工具输入对记忆存储进行投毒。  
- 我们提出了AM-Sentry，一种新颖的记忆防御框架，具有六种记忆策略严格度和检索筛查的配置。  
- 我们针对四个LLM模型上的五个最先进智能体评估了GhostWriter，并评估了AM-Sentry在降低攻击成功率和保持智能体效用方面的有效性。  
- 我们计划发布我们的实现和评估工具包，包括攻击设置和智能体性能测试套件，以鼓励其他人测试新的攻击向量和缓解技术，或评估其智能体实现的效用。  

本文其余部分组织如下。第2节 (https://arxiv.org/html/2607.06595#S2) 提供有关LLM智能体和记忆投毒的文献综述，第3节 (https://arxiv.org/html/2607.06595#S3) 定义我们的系统和威胁模型。我们在第4节 (https://arxiv.org/html/2607.06595#S4) 介绍GhostWriter攻击向量，在第5节 (https://arxiv.org/html/2607.06595#S5) 介绍AM-Sentry缓解架构。实验方法和评估分别在第6节 (https://arxiv.org/html/2607.06595#S6) 和第7节 (https://arxiv.org/html/2607.06595#S7) 中介绍。最后，第8节 (https://arxiv.org/html/2607.06595#S8) 和第9节 (https://arxiv.org/html/2607.06595#S9) 讨论局限性、未来工作和总结。  

## 2 背景与相关工作  

### 2.1 LLM智能体  
LLM智能体是利用LLM进行感知、推理并根据当前上下文动态采取行动的自主系统[25 (https://arxiv.org/html/2607.06595#bib.bib21)]。智能体越来越多地部署在真实世界场景中[31 (https://arxiv.org/html/2607.06595#bib.bib22)]，像AutoGPT[23 (https://arxiv.org/html/2607.06595#bib.bib23)]和BabyAGI[15 (https://arxiv.org/html/2607.06595#bib.bib24)]这样的开源框架提供了易于采用的方式。多步推理智能体，如ReAct[36 (https://arxiv.org/html/2607.06595#bib.bib6)]，将推理与行动交织，使其能够生成丰富当前上下文并改进后续决策的思考。为智能体配备外部工具提供了与外部元素结构化交互的方式，并提高了性能[20 (https://arxiv.org/html/2607.06595#bib.bib7)]。工具被广泛使用并融入生产级LLM接口，如ChatGPT和Claude[16 (https://arxiv.org/html/2607.06595#bib.bib25)，1 (https://arxiv.org/html/2607.06595#bib.bib26)]。工具使用与多步推理的结合整体上大大提高了智能体的效用[25 (https://arxiv.org/html/2607.06595#bib.bib21)，29 (https://arxiv.org/html/2607.06595#bib.bib20)]。  

### 2.2 基于记忆的智能体  
记忆上下文是当前智能体和LLM接口中普遍存在的问题；大上下文窗口往往会降低性能并增加计算成本[17 (https://arxiv.org/html/2607.06595#bib.bib8)]。为了解决这个问题，已提出通过额外数据库来管理智能体当前上下文的系统。一种方法是检索增强生成（RAG）系统，它根据给定提示从预填充的数据库中拉取实时上下文[13 (https://arxiv.org/html/2607.06595#bib.bib4)]。文献中已经提出了多种RAG系统[8 (https://arxiv.org/html/2607.06595#bib.bib18)]，但它们大多依赖预先存在的信息，无法从自身经验中学习。RAG系统和其他信息存储受益于智能体将自己的例子、经验和所学知识保存在其中。  

跨会话长期记忆的概念由MemGPT[17 (https://arxiv.org/html/2607.06595#bib.bib8)]和Generative Agents[18 (https://arxiv.org/html/2607.06595#bib.bib5)]等工作引入，表明智能体响应和回忆能力的改进远远超过那些依赖更长上下文窗口的简单系统（后者不可扩展）。智能体将知识/交互存储在记忆库中，并贴上描述性标签，以便后续根据语义相似的提示进行检索。MemoryOS[10 (https://arxiv.org/html/2607.06595#bib.bib9)]引入了一种由三种记忆存储组成的记忆系统：短期、中期和长期。A-MEM[32 (https://arxiv.org/html/2607.06595#bib.bib10)]引入了动态记忆链接，使用LLM调用来帮助管理记忆存储以及记忆之间的关系。  

到目前为止讨论的工作都集中在与单个用户对话的对话型智能体；另一条独立的工作线涉及行动规划型智能体，如Reflexion[22 (https://arxiv.org/html/2607.06595#bib.bib11)]，它利用对过去尝试的反复自我反思来改进当前行动方案。这些行动方案代表了智能体为达成目标所采取的步骤，可能涉及成功使用外部工具或移动机器人所需的步骤。检索增强规划（RAP）[9 (https://arxiv.org/html/2607.06595#bib.bib19)]为这类智能体引入了长期记忆存储，使其能够借鉴之前相同或相似任务的成功尝试（轨迹）来提高性能并减少成功所需的尝试次数。ExpeL[38 (https://arxiv.org/html/2607.06595#bib.bib12)]将成功和失败的存储轨迹与反思配对，进一步改进性能，使智能体能够从过去的经验中提取见解。  

当前关于长期记忆智能体的工作可以分为两个领域：记住用户事实的对话型智能体，以及记住执行各种行动和工具调用的最佳方式的行动规划型智能体。两个领域都专注于改进记忆的存储、标记和在其自身上下文中的检索，而它们的交汇点尚未得到充分探索。实际、实用的部署，如自动化编码或个人助理智能体，在这些工作中缺失。这类智能体需要两个领域的特性，因为它们必须存储有关用户或工作环境的信息，并使用工具执行特定操作。  

### 2.3 记忆投毒攻击与防御  
个人助理智能体负责处理敏感信息和操作；因此，确保其行为不被引导至对抗性结果至关重要。由LLM驱动的智能体已被证明在提供虚假或误导信息时容易被操纵，最近涉及Meta客户支持聊天智能体的事件[7 (https://arxiv.org/html/2607.06595#bib.bib38)]就证明了这一点。AgentPoison[2 (https://arxiv.org/html/2607.06595#bib.bib13)]展示了当此类虚假或误导信息被持久化到长期记忆中时可能造成的潜在损害，表明注入的毒化记忆可以劫持智能体的行动并诱导恶意行为。智能体还可能通过精心设计的提示注入被欺骗执行并保存恶意行动方案，如MINJA[5 (https://arxiv.org/html/2607.06595#bib.bib14)]所述。这些攻击集中于不切实际的对抗模型；要么攻击者可以直接访问记忆存储，要么可以直接访问智能体本身，这都需要对目标系统的访问权限。