STALE:LLM智能体能否识别记忆何时失效?
摘要
本文识别了LLM智能体中的一个关键失效模式:当新证据与先前信念冲突时,它们无法更新个性化记忆。本文引入了STALE基准和一个三维探测框架,揭示了即使最佳模型也仅达到55.2%的准确率,并提出了CUPMem作为鲁棒记忆修正的原型。
查看缓存全文
缓存时间: 2026/05/15 04:23
论文页面 - STALE:LLM智能体能否知道其记忆何时已失效?
来源:https://huggingface.co/papers/2605.06527
摘要
大语言模型在出现新证据时难以更新个性化记忆,需要通过上下文推理和常识推理来检测隐式冲突——这一点已通过全面的基准测试和状态感知记忆系统的评估得到证实。
大语言模型(LLM)智能体日益需要维持连贯、长期的个性化记忆(https://huggingface.co/papers?q=personalized%20memory),但现有基准主要衡量静态事实检索,忽略了在新证据出现时修正已存储信念的能力。我们识别出一个关键且未被充分探索的失败模式——隐式冲突(https://huggingface.co/papers?q=Implicit%20Conflict):后续观察结果在未明确否定的情况下使早期记忆失效,需要借助上下文推理和常识推理来检测。为严格评估这一能力,我们引入了STALE基准,包含400个经专家验证的冲突场景(涵盖三个探测维度的1200个评估查询),涉及100多个日常主题,上下文长度达150K词元。我们提出一个三维探测框架,用于测试:状态解析(https://huggingface.co/papers?q=State%20Resolution)(检测先前的信念已过时)、前提抵抗(https://huggingface.co/papers?q=Premise%20Resistance)(拒绝那些错误预设过时状态的查询)以及隐式策略适应(https://huggingface.co/papers?q=Implicit%20Policy%20Adaptation)(在后续行为中主动应用更新后的状态)。对前沿LLM和专用记忆框架的系统评估揭示了一个普遍存在的差距:模型能检索到更新的证据,却未能据此行动——即使表现最好的模型整体准确率也仅为55.2%。模型常常接受用户查询中嵌入的过时假设,并且难以识别用户状态某一方面的变化何时会使相关记忆失效。为建立状态感知记忆的初步基线,我们进一步提出了CUPMem(https://huggingface.co/papers?q=CUPMem)原型,通过结构化状态整合(https://huggingface.co/papers?q=structured%20state%20consolidation)和传播感知搜索(https://huggingface.co/papers?q=propagation-aware%20search)来增强写入时的修订能力,这表明显式状态裁决是构建鲁棒智能体记忆的一个有前景的方向。
查看arXiv页面(https://arxiv.org/abs/2605.06527)查看PDF(https://arxiv.org/pdf/2605.06527)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.06527)
将此论文放入你的智能体中:
hf papers read 2605.06527
没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
没有模型链接此论文
请在模型README.md中引用arxiv.org/abs/2605.06527以在此页面显示链接。
引用此论文的数据集0
没有数据集链接此论文
请在数据集README.md中引用arxiv.org/abs/2605.06527以在此页面显示链接。
引用此论文的Spaces0
没有Space链接此论文
请在Space README.md中引用arxiv.org/abs/2605.06527以在此页面显示链接。
包含此论文的收藏集0
没有收藏集包含此论文
请将此论文添加到收藏集(https://huggingface.co/new-collection)以在此页面显示链接。
相似文章
当被 LLM 持续更新时,有用的记忆会变得有缺陷(30 分钟阅读)
这项研究表明,即使基于真实解进行训练,通过蒸馏和巩固循环持续更新 LLM 智能体记忆也会导致性能倒退。研究发现,仅保留情景记忆优于基于文本的巩固,突显了当前自我改进范式的重大缺陷。
从回想到遗忘:为个性化智能体评估长期记忆
研究者推出 Memora 基准,衡量大模型在持续数周至数月的对话中保留、更新与遗忘用户长期记忆的能力,发现模型常复用已失效记忆。
@omarsar0: // LLM 智能体中的记忆诅咒 //(建议收藏)过长的历史记录显然会导致智能体性能下降,因为它们变得越来越…
本研究论文揭示了 LLM 智能体中的“记忆诅咒”现象,证明扩大的上下文窗口会通过削弱前瞻性意图,系统性地破坏多智能体社会困境中的合作行为。作者表明,通过定向微调、合成记忆净化以及减少显式思维链(Chain-of-Thought)推理,可有效缓解此类行为衰退。
从存储到经验:大语言模型智能体记忆机制演进综述
本综述论文提出了一种大语言模型(LLM)智能体记忆机制的演进框架,将其发展划分为三个阶段:存储、反思和经验。文章分析了长程一致性和持续学习等核心驱动力,旨在为下一代智能体的设计提供指导原则。
LLM持续更新时,有用记忆会变得不可靠
一项研究发现,在基于LLM的智能体系统中持续更新整合记忆会降低性能,而保留原始情节轨迹更为可靠。在ARC-AGI上的实验显示,即使GPT-5.4在整合后也更容易失败。