诚实说谎:理解反射性代理中的记忆虚构
摘要
本文识别了Reflexion风格代理中的记忆虚构现象,即代理存储了错误的任务解释,并在环境重置后持续坚持错误。作者引入了反射重复率(RRR)指标来检测该现象,并提出了一种缓解方法,用程序化失败信号提取替代开放式自我诊断。
查看缓存全文
缓存时间: 2026/06/09 08:41
Paper page - Honest Lying: Understanding Memory Confabulation in Reflexive Agents
来源:https://huggingface.co/papers/2605.29463
摘要
依赖自生成反思的代理可能会存储自信但错误的任务解释,即使环境重置后仍会持续出错——这通过一个称为反思重复率的新指标得以识别。
Reflexion 式代理(https://huggingface.co/papers?q=Reflexion-style%20agents)依赖自生成反思(https://huggingface.co/papers?q=self-generated%20reflections)作为记忆,隐含假设代理能够准确诊断自身失败。我们证明这一假设可能系统性失效:在 ALFWorld 和 HumanEval 中,代理存储了自信但错误的任务解释,并在多次试验中持续基于这些解释行动,尽管每次环境都会重置为正确任务。我们将这种失败模式称为记忆虚构(https://huggingface.co/papers?q=memory%20confabulation),并引入反思重复率(Reflection Repetition Rate, RRR)(https://huggingface.co/papers?q=Reflection%20Repetition%20Rate)——一种基于日志的指标,用于检测对错误反思内容的重复依赖。通过 RRR,我们在 ALFWorld 中识别出 16 个冻结环境(其中 121 条反思均未提及正确目标对象),以及 HumanEval 中的 4 个类似案例。我们的缓解方法是用程序化提取轨迹级失败信号(https://huggingface.co/papers?q=trajectory-level%20failure%20signals)替代开放式自我诊断,将正确对象提及率从 0% 提升至 86%,RRR 从 0.64 降至 0.10,并成功解决了 16 个冻结 ALFWorld 环境中的 3 个——这表明反思记忆可能强化而非纠正错误信念。
查看 arXiv 页面(https://arxiv.org/abs/2605.29463)查看 PDF(https://arxiv.org/pdf/2605.29463)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.29463)
在你的代理中获取该论文:
hf papers read 2605.29463
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本论文的模型0
未链接本论文的模型
在模型 README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。
引用本论文的数据集0
未链接本论文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。
引用本论文的 Spaces0
未链接本论文的 Space
在 Space README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。
包含本论文的收藏集0
未包含本论文的收藏集
将本论文添加到收藏集(https://huggingface.co/new-collection)即可从此页面链接。
相似文章
保持角色:基于书籍的角色扮演代理的视角边界记忆
本文提出ReverieMem,一种用于基于书籍的LLM角色扮演代理的三层记忆架构,可防止事实越界和风格单调。同时引入了KBF-QA基准测试,并在知识边界保真度和叙事质量方面取得了显著改进。
智能体记住一切听起来很有用,直到它记错了那些乱七八糟的东西
作者批评了让智能体记住一切的想法,并介绍了TrueMemory,这是一个将记忆转化为带有置信度和证据的特质主张的系统,旨在更好地校准智能体行为。
尝试让智能体记忆跨会话持久化所学的经验
本文反思了AI智能体记忆的复杂性,远超简单的存储问题,强调了诸如判断真实性、优先级变化、区分决策与噪音以及何时恰当地呈现上下文等挑战。
误判鸿沟:当记忆投毒在自主AI系统中看似模型故障
本文识别了多智能体AI流水线中的一种结构性缺陷,即记忆层攻击可能被误判为模型失调,形式化定义了语义规范漂移(SND),并提出反事实组合测试(Counterfactual Composition Testing)和持久记忆信息流控制(Memory-Persistent Information-Flow Control)作为防御措施。
@omarsar0: // LLM 智能体中的记忆诅咒 //(建议收藏)过长的历史记录显然会导致智能体性能下降,因为它们变得越来越…
本研究论文揭示了 LLM 智能体中的“记忆诅咒”现象,证明扩大的上下文窗口会通过削弱前瞻性意图,系统性地破坏多智能体社会困境中的合作行为。作者表明,通过定向微调、合成记忆净化以及减少显式思维链(Chain-of-Thought)推理,可有效缓解此类行为衰退。