诚实说谎:理解反射性代理中的记忆虚构

Hugging Face Daily Papers 论文

摘要

本文识别了Reflexion风格代理中的记忆虚构现象,即代理存储了错误的任务解释,并在环境重置后持续坚持错误。作者引入了反射重复率(RRR)指标来检测该现象,并提出了一种缓解方法,用程序化失败信号提取替代开放式自我诊断。

Reflexion风格的代理依赖自我生成的反思作为记忆,隐含地假设代理能够准确诊断自身失败。我们表明这一假设可能系统性地失效:在ALFWorld和HumanEval中,代理会存储自信但错误的任务解释,并在多次试验中继续据此行动,尽管环境每次都重置为正确任务。我们将这种失败模式称为记忆虚构,并引入了反射重复率(RRR),一种基于日志的指标,用于检测对错误反思内容的重复依赖。利用RRR,我们在ALFWorld中识别出16个冻结环境,其中121条反思中0条提及正确目标对象,在HumanEval中也有4个类似案例。我们的缓解方法用轨迹层面失败信号的程序化提取替代开放式自我诊断,将正确对象提及率从0%提升至86%,RRR从0.64降至0.10,并解决了ALFWorld中16个冻结环境中的3个,表明反思性记忆可能强化错误信念而非纠正它们。
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:41

Paper page - Honest Lying: Understanding Memory Confabulation in Reflexive Agents

来源:https://huggingface.co/papers/2605.29463

摘要

依赖自生成反思的代理可能会存储自信但错误的任务解释,即使环境重置后仍会持续出错——这通过一个称为反思重复率的新指标得以识别。

Reflexion 式代理(https://huggingface.co/papers?q=Reflexion-style%20agents)依赖自生成反思(https://huggingface.co/papers?q=self-generated%20reflections)作为记忆,隐含假设代理能够准确诊断自身失败。我们证明这一假设可能系统性失效:在 ALFWorld 和 HumanEval 中,代理存储了自信但错误的任务解释,并在多次试验中持续基于这些解释行动,尽管每次环境都会重置为正确任务。我们将这种失败模式称为记忆虚构(https://huggingface.co/papers?q=memory%20confabulation),并引入反思重复率(Reflection Repetition Rate, RRR)(https://huggingface.co/papers?q=Reflection%20Repetition%20Rate)——一种基于日志的指标,用于检测对错误反思内容的重复依赖。通过 RRR,我们在 ALFWorld 中识别出 16 个冻结环境(其中 121 条反思均未提及正确目标对象),以及 HumanEval 中的 4 个类似案例。我们的缓解方法是用程序化提取轨迹级失败信号(https://huggingface.co/papers?q=trajectory-level%20failure%20signals)替代开放式自我诊断,将正确对象提及率从 0% 提升至 86%,RRR 从 0.64 降至 0.10,并成功解决了 16 个冻结 ALFWorld 环境中的 3 个——这表明反思记忆可能强化而非纠正错误信念。

查看 arXiv 页面(https://arxiv.org/abs/2605.29463)查看 PDF(https://arxiv.org/pdf/2605.29463)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.29463)

在你的代理中获取该论文:

hf papers read 2605.29463

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

未链接本论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。

引用本论文的数据集0

未链接本论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。

引用本论文的 Spaces0

未链接本论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.29463 即可从此页面链接。

包含本论文的收藏集0

未包含本论文的收藏集

将本论文添加到收藏集(https://huggingface.co/new-collection)即可从此页面链接。

相似文章

误判鸿沟:当记忆投毒在自主AI系统中看似模型故障

arXiv cs.AI

本文识别了多智能体AI流水线中的一种结构性缺陷,即记忆层攻击可能被误判为模型失调,形式化定义了语义规范漂移(SND),并提出反事实组合测试(Counterfactual Composition Testing)和持久记忆信息流控制(Memory-Persistent Information-Flow Control)作为防御措施。

@omarsar0: // LLM 智能体中的记忆诅咒 //(建议收藏)过长的历史记录显然会导致智能体性能下降,因为它们变得越来越…

X AI KOLs Following

本研究论文揭示了 LLM 智能体中的“记忆诅咒”现象,证明扩大的上下文窗口会通过削弱前瞻性意图,系统性地破坏多智能体社会困境中的合作行为。作者表明,通过定向微调、合成记忆净化以及减少显式思维链(Chain-of-Thought)推理,可有效缓解此类行为衰退。