MemAdapter:针对记忆诱发谄媚的反事实适应框架

Hugging Face Daily Papers 论文

摘要

MemAdapter提出一个反事实适应框架,通过反事实推理、上下文感知反思和证据驱动推理三个组件,缓解LLM智能体长期记忆引发的谄媚问题,在多个基准上提升记忆可靠性。

长期记忆使基于LLM的智能体能够在不同任务和会话之间保留并复用信息,从而支持个性化与长程交互。然而,持久化的记忆也可能诱发谄媚行为,导致智能体过度迎合用户的历史观点,即便这些观点是不准确的、过时的,或与客观证据相矛盾。现有的缓解方法通常假设记忆诱发的谄媚源于有偏或错误的记忆,并试图通过在记忆流水线的不同阶段过滤这类记忆来降低风险。但在现实中,客观且正确的记忆同样可能诱发谄媚,而且同一条记忆在不同上下文中应产生不同的影响权重。为此,我们提出MemAdapter,一个能够自适应整合检索到的记忆以支持客观可靠推理的新框架。具体而言,MemAdapter由三个组件构成:(i)反事实推演(Counterfactual Induction),利用反事实推理揭示检索到的记忆中潜在的风险;(ii)上下文感知反思(Context-Aware Reflection),通过自我反思结合当前任务校准每条检索记忆的推断影响;(iii)证据驱动推理(Evidence-Based Reasoning),在保留记忆合理影响的同时,使最终回答建立在恰当的证据之上。在三个基准上的大量实验表明,MemAdapter在多样场景下均能持续提升记忆可靠性。我们的代码已发布于 https://github.com/DEEP-JLU/MemAdapter。
查看原文
查看缓存全文

缓存时间: 2026/10/06 08:54

论文页面 - Memadapter: Counterfactual Adaptation Against Memory-induced Sycophancy

来源:https://huggingface.co/papers/2610.05162 发布于 Oct 4

·

由 https://huggingface.co/Qing145 Zhang(https://huggingface.co/Qing145)于 Oct 6 提交

摘要

长期记忆使基于 LLM 的智能体能够在不同任务与会话之间保留并复用信息,从而支持个性化以及长时程交互。然而,持续存在的记忆同样可能引发谄媚(sycophancy)倾向,导致智能体过度迎合用户的历史观点——即便这些观点不准确、已过时或与客观证据相矛盾。现有的缓解方法假设由记忆引发的谄媚源于有偏差或错误的记忆,并试图通过在记忆流水线的不同阶段过滤这类记忆来降低风险。但在现实世界中,客观且正确的记忆同样可能引发谄媚,而且同一条记忆在不同上下文中可能应当产生不同的影响。为此,我们提出 MemAdapter——一个能够自适应地整合检索到的记忆、以支持客观可靠推理的新框架。具体而言,MemAdapter 由三个部分组成:(i) 反事实归纳(Counterfactual Induction),利用反事实推理揭示检索到的记忆所蕴含的潜在风险;(ii) 上下文感知反思(Context-Aware Reflection),通过自我反思结合当前任务校准每条检索记忆的推理影响;(iii) 基于证据的推理(Evidence-Based Reasoning),在保留记忆合理影响的同时,以恰当的证据为最终回答提供依据。在三个基准上的大量实验表明,MemAdapter 在多种场景下均能持续提升记忆的可靠性。我们的代码已开源:https://github.com/DEEP-JLU/MemAdapter

查看 arXiv 页面 (https://arxiv.org/abs/2610.05162) · 查看 PDF (https://arxiv.org/pdf/2610.05162) · 项目主页 (https://github.com/DEEP-JLU/MemAdapter.git) · GitHub (https://github.com/DEEP-JLU/MemAdapter) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.05162)

在你的 agent 中获取这篇论文:

hf papers read 2610.05162

还没有最新版的 CLI?

curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联此论文。

在模型的 README.md 中引用 arxiv.org/abs/2610.05162,即可从本页面链接过去。

引用该论文的数据集 0

暂无数据集关联此论文。

在数据集的 README.md 中引用 arxiv.org/abs/2610.05162,即可从本页面链接过去。

引用该论文的 Spaces 0

暂无 Space 关联此论文。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.05162,即可从本页面链接过去。

包含该论文的合集 0

暂无合集包含此论文。

将该论文加入合集(https://huggingface.co/new-collection)即可从本页面链接过去。

相似文章

利用智能体记忆理解并缓解推理时过度依赖

arXiv cs.AI

该论文研究了LLM智能体中的'记忆过度依赖'现象——即使记忆是良性的、正确存储且被恰当检索,部分证据迁移仍会误导推理。作者提出MemTrim框架,在写入时索引记忆证据、在读取时控制复用,无需重训即可减少过度依赖。

该记录什么与如何呈现:LLM 智能体持久记忆的治理

arXiv cs.AI

AAMAS 2027 论文提出将 LLM 智能体持久记忆的治理分为「准入」与「呈现」两个决策,并提出两种免重训练的推理时设计(FC 与 PS),在外部基准上分别降低 6.7 与 8.8 个百分点的失败率,同时显著减少跨领域信息泄露,但均加剧个性化失败,表明准入选择可带来任务特定的安全收益而有益记忆的保留仍未解决。

MemFold:通过 On-Policy 优化学习用于长上下文个性化的紧凑软记忆

Hugging Face Daily Papers

MemFold 提出一种通过行为优化固定预算软记忆的方法,将查询条件化的文本记忆压缩为 K 个连续向量,并用组相对奖励与置信度门控的 on-policy 蒸馏信号训练读者模型,在 PersonaMem-32K/128K 上取得最佳准确率并向 PrefEval、LongMemEval 迁移。