MemTrapBench:LLM内存使用中的认知陷阱基准测试
摘要
本文介绍了MemTrapBench,一个用于评估LLM内存使用中认知陷阱的基准测试,并提出了AdaptiveMem,一种在推理时减轻这些陷阱同时保持标准基准性能的方法。
查看缓存全文
缓存时间: 2026/08/21 04:08
论文页面 - MemTrapBench:大语言模型记忆使用中的认知陷阱基准测试
来源:https://huggingface.co/papers/2608.20202
摘要
检索到的记忆可能引发大语言模型的推理错误和信念扭曲,而一种推理时策略有助于在保持基准性能的同时避免这些认知陷阱。
记忆已成为大语言模型的关键组成部分,使其能够保留信息并从长期交互中学习。然而,现有的记忆基准主要评估信息是否被正确提取、存储和检索,而很大程度上忽视了检索到的记忆如何重塑模型推理,并影响当前任务的表现。我们识别了记忆引发的认知陷阱(https://huggingface.co/papers?q=memory-induced%20cognitive%20traps):即使是忠实记录且语义相关的记忆,也可能扭曲模型推理或信念,并降低当前任务性能。为了系统评估这些失败模式,我们推出了 MemTrapBench(https://hatform.co/papers?q=MemTrapBench),它涵盖两种认知陷阱形式:推理固着(https://huggingface.co/papers?q=Reasoning%20Fixation)和信念扭曲(https://huggingface.co/papers?q=Belief%20Distortion)。在两个模型家族和五种代表性记忆框架(https://huggingface.co/papers?q=memory%20frameworks)上的实验表明,MemTrapBench(https://huggingface.co/papers?q=MemTrapBench)具有挑战性:所有评估的记忆策略性能均低于无记忆设置,即使是性能最强的方法也出现超过10%的性能下降。为了缓解这些认知陷阱,我们提出了 AdaptiveMem(https://huggingface.co/papers?q=AdaptiveMem),一种简单而有效的推理时方法(https://huggingface.co/papers?q=inference-time%20method),用于指导大语言模型避免记忆陷阱。AdaptiveMem(https://huggingface.co/papers?q=AdaptiveMem)在 MemTrapBench(https://huggingface.co/papers?q=MemTrapBench)上缓解了认知陷阱,同时在不同记忆框架(https://huggingface.co/papers?q=memory%20frameworks)的标准记忆基准上保持或提升了性能。
查看 arXiv 页面 (https://arxiv.org/abs/2608.20202) 查看 PDF (https://arxiv.org/pdf/2608.20202) GitHub1 (https://github.com/zjunlp/MemTrapBench) 添加至收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.20202)
在您的代理中获取此论文:
hf papers read 2608\.20202
没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
无模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。
引用此论文的数据集0
无数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。
引用此论文的空间0
无空间链接此论文
在空间 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。
包含此论文的收藏夹0
无收藏夹包含此论文
将此论文添加至收藏夹 (https://huggingface.co/new-collection) 以从本页链接。
相似文章
MemTrace:探究最终准确率在长期记忆中遗漏的内容
MemTrace 是一个基准,它在知识点层面评估 LLM 代理的记忆,探究事实在不同记忆年龄、问题类型和证据条件下的表现。它揭示出汇总的准确率掩盖了不同的失败模式,并且主要瓶颈是证据的使用而非检索。
MemEvoBench:LLM 代理内存误演化基准测试
MemEvoBench 引入了首个用于评估 LLM 代理内存安全性的基准测试,衡量对抗性内存注入、噪声输出和有偏反馈在问答与工作流任务中导致的行为衰退。该研究表明内存演化是安全失败的重要因素,且静态防御措施不足以应对。
MemFail:对LLM记忆系统故障模式的压力测试
MemFail是一个诊断基准,通过形式化总结、存储和检索操作,并用对抗性设计的数据集进行评估,来隔离LLM记忆系统的故障模式。
@zxlzr: 介绍 MemTrace:让 LLM 记忆系统终于可调试 记忆正在成为AI智能体的核心组成部分。但…
MemTrace 是一个新工具,通过跨多轮追踪记忆操作,使LLM记忆系统变得可调试,解决了当前记忆增强型智能体的黑箱问题。
AutoMem: 作为认知技能的记忆自动化学习
AutoMem 引入了一个框架,将记忆管理作为 LLM 的可训练技能进行自动化学习,通过优化记忆结构和熟练度,将长期任务的性能提升 2-4 倍。