MemTrapBench:LLM内存使用中的认知陷阱基准测试

Hugging Face Daily Papers 论文

摘要

本文介绍了MemTrapBench,一个用于评估LLM内存使用中认知陷阱的基准测试,并提出了AdaptiveMem,一种在推理时减轻这些陷阱同时保持标准基准性能的方法。

内存已成为大型语言模型的关键组件,使其能够保留信息并从长期交互中学习。然而,现有的内存基准测试主要评估信息是否正确提取、存储和检索,而很大程度上忽略了检索到的记忆如何重塑模型推理并影响当前任务的性能。我们识别出内存诱导的认知陷阱:即使忠实记录且语义相关的记忆也可能扭曲模型推理或信念,并降低当前任务的性能。为了系统评估这些失败模式,我们引入了MemTrapBench,它涵盖两种认知陷阱形式:推理固着和信念扭曲。在两个模型家族和五个代表性内存框架上的实验表明,MemTrapBench具有挑战性:所有评估的内存策略表现都不如无内存设置,即使是最强的方法也遭受了超过10%的性能下降。为了减轻这些认知陷阱,我们提出了AdaptiveMem,一种简单而有效的推理时方法,指导LLM避免内存陷阱。AdaptiveMem在MemTrapBench上减轻了认知陷阱,同时在不同内存框架的标准内存基准测试中保持或提高了性能。
查看原文
查看缓存全文

缓存时间: 2026/08/21 04:08

论文页面 - MemTrapBench:大语言模型记忆使用中的认知陷阱基准测试

来源:https://huggingface.co/papers/2608.20202

摘要

检索到的记忆可能引发大语言模型的推理错误和信念扭曲,而一种推理时策略有助于在保持基准性能的同时避免这些认知陷阱。

记忆已成为大语言模型的关键组成部分,使其能够保留信息并从长期交互中学习。然而,现有的记忆基准主要评估信息是否被正确提取、存储和检索,而很大程度上忽视了检索到的记忆如何重塑模型推理,并影响当前任务的表现。我们识别了记忆引发的认知陷阱(https://huggingface.co/papers?q=memory-induced%20cognitive%20traps):即使是忠实记录且语义相关的记忆,也可能扭曲模型推理或信念,并降低当前任务性能。为了系统评估这些失败模式,我们推出了 MemTrapBench(https://hatform.co/papers?q=MemTrapBench),它涵盖两种认知陷阱形式:推理固着(https://huggingface.co/papers?q=Reasoning%20Fixation)和信念扭曲(https://huggingface.co/papers?q=Belief%20Distortion)。在两个模型家族和五种代表性记忆框架(https://huggingface.co/papers?q=memory%20frameworks)上的实验表明,MemTrapBench(https://huggingface.co/papers?q=MemTrapBench)具有挑战性:所有评估的记忆策略性能均低于无记忆设置,即使是性能最强的方法也出现超过10%的性能下降。为了缓解这些认知陷阱,我们提出了 AdaptiveMem(https://huggingface.co/papers?q=AdaptiveMem),一种简单而有效的推理时方法(https://huggingface.co/papers?q=inference-time%20method),用于指导大语言模型避免记忆陷阱。AdaptiveMem(https://huggingface.co/papers?q=AdaptiveMem)在 MemTrapBench(https://huggingface.co/papers?q=MemTrapBench)上缓解了认知陷阱,同时在不同记忆框架(https://huggingface.co/papers?q=memory%20frameworks)的标准记忆基准上保持或提升了性能。

查看 arXiv 页面 (https://arxiv.org/abs/2608.20202) 查看 PDF (https://arxiv.org/pdf/2608.20202) GitHub1 (https://github.com/zjunlp/MemTrapBench) 添加至收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.20202)

在您的代理中获取此论文:

hf papers read 2608\.20202

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。

引用此论文的空间0

无空间链接此论文

在空间 README.md 中引用 arxiv.org/abs/2608.20202 以从本页链接。

包含此论文的收藏夹0

无收藏夹包含此论文

将此论文添加至收藏夹 (https://huggingface.co/new-collection) 以从本页链接。

相似文章

MemTrace:探究最终准确率在长期记忆中遗漏的内容

arXiv cs.AI

MemTrace 是一个基准,它在知识点层面评估 LLM 代理的记忆,探究事实在不同记忆年龄、问题类型和证据条件下的表现。它揭示出汇总的准确率掩盖了不同的失败模式,并且主要瓶颈是证据的使用而非检索。

MemEvoBench:LLM 代理内存误演化基准测试

arXiv cs.CL

MemEvoBench 引入了首个用于评估 LLM 代理内存安全性的基准测试,衡量对抗性内存注入、噪声输出和有偏反馈在问答与工作流任务中导致的行为衰退。该研究表明内存演化是安全失败的重要因素,且静态防御措施不足以应对。