MemReread:通过记忆引导的重读增强智能体长上下文推理
摘要
MemReread 提出了一种长上下文推理方法,通过分解问题和重读文本来恢复被丢弃的信息,避免了中间检索,实现了线性时间复杂度。该方法在长上下文推理任务上优于基线框架。
查看缓存全文
缓存时间: 2026/05/14 08:17
论文页面 - MemReread:通过记忆引导的重读增强智能体长上下文推理
来源:https://huggingface.co/papers/2605.10268
摘要
MemReread 通过避免中间检索,并采用问题分解与重读来恢复被丢弃的信息,从而解决长上下文推理挑战,同时保持线性时间复杂度。
为了应对长上下文推理 (https://huggingface.co/papers?q=long-context%20reasoning) 任务,且不引入标准注意力机制 (https://huggingface.co/papers?q=attention%20mechanisms) 的二次复杂度,基于智能体记忆 (https://huggingface.co/papers?q=agent%20memory) 的方法应运而生。这类方法通常在线性处理文档片段时维护一个动态更新的记忆。为缓解这种“边记忆边阅读”范式中潜在潜在证据丢失的问题,近期工作集成了检索模块 (https://huggingface.co/papers?q=retrieval%20modules),允许智能体回忆在记忆覆盖 (https://huggingface.co/papers?q=memory%20overwriting) 过程中之前被丢弃的信息。然而,基于检索的召回既面临记忆形成过程中的证据丢失,也受无效查询引发的干扰所困扰。为克服这些局限,我们提出 MemReread。基于流式阅读 (https://huggingface.co/papers?q=streaming%20reading),MemReread 规避了中间检索。当最终记忆不足时,它会触发问题分解 (https://huggingface.co/papers?q=question%20decomposition) 和重读 (https://huggingface.co/papers?q=rereading),从而恢复被过早丢弃的间接事实。该设计支持非线性推理,同时保留了文档理解固有的逻辑流程。为进一步提升实用性,我们引入了一个强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) 框架,增强长度外推 (https://huggingface.co/papers?q=length%20extrapolation) 能力,同时根据任务复杂度动态确定重读 (https://huggingface.co/papers?q=rereading) 次数,从而灵活控制计算开销。大量实验表明,MemReread 在长上下文推理 (https://huggingface.co/papers?q=long-context%20reasoning) 任务上始终优于基线框架,同时保持与上下文长度成线性时间复杂度的关系。
查看 arXiv 页面 (https://arxiv.org/abs/2605.10268) 查看 PDF (https://arxiv.org/pdf/2605.10268) GitHub1 (https://github.com/iiGray/MemReread) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.10268)
在您的代理中获取此论文:
hf papers read 2605.10268
没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0个
暂无模型链接本论文
请在模型 README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。
引用该论文的数据集 0个
暂无数据集链接本论文
请在数据集 README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。
引用该论文的 Spaces 0个
暂无 Space 链接本论文
请在 Space README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。
包含本论文的收藏集 0个
暂无收藏集包含本论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从该页面链接。
相似文章
MemReranker:面向智能体记忆检索的推理感知重排序
MemReranker 是一个针对智能体记忆检索设计的推理感知重排序模型家族(0.6B/4B),通过结合 LLM 知识蒸馏技术解决语义相似性匹配的局限性,从而提升模型的时间与因果推理能力。
PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
PI-Mem is a parallel-iterative memory mechanism that pushes long-context reasoning to 3.6M tokens, outperforming recurrent-memory baselines while achieving significant inference speedups.
RRM:经验驱动的反思性检索记忆用于长时程多模态推理
本文介绍了反思性检索记忆(RRM),一种记忆框架,从历史任务轨迹中提炼程序性检索经验,以改进长时程多模态推理中的证据检索。RRM在M3-Bench-Robot、M3-Bench-Web和Video-MME-Long基准上达到或超过了先前的最先进水平。
ReM-MoA:推理记忆维持混合智能体扩展
ReM-MoA 引入了一种记忆增强的混合智能体框架,通过排序推理记忆和策划的多样化记忆路由来维持扩展,在五个推理基准测试中优于之前的 MoA 变体。
ConvMem:用于长上下文推理的卷积记忆
ConvMem 是一个免训练、可并行化的框架,它将大型语言模型中的长上下文推理重新表述为层次卷积,以提高效率、避免过拟合并超越基线方法。