MemReread:通过记忆引导的重读增强智能体长上下文推理

Hugging Face Daily Papers 论文

摘要

MemReread 提出了一种长上下文推理方法,通过分解问题和重读文本来恢复被丢弃的信息,避免了中间检索,实现了线性时间复杂度。该方法在长上下文推理任务上优于基线框架。

为了解决长上下文推理任务,避免标准注意力机制的二次复杂度,基于智能体记忆的方法应运而生。这些方法在处理文档块时,通常维护一个动态更新的记忆。为了缓解这种边记忆边阅读范式下潜在证据丢失的问题,近期的研究工作集成了检索模块,允许智能体回忆在记忆覆盖过程中先前丢弃的信息。然而,基于检索的回忆既存在记忆形成过程中的证据丢失问题,也受到无效查询引起的干扰。为了克服这些限制,我们提出了 MemReread。基于流式阅读,MemReread 避免了中间检索。当最终记忆不足时,它触发问题分解和重读,从而恢复过早丢弃的间接事实。这种设计支持非线性推理,同时保留了文档理解的固有逻辑流程。为了进一步提升实用性,我们引入了一个强化学习框架,该框架增强了长度外推能力,同时根据任务复杂度动态确定重读次数,从而灵活控制计算开销。大量实验表明,MemReread 在长上下文推理任务上持续优于基线框架,同时保持相对于上下文长度的线性时间复杂度。
查看原文
查看缓存全文

缓存时间: 2026/05/14 08:17

论文页面 - MemReread:通过记忆引导的重读增强智能体长上下文推理

来源:https://huggingface.co/papers/2605.10268

摘要

MemReread 通过避免中间检索,并采用问题分解与重读来恢复被丢弃的信息,从而解决长上下文推理挑战,同时保持线性时间复杂度。

为了应对长上下文推理 (https://huggingface.co/papers?q=long-context%20reasoning) 任务,且不引入标准注意力机制 (https://huggingface.co/papers?q=attention%20mechanisms) 的二次复杂度,基于智能体记忆 (https://huggingface.co/papers?q=agent%20memory) 的方法应运而生。这类方法通常在线性处理文档片段时维护一个动态更新的记忆。为缓解这种“边记忆边阅读”范式中潜在潜在证据丢失的问题,近期工作集成了检索模块 (https://huggingface.co/papers?q=retrieval%20modules),允许智能体回忆在记忆覆盖 (https://huggingface.co/papers?q=memory%20overwriting) 过程中之前被丢弃的信息。然而,基于检索的召回既面临记忆形成过程中的证据丢失,也受无效查询引发的干扰所困扰。为克服这些局限,我们提出 MemReread。基于流式阅读 (https://huggingface.co/papers?q=streaming%20reading),MemReread 规避了中间检索。当最终记忆不足时,它会触发问题分解 (https://huggingface.co/papers?q=question%20decomposition) 和重读 (https://huggingface.co/papers?q=rereading),从而恢复被过早丢弃的间接事实。该设计支持非线性推理,同时保留了文档理解固有的逻辑流程。为进一步提升实用性,我们引入了一个强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) 框架,增强长度外推 (https://huggingface.co/papers?q=length%20extrapolation) 能力,同时根据任务复杂度动态确定重读 (https://huggingface.co/papers?q=rereading) 次数,从而灵活控制计算开销。大量实验表明,MemReread 在长上下文推理 (https://huggingface.co/papers?q=long-context%20reasoning) 任务上始终优于基线框架,同时保持与上下文长度成线性时间复杂度的关系。

查看 arXiv 页面 (https://arxiv.org/abs/2605.10268) 查看 PDF (https://arxiv.org/pdf/2605.10268) GitHub1 (https://github.com/iiGray/MemReread) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.10268)

在您的代理中获取此论文:

hf papers read 2605.10268

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0个

暂无模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。

引用该论文的数据集 0个

暂无数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。

引用该论文的 Spaces 0个

暂无 Space 链接本论文

请在 Space README.md 中引用 arxiv.org/abs/2605.10268 以从该页面链接。

包含本论文的收藏集 0个

暂无收藏集包含本论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从该页面链接。

相似文章

RRM:经验驱动的反思性检索记忆用于长时程多模态推理

arXiv cs.CL

本文介绍了反思性检索记忆(RRM),一种记忆框架,从历史任务轨迹中提炼程序性检索经验,以改进长时程多模态推理中的证据检索。RRM在M3-Bench-Robot、M3-Bench-Web和Video-MME-Long基准上达到或超过了先前的最先进水平。

ReM-MoA:推理记忆维持混合智能体扩展

arXiv cs.AI

ReM-MoA 引入了一种记忆增强的混合智能体框架,通过排序推理记忆和策划的多样化记忆路由来维持扩展,在五个推理基准测试中优于之前的 MoA 变体。

ConvMem:用于长上下文推理的卷积记忆

arXiv cs.AI

ConvMem 是一个免训练、可并行化的框架,它将大型语言模型中的长上下文推理重新表述为层次卷积,以提高效率、避免过拟合并超越基线方法。