REMORY：为上下文压缩学习残差记忆

Hugging Face Daily Papers 论文
context-compaction long-horizon-agents neural-memory llm soft-tokens efficient-inference

摘要

REMORY 引入了一种神经记忆网络，通过一组有界的软记忆令牌来补充文本摘要，以实现长时程智能体的上下文压缩，使冻结的 LLM 仅使用 5.2% 的输入位置即可接近全上下文性能，并在 Qwen3.8-27B 和 GLM-5.3-Flash 上取得一致的提升。

长时程智能体需要压缩其历史信息，以便在有限的上下文窗口内继续运行，但仅靠文本摘要可能无法支持后续的每一个决策。我们提出了 REMORY，一种神经记忆网络，它通过一组有界的软记忆令牌来补充摘要。给定历史信息和摘要，该网络学习生成有助于冻结 LLM 近似其在完整历史信息下所产生的续写结果的令牌。这些令牌以摘要为条件并附加在其后，形成沿序列维度的残差连接的类比。在 SummHay 上，REMORY 在洞见覆盖率几乎不变的情况下提升了来源归因能力，并仅使用 5.2% 的输入位置就接近了全上下文的联合评分。在多个长时程智能体基准测试中，Qwen3.8-27B 和 GLM-5.3-Flash 均因残差记忆而展现出一致的提升。在 BrowseComp 和 Terminal-Bench 2.1 上，这两个模型的重复工具输出和工具错误也显著减少。
查看原文
查看缓存全文

缓存时间: 2026/10/09 10:20

论文页面 - REMORY：学习残差记忆以实现上下文压缩

来源：https://huggingface.co/papers/2610.11287

摘要

长时程智能体通过压缩其历史信息以在有限的上下文窗口内继续运行，但仅依靠文本摘要未必能支撑后续的每一个决策。我们提出 REMORY，一种神经记忆网络，通过引入一组有界的软记忆 token 来补充摘要。给定历史信息与摘要，该网络学习生成能够帮助冻结的 LLM 近似其在完整历史信息下所产生的后续输出的 token。这些 token 以摘要为条件，并追加在其后，从而在序列维度上构成了一种残差连接的类比。在 SummHay 上，REMORY 在源引用准确率上取得提升，同时保持几乎不变的洞见覆盖率，并且仅使用 5.2% 的输入位置就接近了完整上下文下的联合得分。在多个长时程智能体基准测试中，Qwen3.8-27B 和 GLM-5.3-Flash 均借助残差记忆取得了持续的性能提升。这两个模型在 BrowseComp 和 Terminal-Bench 2.1 上还表现出明显更少的重复工具输出和工具错误。

查看 arXiv 页面　查看 PDF　项目页面　GitHub　添加到收藏集

引用本文的模型 2

mocoV3/Qwen3.8-27B-REMORY-1.9B　2B • 约 4 小时前更新 • 49（https://huggingface.co/mocoV3/Qwen3.8-27B-REMORY-1.9B）

mocoV3/GLM-5.3-Flash-REMORY-1.24B　1B • 约 1 小时前更新（https://huggingface.co/mocoV3/GLM-5.3-Flash-REMORY-1.24B）

引用本文的数据集 0

暂无关联的数据集。

在数据集的 README.md 中引用 arxiv.org/abs/2610.11287 即可在此页面建立链接。

引用本文的 Space 0

暂无关联的 Space。

在 Space 的 README.md 中引用 arxiv.org/abs/2610.11287 即可在此页面建立链接。

收录本文的收藏集 0

暂无收录本文的收藏集。

将本文添加到收藏集（https://huggingface.co/new-collection）即可在此页面建立链接。

相似文章

REMORY：学习残差记忆以实现上下文压缩

arXiv cs.CL

Remory 提出一种神经记忆网络，用有限的软记忆 token 补充文本摘要，使冻结的 LLM 在仅用 5.2% 输入位置的情况下逼近全上下文表现，并在 BrowseComp 和 Terminal-Bench 2.1 等长时程 agent 基准上带来一致提升、显著减少重复工具输出和错误。

面向长期LLM代理的检索驱动记忆再巩固

arXiv cs.CL

本文介绍了REALM，一个用于LLM代理长期记忆的框架，它利用检索驱动的再巩固来自主地将记忆组织成认知图，从而在长期记忆基准测试中取得更好的性能。