记忆是有代价的:资源约束下学习记忆的价值
摘要
论文提出 TokenWorth,一个轻量级在线记忆框架,在严格的资源约束下学习哪些历史经验值得保留和重用,从而在提升终身智能体任务成功率的同时减少 token 消耗。
查看缓存全文
缓存时间: 2026/10/20 07:35
论文页面 - 记忆是有代价的:在资源约束下学习记忆价值
来源:https://huggingface.co/papers/2610.26453
摘要
TokenWorth 是一个轻量级的在线记忆框架,能够在严格的资源约束下学习哪些过往经验值得保留和复用,从而提升终身智能体的任务成功率,同时减少 token 使用量。
终身智能体在部署后会不断积累并复用经验以持续改进,但在实践中,它们往往受到生成、交互和记忆预算的严格限制。在这种严苛的联合约束下,我们发现现有的终身记忆方法可能变得效果不佳,一些复杂的方法相比简单的检索甚至完全不用记忆的智能体几乎没有优势。这揭示了一个更根本的问题:资源稀缺使每一次记忆决策都变得至关重要。当只能保留或复用少量过往经验、且推理与纠错机会有限时,检索到一条相关但无效的记忆就会消耗宝贵的上下文空间,进而妨碍后续执行。因此,关键挑战并不在于检索相关经验,而在于确定哪些经验真正值得保留和复用。为应对这一挑战,我们提出了 TokenWorth,这是一个轻量级的在线记忆框架,它从稀疏执行反馈中学习依赖于查询的记忆价值,并将其一致地应用于记忆检索和有界记忆管理。在三个 LifelongAgentBench 环境以及本地部署和基于 API 的部署中,TokenWorth 在所有被评估的方法中取得了最高的任务成功率,同时使用的输出 token 最少。这些结果表明,在资源约束下实现有效的终身适应,关键不在于记住更多内容,而在于学会什么值得记住。我们的代码已公开发布于 https://github.com/AIGNLAI/TokenWorth (https://huggingface.co/papers?q=TokenWorth)。
查看 arXiv 页面 (https://arxiv.org/abs/2610.26453) 查看 PDF (https://arxiv.org/pdf/2610.26453) GitHub3 (https://github.com/AIGNLAI/TokenWorth) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.26453)
在你的智能体中获取本文:
hf papers read 2610.26453
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
没有模型链接本文
在模型 README.md 中引用 arxiv.org/abs/2610.26453 即可从本页面链接它。
引用本文的数据集 0
没有数据集链接本文
在数据集 README.md 中引用 arxiv.org/abs/2610.26453 即可从本页面链接它。
引用本文的 Space 0
没有 Space 链接本文
在 Space README.md 中引用 arxiv.org/abs/2610.26453 即可从本页面链接它。
包含本文的收藏夹 0
没有收藏夹包含本文
将本文添加到收藏夹即可从本页面链接它。
相似文章
通过为多智能体添加共享记忆层,我的 token 支出降低了 50% 以上
作者通过为多智能体系统添加项目级共享记忆层,使编排器读取状态摘要而非每次重放完整历史,token 支出从约 580 美元/月降至约 260 美元/月,并消除了多个工作智能体重复劳动的问题。
AI 的真正长期记忆:5000 万 token 窗口,比重新计算更快、更省
提出名为 galahad-kv 的记忆层,将 KV 注意力状态持久化到加密 NVMe 存储,实现 5000 万 token 的长期记忆窗口,恢复比重新计算快 2.8–4.3 倍且 GPU 能耗降低 8.8–12.3 倍,并保持恒定显存。
加权记忆树:为长期LLM智能体记住关键信息
本文介绍了加权记忆树,一种为LLM智能体设计的层次化记忆系统,它能动态保留重要信息,将任务准确率提高9.97%,并将提示词使用量减少32.8%。
MemoWM:世界模型如何改变智能体的记忆需求
MemoWM 提出一种以世界模型为条件的记忆分配框架,通过共享预测压缩智能体长期经验存储,在五个长时程智能体记忆基准上达到42.42%平均准确率,同时将经验特定存储降低53.9%。研究还揭示了共享模型容量与重复存储成本之间的权衡关系。
REMORY:学习残差记忆以实现上下文压缩
Remory 提出一种神经记忆网络,用有限的软记忆 token 补充文本摘要,使冻结的 LLM 在仅用 5.2% 输入位置的情况下逼近全上下文表现,并在 BrowseComp 和 Terminal-Bench 2.1 等长时程 agent 基准上带来一致提升、显著减少重复工具输出和错误。