LongMemEval-V2：评估长期智能体记忆，迈向经验丰富的同事

Hugging Face Daily Papers 论文
long-term-memory agents benchmark rag web-agents

摘要

本文介绍了 LongMemEval-V2，这是一个用于评估 Web 智能体长期记忆系统的基准，同时提出了两种记忆方法：AgentRunbook-R 和 AgentRunbook-C。

在专业的 Web 环境中，长期记忆对于智能体至关重要，其成功与否取决于能否回忆起界面可供性、状态动态、工作流以及常见的故障模式。然而，现有的智能体记忆基准大多关注用户历史、短期轨迹或下游任务的成功率，尚未明确如何直接评估记忆系统是否能有效地将特定环境下的经验内化。为了填补这一空白，我们引入了 LongMemEval-V2 (LME-V2)，这是一个用于评估记忆系统能否帮助智能体获取在定制化环境中成为“知识渊博的同事”所需经验的基准。LME-V2 包含 451 个经过人工精心策划的问题，涵盖 Web 智能体的五种核心记忆能力：静态状态召回、动态状态跟踪、工作流知识、环境陷阱以及前提意识。这些问题与历史轨迹配对，其中包含多达 500 条轨迹和 1.15 亿个 token。我们采用了一种上下文收集的形式：记忆系统消耗历史轨迹，并为下游问答返回简洁的证据。我们提出了一套包含两种记忆方法的技术：AgentRunbook-R，一种基于 RAG 的高效记忆系统，利用知识池存储原始状态观测、事件和策略笔记；以及 AgentRunbook-C，它将轨迹存储为文件，并调用编码智能体在增强的沙箱中收集证据。实验表明，AgentRunbook-C 实现了最佳性能，平均准确率达到 72.5%，优于最强的 RAG 基线（48.5%）和现成的编码智能体基线（69.3%）。尽管取得了显著的性能提升，但基于编码智能体的方法具有高昂的延迟成本。虽然 AgentRunbook-C 推进了准确率-延迟的帕累托前沿，但仍存在巨大的改进空间。综上所述，这些结果确立了 LME-V2 作为开发面向环境经验的长期记忆系统的挑战性测试平台。
查看原文
查看缓存全文

缓存时间: 2026/05/13 04:10

论文页面 - LongMemEval-V2：评估长期智能体记忆以实现经验丰富的同事级别表现

来源：https://huggingface.co/papers/2605.12493 发布于 5 月 12 日

·

由 https://huggingface.co/xiaowu0162 提交

Di Wu (https://huggingface.co/xiaowu0162) 于 5 月 13 日

摘要

本文引入了一个新的基准测试 LongMemEval-V2，用于评估记忆系统帮助智能体在网页环境中获取特定环境经验的能力。该基准包含一系列记忆方法，包括 AgentRunbook-R 和 AgentRunbook-C，它们在准确率和延迟方面表现出不同的性能。

在专业的网页环境（https://huggingface.co/papers?q=web%20environments）中，长期记忆（https://huggingface.co/papers?q=Long-term%20memory）对于智能体至关重要，其成功取决于能否回忆界面可供性、状态动态、工作流以及常见的失败模式。然而，现有的智能体记忆基准（https://huggingface.co/papers?q=memory%20benchmark）大多关注用户历史、短期轨迹或下游任务的成功率，尚未直接解决如何评估记忆系统是否有效地内化了特定环境的经验。为了填补这一空白，我们引入了 LongMemEval-V2（LME-V2），这是一个用于评估记忆系统是否能够帮助智能体获取成为定制化环境中“知识型同事”所需经验的基准。LME-V2 包含 451 个人工策划的问题，涵盖网页智能体所需的五种核心记忆能力：静态状态回忆、动态状态跟踪、工作流知识、环境陷阱（gotchas）以及前提意识。每个问题都配有关联的历史轨迹，其中包含多达 500 条轨迹和 1.15 亿个 token。我们采用了一种上下文收集（context gathering）的设定：记忆系统消费历史轨迹并返回紧凑的证据，以支持下游的问答（https://huggingface.co/papers?q=question%20answering）。我们提出了一套包含两种方法的记忆方案：AgentRunbook-R（https://huggingface.co/papers?q=AgentRunbook-R），这是一种高效的基于 RAG 的记忆系统（https://huggingface.co/papers?q=RAG-based%20memory），它拥有用于原始状态观察、事件和策略笔记的知识池（https://huggingface.co/papers?q=knowledge%20pools）；以及 AgentRunbook-C（https://huggingface.co/papers?q=AgentRunbook-C），它将轨迹存储为文件，并在增强型沙箱中调用代码智能体来收集证据。实验表明，AgentRunbook-C（https://huggingface.co/papers?q=AgentRunbook-C）取得了最佳性能，平均准确率为 72.5%，优于最强的 RAG 基线（48.5%）和现成的代码智能体基线（69.3%）。尽管性能提升显著，但基于代码智能体的方法具有较高的延迟成本。虽然 AgentRunbook-C（https://huggingface.co/papers?q=AgentRunbook-C）推动了准确率-延迟帕累托前沿，但仍有很大的改进空间。综上所述，这些结果确立了 LME-V2 作为开发用于环境经验的长期记忆系统（https://huggingface.co/papers?q=long-term%20memory）具有挑战性的测试平台。

查看 arXiv 页面 (https://arxiv.org/abs/2605.12493) 查看 PDF (https://arxiv.org/pdf/2605.12493) 项目页面 (https://xiaowu0162.github.io/longmemeval-v2/) GitHub (https://github.com/xiaowu0162/LongMemEval-V2) 添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2605.12493)

在你的智能体中获取此论文：

hf papers read 2605\.12493

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有链接到此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2605.12493 即可从此页面进行链接。

引用此论文的数据集 0

没有链接到此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.12493 即可从此页面进行链接。

引用此论文的 Spaces 0

没有链接到此论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2605.12493 即可从此页面进行链接。

包含此论文的合集 0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面进行链接。

相似文章

MemGym：面向LLM智能体的长时记忆环境

arXiv cs.CL

MemGym是一个基准测试，用于评估LLM智能体在长时任务中的记忆形成，它统一了现有的智能体gym和合成流水线，并采用记忆隔离得分。它涵盖工具使用对话、多轮搜索、编码和计算机使用，并包含一个轻量级奖励模型（MemRM）以实现高效评估。

在 LongMemEval-S 上对智能体记忆检索进行基准测试 — Recall@5 达 98%，R@23 实现 100% 召回，仅依赖本地嵌入模型 (all-MiniLM-L6-v2)，无需 LLM 与 API Key

Reddit r/AI_Agents

作者分享了用于智能体记忆的 Python 库 memweave 的基准测试结果，该库仅使用本地嵌入且无需调用 LLM，便在 LongMemEval-S 上实现了 98% 的 Recall@5。本文详细介绍了实现方法，并与 mempalace 进行了性能对比，突出了其在不同问题类型上稳定的检索表现。