StreamMemBench:面向未来辅助的代理记忆流式评估
摘要
StreamMemBench是一个新的流式基准测试,用于评估个人代理记忆系统如何利用观察到的证据和用户反馈来实现面向未来的辅助。实验表明,当前系统通常无法将存储的信息转化为可靠的后续行为。
arXiv:2606.14571v1 公告类型:新\n摘要:个人代理记忆的一个核心作用是将存储的信息和之前的交互转化为面向未来的辅助。在日常使用中,有用的线索来自于代理观察到什么以及用户如何与代理交互,代理必须将这些线索从当前请求带到类似的未来任务中。现有的记忆基准测试通常孤立地测试对话回忆或任务改进,使得从流式观察到后续辅助的轨迹在很大程度上未经过测试。我们引入了StreamMemBench,这是一个流式基准测试,围绕来自EgoLife自我中心流的每个证据锚构建一个两步任务序列。初始任务测试证据的使用,而后续任务测试反馈和交互体验是否被重用。四个指标诊断证据回忆、初始证据使用、反馈整合和后续重用。在两个主干上的八个记忆系统的实验表明,即使证据被存储或反馈被本地整合,当前系统通常也无法使用观察到的证据或将反馈转化为可靠的后续行为。StreamMemBench可在https://github.com/landian60/StreamMemBench公开获取。
查看缓存全文
缓存时间: 2026/06/15 09:12
# StreamMemBench:面向未来辅助的智能体记忆流式评估 来源:https://arxiv.org/abs/2606.14571 查看 PDF (https://arxiv.org/pdf/2606.14571) > 摘要:个人智能体记忆的核心作用是将存储的信息和先前的交互转化为面向未来的辅助。在日常使用中,有用的线索来自智能体观察到的事物以及用户与智能体交互的方式,智能体必须将这些线索从当前请求延续到类似的未来任务。现有的记忆基准测试通常单独测试对话回忆或任务改进,使得从流式观察到后续辅助的轨迹大多未经测试。我们引入了 StreamMemBench,这是一个流式基准测试,围绕 EgoLife 自我中心流中的每个证据锚点构建一个两步任务序列。初始任务测试证据使用,后续任务测试反馈和交互体验是否被重用。四个指标分别诊断证据回忆、初始证据使用、反馈整合和后续重用。基于两个骨干网络对八个记忆系统进行的实验表明,当前系统通常无法使用观察到的证据或将反馈转化为可靠的后续行为,即使证据已存储或反馈已在局部整合。StreamMemBench 可在此公开获取:this https URL (https://github.com/landian60/StreamMemBench) ## 提交历史 来自:Guanming Liu [查看邮件 (https://arxiv.org/show-email/b3c20731/2606.14571)] **[v1]** 2026年6月12日星期五 15:48:43 UTC (773 KB)
相似文章
AgentMemBench:评估对话式AI智能体长期记忆管理策略的系统性基准
AgentMemBench 是一个系统性基准,在三个数据集上评估对话式 AI 智能体的五种长期记忆管理策略,发现外部键值存储检索在质量上占优,但会带来更大的内存占用。
APM-Bench:针对第一视角流式视频助手的跨会话持久记忆基准
APM-Bench 提出了一个针对第一视角流式视频助手跨会话持久记忆的基准,将真实世界交互重新建模为多会话人生轨迹(包含 549 个会话和 104 条轨迹),并评估现有记忆系统在效用–延迟–存储之间的权衡。
先个性化再存储:面向长周期智能体的个性化记忆基准测试与学习
本文介绍了PerMemBench,这是首个用于评估基于LLM的智能体中个性化记忆系统的基准测试,并提出了一个会话级存储门控框架,该框架根据个体用户上下文调整记忆策略。
智能体应该记住什么?在有限记忆评估中将记忆保留与检索解耦
本文构建了一个流式召回基准,将智能体与查询无关的记忆保留决策与查询相关的检索选择决策分离开来。研究发现,先前评估中报告的大部分记忆优势实际上是一种访问机制造成的假象,而在有限记忆条件下,召回率的上界由记忆保留率决定。
智能体记忆系统能否追踪演化状态?
本文介绍了StateMemBench,一个用于评估LLM智能体记忆系统中状态追踪的基准测试,并提出了StateMem,一种提高长交互中当前状态准确性的方法。