APM-Bench:针对第一视角流式视频助手的跨会话持久记忆基准

Hugging Face Daily Papers 论文

摘要

APM-Bench 提出了一个针对第一视角流式视频助手跨会话持久记忆的基准,将真实世界交互重新建模为多会话人生轨迹(包含 549 个会话和 104 条轨迹),并评估现有记忆系统在效用–延迟–存储之间的权衡。

为了充当真实世界中的个人助手,流式视频模型需要具备持久记忆,以保留过去的经历供后续使用。然而,现有的流式基准和方法往往只关注单个连续视频或短片段,忽略了真实世界中的交互往往是断断续续的,需要记忆能够跨越中断持续存在。为了填补这一空白,我们提出了 APM-Bench,它将真实世界的流式交互重新建模为多会话的人生轨迹。该基准包含 549 个会话、104 条轨迹和 2,719 个候选问题,涵盖客观型和开放式两种问题类型。每个会话都是一段带有细粒度标注的视频,同一轨迹内的各个会话围绕相关活动展开。模型随后利用持久记忆来回答关于过往会话的问题,并在保持实时交互的同时提供主动响应。这带来了一系列挑战:持久记忆必须可存储、有选择地保留信息、在正确的时机被注入,并且保持高效。此外,有限的存储空间可能导致所需证据无法获取,因此助手应当能够识别证据缺失的情况。为此,我们在不同的记忆协议下系统评估了通用视频模型和多种专用流式记忆系统,并测试模型是否能够承认证据不足。我们的评估揭示了清晰的效用–延迟–存储权衡:现有方法仍难以同时实现跨会话的可靠长期记忆、低开销以及有效的主动辅助。APM-Bench 为在真实流式条件下开发和比较持久记忆系统提供了全面的测试平台。我们希望它能够推动未来的工作综合考虑效用、延迟和存储,从而为真实世界的流式助手构建更实用的持久记忆。
查看原文
查看缓存全文

缓存时间: 2026/09/30 12:16

论文页面 - APM-Bench:面向第一人称流式视频助手的跨会话持久记忆基准

来源:https://huggingface.co/papers/2609.37559 发布于 Sep 29

·

提交者:https://huggingface.co/Jianguo-Huang11

Jesse(https://huggingface.co/Jianguo-Huang11)于 Sep 30

作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

为了充当现实世界中的个人助手,流式视频模型需要具备持久记忆,以便保留过往经验供后续使用。然而,现有的流式基准和方法往往只关注单个连续视频或短视频片段,忽视了现实世界中的交互通常是间歇性的,且需要记忆能够跨越中断持续存在。为了弥补这一空白,我们提出了 APM-Bench,它将现实世界的流式交互重新表述为多会话生命周期轨迹。该基准包含 549 个会话、104 条轨迹和 2,719 个候选条目,涵盖客观型和开放式两类问题。每个会话都是一段带有细粒度标注的视频,同一轨迹内的会话围绕相关活动展开。模型随后使用持久记忆来回答关于过往会话的问题,并在保持实时交互的同时提供主动响应。这带来了诸多挑战:持久记忆必须可存储、能够选择性地保留信息、在正确的时机被注入,并保持高效。此外,有限的存储空间可能导致所需证据缺失,因此助手应当识别证据不足的情况。为此,我们在不同的记忆协议下系统地评估了通用视频模型,以及多种专门化的流式记忆系统,并测试模型是否会承认证据不足。我们的评估揭示了清晰的效用—延迟—存储权衡:现有方法仍然难以同时实现可靠的长期记忆、低开销以及跨会话的有效主动辅助。APM-Bench 为在真实流式条件下开发和比较持久记忆系统提供了一个全面的测试平台。我们希望它能够鼓励未来的工作在效用、延迟和存储之间进行综合考虑,从而为现实世界的流式助手构建更实用的持久记忆。

查看 arXiv 页面 (https://arxiv.org/abs/2609.37559) 查看 PDF (https://arxiv.org/pdf/2609.37559) 项目主页 (https://jianguo-huang11.github.io/APM-Bench/) GitHub2 (https://github.com/Jianguo-Huang11/APM-Bench) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37559)

在你的 agent 中获取这篇论文:

hf papers read 2609\.37559

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型:0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.37559,即可从此页面链接到该论文。

引用此论文的数据集:1

Jianguo-Huang11/APM-Bench Viewer• 约 2 小时前更新 • 549 • 5 (https://huggingface.co/datasets/Jianguo-Huang11/APM-Bench)

引用此论文的 Spaces:0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.37559,即可从此页面链接到该论文。

包含此论文的合集:1

相似文章

StreamMemBench:面向未来辅助的代理记忆流式评估

arXiv cs.AI

StreamMemBench是一个新的流式基准测试,用于评估个人代理记忆系统如何利用观察到的证据和用户反馈来实现面向未来的辅助。实验表明,当前系统通常无法将存储的信息转化为可靠的后续行为。

MemArena:一种面向大规模设备端智能个人记忆助手的自我中心基准

arXiv cs.CL

MemArena 是一种新的自我中心基准,用于评估设备端个人记忆助手,它使用 MASim 智能体模拟器生成多会话对话世界,并在回忆、推理和可信度维度上提供真值。初步结果表明,记忆后端的选择通常比读取器规模更重要,而基于权限的访问仍然是一个普遍挑战。

MemoBench:动态变化环境中世界建模的基准测试

Hugging Face Daily Papers

MemoBench是一个诊断基准,用于评估视频生成模型在动态变化环境中的记忆一致性,其中物体消失并以更新后的状态重新出现。它包括360个真实视频片段和一个结合自动指标与基于VQA评估的测试套件,揭示了记忆一致性挑战的洞见。