ReflectWorld-MM:面向实体的多模态记忆系统,用于开放式视频流

Hugging Face Daily Papers 论文

摘要

ReflectWorld-MM 是一个面向实体的多模态记忆系统,专为开放式视频流设计,采用受人类记忆理论启发的分层长期记忆,在六个基准测试中达到了最先进的准确率。

构建能够持续观察世界、记住所见内容并基于积累经验进行推理的助手是一个长期目标。近期,配备视频流长期记忆的多模态智能体引起了越来越多的关注。不幸的是,现有系统要么将记忆保存在模型上下文中,要么保存在扁平的特征存储中,并且围绕帧而不是流真正关注的持久实体来组织记忆,这限制了它们处理有界视频的能力,并削弱了随时间追踪谁和什么再次出现的能力。在本文中,我们提出了 ReflectWorld-MM,一个面向实体的多模态记忆系统,用于开放式视频流。它由三部分组成。第一部分是一个感知前端,在有限的短期记忆下将视听流转化为实体解析的观察。第二部分是一个基于人类记忆理论的分层长期记忆,结合了多尺度情景记忆、不断演进的以实体为中心的语义记忆和程序记忆。第三部分是一个完整的实现,为实际运行而构建,可以摄取任意视频流并插入现成的助手。在六个长视频和终身记忆基准测试中,ReflectWorld-MM 在所有六个基准上均达到最佳准确率,超过了强大的记忆智能体和前沿模型。
查看原文
查看缓存全文

缓存时间: 2026/07/21 06:35

论文页面 - ReflectWorld-MM:面向开放式视频流的实体化多模态记忆系统

来源:https://huggingface.co/papers/2607.09759

摘要

构建能够持续观察世界、记住所见并基于积累的经验进行推理的助手是一个长期目标。近来,配备视频流长期记忆的多模态智能体引起了越来越多的关注。然而,现有系统要么将记忆保留在模型上下文中,要么存放在平面特征存储中,并且围绕帧而非流真正关注的持久性实体来组织记忆,这将其局限在有边界的视频中,削弱了其追踪随时间重新出现的角色和对象的能力。本文提出 ReflectWorld-MM,一个面向实体、专为开放式视频流设计的多模态记忆系统。它由三部分组成:第一部分是感知前端,在有界短期记忆下将音视频流转化为实体级观测;第二部分是一个基于人类记忆理论的分层长期记忆系统,耦合了多尺度情景记忆、演进的以实体为中心的语义记忆和程序性记忆;第三部分是完整的实际运行实现,可摄入任意视频流并接入现成的助手。在六个长视频和终身记忆基准测试中,ReflectWorld-MM 在所有六项上均取得最佳准确率,超越了强大的记忆智能体和前沿模型。

查看 arXiv 页面 (https://arxiv.org/abs/2607.09759) 查看 PDF (https://arxiv.org/pdf/2607.09759) 项目页面 (https://github.com/addxai/ReflectWorld) GitHub68 (https://github.com/addxai/ReflectWorld) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.09759)

引用本论文的模型0

暂无关联本论文的模型

请在模型 README.md 中引用 arxiv.org/abs/2607.09759 以在此页面建立链接。

引用本论文的数据集0

暂无关联本论文的数据集

请在数据集 README.md 中引用 arxiv.org/abs/2607.09759 以在此页面建立链接。

引用本论文的 Space0

暂无关联本论文的 Space

请在 Space README.md 中引用 arxiv.org/abs/2607.09759 以在此页面建立链接。

包含本论文的收藏集0

暂无包含本论文的收藏集

请将本论文添加到一个收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。

相似文章

WorldMemArena:通过动作-世界交互评估多模态智能体记忆

Hugging Face Daily Papers

WorldMemArena 是一个新的基准测试,包含400个多会话多模态任务,用于评估多模态智能体记忆,比较了长上下文、RAG和基于框架的记忆方法,揭示了更好的记忆写入并不保证更好的性能,并且系统在处理视觉证据方面存在困难。

MemEye:面向多模态智能体记忆的视觉中心评估框架

Hugging Face Daily Papers

MemEye 是一个视觉中心的评估框架,通过衡量 8 个生活场景任务中的视觉证据粒度和检索复杂度来评估多模态智能体记忆。该框架揭示了当前架构在保留细粒度视觉细节和推理随时间变化的状态方面仍然存在困难。