超越二元记忆:面向多方口语对话的交互感知多模态记忆与自适应智能检索

Hugging Face Daily Papers 论文

摘要

提出VoxPolyMem,一个面向多方口语对话的交互感知多模态记忆框架,具备自适应智能检索功能,在新基准测试中达到了最先进的性能。

长期记忆使智能体能够积累信息并跨会话推理,但现有研究主要关注二元文本或图文对话,导致多方口语对话的长期记忆研究不足。这种场景需要保留对话内容、识别跨会话的参与者,并记录谁与谁对话。为此,我们提出VoxPolyMem,一个交互感知的多模态记忆框架,结合增量说话人识别和由交互记忆、事实记忆和参与者档案组成的记忆层次结构。我们将检索建模为序贯决策过程,智能体根据累积证据重写查询并选择检索工具和记忆层,以填补信息空白。我们进一步引入证据增益GRPO(EG-GRPO),使用轮次信用分配来鼓励互补证据的获取。我们还构建了VoxPolyBench来评估多方口语对话中的记忆演变、个性化回答、记忆检索与推理,以及交互推理与归因。VoxPolyMem在VoxPolyBench上的总体得分为85.0,比最强的评估基线高出23.6分。在Mem-Gallery和H2HMem-Multi上,它分别得分为89.6和74.4,每个都比最强的公开记忆基线高出超过8分。这些结果突显了其在多方多模态交互中提供持久、个性化辅助的潜力。代码和数据集可在https://voxpolymem.github.io/VoxPolyBench/demo/获取。
查看原文
查看缓存全文

缓存时间: 2026/09/30 08:20

论文页面 - 超越成对记忆:面向多方语音对话的交互感知多模态记忆与自适应智能体检索

来源:https://huggingface.co/papers/2609.32522

摘要

长期记忆使智能体能够积累信息并跨会话进行推理,然而现有研究主要关注成对文本或图像-文本对话,导致多方语音对话的长期记忆研究仍显不足。这一场景需要保留对话内容、跨会话识别参与者,并记录谁对谁说话。为此,我们提出了 VoxPolyMem,一种交互感知的多模态记忆框架,结合了增量说话人识别和包含交互记忆、事实记忆与参与者档案的记忆层次结构。我们将检索过程构建为序列决策问题,智能体基于累积证据重写查询并选择检索工具及记忆层,以解决信息缺口。我们进一步提出了证据增益 GRPO,该机制采用轮次级信用分配以鼓励互补性证据获取。同时,我们构建了 VoxPolyBench 基准,用于评估多方语音对话中的记忆演化、个性化回答、记忆检索与推理,以及交互推理与归因。VoxPolyMem 在 VoxPolyBench 上总分达到 85.0,超越最强基线 23.6 分。在 Mem-Gallery 和 H2HMem-Multi 上分别取得 89.6 和 74.4 分,各自超越最强公开记忆基线超过 8 分。这些结果突显了其在多方多模态交互中实现持久化、个性化协助的潜力。代码与数据集可在 https://voxpolymem.github.io/VoxPolyBench/demo/ 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2609.32522)查看 PDF (https://arxiv.org/pdf/2609.32522)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.32522)

在智能体中获取此论文:

hf papers read 2609.32522

没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。

包含此论文的收藏集1

相似文章

VoxMem:评估大型音频语言模型中的多模态记忆基准测试

Hugging Face Daily Papers

VoxMem是一个用于评估大型音频语言模型中多模态记忆的基准测试,重点考察声学证据类型和多会话记忆操作。它揭示了当前模型中的显著差距,例如与语义内容相比,说话者身份和副语言线索的保留较差。

超越检索:多模态智能体的分析记忆

arXiv cs.AI

本文介绍了AdaMM,一个通过分析记忆补充基于检索的多模态记忆的框架,能够对累积的观测进行过滤、聚合、排序和时间比较。在MemEye和MemGallery基准上的实验显示,性能分别提升了高达11.3%和7.3%。