超越二元记忆:面向多方口语对话的交互感知多模态记忆与自适应智能检索
摘要
提出VoxPolyMem,一个面向多方口语对话的交互感知多模态记忆框架,具备自适应智能检索功能,在新基准测试中达到了最先进的性能。
查看缓存全文
缓存时间: 2026/09/30 08:20
论文页面 - 超越成对记忆:面向多方语音对话的交互感知多模态记忆与自适应智能体检索
来源:https://huggingface.co/papers/2609.32522
摘要
长期记忆使智能体能够积累信息并跨会话进行推理,然而现有研究主要关注成对文本或图像-文本对话,导致多方语音对话的长期记忆研究仍显不足。这一场景需要保留对话内容、跨会话识别参与者,并记录谁对谁说话。为此,我们提出了 VoxPolyMem,一种交互感知的多模态记忆框架,结合了增量说话人识别和包含交互记忆、事实记忆与参与者档案的记忆层次结构。我们将检索过程构建为序列决策问题,智能体基于累积证据重写查询并选择检索工具及记忆层,以解决信息缺口。我们进一步提出了证据增益 GRPO,该机制采用轮次级信用分配以鼓励互补性证据获取。同时,我们构建了 VoxPolyBench 基准,用于评估多方语音对话中的记忆演化、个性化回答、记忆检索与推理,以及交互推理与归因。VoxPolyMem 在 VoxPolyBench 上总分达到 85.0,超越最强基线 23.6 分。在 Mem-Gallery 和 H2HMem-Multi 上分别取得 89.6 和 74.4 分,各自超越最强公开记忆基线超过 8 分。这些结果突显了其在多方多模态交互中实现持久化、个性化协助的潜力。代码与数据集可在 https://voxpolymem.github.io/VoxPolyBench/demo/ 获取。
查看 arXiv 页面 (https://arxiv.org/abs/2609.32522)查看 PDF (https://arxiv.org/pdf/2609.32522)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.32522)
在智能体中获取此论文:
hf papers read 2609.32522
没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。
引用此论文的数据集0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。
引用此论文的 Spaces0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2609.32522 以从此页面链接。
包含此论文的收藏集1
相似文章
VoxMem:评估大型音频语言模型中的多模态记忆基准测试
VoxMem是一个用于评估大型音频语言模型中多模态记忆的基准测试,重点考察声学证据类型和多会话记忆操作。它揭示了当前模型中的显著差距,例如与语义内容相比,说话者身份和副语言线索的保留较差。
超越检索:多模态智能体的分析记忆
本文介绍了AdaMM,一个通过分析记忆补充基于检索的多模态记忆的框架,能够对累积的观测进行过滤、聚合、排序和时间比较。在MemEye和MemGallery基准上的实验显示,性能分别提升了高达11.3%和7.3%。
SpeakerMem-R1:以说话者为中心的双轨记忆用于多方对话
本文提出 SpeakerMem-R1,一个以说话者为中心的双轨记忆系统,用于多方对话,解决了消息归属和关系理解的瓶颈。它在 EverMemBench 和 LoCoMo 等基准测试中取得了最先进的结果。
Cognis:面向对话式 AI 智能体的上下文感知记忆系统
Lyzr Cognis 推出统一开源记忆系统,融合 BM25 与 Matryoshka 向量搜索并支持版本感知写入,在 LoCoMo 与 LongMemEval 基准上实现 SOTA。
VoiceMem: 用于实时交互的流式双脑记忆
VoiceMem为语音语言模型引入了一种双脑流式记忆架构,提高了检索准确性、情感个性化和实时效率。