VoxMem:评估大型音频语言模型中的多模态记忆基准测试
摘要
VoxMem是一个用于评估大型音频语言模型中多模态记忆的基准测试,重点考察声学证据类型和多会话记忆操作。它揭示了当前模型中的显著差距,例如与语义内容相比,说话者身份和副语言线索的保留较差。
查看缓存全文
缓存时间: 2026/09/30 08:23
论文页面 - VoxMem:大型音频语言模型多模态记忆基准测试
来源:https://huggingface.co/papers/2609.32607
摘要
口语对话系统必须从先前的交互中恢复信息(即记忆),然而语音中的相关信息不仅限于所说内容,还包括说话者身份、说话方式以及可听环境音等信息——这些信息仅存在于音频信号中,无法从转录文本中恢复。记忆除了需要明确“记什么”外,还涉及多样化的操作:检索单一事实、整合跨对话轮次的证据、追踪不断演变的状态。真实交互还往往跨越多个会话,这意味着信息是跨不同片段积累,而非来自单次连续记录。现有基准测试在这三个维度上均存在不足:它们主要关注词汇内容,采用有限且临时的记忆操作方式,并将记忆视为单会话问题。我们认为,规范的记忆评估需同时刻画需保留的音频证据及其应用的操作,并提出了沿这两个轴的分类体系。基于此分类体系,我们推出 VoxMem:包含 3,196 个评估实例,涵盖 34,743 个语音会话(177 小时),涵盖四种音频证据类型(语音语义、说话者身份、副语言线索、环境声音)与四种记忆操作(信息提取、多会话推理、时间追踪、答案拒绝),基于多会话历史构建,并按 8K 至 64K 的上下文预算进行分层。对 15 个大型音频语言模型的评估显示,在 32K 上下文下无模型超过 40% 准确率。模型保留“说了什么”的能力远优于保留“谁说的”、“如何说”或“听到了什么”,这一差距在复杂操作中扩大,随历史长度增长,并在不同证据类型间表现为性质不同的失败模式。VoxMem 旨在为衡量和推动口语对话记忆的全方位进展提供基础。
查看 arXiv 页面 (https://arxiv.org/abs/2609.32607)查看 PDF (https://arxiv.org/pdf/2609.32607)项目主页 (https://swagshaw.github.io/voxmem/)GitHub 仓库 (https://github.com/swagshaw/voxmem)添加至收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.32607)
在您的代理工具中获取此论文:
hf papers read 2609.32607
没有最新的 CLI?curl \-LsSf https://hf.co/cli/install.sh \| bash
引用此论文的模型
暂无模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。
引用此论文的数据集
暂无数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。
引用此论文的 Spaces
暂无 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。
包含此论文的收藏夹
暂无收藏夹包含此论文
将此论文添加至收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。
相似文章
MemLens:大规模视觉-语言模型中多模态长期记忆的基准测试
MemLens是一个新的基准测试,通过多轮对话评估大规模视觉-语言模型的记忆能力。它比较了长上下文和记忆增强方法,揭示了二者的局限性,并推动了混合架构的发展。
超越二元记忆:面向多方口语对话的交互感知多模态记忆与自适应智能检索
提出VoxPolyMem,一个面向多方口语对话的交互感知多模态记忆框架,具备自适应智能检索功能,在新基准测试中达到了最先进的性能。
EM^2Mem:面向大语言模型的事件中心多模态记忆
EM^2Mem 提出了一种事件中心的多模态记忆框架,该框架将异构证据绑定到事件锚点,为长视频问答提供紧凑、可生成的记忆,从而提高准确性并降低延迟。
VoiceLongMemEval:AI助手能否记住你说话时的语音特征?
本文介绍了VoiceLongMemEval (VLME)基准,它评估AI助手在长期对话中记忆和推理语音副语言元数据(如情感和韵律)的能力,揭示了当前模型中存在的'情感差距'。
ChildVox:理解与表征儿童声音的语音、音频及大型音频语言模型基准
ChildVox 提出了一个全面的基准,用于分析儿童在不同发育阶段的声学交流,整合了来自17个以儿童为中心的音频和语音数据集的20多个子任务。