VoxMem:评估大型音频语言模型中的多模态记忆基准测试

Hugging Face Daily Papers 论文

摘要

VoxMem是一个用于评估大型音频语言模型中多模态记忆的基准测试,重点考察声学证据类型和多会话记忆操作。它揭示了当前模型中的显著差距,例如与语义内容相比,说话者身份和副语言线索的保留较差。

口语对话系统必须从先前的交互中恢复信息(即记忆),但语音中的相关信息不仅限于说了什么,还包括谁说的、怎么说的以及什么是可听的,这些信息仅存在于音频信号中,无法从转录文本中恢复。除了要记住什么,记忆还需要多样化的操作:检索单个事实、整合跨轮次的证据、跟踪演变的状态。真实的交互进一步跨会话展开,这意味着信息在不同的片段中积累,而不是在单一的连续录音中。现有的基准测试在这三个方面都不足:它们主要关注词汇内容,采用有限且临时的记忆操作,并将记忆视为单会话问题。我们认为,有原则的记忆评估需要共同刻画要保留的声学证据和应用于它的操作,并沿这两个轴引入一个分类体系。基于这个分类体系,我们提出VoxMem:3,196个评估实例,覆盖34,743个口语会话(177小时),跨越四种声学证据类型(语音语义、说话者身份、副语言线索、环境声音)和四种记忆操作(信息提取、多会话推理、时间跟踪和答案拒绝),基于多会话历史,并在从8K到64K令牌的上下文预算上分层。评估15个LALMs,在32K上下文下,没有模型超过40%。模型对所说内容的保留远好于谁说的、怎么说的或什么是可听的,这种差距在复杂操作中扩大,随历史长度增长,并在不同证据类型中表现为质上不同的失败模式。VoxMem旨在为衡量和推动口语对话记忆的全部范围的进展提供基础。
查看原文
查看缓存全文

缓存时间: 2026/09/30 08:23

论文页面 - VoxMem:大型音频语言模型多模态记忆基准测试

来源:https://huggingface.co/papers/2609.32607

摘要

口语对话系统必须从先前的交互中恢复信息(即记忆),然而语音中的相关信息不仅限于所说内容,还包括说话者身份、说话方式以及可听环境音等信息——这些信息仅存在于音频信号中,无法从转录文本中恢复。记忆除了需要明确“记什么”外,还涉及多样化的操作:检索单一事实、整合跨对话轮次的证据、追踪不断演变的状态。真实交互还往往跨越多个会话,这意味着信息是跨不同片段积累,而非来自单次连续记录。现有基准测试在这三个维度上均存在不足:它们主要关注词汇内容,采用有限且临时的记忆操作方式,并将记忆视为单会话问题。我们认为,规范的记忆评估需同时刻画需保留的音频证据及其应用的操作,并提出了沿这两个轴的分类体系。基于此分类体系,我们推出 VoxMem:包含 3,196 个评估实例,涵盖 34,743 个语音会话(177 小时),涵盖四种音频证据类型(语音语义、说话者身份、副语言线索、环境声音)与四种记忆操作(信息提取、多会话推理、时间追踪、答案拒绝),基于多会话历史构建,并按 8K 至 64K 的上下文预算进行分层。对 15 个大型音频语言模型的评估显示,在 32K 上下文下无模型超过 40% 准确率。模型保留“说了什么”的能力远优于保留“谁说的”、“如何说”或“听到了什么”,这一差距在复杂操作中扩大,随历史长度增长,并在不同证据类型间表现为性质不同的失败模式。VoxMem 旨在为衡量和推动口语对话记忆的全方位进展提供基础。

查看 arXiv 页面 (https://arxiv.org/abs/2609.32607)查看 PDF (https://arxiv.org/pdf/2609.32607)项目主页 (https://swagshaw.github.io/voxmem/)GitHub 仓库 (https://github.com/swagshaw/voxmem)添加至收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.32607)

在您的代理工具中获取此论文:

hf papers read 2609.32607

没有最新的 CLI?curl \-LsSf https://hf.co/cli/install.sh \| bash

引用此论文的模型

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。

引用此论文的数据集

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。

引用此论文的 Spaces

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.32607 以从此页面链接。

包含此论文的收藏夹

暂无收藏夹包含此论文

将此论文添加至收藏夹 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章