面向音视频事件定位的层次化语义约束异构图

arXiv cs.AI 论文

摘要

提出了一种层次化语义约束异构图模型,用于开放词汇的音视频事件定位,解决了多个时间尺度上的跨模态一致性问题以及片段级和视频级之间的层次语义约束问题。在OV-AVEL基准上取得了最先进的结果。

arXiv:2606.07033v1 公告类型:新提交 摘要:开放词汇的音视频事件定位(OV-AVEL)联合建模音视频线索,以识别并在时间上定位事件,包括训练中未见过的类别。现有方法主要是在欧几里得空间中学习联合音视频表示,但仍然面临两个重大挑战。首先,对于未见类别缺乏监督信号,使得在多个时间尺度上保持音视频一致性变得困难。其次,片段级和视频级语义之间缺乏层次约束,阻碍了模型在不同层面建立语义一致性。为了解决这些挑战,我们提出了一种用于音视频事件定位的层次化语义约束异构图(HSCHG)框架。我们首先在欧几里得空间中构建一个异质层次图,包含音频和视觉片段节点及其对应的视频级节点。我们使用多方向时间边来捕获每个模态内的完整时间信息。同时,我们采用双阈值过滤门控融合策略,仅在对齐置信度较高时引入跨模态信息。此外,我们在片段级和视频级表示之间引入双向语义约束,以实现不同层面的语义一致性。基于此,我们将多级音视频表示和文本原型统一映射到双曲空间中。我们使用层次蕴含正则化损失来表征视频和片段之间的层次关系。大量实验结果表明,我们的方法在OV-AVEL基准上优于现有方法。消融研究进一步验证了我们方法的有效性。
查看原文
查看缓存全文

缓存时间: 2026/06/08 09:14

# 层级语义约束异构图用于音视频事件定位 来源: https://arxiv.org/html/2606.07033 杨哲, 张如意, 陈宏涛, 李文瑞, 满恒宇, 左旺孟, 范晓鹏本工作受国家重点研发计划(2023YFA1008501)和国家自然科学基金(项目号624B2049和U22B2035)部分资助。(通讯作者:李文瑞)杨哲、张如意、陈宏涛、李文瑞、满恒宇和左旺孟均来自哈尔滨工业大学计算学部,哈尔滨150001,中国。(电子邮箱:[email protected]; [email protected]; [email protected]; [email protected]; [email protected]; [email protected];)。范晓鹏来自哈尔滨工业大学计算学部,哈尔滨150001,中国。他同时也在鹏城实验室(深圳518000,中国)和哈尔滨工业大学苏州研究院(苏州215000,中国)工作。(电子邮箱:[email protected])。

###### 摘要

开放词汇音视频事件定位(OV-AVEL)联合建模音视频线索以识别并时间定位事件,包括训练中未见过的类别。现有方法主要在欧几里得空间中学习联合的音视频表示,但仍面临两个重大挑战。首先,未见类别缺乏监督信号,使得跨多个时间尺度维持音视频一致性变得困难。其次,片段级与视频级语义之间缺乏层级约束,导致模型无法在不同层级间建立语义一致性。为应对这些挑战,我们提出了一种层级语义约束异构图(HSCHG)用于音视频事件定位框架。我们首先在欧几里得空间中构建一个异构层级图,包含音频和视觉片段节点及其对应的视频级节点。我们使用多方向时间边来捕获每种模态内的完整时间信息。同时,我们采用一种双阈值过滤门控融合策略,仅在对齐置信度较高时引入跨模态信息。此外,我们在片段级和视频级表示之间引入了双向语义约束,以实现不同层级间的语义一致性。在此基础上,我们将多级音视频表示和文本原型统一映射到双曲空间。我们使用层级蕴含正则化损失来刻画视频与片段之间的层级关系。大量实验结果表明,我们的方法在OV-AVEL基准上优于现有方法。消融研究进一步验证了我们方法的有效性。

## I 引言

随着多媒体内容的快速增长,模型需要同时理解图像、语音和文本等多源信息。因此,多模态学习已成为视频理解的一个重要方向,并在图像-文本理解[16 (https://arxiv.org/html/2606.07033#bib.bib32),4 (https://arxiv.org/html/2606.07033#bib.bib43),12 (https://arxiv.org/html/2606.07033#bib.bib33),13 (https://arxiv.org/html/2606.07033#bib.bib37)]、视频-文本理解[40 (https://arxiv.org/html/2606.07033#bib.bib40),41 (https://arxiv.org/html/2606.07033#bib.bib41),21 (https://arxiv.org/html/2606.07033#bib.bib42),22 (https://arxiv.org/html/2606.07033#bib.bib44),19 (https://arxiv.org/html/2606.07033#bib.bib45)]以及音视频学习[15 (https://arxiv.org/html/2606.07033#bib.bib31),14 (https://arxiv.org/html/2606.07033#bib.bib34),18 (https://arxiv.org/html/2606.07033#bib.bib38),36 (https://arxiv.org/html/2606.07033#bib.bib39),10 (https://arxiv.org/html/2606.07033#bib.bib30)]等任务中不断取得进展。这些任务的共同目标是对齐不同模态的语义和时间线索,利用互补信息提高鲁棒性和判别力。作为复杂视频理解中的一项关键任务,音视频事件定位(AVEL)旨在联合建模音频和视觉线索,以识别事件类别并定位其发生区间。该能力在多种应用中具有重要价值,例如理解和检索视频内容、短视频推荐、字幕生成以及智能监控。AVEL可以帮助系统自动从嘈杂复杂的视频中识别关键事件片段,支持更高效的内容管理。

参照图注 图1:HSCHG中异构层级图的图示。它包含片段级视觉节点{Vtp}t=1T和音频节点{Atp}t=1T,以及视频级节点Vv和Av。模态内边捕获前向、后向和无向时间依赖关系。层级边连接片段与视频级节点以实现跨粒度聚合。跨模态边链接对齐的音频和视觉片段,以在噪声和错位情况下学习音视频一致性。

参照图注 图2:OV-AVEL的图示。模型联合利用片段级音频和视觉线索来确定是否存在同时可听且可见的目标事件。该示例突出了开放词汇设置中的两个关键挑战:(1)音频和视觉信号异步可能导致跨模态语义冲突(例如,在clip2中,音频指示“人说话”,而视觉提示“狗叫”); (2)来自已见类别的片段可能被错误地视为目标事件的证据(例如,在clip6中,“人说话”被错误地与目标事件关联),导致误报和定位不准确。

大多数现有的AVEL方法在欧几里得空间中学习音频和视觉信息的联合表示,并在视频或片段级别进行推理,以完成事件分类和时间定位。早期工作[31 (https://arxiv.org/html/2606.07033#bib.bib1),34 (https://arxiv.org/html/2606.07033#bib.bib46)]将AVEL定义为一个时间定位任务,仅当事件同时可听和可见时才成立,并使用序列标注范式建立了基本框架。这些方法通常假设音频和视觉线索在时间上大致同步。因此,它们主要依赖于特征融合或跨模态注意力来实现更好的定位结果。在实际场景中,由于视频中频繁的镜头切换和突发噪声,音视频同步假设往往不成立。模型很容易将仅在单一模态显著但跨模态不一致的片段误认为是事件证据。CMBS[32 (https://arxiv.org/html/2606.07033#bib.bib2)]从跨模态背景的角度重新建模该任务,将背景定义为具有跨模态语义不匹配或仅出现在单一模态中的内容。为了进一步改善不同数据模式之间的联系,DMIN方法[20 (https://arxiv.org/html/2606.07033#bib.bib3)]通过从稀疏注意力过渡到更集中的形式来增强跨模态交互。它通过引入更细粒度的音频引导机制和更全面的跨通道注意力模型来实现这一点。尽管上述方法提高了对噪声和音视频不一致的鲁棒性,但将背景视为通用类别并学习统一的定位规则,忽略了事件层面的模态偏差。因此,MAML[6 (https://arxiv.org/html/2606.07033#bib.bib4)]提出了一种先预测事件类别,然后根据该类别的定位偏好进行片段定位的定位范式。上述研究主要停留在封闭集设定中。如果在测试阶段出现未见事件,模型通常只能将其识别为背景或可见类别,难以提供明确的语义类别。最近,诸如OV-AVE[42 (https://arxiv.org/html/2606.07033#bib.bib5),38 (https://arxiv.org/html/2606.07033#bib.bib6)]等工作提出了更接近真实场景的开放词汇音视频事件定位(OV-AVEL)任务设定。这要求模型同时在片段级定位可听且可见的事件,并为已见和未见类别输出具体的类别名称。

尽管上述方法取得了可喜的进展,但基于欧几里得空间的表示学习在开放词汇场景下仍面临关键瓶颈。首先,音视频事件通常在时间轴上表现出显著的多尺度变化。模型需要在捕获局部片段信息的同时,跨多尺度时间结构实现鲁棒的音视频同步。其次,在开放词汇条件下,片段语义与视频语义之间缺乏有效的层级约束,使得模型无法在视频和片段之间建立语义一致性。如图2 (https://arxiv.org/html/2606.07033#S1.F2)所示,训练后的模型错误地将包含“人说话”(已见类别)的片段识别为目标事件“狗叫”。从几何表示的角度来看,欧几里得空间的体积仅随半径呈多项式增长,难以有效表示模态内的层级关系和模态间的树状结构。具有指数体积增长特性的双曲空间在刻画此类层级和树状结构方面具有天然优势[25 (https://arxiv.org/html/2606.07033#bib.bib16)]。最近的工作[8 (https://arxiv.org/html/2606.07033#bib.bib7),35 (https://arxiv.org/html/2606.07033#bib.bib8)]尝试将音视频特征嵌入到双曲流形中,并在切空间中实现模态对齐,以提高零样本识别性能。然而,它们仅对视频级表示进行模态对齐,未能有效捕获音视频时间特征与类别语义之间的层级关系。此外,双曲空间本身强烈的非线性不适合直接建模复杂的模态内和模态间时间依赖关系。因此,本研究的核心是为音视频信号构建鲁棒的多级时间结构,并将其与类别语义联合建模。这种联合建模旨在通过强制执行跨模态和跨层级的时间一致性与语义对齐,提高开放词汇音视频事件定位的泛化能力。

在本文中,我们提出了一种层级语义约束异构图(HSCHG)用于音视频事件定位。我们首先在欧几里得嵌入空间中构建一个异构层级图,并通过在跨模态片段节点和视频级节点之间聚合特征,联合学习片段级和视频级语义的音视频一致性表示,如图1 (https://arxiv.org/html/2606.07033#S1.F1)所示。随后,我们将多模态层级特征映射到双曲空间,使用层级蕴含损失联合约束模态内和模态间关系,确保与类别语义原型的几何结构一致。具体来说,我们使用音频和视觉片段级节点及其对应的视频级节点构建一个异构层级图。对于模态内片段节点,我们使用无向边、前向边和后向边来捕获完整的时间信息。在特征聚合过程中,我们采用阈值加权聚合来抑制虚假邻居信息的传播,从而提高时间推理的鲁棒性。对于跨模态节点,我们引入了一个双阈值过滤和门控融合机制,仅在对齐置信度较高时注入跨模态信息,从而减少噪声干扰。最后,我们使用注意力在片段级和视频级表示之间建立双向语义约束。片段序列根据视频级语义一致性进行校准,更新后的片段特征反过来优化视频级语义。基于这种多级表示,我们将视频级和片段级的音视频特征及其对应的层级文本嵌入统一映射到双曲流形中。我们使用基于双曲几何的蕴含锥损失来显式刻画模态内和模态间的层级关系。在模态内,我们约束视频级嵌入包含其片段嵌入。在模态间,我们使用文本原型作为父节点,并对不同级别的音视频嵌入施加蕴含约束,确保多模态实例落在其对应类别的语义锥内,实现层级对齐。

我们的主要贡献总结如下:
- •我们提出了一种层级语义约束异构图框架用于OV-AVEL。我们在欧几里得空间中联合学习片段级和视频级音视频一致性表示,并进一步将多级实例和类别语义映射到双曲空间进行几何对齐,显著提高了对未见类别的泛化能力。
- •我们设计了一个异构层级图网络。我们还引入了多方向时间边和具有双阈值过滤的门控融合策略,以实现鲁棒的跨模态时间推理。
- •我们提出了一种层级蕴含正则化损失。基于蕴含锥约束,我们显式刻画了模态内视频与片段之间,以及跨模态文本与音视频特征之间的层级关系。
- •在OV-AVEL基准数据集上的大量实验表明,我们的方法优于现有方法。我们的消融研究也验证了所提模型及其组件的有效性。

## II 相关工作

### II-A 音视频事件定位

音视频事件定位要求联合建模音频和视觉线索,以在时间线上定位可听且可见的事件片段。现有方法通常依赖于特征融合和时间建模,在片段级别进行推理和评分。然而,自然场景中经常存在由环境噪声和镜头切换引起的语义和时间不一致性。简单的全局融合很容易将不匹配的跨模态信息纳入事件表示中,降低定位可靠性。为了提高鲁棒性,研究强调跨模态一致性过滤和更精细的交互建模。CSS-Net[3 (https://arxiv.org/html/2606.07033#bib.bib9)]使用双向引导协同注意力来建立音频和视觉模态之间的互补关系。DMIN[20 (https://arxiv.org/html/2606.07033#bib.bib3)]将跨模态交互从稀疏注意力扩展到密集的跨通道注意力。它通过更细粒度的音频引导增强对应关系建模,并使用单模态判别约束来减少融合过程中有效信息的稀释。CCLN[29 (https://arxiv.org/html/2606.07033#bib.bib10)]将音视频整合

相似文章

面向一对多时序定位

Hugging Face Daily Papers

本文介绍了一对多时序定位(OMTG)这一新任务,用于从单个文本查询中定位多个不连续的视频片段,同时提供了基准、评估指标、包含56k样本的数据集以及新颖的奖励函数,取得了最新最优的结果,优于Gemini 2.5 Pro和Seed-1.8。

OVO-S-Bench:面向多模态大语言模型流式空间智能的层次化基准测试

Papers with Code Trending

OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。