一种用于音频-视觉导航的混合Mamba架构

# 面向音视导航的混合Mamba架构†
来源：https://arxiv.org/html/2607.13110
王一1,2,3，与余银凤1,2,3,🖂\{\}^\{,\\mbox\{\\Letter\}\}†\\dagger本研究得到国家自然科学基金（批准号：62463029）资助。1新疆大学计算机科学与技术学院，乌鲁木齐830017，中国。2新疆大学具身智能联合实验室。3新疆大学丝绸之路多语言认知计算国际联合实验室。🖂\{\}^\{,\\mbox\{\\Letter\}\}余银凤为通讯作者（邮箱：[email protected]）。

###### 摘要

自2020年确立以卷积神经网络和循环架构为核心的范式以来，音视导航的基础骨干网络在超过五年时间里未发生实质性变化，导致其难以支撑动态多模态序列的高效表示。本文提出Samba（面向音视导航的混合Mamba架构）。它利用具备自适应选择能力的Mamba状态编码器（M-SE）替代传统GRU进行时序聚合，并构建音频Mamba编码器（AME）以弥补卷积算子在捕获语谱图中全局时频依赖关系方面的局限性。实验表明，Samba在面对未见声源和未知场景时展现出卓越的泛化性能。在Matterport3D数据集上，与现有最先进模型相比，导航成功率（SR）提升了11.3%，在场景结构更精细的Replica数据集上性能增益更为显著。这种现代化的架构重构以更低的计算成本解锁了更强的具身表示能力，从而为音视导航领域的范式演进提供了一条高度鲁棒的技术路径。

## I 引言

音视导航（AVN）[5（https://arxiv.org/html/2607.13110#bib.bib1），9（https://arxiv.org/html/2607.13110#bib.bib2）]要求智能体通过耦合局部视觉几何与远程听觉引导，在未建图环境中定位声源，这一任务高度依赖于骨干架构的多模态表示与时序状态追踪能力。尽管近期取得进展，但主流框架如AV-WaN[5（https://arxiv.org/html/2607.13110#bib.bib1），6（https://arxiv.org/html/2607.13110#bib.bib8）]仍因传统范式而面临表示不匹配问题：其门控循环单元采用非选择性状态更新，将关键声学信号与冗余环境观测混合稀释；其卷积神经网络引入局部偏差，破坏了语谱图的全局时频拓扑依赖关系。这些骨干层面的表示局限性已成为制约导航性能进一步突破的重大瓶颈。

为解决上述局限性，并受结构化状态空间模型[10（https://arxiv.org/html/2607.13110#bib.bib37）]在序列建模中的出色表现启发，本文构建了一种名为Samba的混合状态空间架构。该框架建立了一种由Mamba[10（https://arxiv.org/html/2607.13110#bib.bib37）]驱动的异构混合建模范式，旨在通过引入数据自适应的选择性扫描机制来增强系统的表示能力。我们设计了Mamba状态编码器以替代传统门控循环单元，从而在复杂序列中准确提取并保留关键导航状态。同时，我们构建了双向音频Mamba编码器，其全局建模特性解决了传统卷积算子在语谱图分析中面临的时频碎片化问题。此外，该框架策略性地在视觉分支中保留卷积架构，以利用空间归纳偏置的优势。最终，通过Mamba的线性复杂度与内容感知特性，实现对多模态信号的高效解读。

综上，我们的主要贡献如下：

- • 我们建立了一个名为Samba的混合状态空间架构，这是首次将状态空间模型作为骨干网络引入音视导航领域。
- • 我们设计了自适应选择感知的Mamba状态编码器和双向音频Mamba编码器，分别解决了状态建模中的表示稀释问题和声学特征的结构缺陷问题。
- • 大量实验验证表明，Samba在保持参数效率的同时，在导航成功率方面取得了显著提升，超越了所有现有最先进的基线模型。

## II 相关工作

参见图标题图1：Samba框架整体架构。
### II-A 音视导航

AVN任务[5（https://arxiv.org/html/2607.13110#bib.bib1），9（https://arxiv.org/html/2607.13110#bib.bib2）]要求智能体通过联合分析视觉观测和双耳音频信号，在复杂3D环境中定位声源。早期研究主要关注几何驱动的导航策略[2（https://arxiv.org/html/2607.13110#bib.bib35）]，而近年来基于深度强化学习的端到端范式已成为该领域主流。在此范式中，诸如AV-WaN[6（https://arxiv.org/html/2607.13110#bib.bib8），26（https://arxiv.org/html/2607.13110#bib.bib17），30（https://arxiv.org/html/2607.13110#bib.bib32），28（https://arxiv.org/html/2607.13110#bib.bib10），13（https://arxiv.org/html/2607.13110#bib.bib22），7（https://arxiv.org/html/2607.13110#bib.bib20），11（https://arxiv.org/html/2607.13110#bib.bib29），27（https://arxiv.org/html/2607.13110#bib.bib18）]等里程碑式工作已建立了融合音频、视觉和历史状态的标准骨干架构。然而，尽管这些方法在SoundSpaces[5（https://arxiv.org/html/2607.13110#bib.bib1），17（https://arxiv.org/html/2607.13110#bib.bib5），19（https://arxiv.org/html/2607.13110#bib.bib6）]等标准模拟平台上取得了进展，但其底层架构常在表示效率与计算开销之间存在权衡。现有大多数研究[22（https://arxiv.org/html/2607.13110#bib.bib36），25（https://arxiv.org/html/2607.13110#bib.bib13），12（https://arxiv.org/html/2607.13110#bib.bib48）]专注于改进多模态融合机制。相比之下，本工作更进一步，尝试从根本上重塑骨干网络[29（https://arxiv.org/html/2607.13110#bib.bib40），31（https://arxiv.org/html/2607.13110#bib.bib41），24（https://arxiv.org/html/2607.13110#bib.bib42），32（https://arxiv.org/html/2607.13110#bib.bib44），21（https://arxiv.org/html/2607.13110#bib.bib43），3（https://arxiv.org/html/2607.13110#bib.bib45），8（https://arxiv.org/html/2607.13110#bib.bib46），14（https://arxiv.org/html/2607.13110#bib.bib47），34（https://arxiv.org/html/2607.13110#bib.bib49），33（https://arxiv.org/html/2607.13110#bib.bib50）]以提升导航系统的感知与推理效率。

### II-B 状态空间模型与Mamba

状态空间模型（SSMs）[10（https://arxiv.org/html/2607.13110#bib.bib37）]作为一种新兴的深度学习架构，因在处理超长序列任务中的卓越性能，正逐步成为循环神经网络（RNNs）[15（https://arxiv.org/html/2607.13110#bib.bib39）]和Transformer[20（https://arxiv.org/html/2607.13110#bib.bib14）]的有力替代方案。从早期的结构化状态空间模型[10（https://arxiv.org/html/2607.13110#bib.bib37）]到最近的Mamba[10（https://arxiv.org/html/2607.13110#bib.bib37）]架构，这类模型通过引入选择性扫描机制，在保持线性时间复杂度的同时，成功捕捉了复杂的序列依赖关系。在具身智能和计算机视觉领域，Mamba[10（https://arxiv.org/html/2607.13110#bib.bib37）]已展现出超越传统架构的潜力，能够以极低的内存开销实现高效自回归推理。本文的研究动机正源于此：利用Mamba[10（https://arxiv.org/html/2607.13110#bib.bib37）]的硬件感知效率，解决导航任务中长期存在的状态聚合瓶颈。

## III 提出方法

### III-A 框架概述

Samba是专为音视导航设计的端到端系统，它使用层级选择性状态空间重构了感知编码和状态建模算子。为确保异构环境中的无缝集成和策略采样的灵活性，底层系统采用了基于标准PyTorch[16（https://arxiv.org/html/2607.13110#bib.bib38）]算子构建的轻量级Mamba[10（https://arxiv.org/html/2607.13110#bib.bib37）]算子库。如图1（https://arxiv.org/html/2607.13110#S2.F1）所示，在导航步骤$t$，智能体将深度图、双耳语谱图和全局几何地图$G_{t}$作为输入。在感知层，音频Mamba编码器（AME）通过token化提取具有选择性上下文的声学特征$b_{t}$，然后与从深度图导出的几何向量$g_{t}$以及声学地图特征$a_{t}$一同馈入Mamba状态编码器（M-SE）。利用线性递归，M-SE将历史状态$h_{t-1}$更新为当前全局状态$h_{t}$，实现对长程环境特征的高保真建模。随后，基于Actor-Critic的预测网络使用PPO算法在动作图$W_{t}$上对非近视航路点$w_{t}=(\Delta x,\Delta y)$进行采样。最终，这些航路点驱动路径规划器，引导智能体在未知环境中准确定位目标声源。

参见图标题图2：基线GRU与我们提出的Mamba状态编码器（M-SE）之间的架构对比。左侧展示了经典门控循环单元，右侧详述了本文设计的音频Mamba状态编码器。
### III-B 音频Mamba编码器

算法1 音频Mamba编码器的架构流程
0: 音频语谱图

$S_{t}\in\mathbb{R}^{B\times C\times F\times T}$
0: 音频状态向量

$b_{t}\in\mathbb{R}^{d_{out}}$
1:

$B,C,F,T\leftarrow\text{shape of }S_{t}$
2:

$x\leftarrow\text{Reshape}(\text{Permute}(S_{t},(0,3,2,1)),(B,T,C\cdot F))$  {Token化与频谱展平}
3:

$x\leftarrow\text{ReLU}(\text{LayerNorm}(\mathbf{W}_{p}x))$  {投影特征至

$d_{model}$}
4:

$x\leftarrow x+\mathbf{P}[:,:T,:]$  {注入时间位置编码}
5:for

$i=0$ to $N_{layers}-1$ do
6:if

$i\pmod{2}==1$ then
7:

$x\leftarrow\text{Flip}(x,\text{dim}=1)$  {序列反转}
8:

$x\leftarrow\text{MambaLayer}_{i}(x)$  {反向选择性扫描}
9:

$x\leftarrow\text{Flip}(x,\text{dim}=1)$  {恢复时间顺序}
10:else

11:

$x\leftarrow\text{MambaLayer}_{i}(x)$  {前向选择性扫描}
12:endif

13:endfor

14:

$f_{b}\leftarrow\text{Mean}(\text{LayerNorm}(x),\text{dim}=1)$  {全局聚合池化}
15:

$b_{t}\leftarrow\mathbf{W}_{h}f_{b}$  {最终音频状态投影}
16:return

$b_{t}$

为解决传统卷积架构在处理复杂声学观测时因局部感受野有限而导致的全局上下文缺失问题，我们设计了一种基于选择性状态空间模型的音频Mamba编码器（AME）。该模块的核心逻辑是将音频特征提取过程从局部算子变换提升至全局选择性扫描，从而准确捕获嵌入双耳语谱图$S_{t}\in\mathbb{R}^{C\times F\times T}$中的跨时频方向特性。如算法1所示，在特征token化阶段，系统首先通过维度置换和重排，将原始语谱图的通道和频率维度线性合并，构建离散token序列。具体而言，对于每个时间步$\tau\in\{1,\dots,T\}$，我们将其跨维度特征展平并投影至隐空间，得到初始特征向量$x_{\tau}$如下：

$x_{\tau}=\operatorname{ReLU}\bigl(\operatorname{LN}(\mathbf{W}_{p}\cdot[S_{1,1,\tau},\dots,S_{C,F,\tau}]^{\top}+\mathbf{b}_{p})\bigr)$, (1) 其中$\mathbf{W}_{p}\in\mathbb{R}^{d_{model}\times(C\times F)}$表示可学习线性投影矩阵。为补偿状态空间模型处理序列时可能丢失的时间位置信息，我们引入位置嵌入矩阵$\mathbf{P}$，将投影后的序列转换为具有时间特征的隐输入$\mathbf{z}_{\tau}=x_{\tau}+\mathbf{P}_{\tau}$。

AME的推理逻辑进一步利用双向选择性扫描机制来增强表示。鉴于声源定位所依赖的耳间时间差和耳间电平差具有强时间敏感性，我们摒弃了传统的静态卷积算子，转而采用异构双向Mamba架构。在每个算子层$i$，模型通过交替翻转序列的时间轴，在正向和反向两个方向上建模长程依赖关系，其逐层输出$\mathbf{y}_{i}$可表述为：

$\mathbf{y}_{i}=\begin{cases}\operatorname{MambaLayer}_{i}(\mathbf{z}) & \text{if } i\text{ is even}\\ \operatorname{Flip}\bigl(\operatorname{MambaLayer}_{i}(\operatorname{Flip}(\mathbf{z}))\bigr) & \text{if } i\text{ is odd}\end{cases}$ (2)
这种设计确保了模型能够同时解析音频信号在时域的因果和反因果相关性，实现对复杂静态室内场景中声场的高保真分析。与参数冗余的CNN[23（https://arxiv.org/html/2607.13110#bib.bib34）]相比，AME能根据当前声学输入的强度分布自适应调整表示权重。最后，经过全局平均池化的序列特征通过线性头映射为音频状态向量$b_{t}$，从而为后续全局状态聚合提供高质量的声学语义支持。

### III-C Mamba状态编码器

表I：深度设置下与其他方法的性能对比。SPL、SR、SNA为百分比。我们将骨干网络的状态建模算子重构为基于选择性状态空间模型的Mamba状态编码器（M-SE），标志着从传统门控循环逻辑向现代序列建模范式的彻底转变。如图3所示，M-SE将从多模态融合模块得到的特征$x_{t}\in\mathbb{R}^{d_{model}}$作为输入，