SpaR3D-MoE: 面向稀疏视图的自适应3D空间推理与几何归纳混合专家模型

# SpaR3D-MoE: 面向稀疏视图的自适应三维空间推理与几何归纳混合专家模型
来源: https://arxiv.org/html/2607.06620
11institutetext:多模态人工智能系统全国重点实验室，中国科学院自动化研究所，中国22institutetext:人工智能学院，中国科学院大学，中国33institutetext:北京市海淀区中关村东路95号，北京，中国
33email:\{fenghaida2024@ia, weihao2019@ia, wanghaolin2023@ia, lishiwei2023@ia, lichade2021@ia, yhwu@nlpr\.ia\}\.ac\.cn###### 摘要

近期的多模态大语言模型在弥合2D语义理解与3D空间几何之间的表示鸿沟上仍面临挑战。现有的3D感知模型要么依赖昂贵的3D特定数据，要么仅使用RGB输入配合启发式采样和单一浅层融合，前者破坏了关键的时空连通性，后者则在多样空间任务中引发模态竞争。为克服这些瓶颈，我们提出了SpaR3D-MoE，一个端到端框架，它仅从稀疏RGB输入中赋予多模态大语言模型几何感知能力，实现自适应空间推理。首先，我们提出自适应时空流形采样机制，构建几何感知的时空图来提取信息丰富的关键帧，有效减少序列冗余同时保持场景的拓扑连通性。其次，我们引入由指令-姿态感知路由器驱动的异构几何归纳混合专家模型，自适应地将多模态令牌路由到专门的专家，解决单一融合中固有的跨模态竞争。在VSI-Bench、ScanQA和SQA3D上的大量实验表明，我们的方法达到了最先进的性能。值得注意的是，SpaR3D-MoE在VSI-Bench上取得了63.5的最高平均分，超过了最强基线7.8个绝对点，同时在路径规划和相对方向任务上分别实现了35.4%和51.4%的相对提升。

††footnotetext:通讯作者## 1 引言

参考图注图1：3D空间推理范式对比。现有方法使用拓扑无关的采样和静态的单一融合(a)。SpaR3D-MoE通过基于流形的采样选择稀疏关键帧，并将多模态令牌路由到专门专家(b)，在VSI-Bench空间任务上取得强劲性能(c)。三维空间推理是具身智能的基石，使智能体能够理解复杂环境、推理空间关系，并将自然语言指令锚定到真实世界场景中。虽然多模态大语言模型在2D图像和视频理解方面表现出色，但将其扩展到3D物理世界受限于基本的表示鸿沟。现有模型在处理度量距离估计或空间间隙导航等复杂任务时仍困难重重，主要原因在于桥接2D视觉语义与几何3D真实世界对齐仍然是一个挑战。

为弥合表示鸿沟，近期的研究分为两个范式，旨在将3D几何特征映射到MLLM的潜在空间，要么通过显式的3D结构，要么通过隐式的视觉表示。第一个范式将显式的3D结构(如点云、深度图或重建网格)直接集成到大语言模型中。这些方法通常将多视角RGB-D输入或重建场景提升为3D点云，然后使用专门的3D几何编码器(如PointNet++)提取几何特征并投影到文本潜在空间。虽然这些显式几何先验显著有利于物理锚定，但该流水线根本上受限于对显式3D几何代理的刚性依赖。此外，点云的固有稀疏性常常导致丰富的视觉细节丢失，损害了场景全面推理所必需的细粒度语义理解。相反，第二个范式专注于可扩展的、仅依赖RGB序列的3D感知MLLM。这些方法通常采用双编码器架构，使用2D视觉编码器提取语义特征，并使用空间编码器(通常从视觉几何基础模型初始化)从2D RGB输入中恢复隐式3D结构特征。尽管该方法避免了昂贵的3D特定数据，更易应用，但仍受限于启发式采样和静态的单一融合。在帧采样方面，当前方法依赖拓扑无关的选择策略，如刚性均匀采样或离散体素最大化启发式方法。这些方法将帧视为孤立视点，引入了时空冗余，忽视了3D场景的内在时空流形，可能遗漏关键空间帧。在多模态集成层面，单一融合不加区分地将异质语义纹理和几何结构投影到共享潜在空间。这种架构的僵化性在面对多样任务需求时引起跨模态竞争，从而阻碍细粒度空间推理，如图1(a)所示。

为解决这些局限，我们引入SpaR3D-MoE，一个将范式转向从稀疏RGB输入进行自适应空间推理的框架，如图1(b)所示。具体来说，我们提出自适应时空流形采样机制来提取信息丰富的关键帧。通过构建依赖于视角的几何和相机自运动的时空图，并由运动感知质量门控调控，它在保留场景基本时空连通性的同时过滤冗余。此外，为减轻单一融合中的跨模态竞争，我们提出异构几何归纳混合专家模型。据我们所知，这是首个将MoE架构引入3D空间推理的工作。受人类大脑功能特化启发，该模块由指令-姿态感知路由器驱动，根据语言意图和相机自运动自适应地将多模态特征路由到专门专家。关键的是，这些专家展现出涌现特化，执行不同级别的跨模态融合以满足多样空间推理需求。这种动态调度通过建立解耦的推理路径有效地减轻了跨模态干扰。为确保专家稳定收敛，我们还引入了负载均衡损失函数，正则化专家分配并防止路由崩溃。在包括VSI-Bench、ScanQA和SQA3D的大规模基准上的广泛实验表明，SpaR3D-MoE达到了最先进的性能，验证了其从仅稀疏RGB视角进行自适应推理的能力。

SpaR3D-MoE的主要贡献概述如下：

- •我们提出ASMS机制，构建带有运动感知质量门控的时空图，自适应提取信息丰富的关键帧，减少冗余同时保持流形连通性，在VSI-Bench路线规划任务上相比均匀采样提升了10.6%。
- •我们提出HGI-MoE，将混合专家范式引入3D空间推理，其中IPAR自适应地将多模态特征分配到专门专家进行不同级别的融合，减轻模态竞争，稳健地满足多样空间推理需求。
- •借助这些设计，我们引入SpaR3D-MoE，一个端到端自适应框架，赋予MLLM从仅稀疏RGB视角的物理锚定空间智能。它在多个基准上达到SOTA，尤其是在VSI-Bench上超越最强基线7.8个绝对点，同时在复杂导航和细粒度度量估计任务上分别实现35.4%和51.4%的显著相对提升。

## 2 相关工作

### 2.1 多模态大语言模型

近期的多模态大语言模型在图像和视频理解方面取得了令人印象深刻的能力。这些模型通常将视觉编码器与大语言模型集成，基于视觉输入处理和生成文本。它们已应用于各种领域，包括视觉问答和多模态对话系统。然而，尽管当前MLLM能够从图像和视频中推理复杂关系，但它们难以将这些关系锚定到3D物理世界。这些模型主要训练于2D图像-文本对，这些数据优先考虑语义内容而非几何结构，因此缺乏对3D空间关系和几何的必要理解。因此，由于标准视觉编码器为语义对齐压缩了空间细节，基于2D的MLLM在面对复杂3D空间理解任务时常常产生幻觉。

### 2.2 3D感知多模态大语言模型

近期研究越来越多地利用预训练的MLLM处理复杂的3D场景理解和推理任务。现有方法可根据如何引入空间信息大致分组。早期工作主要依赖2.5D或3D表示，如带姿态的RGB-D数据、点云或体素网格。虽然这些显式几何输入提供了强大的3D锚定，但它们对深度传感器或重建3D资产的依赖限制了在仅RGB场景中的可扩展性。最近的基于RGB的方法通过使用VGGT从单目输入提取隐式3D几何特征并与MLLM对齐，缓解了这一问题。其他研究从互补角度改进空间推理，例如用于视频空间推理的强化学习以及用于感知引导推理的结构化2D表示。尽管取得了这些进展，但在保留稀疏视角时空拓扑的同时，针对多样空间任务自适应融合视觉和几何特征的问题仍未被充分探索。相比之下，我们的ASMS自适应采样稀疏关键帧以保留基本的时空连通性，而HGI-MoE动态激活专门专家进行任务感知的视觉-几何融合，从而提升3D空间推理性能。

### 2.3 混合专家框架

MoE范式通过将模型容量与推理延迟解耦，从根本上改变了LLM的扩展方式。通过将令牌动态路由到稀疏的活动参数子集，这些架构实现了巨大的表示能力而不强加计算瓶颈。在此基础上，近期的基础模型进一步改进稀疏路由机制，在纯语言建模中达到前所未有的规模和效率。在文本之外，该范式已扩展到多模态领域，其中模态特定的编码器和多阶段调优成功扩展了多样输入而不损失稀疏性。受MoE在建模异质数据中的有效性启发，我们引入了一个针对各种复杂3D空间推理任务定制的多模态MoE框架。为了适应数据输入和指令意图的多样分布，我们的框架将特征动态路由到异构专家，实现高效且鲁棒的场景理解。

## 3 方法

### 3.1 问题定义与框架

令V={vi}i=1Nk表示捕捉复杂3D环境的连续具身视觉观测序列，Q表示指定空间推理任务的自然语言指令。我们的主要目标是自回归地解码出精确的文本响应A={at}t=1T。

通过拓扑无关的采样处理RGB视频序列进行空间理解，会减少时空冗余但破坏关键的拓扑连通性，而随后的浅层单一特征融合不可避免地导致跨模态竞争。为克服这些限制，我们将统一的空间推理任务解耦为两个协同的子问题。首先，我们将关键帧提取形式化为在稀疏约束Nn≪Nk下时空流形上的信息最大化问题。从最优稀疏子集Vs⊂V中，我们提取其2D视觉特征F2D、3D几何特征F3D以及相应的相机姿态P。随后，我们将多模态对齐形式化为条件路由策略。我们引入路由函数ΦMoE，它在语言指令Q和来自相机姿态P的空间上下文的引导下，自适应地融合这些异质特征。统一的目标是最大化目标序列的条件似然：

A∗ = argmax_A ∏_{t=1}^T p_θ(a_t | a_{<t}, Φ_MoE(F_2D, F_3D | P, Q), Q), (1)

其中p_θ表示由生成语言解码器F_LLM参数化的概率分布，θ为可学习参数。

我们的端到端SpaR3D-MoE框架如图2所示。首先，长视频通过ASMS(第3.2节)采样成稀疏关键帧。接下来，视觉和指令令牌由Qwen3-VL编码，而3D几何和姿态特征由VGGT提取。这些特征随后通过IPAR(第3.3节)动态分配到四个几何归纳专家。最后，自适应多模态特征被投影到LLM中进行自回归空间推理，并与路由负载均衡惩罚项(第3.4节)联合优化。

参考图注图2：SpaR3D-MoE框架概览