论文页面 - SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding

来源：https://huggingface.co/papers/2608.05137

摘要

理解3D场景是具身智能的基础，需要对来自多种模态的异构信息（包括视觉线索和几何线索）进行联合推理。然而，这些模态的相关性往往会因查询不同而变化。现有的多模态大语言模型（MLLMs）通常依赖固定的模态组合，忽视了与查询相关的模态需求。这种刚性设计可能会引入来自无关模态的语义噪声，同时未能充分利用信息量更大的模态，导致计算浪费和推理能力被稀释。为了解决这些挑战，本文提出了 SmartMage，一个统一的多模态大语言模型，能够动态编排异构模态，实现语义感知的3D场景理解。具体而言，SmartMage 包含：(1) 语义引导的模态自适应路由（SMART）模块，利用语义先验、文本-模态对齐和模态质量来选择任务相关的模态；(2) 模态感知门控专家（MAGE）模块，利用模态先验指导专家激活，促进多模态推理中的自适应专业化。实验上，SmartMage 在五个3D场景理解基准上取得了最先进的性能，并在纯RGB视频理解基准上获得了有竞争力的结果。在我们的诊断基准 ScanFacet 中，任务被划分为细粒度的语义类别，从而能够分析每种语义类型偏好的模态组合。观察到的模态-语义模式进一步证明了 SmartMage 的有效性。项目页面：https://yuecheong.github.io/SmartMage/。

查看 arXiv 页面 查看 PDF 项目页面 添加到收藏

在您的 agent 中获取此论文：

hf papers read 2608\.05137

没有最新 CLI？curl \-LsSf https://hf.co/cli/install\.sh \| bash

引用此论文的模型

0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.05137，即可从此页面链接到它。

引用此论文的数据集

0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.05137，即可从此页面链接到它。

引用此论文的 Space

0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.05137，即可从此页面链接到它。

包含此论文的收藏集

0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 中，即可从此页面链接到它。