基于全局地图与局部视图的多视角3D推理的密集奖励

Hugging Face Daily Papers 论文
multi-view 3d-reasoning dense-reward visual-question-answering map-grounding policy-optimization

摘要

DR-MV3D 提出了一种基于地图的强化学习框架，通过密集奖励来改进多视角3D视觉问答能力，其核心包括全局地图构建、视角轨迹规划和自我中心定位。

多视角3D视觉问答（MV3D-VQA）需要将局部观测整合为连贯的3D场景表示，并选择信息量大的视角进行多步空间推理。然而，当前的多模态大语言模型通常使用稀疏的答案级监督进行训练，这往往导致跨视角推理不一致和视角选择脆弱。我们提出 DR-MV3D（面向MV3D-VQA的密集奖励），一种基于地图的强化学习框架，通过提供密集、可验证的奖励来监督推理过程。我们的方法将MV3D-VQA分解为：（i）异中心全局地图构建，（ii）基于问题的视角轨迹规划，以及（iii）用于答案预测的自我中心定位。为了在没有人工标注的情况下使中间步骤可学习，我们引入了两种奖励：全局一致性奖励，将预测地图与来自冻结的3D视觉基础模型（如VGGT + SAM3）的几何一致伪目标对齐；以及局部轨迹奖励，监督有序的视角选择。我们使用轨迹级策略优化（GRPO）优化整个流程。在MindCube、VSI-Bench和BLINK (MV)上的实验表明，DR-MV3D在强大的多图像基线上持续改进，验证了过程级密集监督对多视角3D推理的有效性。
查看原文
查看缓存全文

缓存时间: 2026/06/23 05:40

论文页面 - Dense Reward for Multi-View 3D Reasoning with Global Maps and Local Views

来源：https://huggingface.co/papers/2606.23557

摘要

DR-MV3D 提出了一种基于地图的学习框架，通过密集奖励机制提升多视角三维视觉问答性能，具体包括全局地图构建、视角-轨迹规划以及以自我为中心的定位。

多视角三维视觉问答 (MV3D-VQA (https://huggingface.co/papers?q=MV3D-VQA)) 需要将部分观测整合为连贯的三维场景表征，并选择信息丰富的视角进行多步空间推理。然而，当前的多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20LLMs) 通常采用稀疏的、仅基于答案的监督信号进行训练，这往往导致跨视角推理 (https://huggingface.co/papers?q=cross-view%20reasoning) 不一致以及视角选择 (https://huggingface.co/papers?q=view%20selection) 脆弱。我们提出了 DR-MV3D (针对 MV3D-VQA 的密集奖励 (https://huggingface.co/papers?q=Dense%20Reward) 框架)，这是一种基于地图的学习 (https://huggingface.co/papers?q=map-grounded%20learning) 框架，能够提供密集、可验证的奖励以监督推理过程。我们的方法将 MV3D-VQA (https://huggingface.co/papers?q=MV3D-VQA) 分解为：(i) 非自我中心的全局地图构建 (https://huggingface.co/papers?q=allocentric%20global%20map%20construction)，(ii) 面向问题的视角-轨迹规划 (https://huggingface.co/papers?q=question-conditioned%20view-trajectory%20planning)，以及 (iii) 以自我为中心的定位 (https://huggingface.co/papers?q=egocentric%20grounding) 以进行答案预测。为了使中间步骤无需人工标注即可学习，我们引入了两种奖励机制：全局一致性奖励，将预测地图与来自冻结的三维视觉基础模型 (https://huggingface.co/papers?q=3D%20vision%20foundation%20models) （例如 VGGT (https://huggingface.co/papers?q=VGGT)+SAM3 (https://huggingface.co/papers?q=SAM3)）的几何一致性伪目标对齐；局部轨迹奖励，用于监督有序视角选择。我们采用轨迹级策略优化 (https://huggingface.co/papers?q=policy%20optimization) (GRPO (https://huggingface.co/papers?q=GRPO)) 对整个流程进行优化。在 MindCube、VSI-Bench 和 BLINK (MV) 上的实验表明，DR-MV3D 在多项强多图像基线上均有一致提升，验证了过程级密集监督对于多视角三维推理的有效性。

查看 arXiv 页面 (https://arxiv.org/abs/2606.23557)查看 PDF (https://arxiv.org/pdf/2606.23557)项目页面 (https://dr-mv3d.github.io/)GitHub3 (https://github.com/kaist-cvml/DR-MV3D)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.23557)

引用本论文的模型0

没有模型链接本论文

请在模型 README.md 中引用 arxiv.org/abs/2606.23557，以将其链接至此页面。

引用本论文的数据集0

没有数据集链接本论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.23557，以将其链接至此页面。

引用本论文的 Spaces0

没有 Space 链接本论文

请在 Space README.md 中引用 arxiv.org/abs/2606.23557，以将其链接至此页面。

包含本论文的收藏0

没有收藏包含本论文

请将本论文添加到收藏 (https://huggingface.co/new-collection) 中以将其链接至此页面。

相似文章