MetaSpatial：强化VLMs在元宇宙中的3D空间推理

Papers with Code Trending 论文
3d-spatial-reasoning reinforcement-learning vision-language-models metaverse scene-generation

摘要

MetaSpatial是一个强化学习框架，旨在增强视觉语言模型（VLMs）的3D空间推理能力，能够生成连贯且物理上合理的3D场景，无需硬编码优化。

我们提出了MetaSpatial，这是首个基于强化学习（RL）的框架，旨在增强视觉语言模型（VLMs）的3D空间推理能力，实现无需硬编码优化的实时3D场景生成。MetaSpatial解决了两个核心挑战：(i) VLMs缺乏内化的3D空间推理能力，限制了其生成逼真布局的能力；(ii) 传统监督微调（SFT）在布局生成任务中效率低下，因为无法获得完美的真实标注。我们的关键创新是一种基于多轮强化学习的优化机制，该机制整合了物理感知约束和渲染图像评估，确保生成的3D布局连贯、物理合理且美观一致。在方法论上，MetaSpatial引入了自适应迭代推理过程，VLM通过分析渲染输出，在多轮中逐步完善空间布局，逐步提升场景连贯性。实验评估表明，MetaSpatial显著增强了各种规模模型的空间一致性和格式稳定性。训练后，物体摆放更加真实、对齐且功能连贯，验证了强化学习在元宇宙、AR/VR、数字孪生和游戏开发应用中用于3D空间推理的有效性。我们的代码、数据和训练流程已在 https://github.com/PzySeere/MetaSpatial 公开提供。
查看原文
查看缓存全文

缓存时间: 2026/07/05 10:32

论文页面 - MetaSpatial: 强化面向元宇宙的视觉语言模型中的3D空间推理

来源: https://huggingface.co/papers/2503.18470 发布于 2025年3月24日

摘要

MetaSpatial 是一个通过迭代优化和物理感知约束，增强视觉语言模型中 3D 空间推理能力的强化学习框架，能够生成逼真且连贯的 3D 场景。

我们提出了 MetaSpatial，这是首个基于强化学习 (https://huggingface.co/papers?q=reinforcement%20learning) (RL) 的框架，旨在增强视觉语言模型 (https://huggingface.co/papers?q=vision-language%20models) (VLM) 中的 3D 空间推理 (https://huggingface.co/papers?q=3D%20spatial%20reasoning) 能力，实现实时 3D 场景生成 (https://huggingface.co/papers?q=real-time%203D%20scene%20generation)，而无需硬编码优化。MetaSpatial 解决了两个核心挑战：(i) 视觉语言模型缺乏内化的 3D 空间推理 (https://huggingface.co/papers?q=3D%20spatial%20reasoning) 能力，限制了其生成现实布局的能力；(ii) 传统监督微调 (SFT) 在布局生成任务中的低效性，因为无法获得完美的真值标注。我们的关键创新在于一种基于多轮强化学习 (https://huggingface.co/papers?q=multi-turn%20RL) 的优化机制，该机制整合了物理感知约束 (https://huggingface.co/papers?q=physics-aware%20constraints) 和渲染图像评估，确保生成的 3D 布局具有连贯性、物理合理性和美学一致性。在方法上，MetaSpatial 引入了一个自适应的迭代推理过程，视觉语言模型通过多轮分析渲染输出逐步优化空间布局，从而提升场景连贯性。实验评估 (https://huggingface.co/papers?q=Empirical%20evaluations) 表明，MetaSpatial 显著提升了多种规模模型的空间一致性和格式稳定性。经过训练后，物体布局更加真实、对齐且功能连贯，验证了强化学习在元宇宙 (https://huggingface.co/papers?q=metaverse)、AR/VR (https://huggingface.co/papers?q=AR%2FVR)、数字孪生 (https://huggingface.co/papers?q=digital%20twins) 和游戏开发应用中面向 3D 空间推理 (https://huggingface.co/papers?q=3D%20spatial%20reasoning) 的有效性。我们的代码、数据和训练流程已在 https://github.com/PzySeere/MetaSpatial 上公开。

查看 arXiv 页面 (https://arxiv.org/abs/2503.18470)查看 PDF (https://arxiv.org/pdf/2503.18470)项目页面 (https://github.com/PzySeere/MetaSpatial)GitHub322 (https://github.com/PzySeere/MetaSpatial)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2503.18470)

让您的智能体获取此论文：

hf papers read 2503\.18470

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本论文的模型 0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2503.18470，以便从该页面链接。

引用本论文的数据集 3

johnschaefer/EasyR1-qwen3vl-rl 更新于 22 天前 • 577 (https://huggingface.co/datasets/johnschaefer/EasyR1-qwen3vl-rl)

Yuting6/ttrl 查看器 • 更新于 2025年4月30日 • 6 • 434 (https://huggingface.co/datasets/Yuting6/ttrl)

zhenyupan/3d_layout_reasoning 查看器 • 更新于 2025年3月25日 • 100 • 117 (https://huggingface.co/datasets/zhenyupan/3d_layout_reasoning)

引用本论文的 Spaces 0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2503.18470，以便从该页面链接。

包含本论文的收藏 2

相似文章

SpatialAct: 探索VLM智能体在3D场景中的空间推理到行动的能力

Hugging Face Daily Papers

SpatialAct是一个新的基于模拟器的基准，用于探索VLM智能体是否能在多轮反馈设置下进行连贯的空间推理并将其转化为3D环境中的行动。实验揭示了一个显著的推理到行动差距：当前的VLM尽管在孤立推理任务上表现良好，但难以维持空间信念并产生可靠的行为。

强化空间视觉语言模型中的双路径推理

Hugging Face Daily Papers

本文介绍了SR-REAL，一个统一的空间视觉语言模型框架，通过强化学习结合了语言推理和三维几何推理，使得模型能够在多种任务中实现稳健的多步空间推理。

SVoT: 基于强化学习的状态感知思维可视化空间推理

arXiv cs.AI

论文提出了SVoT，一种用于多模态大语言模型（MLLMs）中多跳空间推理的强化学习框架，该框架生成交错、可验证的中间状态和可视化，在涉及多对象交互和数值推理的新基准测试上取得了显著的准确性提升。

Stream3D-VLM：基于增量几何先验的在线3D空间理解

Hugging Face Daily Papers

Stream3D-VLM 是一款在线3D视觉-语言模型，通过增量整合几何先验并使用几何自适应体素压缩，能够从流式视频中实现实时空间理解，在3D空间理解任务上优于现有模型。