论文页面 - Learning to Think and Explore in 3D World

来源：https://huggingface.co/papers/2610.21783

摘要

ACT3D 通过强化学习训练视觉-语言模型，使其能够从单一第一人称视角主动探索 3D 环境，通过自适应、以问题为导向的导航提升回答准确性，且无需直接的探索监督。

我们研究了视觉-语言模型（https://huggingface.co/papers?q=vision-language%20models)（VLMs）如何学会在 3D 空间中思考和主动探索。我们不向模型提供多视角图像、视频或 3D 表示，而是保留 VLM 的原生视觉编码方式，即一次只接收单张图像，与人类相同，并仅将 3D 表示视为一个可通过动作（例如向左移动）和观察（渲染图像）与之交互的环境。每次生成过程都从一个初始的第一人称视角（https://huggingface.co/papers?q=first-person%20view)和一个视觉问题开始。模型随后可以迭代地推理、导航并调整视角，再提交最终答案。在初始的轨迹监督微调（https://huggingface.co/papers?q=trajectory-supervised%20finetuning)之后，我们应用了以最终答案正确性为主要奖励驱动的强化学习（https://huggingface.co/papers?q=reinforcement%20learning)（RL）。关键是，RL 不对模型应访问哪些视角或应采取哪些探索动作提供任何直接监督。相反，模型必须完全通过其交互在多大程度上提升了性能来学习有效的探索策略。在六个 3D 基准测试中，我们的模型 ACT3D 平均准确率达到 53.2%，比其基础 Qwen 模型提升了 22.0%，并超过了专有的 Gemini 3.6 Flash。ACT3D 在使用少 50-70% 输入帧的情况下也优于现有的开源 3D 方法，并能泛化到未见过的领域，平均比其监督初始化提升了 5.9%。进一步分析揭示了自适应、以问题为导向的探索模式。相比基础模型的性能提升从初始视角即可回答的问题上的 0.6%，增长到需要大量探索的问题上的 16.3%。ACT3D 会搜索被遮挡的目标，避免不必要的探索，并获取互补视角以进行空间比较。这些发现表明，基于结果的强化学习（https://huggingface.co/papers?q=outcome-based%20RL)不仅使 VLM 能够基于视觉证据进行推理，还使其学会何时以及如何获取这些证据。

查看 arXiv 页面 (https://arxiv.org/abs/2610.21783) 查看 PDF (https://arxiv.org/pdf/2610.21783) 项目页面 (https://williamium3000.github.io/act3d/) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.21783)

在你的 agent 中获取这篇论文：

hf papers read 2610.21783

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.21783，即可从此页面链接到它。

引用本文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.21783，即可从此页面链接到它。

引用本文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.21783，即可从此页面链接到它。

包含本文的收藏 0

没有收藏包含本文

将本文加入收藏 (https://huggingface.co/new-collection)，即可从此页面链接到它。