论文页面 - VLM3: 视觉语言模型是天生的3D学习者

来源：https://huggingface.co/papers/2605.30561

摘要

通过简单的架构修改和基于文本的训练，视觉语言模型可以适配用于3D理解任务，其性能可与专用视觉模型媲美，而无需复杂的设计或大量的数据增强。

视觉语言模型（Vision Language Models，VLMs）（https://huggingface.co/papers?q=Vision%20Language%20Models）能够通过提示（prompting）实现统一的模型来解决各种视觉任务。它们在语义理解方面已展现出有前景的性能。然而，3D理解（https://huggingface.co/papers?q=3D%20understanding）仍然在很大程度上依赖于具有复杂任务特定设计的专家视觉模型。本文的核心论点是：VLMs是天生的3D学习者。我们深入的大规模研究表明：1）焦距统一（https://huggingface.co/papers?q=focal%20length%20unification），2）基于文本的像素参考（https://huggingface.co/papers?q=text-based%20pixel%20reference），以及3）数据混合（https://huggingface.co/papers?q=data%20mixture）与缩放（https://huggingface.co/papers?q=scaling），就是实现高效3D学习的全部所需。模型架构变更、大型模型、重度数据增强以及包括回归公式在内的复杂损失函数——这些构成了专家视觉模型基础的许多要素——实际上并非必要条件。因此，我们提出了VLM3，一种采用最简单设计的可扩展方法，使标准VLMs能够掌握多样化的3D任务。VLM3不仅将VLM深度估计（https://huggingface.co/papers?q=depth%20estimation）的准确性大幅提升（0.84 -> 0.9），还实现了多样的3D任务，如像素对应（https://huggingface.co/papers?q=pixel%20correspondence）、相机姿态估计（https://huggingface.co/papers?q=camera%20pose%20estimation）以及物体级3D理解（https://huggingface.co/papers?q=object-level%203D%20understanding），在保持标准架构和基于文本训练的同时，达到了专家视觉模型的准确度。我们相信VLM3为简单且可扩展的3D学习开辟了新的范式。

查看arXiv页面（https://arxiv.org/abs/2605.30561）查看PDF（https://arxiv.org/pdf/2605.30561）GitHub1（https://github.com/facebookresearch/VLM3）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.30561）

在你的agent中获取这篇论文：

hf papers read 2605.30561

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2605.30561以链接到此页面。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2605.30561以链接到此页面。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2605.30561以链接到此页面。

包含此论文的收藏集0

没有包含此论文的收藏集

将这篇论文添加到一个收藏集（https://huggingface.co/new-collection）中以链接到此页面。