论文页面 - RoTA-Bench：通过交互式投影对齐评估三维空间推理能力

来源：https://huggingface.co/papers/2610.17665

摘要

视觉语言模型难以将二维视觉观测转化为精确的三维旋转控制，在投影对齐任务中表现出与人类之间的巨大差距\。

视觉语言模型 (https://huggingface.co/papers?q=vision-language%20models)能否将二维观测转化为支持精确行动的三维理解？这需要推断物体几何形状、预判旋转的效果，并通过视觉反馈不断调整动作\。我们提出 RoTA-Bench，通过交互式三维到二维投影对齐 (https://huggingface.co/papers?q=3D-to-2D%20projection%20alignment)来评估这些能力\。给定目标轮廓，模型观察一个经过旋转的物体，并在有限的动作次数内选择连续的旋转操作，以恢复目标投影\。我们的自动化流程从二维图标构建保持轮廓的三维物体 (https://huggingface.co/papers?q=silhouette-preserving%203D%20objects)，并采用可逆初始化 (https://huggingface.co/papers?q=reversible%20initialization)来保证任务可解，共生成了 674 个任务和一个经分层抽样构建的 100 项任务测试集\。实证结果表明：(i) 人类与模型之间仍存在显著差距：GPT-5.6-Sol 仅在 17% 的任务中取得成功，而 20 名本科生参与者合计将整个测试集完成了四遍，成功率达到 100%；(ii) 图像空间与姿态空间中的进展可能出现背离：在相同状态下，模型相比人类更常出现轮廓重叠程度提高、姿态对齐程度却下降的情况 (19.4% 对比 10.9%)；(iii)精细控制 (https://huggingface.co/papers?q=fine-grained%20control)对交互历史十分敏感：移除交互历史后，模型 96.8% 的动作都采用粗略的 30 度步长，实际观测到的任务成功率也大幅下降\。这些发现凸显了将视觉证据转化为精确三维控制的挑战，这超出了识别或匹配单幅图像的范畴\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.17665)查看 PDF (https://arxiv.org/pdf/2610.17665)项目页面 (https://www.modelscope.cn/studios/san2333333/rotabench-anon?mode=full&app_path=%2Fportal)GitHub0 (https://github.com/MAC-AutoML/RoTA-Bench)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.17665)

在你的智能体中获取这篇论文：

hf papers read 2610\.17665

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.17665，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.17665，即可从此页面链接到该数据集\。

引用这篇论文的 Spaces0

没有链接到这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.17665，即可从此页面链接到该 Space\。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。