看向何处：基础模型能否通过主动探索达到目标视角？
摘要
介绍了 Target Viewpoint Reproduction (TVR) 任务和 TVRBench 基准，用于评估基础模型主动调整 3D 视角以匹配目标图像的能力。实验揭示了当前开源和闭源模型的显著局限性，统一的后训练框架将成功率从约12%提升至约51%。
查看缓存全文
缓存时间: 2026/06/02 15:38
论文页面 - 寻找目标视角：基础模型能否通过主动探索到达目标视野？
来源：https://huggingface.co/papers/2606.01247
摘要
目标视角重现任务挑战基础模型主动调整3D视角以匹配目标图像，揭示了视觉历史处理与具身运动映射的局限性，而统一的后训练框架通过多种训练方法提升了成功率。
人类可以通过主动的头部和身体运动重现目标图像指定的视角，然而基础模型中的空间智能（https://huggingface.co/papers?q=spatial%20intelligence）在很大程度上仍被研究为对预采集观测的被动理解。我们引入了目标视角重现（https://huggingface.co/papers?q=Target%20Viewpoint%20Reproduction）（TVR）——一项主动任务，智能体在3D环境中调整其视角，直到其观测与给定目标图像相匹配——以及 TVRBench（https://huggingface.co/papers?q=TVRBench），一个覆盖场景规模与目标视图视觉丰富度的室内模拟基准。TVR远未被解决：在评估集上，最强的开源和闭源模型仅达到7.8%和12.0%的成功率。细粒度分析识别出两个一致的瓶颈：现成模型在多轮视觉历史（https://huggingface.co/papers?q=visual%20history）上表现困难；当视角重现需要身体平移而非原地旋转时，性能急剧下降，暴露出将空间差异映射到具身运动的缺口。为了研究缩小这一差距，我们构建了一个统一的TVR后训练框架（https://huggingface.co/papers?q=post-training%20framework），涵盖专家轨迹SFT（https://huggingface.co/papers?q=expert-trajectory%20SFT）、推理监督的CoT-SFT（https://huggingface.co/papers?q=rationale-supervised%20CoT-SFT）、离线单轮GRPO（https://huggingface.co/papers?q=offline%20Single-turn%20GRPO）和基于实时模拟器交互的在策略多轮GRPO（https://huggingface.co/papers?q=on-policy%20Multi-turn%20GRPO）。视觉-动作SFT提供了主要增益，将9B开源模型的成功率提升至50.8%；多轮GRPO提供了针对性的多房间细化，达到51.4%的整体成功率，而CoT监督和单轮GRPO则降低了闭环性能。这些结果确立了TVRBench（https://huggingface.co/papers?q=TVRBench）作为测量和训练主动感知并在3D环境中行动的基础模型的测试平台。我们的代码、数据和模型可在 https://github.com/aim-uofa/TVRBench（https://huggingface.co/papers?q=TVRBench）获取。
查看 arXiv 页面（https://arxiv.org/abs/2606.01247）查看 PDF（https://arxiv.org/pdf/2606.01247） GitHub13（https://github.com/aim-uofa/TVRBench）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.01247）
在您的智能体中获取此论文：
hf papers read 2606.01247
没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型1
TVRBench/tvr-qwen3.5-9b-va-sft-rl 图像-文本到文本 • 9B• 约13小时前更新 • 33（https://huggingface.co/TVRBench/tvr-qwen3.5-9b-va-sft-rl）
引用本文的数据集2
TVRBench/tvr-sft-va-cot 查看器 • 约13小时前更新 • 1.6k • 2.72k（https://huggingface.co/datasets/TVRBench/tvr-sft-va-cot）
TVRBench/tvr-sft-va 查看器 • 约13小时前更新 • 1.6k • 2.68k（https://huggingface.co/datasets/TVRBench/tvr-sft-va）
引用本文的Space0
没有关联此论文的Space
在Space的README.md中引用arxiv.org/abs/2606.01247以从该页面链接。
包含本文的集合0
没有包含此论文的集合
将此论文添加到收藏（https://huggingface.co/new-collection）以从该页面链接。
相似文章
学习在三维世界中思考与探索
ACT3D 训练视觉-语言模型通过强化学习在 3D 环境中主动探索，仅凭单一第一人称视角即可在六个 3D 基准上达到 53.2% 平均准确率，较基座 Qwen 提升 22.0% 并超越 Gemini 3.6 Flash。
CineRecon：面向智能体电影级重建的前沿模型基准测试
CineRecon 引入了一个包含50个参考视频和360个带标注评估片段的基准，用于测试前沿模型从视频重建可编辑动态3D场景的能力，从相机一致性、静态一致性和动态一致性三个维度评估了12个模型，发现三个维度均存在不足。
WildTableBench：在真实场景中评估多模态基础模型的表格理解能力
WildTableBench 提出了首个针对真实世界表格图像的问答应答基准，揭示了现有多模态基础模型在结构感知和数值推理方面存在显著困难，仅有1个模型准确率超过50%。
VTR-Bench：面向视频生成中视觉文本渲染评估的系统性基准
VTR-Bench 提出了一个用于评估视频生成模型视觉文本渲染能力的系统性基准，涵盖五大场景类别共 300 条提示词、一套与人工评价对齐的自动化评估流水线，以及一个关键帧引导的智能体框架（Keyframe-Guided Agentic Framework）。在 11 个最先进模型上的实验表明，场景文本渲染普遍面临困难，表现最好的模型词错误率（WER）为 0.250。
MultiView-Bench：一种面向VLMs的世界中心多视角集成诊断基准
MultiView-Bench是一个诊断基准，用于评估视觉语言模型将多个视角整合为一致3D心智模型的能力，揭示了3D空间推理中的系统性失败，并引入了ViewNavigator以缓解这些问题。