@ManlingLi_: 视图规划：VLM能否预测每个摄像机移动如何改变视图，并提前规划多个这样的移动？我们引入…

视图规划： VLM能否预测每个摄像机移动如何改变视图，并提前规划多个这样的移动？ 我们引入了ViewSuite，它具有6自由度相机控制和大约16.5万个任务实例，测试了： - 路径到视图 - 视图到路径 - 交互式视图规划 出现了一个明显的规划差距： ＋大致可以“跟踪”相机动作如何改变视图 －完全无法“组合”出一个朝向目标视图的计划 然后我们尝试用强化学习训练VLM。 - 强化学习无法教会VLM这种规划能力，使用Qwen2.5-VL-7B时成功率仅为2.5%。 ＋通过视图图蒸馏（我们的RL-Graph-SFT框架），成功率从2.5%提升到了47.8% 下面，我们回答以下问题： Q1. 失败模式有哪些？ Q2. 如何让强化学习工作？ Q3. 模型学到了什么？我们能否打开模型看到前后变化？这种空间先验能否迁移到其他与视图相关的任务？ 由@James_KKW领导，与@LINJIEFUN @zhengyuan_yang @shiqi_chen17 @wzenus @drfeifei @jiajunwu_cs Leonidas Guibas、Lijuan Wang合作愉快。 与@StanfordAILab @StanfordSVL @MSFTResearch的联合努力。