规划复杂视觉任务的更优方法

# 规划复杂视觉任务的新方法 Source: https://news.mit.edu/2026/better-method-planning-complex-visual-tasks-0311 麻省理工学院（MIT）的研究人员开发了一种由生成式人工智能驱动的长期视觉任务规划方法（例如机器人导航），其有效性大约是某些现有技术的两倍。 该方法使用一个专门的视觉-语言模型来感知图像中的场景，并模拟达到目标所需的操作。随后，第二个模型将这些模拟结果转换为用于规划问题的标准编程语言，并对解决方案进行优化。 最终，该系统自动生成一组文件，可输入至经典规划软件中进行计算，以得出实现目标的方案。这种两步法系统生成的计划平均成功率约为 70%，远超只能达到约 30% 成功率的最佳基线方法。 重要的是，该系统能够解决此前未遇到过的全新问题，这使其非常适合条件可能瞬息万变的真实环境。 “我们的框架结合了视觉-语言模型的优势（如图像理解能力）与形式化求解器强大的规划能力，”MIT航空航天专业（AeroAstro）研究生、该技术开源论文（https://arxiv.org/pdf/2510.03182）的第一作者 Yilun Hao 表示：“它能够从单张图像出发，经过模拟推演，最终生成可靠且长周期的计划，在众多实际应用中颇具价值。” 本文的其他作者包括：MIT信息与决策系统实验室（LIDS）研究生 Yongchao Chen；AeroAstro 副教授兼 LIDS 首席研究员 Chuchu Fan；以及 MIT-IBM Watson AI Lab 研究科学家 Yang Zhang。该论文将在国际表征学习会议（International Conference on Learning Representations）上宣读。 **应对视觉任务** 近年来，Fan 及其同事一直在研究如何利用生成式 AI 模型进行复杂推理与规划，通常采用大型语言模型（LLMs）来处理文本输入。 许多现实世界的规划问题（如机器人装配和自动驾驶）都涉及视觉输入，而 LLM 难以独立很好地处理这些内容。研究人员希望利用能够同时处理图像和文本的强大 AI 系统——视觉-语言模型（VLMs），将研究拓展至视觉领域。 然而，VLMs 难以理解场景中物体之间的空间关系，且在多步推理中经常出错。这使得将其应用于长期规划变得十分困难。 另一方面，科学家们已经开发出稳健的形式化规划器，能够为复杂情况生成有效的长周期计划。不过，这些软件系统无法处理视觉输入，且需要专家知识将问题编码为求解器能够理解的特定语言。 Fan 及其团队构建了一种自动规划系统，融合了两种方法的优势。该系统名为 VLM-guided formal planning（VLMFP），利用两个专门的 VLM 协同工作，将视觉规划问题转化为可直接供形式化规划软件使用的文件。 研究人员首先精心训练了一个名为 SimVLM 的小型模型，使其专精于用自然语言描述图像中的场景，并模拟该场景中的一系列动作。接着，一个体量大得多的模型（称为 GenVLM）会利用 SimVLM 的描述，生成一套使用形式化规划语言——规划领域定义语言（PDDL）的初始文件。 这些文件可直接输入经典的 PDDL 求解器，由其计算出分步执行的任务计划。GenVLM 会将求解器的结果与模拟器输出进行对比，并迭代优化 PDDL 文件。 “生成器和模拟器协同工作，以确保能够达到完全相同的结果，即完成目标的动作模拟，”Hao 表示。 由于 GenVLM 是一个大型生成式 AI 模型，它在训练过程中见过大量 PDDL 示例，并掌握了如何利用这种形式化语言解决各类问题。这种已有知识使模型能够生成准确的 PDDL 文件。 **灵活的解决方案** VLMFP 会生成两份独立的 PDDL 文件。第一份是域文件（domain file），用于定义环境、有效动作及领域规则。第二份是问题文件（problem file），用于界定当前具体问题的初始状态和目标。 “PDDL 的一个优势在于，同一环境下的所有实例共享相同的域文件。这使得我们的框架在泛化到同一领域内的未见实例方面表现优异，”Hao 解释道。 为了让系统有效泛化，研究人员为 SimVLM 精心设计了恰到好处的训练数据，使模型既能理解问题与目标，又不会死记硬背场景中的模式。测试表明，SimVLM 在约 85% 的实验中都成功描述了场景、模拟了动作，并准确判断目标是否达成。 总体而言，VLMFP 框架在六项 2D 规划任务上的平均成功率约为 60%，在两项 3D 任务（包括多机器人协作和机器人装配）上的成功率超过 80%。此外，它还能对超过 50% 的未见场景生成有效计划，大幅领先基线方法。 “即使在不同情境下规则发生变化，我们的框架也能有效泛化。这赋予了我们系统灵活性，使其能够解决多种类型的基于视觉的规划问题，”Fan 补充道。 未来，研究人员希望让 VLMFP 能够处理更复杂的场景，并探索识别和缓解 VLMs 幻觉现象的方法。 “从长远来看，生成式 AI 模型可以充当智能体（agents），并利用合适的工具来解决更为复杂的问题。但‘合适的工具’究竟指什么？我们该如何将其整合进来？前路依然漫长，但通过将基于视觉的规划纳入其中，这项工作已成为拼图中至关重要的一块，”Fan 说道。 本研究部分由 MIT-IBM Watson AI Lab 资助。