@MSFTResearch:一条路径、一道栅栏、一个结。MindTopo为测试AI如何理解拓扑关系设定了新基准,并…

X AI KOLs Timeline 论文

摘要

微软研究院推出MindTopo基准,用于测试多模态AI模型是否理解连通性、包围和打结等拓扑关系。当前模型在静态识别上表现良好,但在交互式规划任务上存在困难,这揭示了机器人和交互式环境中的关键差距。

一条路径、一道栅栏、一个结。MindTopo为测试AI如何理解拓扑关系设定了新基准,并凸显了加强空间推理与规划的新机遇。https://t.co/hvX4GdQlPc https://t.co/h8mjFznyd6
查看原文
查看缓存全文

缓存时间: 2026/08/12 20:31

一条路径、一道围栏、一个绳结。MindTopo 为测试 AI 如何理解拓扑关系设立了新基准,并凸显了加强空间推理与规划的新机遇。https://t.co/hvX4GdQlPc https://t.co/h8mjFznyd6


MindTopo 考验 AI 的空间推理能力

来源:https://www.microsoft.com/en-us/research/blog/mindtopo-reveals-vlms-spatial-reasoning-abilities/ 基准概览展示了十个空间推理与规划任务,分为两行。第一行标注为“推理(Reasoning)”,包括 Maze、Assembly、Bead、Sheep 和 Knot。第二行标注为“规划(Planning)”,包括 Pipe、One Stroke、Swap、Chat Noir 和 Untangle。MindTopo 的标志和标题位于两个类别之间居中显示。

一览

  • MindTopo 是一个用于测试 AI 拓扑推理的新基准,评估多模态模型能否理解连通性、包围、顺序、分离和绳结等概念。
  • 该基准同时衡量推理与规划能力,不仅测试模型能否在静态图像中识别拓扑关系,还测试它们能否通过一系列动作保持并操作这些关系。
  • 当前多模态模型在静态识别上的表现远好于交互式任务,这表明它们在随时间的推移中难以保持对拓扑的一致理解。
  • 失败往往出现在规划阶段而非感知阶段:模型在场景变化时会丢失结构关系,或者提出违反物理约束的动作。
  • 这些发现凸显了一个重要机遇,即推动 AI 系统在机器人与交互式环境中的进步,因为在这些场景中,理解什么保持连通、包围、有序或打结,对于可靠决策至关重要。

AI 能否判断添加一堵墙后两个房间是否仍然连通?能否识别动物是否在围栏内、区分真正的绳结与看似缠绕的环圈,或者在不让绳索相互穿透的情况下重新排列多条绳索?

这些问题涉及 3D 拓扑——一种不依赖精确距离、角度或形状,而是基于物体弯曲、拉伸或变形时保持不变的结构关系的空间理解形式。连通性、包围、顺序和绳结状态都是拓扑属性的例子。在认知科学中,这些属性是人类空间理解的基础层,但在多模态 AI 系统的评估中却基本缺席。

在一项新的研究中,我们推出了 MindTopo(在新选项卡中打开)(https://mind-topo.github.io/),这是一个旨在评估多模态大语言模型是否具备这种拓扑直觉的基准。我们的研究结果揭示了在静态图像中识别拓扑与在规划和行动过程中保持对拓扑的直觉理解之间存在巨大差距。当前模型有时能在单一场景中识别连通的路径、封闭的区域或绳结,但一旦模型需要通过一系列动作来操作该场景,这种理解往往就会崩溃。

MindTopo 如何定义拓扑空间

大多数多模态模型的空间评估侧重于欧几里得属性,如距离、方向、大小和相对位置。受 Piaget 及其他认知文献对拓扑能力分类的启发,MindTopo 将任务围绕以下五个类别组织:

  • 连续性(Continuity):询问路径或物体是否保持不间断。
  • 分离性(Separation):询问邻近元素是构成一个结构还是不同的部分。
  • 顺序性(Order):追踪元素沿路径或在变换过程中如何排列。
  • 包围性(Enclosure):测试边界是否创造了内部与外部。
  • 绳结(Knots):测试绳索是否真正打结或连接,而不仅仅是表面上的缠绕。

每个类别都在两个认知层面进行评估。在推理任务中,模型检查一个或多个渲染场景,并回答关于其拓扑结构的问题:迷宫中的两个点是否连通、羊是否在围栏内、绳索是否真正打结。在规划任务中,模型与模拟环境交互,选择必须创建、保持或移除特定关系的动作,例如旋转管道段、绘制分隔路径、重新排列积木、困住移动的智能体或解开绳索。环境强制执行合法动作,因此模型无法通过让一根绳索穿透另一根绳索来解决绳索谜题。

此图提供了 MINDTOPO 的概览,这是一个用于评估多模态大语言模型拓扑推理的基准。图中展示了两种评估设置:推理,即模型回答关于渲染场景的视觉问题;规划,即模型与环境交互以将初始状态转换为目标状态。该基准涵盖五种拓扑属性——连续性、分离性、顺序性、包围性和绳结,代表性任务包括 Maze 和 Pipe、IKEA 和 One Stroke、Bead 和 Swap、Sheep 和 Chat Noir,以及 Knot 和 Untangle。右侧的雷达图总结了模型在这些类别上的表现,显示出当前模型仍然吃力,尤其是在需要跨动作进行规划和保持不变量的拓扑空间推理方面。

图 1。MindTopo 将静态场景问题与交互式任务配对,要求模型保持或改变相同的拓扑关系。

所有场景均由受控模拟器生成,可提供精确的 ground truth 以及可调节的难度。这种控制使得区分两种原本看起来相似的失败模式成为可能:一种是因为场景视觉复杂而失败的模型,另一种是因为无法在物体移动时保持潜在关系而失败的模型。

此图提供了 13 个 MINDTOPO 任务的概览,按五种拓扑属性和两个认知水平组织。连续性包括 2D Maze 和 3D Maze 推理任务以及 Pipe 规划环境;分离性包括 IKEA 推理和 One Stroke 规划;顺序性包括 Bead 和 Origami Point 推理以及 Swap 规划;包围性包括 Sheep 和 Hole 推理以及 Chat Noir 规划;绳结包括 Knot 推理和 Untangle 规划。推理任务将渲染场景与视觉问题和示例答案配对,而标注为“Gym Env”的规划任务则展示了交互式环境的代表性初始状态、中间状态和最终或目标状态。

图 2。MindTopo 将推理和规划任务映射到连续性、分离性、顺序性、包围性和绳结。

看到拓扑不等于实际操作拓扑

在一系列专有和开放权重模型中,静态推理的表现始终强于交互式规划,而两者都远低于人类水平。当成功取决于在多个动作中保持某种关系时,对比尤为明显。

错误的模式有助于定位问题。静态错误通常始于感知,例如遗漏了墙、开口或交叉点。规划错误则出现在场景被理解之后。模型会采取一个局部看似合理的动作,却没有追踪其后续后果,在多个回合中丢失任务目标,或者提出违反环境动态的动作。

聚焦:AI 驱动的体验

Microsoft research copilot 体验

通过我们的 AI 驱动体验,了解更多关于微软的研究。

我们还测试了图像和视频生成是否能帮助模型保持对拓扑关系的理解。当相关关系在单帧中可见时,图像生成有时会有帮助,但在跨越一系列交叉或移动时仍然不可靠。视频 rollout 经常改变拓扑或违反任务动态。视觉模拟似乎只有在能够随时间保持结构约束的情况下才有用。

构建能够保持结构的智能体

MindTopo 旨在作为这一差距的受控诊断工具。机器人、无障碍工具和交互式助手不仅需要理解物体的位置,还需要理解在动作展开过程中,什么保持连通、包围、有序或打结。缩小这一差距可能需要模型携带显式的拓扑状态,或者让世界模型的预测在构造上保持拓扑。

相似文章