工具增强空间推理中的自进化神经符号技能

# 面向工具增强空间推理的自演化神经符号技能

Source: https://arxiv.org/html/2608.07955

Shi-Yu Tian1,2\equalcontrib, Zhuo-Xia Wang1,2\equalcontrib, Xuan-Yi Zhu1,2, Zhi Zhou1, Xinwei Yang3, Kun-Yang Yu1,2, Ming Yang1,2, Yang Chen1, Yu-Feng Li1,2\corresponding

###### 摘要

大型视觉语言模型在多模态推理中取得了强劲表现，但在需要精确空间感知和细粒度几何计算的精细空间任务上仍然不可靠，难以超越端到端生成的局限。工具增强提供了一种自然的解决方案，但现有方法要么在没有显式依赖约束的情况下从头规划工具调用，要么依赖固定的流水线，后者在不同空间任务中显得冗余且泛化能力差。一个有效的空间推理智能体应能积累可复用的经验，并针对新问题自适应地组合这些经验。为此，我们提出 **NeSy-Spatial**，一个用于自演化空间技能的神经符号框架。NeSy-Spatial 将工具交互和几何操作抽象为带类型的可执行原子指令，并将其组合成两类互补的技能：**Tool-Use Skills** 用于组织工具执行，**Geometry Skills** 用于结构化几何推理。在推理阶段，NeSy-Spatial 以闭环过程检索并执行相关技能。在演化阶段，它分析缓冲的成功与失败轨迹，以细化技能结构并剪除不可靠或不活跃的条目。在三个空间推理基准上的实验表明，NeSy-Spatial 持续提升了推理准确率，并实现了更精确的工具利用。

## 1 引言

大型视觉语言模型（LVLMs）在通用视觉理解方面取得了显著进展（OpenAI 2023 (https://arxiv.org/html/2608.07955#bib.bib14)），但在细粒度空间推理方面仍然不可靠（Yang et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib105); Chen et al. 2025c (https://arxiv.org/html/2608.07955#bib.bib129)）。与通用视觉理解不同，空间推理通常需要显式的几何推理和超出端到端生成的中间验证。由于这种推理依赖于精确的视觉感知和结构化的几何计算，仅靠 LVLMs 难以完成。因此，工具增强已成为一种有效的解决方案（Zhang et al. 2025 (https://arxiv.org/html/2608.07955#bib.bib114); Yu et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib158); Tian et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib171)），使 LVLMs 能够利用专门的视觉模型和外部执行器，如深度估计器（Yang et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib137)）或重建模型（Wang et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib139)），从而获得可靠的中间推理证据。

参见图注

图 1：工具增强空间推理智能体的局限性：动态规划可能违反工具依赖关系，而固定流水线可能冗余且泛化能力差。

然而，现有的工具增强方法主要遵循两种范式。一种工作针对每个查询从通用工具箱中动态规划工具调用（Tian et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib171); Wu et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib166)），另一种则执行针对特定类别空间推理任务手工设计的流水线（Cho et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib167); Chen et al. 2026a (https://arxiv.org/html/2608.07955#bib.bib168)）。尽管动态规划非常灵活，但它缺乏对工具依赖关系和执行顺序的显式约束。因此，智能体可能生成无效的工具序列——例如，在获取必要信息（如具有空间锚定的物体坐标或点云表示）之前调用 Python 解释器，导致后续推理失败。相比之下，固定流水线强制执行有效的执行顺序，但无论任务复杂度如何，往往会调用不必要的工具。即使简单的查询也可能触发整个工作流，导致冗余计算和效率降低，而手工设计的流水线也难以推广到多种空间推理场景。因此，空间推理智能体应从历史轨迹中抽象出可检索、可组合的技能，而不是从头规划或依赖固定模板。

然而，这一目标面临两个挑战。首先，空间技能既涉及工具调用，也涉及几何处理。现有方法通常依赖 Python 解释器对工具输出执行临时计算，导致鲁棒性和成功率有限。其次，技能难以直接从轨迹中提取，因为成功轨迹可能包含冗余步骤，而失败轨迹中仍可能包含局部有效的操作。因此，关键挑战在于识别可复用的原子指令，并将其组合成能同时支持工具执行和几何推理的高级技能。

为解决这一问题，我们提出 **NeSy-Spatial**，一个用于空间推理中自演化技能的神经符号框架。NeSy-Spatial 并非简单地扩展可用工具集，而是从空间推理轨迹中提取原子指令，并进一步将其组合成可复用的高级技能。具体而言，我们定义了两种互补的技能类型：**Tool-Use Skill** 和 **Geometry Skill**。Tool-Use Skills 组织外部工具的执行，其中原子指令对应于单个工具调用，高级技能则编码其执行顺序和依赖结构。Geometry Skills 结构化几何推理，其中原子指令对应于可执行的函数式代码块，高级技能抽象出可复用的操作，如坐标变换、距离计算和一致性检查。NeSy-Spatial 在在线交互过程中持续学习和抽象技能，并进一步利用不断演化的技能库来指导后续推理。该过程包括两个阶段：推理和演化。在推理阶段，NeSy-Spatial 以闭环过程检索、实例化并执行相关技能，根据中间结果动态调整后续推理。在演化阶段，模型从成功和失败的执行轨迹中挖掘新的原子指令和局部规则，将其与现有技能整合，并根据验证结果和使用模式移除不可靠或不活跃的条目。

在三个数据集上的实验表明，NeSy-Spatial 在实现更精确工具利用的同时，持续提升了空间推理准确率。我们的贡献总结如下：

- • 我们引入了空间技能的神经符号定义，通过带类型的可执行原子指令统一了工具调用和几何计算。
- • 我们提出了 NeSy-Spatial，一个技能自演化框架，通过分析、融合和剪枝，从缓冲轨迹中更新原子指令以及高级 Tool-Use 和 Geometry Skills。
- • 我们在多个空间推理基准上评估了 NeSy-Spatial，在性能上相较于基础的静态工具使用智能体和固定流水线方法均有所提升。

参见图注

图 2：NeSy-Spatial 概览。左侧：智能体检索并执行技能以进行闭环空间推理。中上：技能库将原子指令组织为可复用的高级技能。中下：执行轨迹记录共享的推理过程。右侧：轨迹分析、技能融合和剪枝实现持续的自演化。

参见图注

图 3：技能引导的空间推理与技能演化的定性示例。左侧：NeSy-Spatial 组合视觉工具和几何工具解决透视推理问题。右侧：失败诊断识别出缺失的空间锚定依赖，更新 Tool-Use Skill，并使修订后的流水线在后续样本上产生正确答案。

## 2 相关工作

### 2.1 空间推理

空间推理是理解物体与其环境之间几何关系的能力（Chen et al. 2024a (https://arxiv.org/html/2608.07955#bib.bib110); Liu et al. 2023 (https://arxiv.org/html/2608.07955#bib.bib113); Yang et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib105)），是机器人感知和具身智能的基础（Liu et al. 2025 (https://arxiv.org/html/2608.07955#bib.bib116)），也是自动驾驶的关键（Chen et al. 2024b (https://arxiv.org/html/2608.07955#bib.bib127)）。最近的基准将早期静态设置扩展到多视角观测、视点变化、尺度估计和动态场景，包括 BLINK（Fu et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib134)）、CVBench（Tong et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib133)）、VSI-Bench（Yang et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib105)）和 STI-Bench（Li et al. 2025b (https://arxiv.org/html/2608.07955#bib.bib128)）。我们的评估涵盖 MMSI（Yang et al. 2025b (https://arxiv.org/html/2608.07955#bib.bib172)）、MindCube（Chen et al. 2026b (https://arxiv.org/html/2608.07955#bib.bib170)）和 OmniSpatial（Jia et al. 2025 (https://arxiv.org/html/2608.07955#bib.bib169)）。尽管通用感知取得了进展，视觉语言模型在多步空间推理、精确尺度估计（Chen et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib130)）和依赖视点的推理（Li et al. 2025a (https://arxiv.org/html/2608.07955#bib.bib131)）方面仍然面临困难。现有解决方案包括任务特定微调（Cheng et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib111)）、渐进式训练、3D 感知表示（Xu et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib135)）以及调用视觉工具进行检测、深度估计、重建或几何测量的模块化系统（Chen et al. 2025b (https://arxiv.org/html/2608.07955#bib.bib107); Han et al. 2025 (https://arxiv.org/html/2608.07955#bib.bib120)）。最近的工具增强智能体包括 SpatialScore 的 SpaAge-PE 和 SpaAge-ReAct（Wu et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib166)）、SpatialCLAW（Cho et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib167)）、GCA（Chen et al. 2026a (https://arxiv.org/html/2608.07955#bib.bib168)）和 LAST（Tian et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib171)）。尽管显式的视觉和几何操作改善了空间推理，但这些方法主要优化单个推理流水线，而非跨任务地积累、复用和精炼流程。

### 2.2 技能自演化

技能自演化使智能体能够从过去的交互中抽象出可复用的知识，以改进未来的任务求解。基于反思的方法通过反馈、自我批评或外部验证来修正推理（Shinn et al. 2023 (https://arxiv.org/html/2608.07955#bib.bib159); Madaan et al. 2023 (https://arxiv.org/html/2608.07955#bib.bib160); Gou et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib161)），而基于经验的方法则检索从历史轨迹中抽象出的知识（Zhao et al. 2024 (https://arxiv.org/html/2608.07955#bib.bib162); Shao et al. 2026 (https://arxiv.org/html/2608.07955#bib.bib173)）。技能记忆系统进一步维护可复用的技能或工作流以指导未来行动（Wang et al. 2023 (https://arxiv.org/html/2608.07955#bib.bib163)，2024 (https://arxiv.org/html/2608.07955#bib.bib164)，2025b (https://arxiv.org/html/2608.07955#bib.bib165)）。这些研究共同表明，智能体经验可以被积累和复用。然而，先前的研究主要面向文本推理、网页导航、编程或游戏，将技能表示为指令、工作流或程序。工具增强的空间推理则需要视觉感知、几何计算和多步推理之间的协调。因此，它需要可复用的流程来指定何时调用工具、如何解释工具输出，以及如何在空间任务之间迁移成功的几何推理。

## 3 方法

### 3.1 问题设定

我们研究在线工具增强的空间推理。在情节 t 中，智能体接收 x_t = (I_t, q_t) ∈ I × Q，使用工具集 T = T_vis ∪ T_py 和技能库 Lib_t = (A_t, S_t) 预测 ŷ_t ∈ Y。Python 执行器作为一个工具级的原子指令暴露，而其内部的几何计算则由可复用的 Geometry Skills 构建。在推理步骤 k，工作记忆 M_{t,k} 维护累积的证据、符号变量、执行历史、验证器结果和答案假设。在一个情节内，Lib_t 是固定的。在我们先测试后更新的协议下，每个预测在其真实答案揭示之前恰好被记录一次；标签随后仅用于评估该预测并评估已完成的轨迹 τ_t，该轨迹被追加到轨迹缓冲区 B_t。一旦缓冲区达到 N_buf，自演化提取并整合可复用结构，并剪除不可靠或不活跃的条目以获得 Lib_{t+1}；否则，技能库保持不变。因此，所有技能库更新都发生在情节之间，如图 2 (https://arxiv.org/html/2608.07955#S1.F2) 所示。

### 3.2 神经符号技能形式化

空间推理必须将学习到的感知与可验证的几何计算相结合。在固定情节中，我们省略时间索引并将技能库写为

Lib = (A, S)，　S = S_tool ∪ S_geo,　　(1)

其中 A 是一组可执行的原子指令，S_tool 和 S_geo 分别包含 Tool-Use Skills 和 Geometry Skills。两种技能类型均由原子动作节点、排序边和实例化上下文表示。

#### 原子指令

原子指令是一种带局部验证器的类型化可执行操作：

a = (e_a, v_a)，　e_a: U_a → O_a，　v_a: O_a → {0, 1}。　　(2)

其中 e_a 将原子特定的类型化输入 U_a 映射到输出 O_a，v_a 验证输出。我们将 A 划分为控制器可见的工具原子 A_tool 和内部几何原子 A_geo。前者封装视觉工具和 Python 执行器，每个作为一个原子指令；后者包含用于几何变换、数值比较和关系验证的可复用代码块。几何原子在 Python 工具内部执行，而非作为独立的控制器动作被选择。

#### 高级技能

我们将每个高级技能表示为一个节点-边-上下文结构：

s = (V, E, κ)，　V ⊆ A，　E ⊆ V × V,　　(3)

其中 V 包含原子指令，E 指定它们的执行依赖关系，κ 存储实例化所需的上下文。Tool-Use Skills 和 Geometry Skills 共享此表示形式，但