在语义约束下学习使用不熟悉部件组装新型结构

# 在语义约束下学习使用不熟悉的部件组装新结构
来源：https://arxiv.org/html/2608.13684
Alex Lascarides  邮箱：[[email protected]](mailto:[email protected])  Subramanian Ramamoorthy  邮箱：[[email protected]](mailto:[email protected])  所属机构：爱丁堡大学信息学院，地址：英国爱丁堡Crichton街10号，EH8 9AB

###### 摘要

本文描述了一种神经符号架构，用于学习使用来自具身对话和任务演示的证据来组装新结构。我们关注的是智能体在部署后遇到结构上的语义约束场景——即哪些部件类型和特征构成有效结构的约束——这些约束在训练期间是不可用的，并且智能体最初并不了解相关的结构和组件部件概念。智能体必须在尝试组装的过程中，通过用户交互获取并利用这些知识。我们在一个模拟玩具卡车装配领域研究了这一设定，从用自然语言编码的符号证据和密集视觉观察中学习。我们的实验表明，通过自然语言传达语义约束（例如，“翻斗车有一个翻斗”）比仅依赖任务演示和/或仅通过自然语言命名部件，能产生更高效的数据在线适应能力。

## 1 引言

开放式环境中的机器人装配要求智能体应对可能在部署前不可用的任务知识（5 (https://arxiv.org/html/2608.13684#bib.bib5)）。先前的工作通常将装配知识区分为 i）部件和连接的几何形状，ii）装配顺序，以及 iii）低级控制技能（9 (https://arxiv.org/html/2608.13684#bib.bib9)）。这些方面主要包含物理约束，非常适合从任务演示中学习（22 (https://arxiv.org/html/2608.13684#bib.bib22)）。

然而，成功的装配也可能依赖于语义约束：在物理上连接两个部件是可行的，但这样做会创建无效结构的任意领域约定。在图1 (https://arxiv.org/html/2608.13684#S1)所示的示例中，尽管几何兼容，但连接尝试被纠正，因为它违反了语义规则：即“翻斗车的彩色部件不能是黄色的”。仅靠演示在此不足以作为纠正信号，因为多条规则可能与其一致：图1 (https://arxiv.org/html/2608.13684#S1)中的约束可能原本是“翻斗车的底盘中心必须是红色的”。规则的范围也是潜在的，因为它可能适用于特定的卡车子类型或所有卡车。当智能体最初不了解约束所表达的概念时，挑战会变得更大；例如，如果它在训练中从未遇到过扁平的底盘中心或其标签。智能体无法逻辑推断出它不知道存在的概念的规则。

\subfigure[由部件定义的卡车类型。]![[未标注图片]](https://arxiv.org/html/2608.13684v1/truck_domain.png) \subfigure[用户-智能体对话。]![[未标注图片]](https://arxiv.org/html/2608.13684v1/opening_example.png)

我们采用一种用于从具身自然语言（NL）交互和任务演示中进行在线适应的神经符号智能体架构来解决这一设定。核心挑战是领域知识可能在部署期间零星引入，智能体必须在当前交互的时间尺度上改变其行为。这促使我们将密集的感知基础与显式的符号记忆和规划分离开来：视觉分类器可以通过新样本进行更新；词典和知识库可以扩展新的概念和约束；规划器可以立即使用更新的知识来修改对象选择和动作序列。因此，神经符号耦合主要发生在感知到推理之间：神经感知提供分级的候选基础，新获得的符号知识在这些基础中进行选择并修订动作计划，而不直接修改视觉特征表示。这种设计针对此处研究的在线适应问题，同时将更紧密的符号到神经反馈保留为需要表示级修改的场景的兼容扩展。

我们在一个模拟玩具卡车装配领域评估了所提出的框架。卡车类型由部件子类型和属性上的约束定义（参见图1 (https://arxiv.org/html/2608.13684#S1)）。我们将一个能够解释表达语义约束的通用自然语言语句——例如“翻斗车有一个翻斗”——的智能体，与接收演示、部件标签和/或非通用纠正信号的消融基线进行比较。结果表明，在此装配领域中，通过自然语言通用陈述传达语义约束，除了命名新部件概念本身的好处之外，还提高了在线学习的数据效率。

## 2 语义装配：任务设定与领域

### 2.1 任务领域、目标与输入形式化

在我们的形式化中，一个语义装配领域定义了两个概念集，Π（Pi）和Σ（Sigma）：

- • Π是一组原子部件概念，表示为对原始对象的一元谓词；其实例是装配结构的最小构建块：例如，dumper（翻斗）、quad_cabin（四座驾驶室）、cabin（驾驶室）。
- • Σ是一组子装配概念，表示为对复合结构的一元谓词；其实例由多个组装在一起的原子部件组成：例如，truck（卡车）、fire_truck（消防车）、truck_front（卡车前部）。

上下位（is-a）关系表示为Π和Σ中一元谓词之间的子类蕴含：例如，quad_cabin是cabin的一个子类型；fire_truck是truck的一个子类型。整体/部分（has-a）关系使用Π和Σ之间的二元谓词have(x,y)（例如，一辆卡车有一个驾驶室）或在Σ内部（例如，一辆卡车有一个卡车前部）表示。这些谓词和蕴含/关系规则共同构成了领域理论Ω。

每个语义装配任务实例的特征是：(a) 摆放在桌面上的两组对象C和D；以及 (b) 一个装配目标γ ∈ Σ。C包含构建γ的一个实例所需的精确“真实”原子部件，而D是一组（可能为空的）“干扰项”部件，它们在几何上对于装配是可行的，但如果被使用将违反语义约束。鉴于Π内的子类型规则，C或D中的一个对象可能满足多个部件谓词。部件也具有颜色属性，因此在自然语言中可能被称为“一个红色的四座驾驶室”等。

每个目标概念γ ∈ Σ与两个形式化规范Gγ和Sγ相关联，它们共同定义了可接受为γ实例的有效装配结构的范围：

- • Gγ = (Vγ, Eγ) 是γ的内涵结构规范（“装配拓扑图”），指定γ的一个有效实例中必要且充分的部件连接。Vγ中的每个节点指定来自Π或Σ的类型要求。边Eγ指定所需的连接及其相对位姿。
- • Sγ 是与γ相关的一组量化一阶逻辑（FOL）规则或完整性约束（见图1 (https://arxiv.org/html/2608.13684#S1)），这些约束必须在γ的所有实例中成立。例如，“翻斗车有一个翻斗”编码为 ∀x∃y.dumpTruck(x) → dumper(y) ∧ have(x,y)。

任务目标是规划并执行一系列动作，构建满足Gγ的结构，同时遵守Sγ中的所有约束，仅使用C中的部件而不使用D中的部件。智能体拥有场景的单视图RGB图像I ∈ [0,1]^{3×H×W}，其中H和W分别是传感器的高度和宽度。在装配过程中，智能体与监督任务执行的教师进行自然语言对话；详见§2.4 (https://arxiv.org/html/2608.13684#S2.SS4)。

### 2.2 范围与假设

在本研究中，我们做出若干简化假设，以将部署时获取语义装配知识与低级机器人和开放域语言理解挑战分离开来。实验在模拟玩具卡车领域进行，我们评估该领域内的在线适应，而非跨领域迁移或现实世界的鲁棒性。智能体从模拟器接收甲骨文对象掩码和6D位姿。假设演示被分割为参数化的原始动作，并由甲骨文控制器执行。教师交互遵循受控的对话协议，因此实验测试接收通用语义内容而非开放域自然语言理解的效果。视觉特征骨干是固定的：在线感知适应更新示例记忆和概念分类器，而非视觉特征。颜色谓词通过与部件概念相同的基于示例的程序进行基础化，但其分类器在主要装配阶段之前从少量正负示例中初始化。最后，同一原子部件概念的实例假定共享3D几何形状，从而支持类型级点云和连接位姿表示。

### 2.3 初始智能体知识与任务抽象

我们考虑这样一个设定：智能体拥有领域中立技能，但缺乏特定领域的装配知识。领域中立技能包括原始动作接口和部署它们的高层符号规划能力。我们采用答案集编程（ASP；10 (https://arxiv.org/html/2608.13684#bib.bib10)），一种基于正常逻辑程序的声明式编程方法。我们使用ASP，因为它允许将学习到的语义约束（也编码为ASP程序片段）无缝集成到规划中，这得益于其建模间接动作效果的能力（20 (https://arxiv.org/html/2608.13684#bib.bib20)）。附录A (https://arxiv.org/html/2608.13684#A1)描述了如何将装配规划问题实现为ASP程序。

起初，智能体对特定领域知识一无所知：概念集Π和Σ（即可能的部件和结构的假设空间）、领域理论Ω、Π中原子部件的2D视觉和3D几何特征、每个γ ∈ Σ的装配拓扑图Gγ和语义约束Sγ都是空的。因此，智能体缺乏可能性的假设空间，必须在部署后获取它。我们的主要假设是，通用自然语言陈述通过传达可复用的语义约束来改善在线学习，超越了仅从演示和部件标签中可获得的效果。

### 2.4 智能体-教师交互

任务演示和自然语言对话提供互补的证据。演示传达连续信息，特别是连接部件所需的相对位姿。在我们受控的对话协议中，每个回合始于教师指定的目标：“构建一个γ”。如果智能体缺少目标概念或所需的部件概念，教师会提供演示、口头定义或带标签的示例。在规划和执行期间，智能体的失败会暴露缺失何种知识：一个“有翻斗吗？”的查询需要带标签的示例；一个错误的“我本来想连接这个四座驾驶室”的回应让教师可以纠正部件类型；一个几何可行但无效的连接则需要一个语义约束。教师反馈针对暴露的差距，在重新规划之前更新视觉示例、词典或符号记忆。可能的交互流程的更完整描述，以及可视化的流程图，见附录B (https://arxiv.org/html/2608.13684#A2)。

## 3 神经符号智能体架构

本节描述用于实现上述交互协议的神经符号架构。在描述各个模块之前，算法1 (https://arxiv.org/html/2608.13684#alg1)总结了回合级控制循环：感知产生候选符号基础，对话在知识差距暴露时更新记忆，符号推理选择目标并规划连接，执行器执行所选动作。图展示了整体架构。

算法 1 交互式语义装配回合
输入：目标话语 u，场景图像 I，视觉示例库 XB，符号知识库 KB = (Ω, {Gσ, Sσ}_{σ∈Σ})，词典 L
1: 使用词典 L 将 u 映射到目标概念 γ。
2: if γ 或所需概念未知 then
3:    获取教师的定义、带标签示例或演示。
4:    如有适用，更新 XB、KB、L。
5: end if
6: while 任务未被教师接受 do
7:    从 I 感知场景，产生带分数的候选部件基础。
8:    在当前 Gγ、Sγ 和基础下，求解目标选择 ASP 以选择一个填入了对象的目标结构。
9:    if 所需部件无法基础化 then
10:       向教师请求一个实例并更新 XB。
11:       continue
12:    end if
13:    使用选定的目标结构求解连接顺序 ASP，然后执行生成的动作序列。
14:    if 教师打断 then
15:       解释预期动作。
16:       根据诊断出的错误和活跃策略更新 XB 和/或 KB。
17:    end if
18: end while

### 3.1 视觉处理模块

视觉处理模块将密集的视觉输入映射为规划和学习组件使用的结构化符号表示。给定场景的单视图RGB图像，该模块输出每个检测到的对象实例：1) 一组来自Π的原子部件概念及其关联的置信度分数；以及2) 一个适合指定连接关系的3D几何表示。视觉模块产生的置信度分数传递到符号层，影响规划决策。特征提取、分类、几何提取和位姿处理的实现细节见附录C (https://arxiv.org/html/2608.13684#A3)。

![[未标注图片]](https://arxiv.org/html/2608.13684v1/architecture.png)
### 3.2 对话管理模块

对话管理模块在§2.4 (https://arxiv.org/html/2608.13684#S2.SS4)的受控交互协议中解释教师话语并生成智能体响应。它处理目标话语、澄清请求、纠正反馈以及表达语义约束的通用陈述。我们的实现部署了一个现成的高覆盖率语义解析器（2 (https://arxiv.org/html/2608.13684#bib.bib2)），并附加了一个启发式后处理管道。这里，表达语义约束的通用陈述有两种形式：

- • 全称约束规定子装配的某类部件都必须具有某些特性。例如，“消防车的所有挡泥板都是红色的”编码为：∀x∀y.fireTruck(x) ∧ fender(y) ∧ have(x,y) → red(y)
- • 存在性约束规定某个子装配必须至少具有一个具有某些特性的部件。例如，“导弹车有一个绿色的挡泥板。”：∀x∃y.missileTruck(x) → fender(y) ∧ green(y) ∧ have(x,y)