并非所有关系都同等旋转：面向视角鲁棒的三维场景图生成的变换感知解耦

# 并非所有关系都同样旋转：面向视角鲁棒三维场景图生成的变换感知解耦方法

来源：https://arxiv.org/html/2606.27412

孙靖钧¹ 王超伟¹¹ 刘智睿²² 田佳旭¹ 杨明¹ 王耀兴¹ 高珊¹  
¹ 西北工业大学，西安，陕西，中国  
² 上海科技大学，上海，中国  
\{sunjingjun, chaowei\_wang, jiaxutian, yangziming, wangyx24\}@mail\.nwpu\.edu\.cn, liuzhr2025@shanghaitech\.edu\.cn, gaoshan@nwpu\.edu\.cn

###### 摘要

三维场景图生成（3DSGG）将3D场景表示为结构化的对象-关系-对象图，为空间理解提供了紧凑的关系抽象。在具身智能场景中，同一3D场景可能被智能体从不同偏航旋转的视角观察。然而，当前的3DSGG模型通常无法在这种视角变化下产生符合预期变换行为的关系预测。这种行为揭示了一个与谓词级变换异质性相关的经验性不匹配：方向性谓词，如"左"、"前"、"右"和"后"，应随观察框架变换；而大多数接触、支撑和语义谓词，如"站在...上"和"附着在...上"，应保持稳定。为减少这种不匹配，我们提出变换感知解耦（TAD），这是一个视角鲁棒的3DSGG框架，它根据谓词变换行为解耦关系推理，并由视角稳定的对象表示提供支持。TAD将关系推理分解为两个部分：一部分学习应跨视角保持稳定的线索，另一部分学习应随观察框架变化的方向性线索。两部分合并后用于标准的多标签谓词预测。变换特异性描述符和分组感知的辅助监督促使两个分支捕捉互补的关系线索。在3DSSG上的大量实验表明，TAD在偏航视角变化下实现了最先进的鲁棒性，且无需训练时的旋转增强，同时在标准基准测试中保持了具有竞争力的性能。项目页面请访问：https://tad-predicate.github.io/。

![[未标注图片]](https://arxiv.org/html/2606.27412v1/x1.png)

图1：变换感知解耦（TAD）是一个面向视角鲁棒三维场景图生成的谓词级框架。在偏航视角变化下，方向性关系如"左"应发生变换，而偏航不变关系如"站在...上"保持稳定。TAD将其解耦为独立的不变关系分支和方向性关系分支，解决了纠缠学习的冲突。

## 1 引言

理解3D场景不仅需要识别单个对象，还需要捕捉它们之间的关系结构[1 (https://arxiv.org/html/2606.27412#bib.bib1),27 (https://arxiv.org/html/2606.27412#bib.bib27)]。3D场景图生成（3DSGG）通过将场景表示为图来应对这一挑战：对象建模为节点，它们之间的空间关系建模为边。通过将原始3D观测转化为基于图的场景表示，3DSGG成为空间推理和具身智能的基础步骤[19 (https://arxiv.org/html/2606.27412#bib.bib19),10 (https://arxiv.org/html/2606.27412#bib.bib10),12 (https://arxiv.org/html/2606.27412#bib.bib12),15 (https://arxiv.org/html/2606.27412#bib.bib15),2 (https://arxiv.org/html/2606.27412#bib.bib2)]，为机器人导航和增强现实等下游应用提供了高层场景抽象[19 (https://arxiv.org/html/2606.27412#bib.bib19),22 (https://arxiv.org/html/2606.27412#bib.bib22)]。

受这些下游应用需求的驱动，人们开发了大量3DSGG框架。大多数3DSGG方法从成对对象特征和相对几何信息中推断对象关系，并日益增强视觉语义先验和实例级识别能力[27 (https://arxiv.org/html/2606.27412#bib.bib27),32 (https://arxiv.org/html/2606.27412#bib.bib32),39 (https://arxiv.org/html/2606.27412#bib.bib39),30 (https://arxiv.org/html/2606.27412#bib.bib30),10 (https://arxiv.org/html/2606.27412#bib.bib10),13 (https://arxiv.org/html/2606.27412#bib.bib13),11 (https://arxiv.org/html/2606.27412#bib.bib11),40 (https://arxiv.org/html/2606.27412#bib.bib40)]。在标准的、规范场景方向下评估时，这些方法在解析复杂3D环境方面表现出色。然而，在现实世界的具身场景中，同一场景通常从多个视角被观察，其中关于重力对齐的垂直轴的偏航旋转是主要的变量来源。现有框架在很大程度上忽视了这种多视角现实，隐含地假设了一个静态观察框架，没有明确考虑关系预测中的视角变化。这就提出了一个关键问题：现有3DSGG框架对偏航引起的视角变化的鲁棒性如何？

通过在一系列偏航引起的视角变化下进行受控实验，我们发现现有框架对于相反视角变化（方向性谓词发生简单反转）相对鲁棒，但在超出这种简单反转情况时性能严重下降。这些结果指向3D谓词的变换行为与关系表示的常规建模方式之间的不匹配。如图1 (https://arxiv.org/html/2606.27412#S0.F1)所示，3D谓词对偏航引起的视角变化响应不同。像"站在...上"这样的关系应保持语义稳定，而像"左"、"右"、"前"和"后"这样的方向性关系应随观察框架可预测地变化。然而，传统的关系模型通常将这些谓词嵌入到共享的关系空间中，而不区分它们的变换行为。这将应保留的线索与应可预测变化的线索纠缠在一起，降低了视角变化下关系预测的鲁棒性。

基于这些观察，我们提出了TAD（变换感知解耦），这是一个根据3D谓词变换行为解耦关系学习的3DSGG框架。TAD根据谓词特定的变换行为分离关系线索的学习，使用变换特异性描述符来指导互补的关系表示。它将应跨视角变化保持稳定（即应保留）的视角稳定线索与应随观察框架可预测变化的方向敏感线索分开建模。然后，这些解耦路径产生的关系表示被融合，用于标准的多标签谓词预测。为支持这种解耦关系学习，TAD还引入了视角稳定对象编码器（VSOE），该编码器提取旋转稳定的对象特征，并将其情境化为场景感知的节点表示，用于下游关系推理。通过根据谓词特定的变换行为解耦关系学习，TAD更好地适应了视角引起的谓词变化，并生成了更鲁棒的场景图预测。

我们的核心贡献有三点：

1）我们识别出谓词异质性变换行为是偏航引起的视角变化下鲁棒3D场景图生成的关键障碍，激励了变换感知的关系建模。

2）我们提出TAD，一个变换感知的3DSGG框架。在视角稳定对象表示的支持下，TAD采用参数解耦的关系分支，配合正交特征正则化和分组感知的辅助监督，以分离视角稳定和方向敏感的关系线索，实现变换感知推理。

3）大量定量和定性实验表明，我们的方法在偏航引起的视角变化下实现了最先进的关系鲁棒性，同时在标准3DSGG基准测试中与现有最先进方法保持同等水平。

## 2 相关工作

### 2.1 3D场景图生成

3D场景图生成将2D SGG[38 (https://arxiv.org/html/2606.27412#bib.bib38),34 (https://arxiv.org/html/2606.27412#bib.bib34),23 (https://arxiv.org/html/2606.27412#bib.bib23)]扩展到3D点云，旨在从3D场景几何中构建结构化的对象-关系-对象图。早期3DSGG方法建立了基准数据集和基于GNN的预测框架，使用实例级点特征和成对几何描述符[27 (https://arxiv.org/html/2606.27412#bib.bib27),26 (https://arxiv.org/html/2606.27412#bib.bib26),32 (https://arxiv.org/html/2606.27412#bib.bib32),39 (https://arxiv.org/html/2606.27412#bib.bib39),40 (https://arxiv.org/html/2606.27412#bib.bib40)]。近期方法从不同角度推进了3DSGG。VL-SAT[30 (https://arxiv.org/html/2606.27412#bib.bib30)]引入了视觉-语言语义辅助训练，多模态oracle在训练期间将视觉和语言知识迁移到3D模型，而推理仅使用3D输入。OCRL[11 (https://arxiv.org/html/2606.27412#bib.bib11)]强调通过对象中心对比预训练进行判别性对象表示学习，表明更强的对象特征有利于对象分类和关系预测。其他近期工作通过分割引导的特征聚合和统计置信度重评分改进基于RGB的3DSGG[36 (https://arxiv.org/html/2606.27412#bib.bib36)]，或探索场景图级对齐用于下游配准[20 (https://arxiv.org/html/2606.27412#bib.bib20),33 (https://arxiv.org/html/2606.27412#bib.bib33),4 (https://arxiv.org/html/2606.27412#bib.bib4)]。开放词汇和基于VLM/LLM的3D场景图方法，以及动态3D高斯泼溅表示[29 (https://arxiv.org/html/2606.27412#bib.bib29)]，进一步研究超出封闭谓词集的泛化和视角不变图构建[13 (https://arxiv.org/html/2606.27412#bib.bib13),10 (https://arxiv.org/html/2606.27412#bib.bib10),5 (https://arxiv.org/html/2606.27412#bib.bib5),16 (https://arxiv.org/html/2606.27412#bib.bib16)]。

尽管取得了这些进展，现有3DSGG方法在很大程度上忽视了偏航视角变化下的谓词级变换异质性，并且通常在共享的基准标签空间中预测所有谓词，而不区分应保持稳定的关系和应变换的关系。我们将这种异质性识别为视角鲁棒3DSGG的关键因素，并通过一个变换感知的关系建模框架来解决它，该框架在保留统一多标签谓词预测的同时，解耦了偏航不变和方向敏感的关系线索。

### 2.2 旋转鲁棒关系建模

关系建模是场景图生成的核心。在2D SGG中，先前的工作研究了情境化关系预测、去偏、二分图消息传递和知识引导推理，以解决长尾谓词和语义歧义[38 (https://arxiv.org/html/2606.27412#bib.bib38),23 (https://arxiv.org/html/2606.27412#bib.bib23),24 (https://arxiv.org/html/2606.27412#bib.bib24),14 (https://arxiv.org/html/2606.27412#bib.bib14),37 (https://arxiv.org/html/2606.27412#bib.bib37),6 (https://arxiv.org/html/2606.27412#bib.bib6)]。在3DSGG中，谓词预测通常被表述为有向对象对上的多标签分类，其中对象特征与边特定的几何描述符（如位移、距离、方向和尺度比）相结合[27 (https://arxiv.org/html/2606.27412#bib.bib27),39 (https://arxiv.org/html/2606.27412#bib.bib39),30 (https://arxiv.org/html/2606.27412#bib.bib30)]。同时，旋转等变和旋转不变表示学习在几何深度学习中被广泛探索[3 (https://arxiv.org/html/2606.27412#bib.bib3)]，包括E(2)和SE(3)上的群等变网络[7 (https://arxiv.org/html/2606.27412#bib.bib7),31 (https://arxiv.org/html/2606.27412#bib.bib31),25 (https://arxiv.org/html/2606.27412#bib.bib25),9 (https://arxiv.org/html/2606.27412#bib.bib9),35 (https://arxiv.org/html/2606.27412#bib.bib35)]、SO(3)等变点云模型如Vector Neurons[8 (https://arxiv.org/html/2606.27412#bib.bib8)]，以及旋转不变表示或描述符[21 (https://arxiv.org/html/2606.27412#bib.bib21),18 (https://arxiv.org/html/2606.27412#bib.bib18)]。

这些工作启发了变换感知表示设计，但主要集中在点级或对象级稳定性，而非谓词级关系行为。我们并没有对所有谓词施加统一的SO(3)不变性或等变性约束，而是聚焦于重力对齐的3DSGG，其中方向性谓词应随偏航框架变化，而大多数其他谓词应保持稳定。TAD通过使用变换特异性描述符、参数解耦分支和分组感知监督来解耦关系推理，同时保留统一的多标签预测，从而解决了这一差距。

## 3 方法

### 3.1 问题形式化

给定一个3D点云P∈R^(N×3)和类别无关的实例掩码M={Mi}_{i=1}^K，我们的目标是预测一个有向3D场景图G=(V,E)。每个节点vi∈V表示一个带有标签oi的对象实例，每个有向边eij∈E编码从主体i到目标j的谓词。令Crel表示谓词词汇表，Nrel=|Crel|表示其基数。模型预测对象logit ôi和谓词logit sij∈R^(Nrel)。由于3DSSG关系是多标签的，每个边由一个多热向量yij∈(0,1)^(Nrel)监督。

我们考虑重力对齐室内场景中的完整场景3DSGG，其中物理场景和实例掩码是固定的，而输入点云在偏航旋转的观察框架中表示。我们评估四个基本偏航旋转Θ={0°,90°,180°,270°}，它们构成了水平观察框架的离散C4轨道。与任意偏航角不同，这些旋转将水平轴相互映射，因此引入了方向性谓词的精确、与几何无关的置换。它们还将90°和270°的轴交换情况与180°的轴内反转区分开来。在此协议下，与重力相关的、接触的和语义的谓词预计保持稳定，而依赖于观察框架的谓词应与水平轴一起变换。因此，我们将谓词集划分为方向性谓词Cdir={left, front, right, behind}和偏航不变谓词Cinv=Crel \ Cdir。对于偏航旋转θ，期望的谓词变换为：对于r∈Cdir，Tθ(r)=Πθ(r)；对于r∈Cinv，Tθ(r)=r。