几何代数层何时优于标量化？关于SO(3)-等变向量定律的受控研究

# 几何代数层何时胜过标量化？SO(3)-等变向量定律的受控研究
来源：https://arxiv.org/html/2607.06634

###### 摘要

由 Clifford 代数 Cl(3,0) 原语（分级等变线性映射、几何积、分级门）构建的紧凑网络恰好是 SO(3) 等变的，并能从少量样本中学习合成的 3D 向量定律。我们探究几何代数结构本身是否提供了超出精确等变性的任何优势。我们将它与一个最小标量化基线进行比较：不变点积被输入一个小型 MLP，该 MLP 输出等变基 {v_i, v_i×v_j} 上的系数，这也是精确等变的。在单阶段定律（轴角旋转、叉积、中心力）上，标量化以更少的训练成本与 Cl(3,0) 网络持平甚至更优，因此几何代数在此没有额外贡献。在组合型目标上，其计算图嵌套了群运算（将 R_2R_1 应用于一个点；通过方向映射局部力，然后取转矩），Cl(3,0) 网络在低数据场景下以数量级优势击败标量化：用 100 个样本达到基线用 3000 个样本才能达到的精度，并且该差距在增强基线（加入三重积不变性、参数增加 17 倍、外部 Vector Neurons 和 e3nn 基线以及乘性系数网络）后仍然存在。消融实验表明所需的网络深度与旋转链长度相关，而标量化在四个旋转的链上低于常数预测器。优势本身并非源自组合性：在一个无旋转的嵌套叉积上（可展平为多项式不变系数），标量化以 24 倍优势胜出。在转矩任务上，优势仅限于低数据场景，在约一千个样本附近出现交叉。没有任何测试模型（无论是否等变）能外推不变幅度：在半径和分离位移上，一旦误差归一化，每个模型的性能都低于常数预测器。我们得出结论：几何代数层并非 3D 低数据学习的通用捷径，而恰恰是在目标深度组合群元素时变得有用。

## 1 引言

许多 3D 学习问题需要与旋转交换的函数：预测的力、转矩或位移应随输入框架旋转。等变架构在参数化中编码了这一约束，小型演示通常显示其相比无约束网络具有显著的样本效率优势。然而，此类演示通常混淆了两个不同的效应：(a) 将假设类限制为等变函数，以及 (b) 所提出架构的特定参数化。效应 (a) 可通过一个平凡构造实现。根据经典不变量理论，向量 v_1,…,v_k 的每个 SO(3) 等变向量值函数可以写为 ∑_j c_j(不变量) b_j，其中 b_j 遍历输入及其两两叉积，c_j 是输入的 SO(3) 不变量的函数：两两点积以及（对于取向敏感的（手性）目标）标量三重积 v_a·(v_b×v_c)[14 (https://arxiv.org/html/2607.06634#bib.bib1)]。通过一个小型 MLP 学习 c_j 可得到一个精确等变模型，我们称之为 *标量化*。我们的基础标量化使用点积不变量；增强版本添加了三重积，而两个具有三个或更多输入的任务（二体、嵌套叉积）测试了这是否重要。

本文提出一个窄问题：由 Cl(3,0) 双线性层构建的小型几何代数网络是否提供了标量化所没有的任何东西？我们通过六个合成向量定律的受控基准、归一化度量、调优控制和增强基线变体来回答它。我们的贡献包括同等重要的负面和正面结果：

1. 1.在单阶段定律上（可通过一次等变交互计算：点的旋转、叉积、中心力），标量化以 13 到 19 倍的低训练成本与几何代数网络持平或更优（第 5 节 (https://arxiv.org/html/2607.06634#S5)，发现 2）。
2. 2.在组合型定律上（其计算图嵌套群运算：两个旋转的复合、局部到世界转矩），几何代数网络在低数据场景和角度偏移下以 3 到 16 倍优势胜出，并且该差距在基线的容量和特征增强下仍然存在；在转矩任务上，标量化在超过一千个样本后追赶上来（发现 3，图 1 (https://arxiv.org/html/2607.06634#S5.F1)）。
3. 3.没有任何测试模型能外推不变幅度。在径向分布外（OOD）分割上，每个模型（无论是否等变）在误差归一化后都低于常数预测器（发现 4）。未归一化的 MSE 隐藏了这一失败，我们认为这是等变性基准报告中的一个陷阱。

## 2 相关工作

等变深度学习在架构中编码群对称性 [5 (https://arxiv.org/html/2607.06634#bib.bib8),4 (https://arxiv.org/html/2607.06634#bib.bib13)]。对于 3D 旋转，不可约表示方法包括张量场网络 [13 (https://arxiv.org/html/2607.06634#bib.bib6)]、e3nn 框架 [10 (https://arxiv.org/html/2607.06634#bib.bib7)] 和可操控网络 [15 (https://arxiv.org/html/2607.06634#bib.bib9)]；更轻量级的构造包括 Vector Neurons [6 (https://arxiv.org/html/2607.06634#bib.bib2)] 和 E(n)-等变图网络 [12 (https://arxiv.org/html/2607.06634#bib.bib10)]。已知等变性可提高科学领域的数据效率 [1 (https://arxiv.org/html/2607.06634#bib.bib11)]。几何（Clifford）代数架构将输入嵌入为多向量，并使用几何积作为核心运算 [2 (https://arxiv.org/html/2607.06634#bib.bib3),11 (https://arxiv.org/html/2607.06634#bib.bib4),3 (https://arxiv.org/html/2607.06634#bib.bib5)]。在分析方面，Villar 等人 [14 (https://arxiv.org/html/2607.06634#bib.bib1)] 通过标量不变量刻画了等变函数，这直接启发了我们的标量化基线；Dym 和 Maron [8 (https://arxiv.org/html/2607.06634#bib.bib12)] 研究了旋转等变模型的普适性。与我们的基线最接近的是 Domina 等人 [7 (https://arxiv.org/html/2607.06634#bib.bib15)]，他们将等变目标表示为乘以小张量基的标量函数；与我们的几何模型最接近的是 GLGENN [9 (https://arxiv.org/html/2607.06634#bib.bib16)]，它构建了参数轻量的 Clifford 等变网络。与 GATr（将投影几何代数 transformer 扩展到大规模场景）不同，我们研究的是相反的一端：一个最小受控基准，用于隔离代数所贡献的内容。我们的贡献不是新架构，而是对几何积参数化相对理论已经提供的标量化构造何时会产生回报进行受控界定。

## 3 模型

所有模型将 6 或 9 个输入维度（两个或三个 3D 向量）映射到一个 3D 向量，并采用相同的训练方式：Adam、全批次、200 轮、学习率 5×10^{-3}、均方误差。对学习率和轮数的网格化（第 6 节 (https://arxiv.org/html/2607.06634#S6)）确认没有结论是这一选择的人为产物。

#### MLP（7.4k 参数）

对展平输入使用三个宽度为 58 的隐藏 ReLU 层。无约束参考。

#### MLP-Aug

相同 MLP，但采用 8 倍随机 SO(3) 数据增强，将所有输入向量和目标与同一旋转同步旋转。

#### 标量化（1.3k 到 1.5k 参数）

将 k 个输入向量的所有两两点积输入一个两层宽度为 32 的 MLP，输出每个基元素 {v_i} ∪ {v_i×v_j}_{i<j} 的一个系数；输出为系数加权和。精确 SO(3) 等变。对于 k=3，一个增强变体将标量三重积 v_1·(v_2×v_3) 添加到不变量中，使得取向敏感信息直接可供系数网络使用。

#### Vector Neurons（2.4k 到 2.6k 参数）

一个外部等变基线 [6 (https://arxiv.org/html/2607.06634#bib.bib2)]：通道为 3D 向量，线性层通过学习到的标量混合通道，VN-ReLU 非线性将每个特征投影到由学习方向定义的半空间。忠实于原始设计，输出位于输入通道的线性张成空间中，因此两个向量输入无法产生叉积。因此，我们也测试 VN-Cross，这是一种常见的实际修复方法，即将输入的成对叉积作为额外通道附加。

#### E3NN（6.6k 到 11k 参数）

第二个外部基线，由不可约表示张量积构建，这是 irreps 等变模型背后的标准构造 [13 (https://arxiv.org/html/2607.06634#bib.bib6),10 (https://arxiv.org/html/2607.06634#bib.bib7)]。输入是 l=1 的 irreps，每个块是自张量积，由标量通道门控并带等变 BatchNorm，每个输入向量的范数被扩展为一个小的高斯径向基作为额外标量通道输入。这种径向嵌入在 irreps 模型中是标准的 [1 (https://arxiv.org/html/2607.06634#bib.bib11)]，并且在此处是必要的：没有它，网络无法表示角度大小的函数，并且在旋转任务上仍比普通 MLP 更差。由于此基准是针对 SO(3) 而非完整的 O(3)，所有 irreps 使用单奇偶性，这避免了我们在混合奇偶性时观察到的通道修剪失败模式。

#### GeoBilinear（28k 参数）

输入嵌入为 Cl(3,0) 的多向量（每个通道 8 个分量：向量在 grade 1，轴角输入通过对偶在 grade 2）。三个堆叠块计算 gp(Ax, Bx) + Cx，其中 gp 是几何积，A、B、C 是多向量通道上的无约束线性映射，随后是分级范数门控和通道归一化。消融控制：无等变约束的几何积。

#### GeoEquivariant（2k 参数）

相同架构，但采用分级权重绑定（每个 grade 每对通道一个标量），这使得每一层都是精确 SO(3) 等变的。测得的相对等变误差为 2×10^{-7}，即 float32 极限。相比之下，增强 MLP 根据任务不同达 0.22 到 0.49。

## 4 任务与协议

除非另有说明，输入为标准正态分布。训练集和测试集使用不同的随机种子；分布外（OOD）分割使用不同的输入区域，并通过数值验证。每个配置五个种子；我们报告归一化均方误差（NMSE）：测试 MSE 除以测试目标上的常数均值预测器的 MSE。NMSE 1.0 等于平凡预测器。我们使用 NMSE，因为原始 MSE 在分布偏移下会产生误导：在远半径分割上，目标较小，因此失败的模型仍可能获得小的原始 MSE。

1. 1.旋转：(u, p) ↦ R(u) p，其中 u 为轴角向量。OOD：未见过的轴半球；未见过的角度范围 [π/2, π]（训练在 [0, π/2] 上）。
2. 2.叉积：(a, b) ↦ a × b。OOD：未见过的半球。
3. 3.中心力：(r, d) ↦ -r / (||r||^3 + 0.05)，带有干扰输入 d。OOD：半径 [1.25, 3]（训练在 [0.25, 1] 上）。
4. 4.二体力：(r1, r2) ↦ -(r1 - r2) / (||r1 - r2||^3 + 0.05)。OOD：分离 [2, 4]（训练在 [0.5, 1.5] 上）。
5. 5.复合旋转：(u1, u2, p) ↦ R(u2) R(u1) p。OOD：两个轴均未见过的半球。
6. 6.局部到世界转矩：(r, u, f) ↦ r × (R(u) f)，将局部力映射到世界坐标系并作用于杠杆臂，为最小机器人组合。OOD：未见过的轴半球；未见过的角度范围。

我们将任务 1 到 4 称为单阶段：其目标需要输入的一次等变交互，可能由不变量的学习函数调制。任务 5 和 6 是组合型的：其计算图嵌套了群运算。所有任务都在两个等变模型家族的预期逼近类中，并且两个家族在这些目标上都不存在对称性引起的表达性障碍，因此差异衡量的是优化行为和归纳拟合，而非硬性表达性差距。

## 5 结果

参考图注：图 1：组合型任务上的样本效率，NMSE 与训练集大小的关系，10 个种子的均值，阴影条带为一个标准差。在复合旋转上，n=100 时的几何网络已经优于 n=3000 时的标量化，且差距从未闭合。在转矩任务上，优势仅限于低数据：n≈1000 后标量化反超。参考图注：图 2：每个任务和模型的 NMSE 概览（对数刻度，5 个种子的均值，种子间误差条）。右侧面板为 OOD 分割：旋转和转矩的角度偏移，叉积和复合旋转的轴偏移，中心力的半径偏移，二体的分离偏移。虚线标记常数预测器。由 paper/make_figures.py 生成。

### 5.1 发现 1：精确等变性占主导，无论其构造方式

在 n=100 的旋转任务上，MLP 的 NMSE 为 0.53，增强 MLP 为 0.14，标量化为 0.011，GeoEquivariant 为 0.0036。增强减少了测得的等变误差（0.28 到 0.22），但在方向性 OOD 分割上仍比精确构造差 10 到 20 倍。此模式在所有六个任务上均成立（表 1 (https://arxiv.org/html/2607.06634#S5.T1)，表 2 (https://arxiv.org/html/2607.06634#S5.T2)）。

### 5.2 发现 2：在单阶段定律上，标量化已足够

表 1：单阶段任务，NMSE（均值 ± 5 个种子的标准差），200 轮。OOD 分割：旋转和叉积为轴偏移，中心力为半径偏移，二体为分离偏移。高于 1.0 的值比常数预测器更差；较大的 OOD 条目是真正的失败，因针对小远场目标的归一化而被放大。s/run 是每轮平均训练时间（CPU）。在 n=1000 的叉积上，标量化达到 NMSE 5.4×10^{-4}，而 GeoEquivariant 为 1.4×10^{-2}，差距 26 倍。通过适度的调优网格，标量化在旋转（4.7×10^{-4} vs 3.1×10^{-3}）和中心力（1.2×10^{-3} vs 7.3×10^{-3}）上也优于 GeoEquivariant。GeoEquivariant 在这些任务上趋于平稳，NMSE 约为 3×10^{-3} 到 1.4×10^{-2}。消融实验解释了这个平台期：移除 EquiNorm 使最佳种子在叉积上达到 9×10^{-5}，与最强基线持平，但训练变得不可靠（种子范围 10^{-4} 到 0.1，旋转上达到 1.1）。通道归一化以峰值拟合为代价换取了优化稳定性；移除 GradeGate 变化不大。外部基线进一步突出了情况：普通 Vector Neurons 在叉积上恰好处于平凡预测器（NMSE 1.00，