群等变Poincaré卷积网络

# 群等变庞加莱卷积网络
来源：https://arxiv.org/html/2607.00556
11机构：东英吉利大学计算科学学院，诺里奇 NR4 7TJ，英国
11邮箱：aiden\.durrant@uea\.ac\.uk
22机构：特罗姆瑟大学 – 挪威北极大学物理与技术系，NO\-9037，特罗姆瑟，挪威
22邮箱：rahul\.baburajan@uit\.no,22邮箱：georgios\.leontidis@uit\.no###### 摘要

尽管近期如庞加莱残差网络等进展已展示了直接在双曲空间学习视觉表示的潜力，但其优化仍受限于黎曼梯度的计算密集性和流形的严格边界。此外，标准双曲网络将同一物体的空间变换视为不同的层次概念，导致参数冗余和信号消失。我们提出等变庞加莱残差网络，将双曲几何与离散对称群（\(C_4\) 和 \(D_4\)）相结合。我们识别了将欧几里得等变性应用于双曲空间的关键障碍，并提出了几何安全的张量重塑、用于双曲群卷积的左正则置换，以及联合方向庞加莱中点批归一化。实验表明，嵌入等变性大幅缩减了优化空间，加速收敛的同时尊重庞加莱球的边界约束并保持空间-群等变性。

## 1 引言

双曲空间中的深度学习在嵌入具有最小失真的层次视觉数据方面展现出强大能力 [krioukov2010hyperbolic, atigh2022hyperbolic, mishra2026hyperbolic]。近期庞加莱残差网络的引入进一步拓展了这一边界，使得从像素级开始完全在庞加莱球内学习视觉表示成为可能 [van2023poincare]。然而，在黎曼流形上优化深度卷积网络带来了显著挑战：参数空间受到严格约束，沿曲率移动需要计算昂贵的操作，例如指数映射和弗雷歇均值估计。

当前双曲视觉网络的一个关键低效之处在于无法固有地识别空间对称性。网络将旋转了90度的物体视为全新的层次概念，迫使优化器花费昂贵的黎曼梯度步骤来学习冗余表示。在欧几里得空间中，解决此问题的一种方法是通过群等变卷积网络 [cohen2016group]。这类网络已被证明具有很高的数据效率 [bietti2021sample]，因此我们提出，双曲网络的计算开销可以通过使用对称先验得到一定程度的缓解。

在本文中，我们研究如何将 \(C_4\)（旋转）和 \(D_4\)（旋转和反射）空间-群等变性直接嵌入到基于庞加莱值特征场的庞加莱残差网络中。由于特征拼接和通道操作的非欧几里得性质，将等变性迁移到双曲空间是高度非平凡的。我们提出三个主要贡献以实现等变庞加莱残差网络：（i）引入几何安全的 \(\beta\) 缩放公式，用于展平和还原庞加莱张量，从而在解耦方向通道时不会违反流形的期望范数。（ii）通过将基点切空间滤波器投影经过离散对称变换和左正则置换，构建了双曲提升卷积和群卷积。（iii）将庞加莱中点批归一化扩展为在群方向上联合操作，防止归一化步骤破坏已学习的等变性。

## 2 背景与相关工作

#### 2.0.1 双曲计算机视觉

具有恒定负曲率的双曲空间具备内在能力，可以任意低失真地嵌入复杂的树状结构 [krioukov2010hyperbolic, nickel2017poincare]。因此，在连续空间中表示层次关系自然地适合双曲空间。双曲表示学习在自然语言处理 [tifrea2018poincar, ganea2018hyperbolic, le2019inferring]、图网络 [chami2019hyperbolic, naddeo2026hyperbolic] 和推荐系统 [zhang2026hmamba, Tran2018HYPERML] 中对连续层次建模取得了显著成功。

计算机视觉社区开始更积极地利用双曲几何，证实了图像数据和标签都包含潜在的层次结构。双曲图像嵌入的引入因而改进了不确定性量化和少样本学习 [krioukov2010hyperbolic]。后续工作成功地将双曲方法扩展到度量学习、零样本识别、视频动作识别 [long2020searching] 以及部分-整体图像分割 [vlasenkohyperbolic, mishra2026hyperbolic, atigh2022hyperbolic]。然而，一个关键限制依然存在：这些方法绝大多数将双曲操作限制在最后的嵌入或分类器空间中。视觉表示本身仍通过标准欧几里得网络学习，在早期特征提取时丢弃了几何优势 [van2023poincare]。尽管近期庞加莱残差网络 [van2023poincare] 的引入为直接从像素级进行端到端双曲视觉学习铺平了道路，但优化这些深度网络仍然具有挑战性。它们依赖于计算昂贵的操作，如弗雷歇均值近似 [lou2020differentiating]，且目前缺乏识别空间对称性所需的结构性归纳偏置。相关双曲预备知识见附录0.A.1 (https://arxiv.org/html/2607.00556#Pt0.A1.SS1)。

#### 2.0.2 等变深度学习

等变机器学习从根本上利用数据中的结构对称性，用已知先验约束模型。这种几何归纳偏置一贯带来更好的泛化性 [elesedy2021provably, petrache2023approximation]、可解释性 [bogatskiy2024explainable] 和计算效率 [bietti2021sample]。从理论角度看，强制这些对称性通常涉及参数共享机制。诸如 [ravanbakhsh2017equivariance] 等工作探索了设计模型参数以反映离散群作用上的等变性，而近期的正则化方案则直接鼓励权重共享以在低数据 regime 中诱导对称性 [shakerinava2024weight]。除卷积外，这种自下而上的方法已通过将任意离散和李矩阵群分解为有限生成元集扩展到了等变 MLP（EMLP）[finzi2021practical]。

由于从头设计等变架构可能耗时且计算昂贵，替代方案寻求通过帧平均 [puny2021frame]、概率对称化 [kim2023learning] 或可学习规范化 [kaba2023equivariance] 等技术，使群无关的通用逼近器具有等变性。此外，真实世界数据常表现出不完全对称性，这促使了对对称性破缺和松弛等变性的研究。这包括修改 EMLP 约束以处理破缺对称性 [kaba2023symmetry]，或引入融合空间不变性与基滤波器组线性组合的松弛群卷积 [elsayed2020revisiting, wang2022approximately]。

尽管有这些广泛的架构进步，在视觉领域中，标准欧几里得卷积神经网络仍主要依赖固有的空间平移等变性。它们缺乏对其他基础几何对称性的鲁棒性，迫使网络消耗参数来学习不同朝向物体的冗余滤波器。群等变卷积网络 (G-CNN) [cohen2016group, kondor2018generalization, weiler2018learning] 通过将等变性正式扩展到离散对称群（如循环群 \(C_4\)（离散旋转）和二面体群 \(D_4\)（旋转和反射））解决了这一问题。通过系统地变换滤波器并通过左正则置换路由特征图，G-CNN 保证了输入的几何变换与特征空间中的可预测移位精确关联。

然而，将严格群等变性嵌入双曲神经网络仍然是一个复杂且未解决的挑战。正如 [huang2024lorentz] 所指出的，双曲空间中的对称表示遭受严重的几何失真，使得严格保持等变性变得关键。不幸的是，现有架构常通过无约束的切空间投影不经意地破坏这些对称性 [huang2024lorentz]。此外，将欧几里得群卷积直接迁移到庞加莱球受到流形刚性边界的阻碍。用于生成等变特征图的标准欧几里得机制——如无约束张量拼接、解耦和重塑——会人为地膨胀陀螺向量幅度，不可避免地推动结果特征超出有效流形。虽然近期的理论框架引入了像 \(\beta\) 拼接这样的结构保持操作来稳定基本的双曲特征聚合 [shimizu2020hyperbolic]，但这些机制尚未适应于处理对称保持所需的离散代数路由。因此，在该领域建立真正的等变性需要对提升层、群卷积和批归一化进行根本重构，以同时满足离散群对称性和非欧几里得几何约束。

## 3 群等变庞加莱卷积

非欧几里得图像分类中的一个基本挑战是在缺乏空间对称性结构先验的情况下实现高样本效率。没有这些先验，双曲网络会在多个朝向上冗余学习语义概念，加剧其本已高昂的计算开销 [van2023poincare]。我们形式化了双曲神经网络中的严格群等变性作为基础概念验证，重点关注循环群 \(C_4\) 和二面体群 \(D_4\)。这些代表了方形像素网格的自然对称性，可在无插值伪影的情况下实现完美几何变换 [cohen2016group]。

在标准欧几里得残差网络中，权重层主要由空间卷积后跟批归一化组成。为了构建等变庞加莱块，不能直接应用这些操作。相反，我们必须重构提升卷积、群卷积和批归一化技术，以同时尊重对称群 \(G\) 的代数结构和庞加莱流形 \(\mathbb{B}_c^n\) 的几何约束。

### 3.1 几何安全的张量还原（\(\beta\) 缩放）

在欧几里得等变网络中，群结构化特征图的生成严重依赖于张量的无约束拼接、重塑和解耦（例如，将大小为 \(\|G\| \times C\) 的展平向量变回 \(\|G\|\) 个大小为 \(C\) 的方向）。然而，将这些标准欧几里得重塑操作直接应用于庞加莱向量在几何上是无效的，因为朴素的拼接会人为地膨胀向量幅度，不可避免地推动结果向量超出流形的有效边界。

为解决此限制，[shimizu2020hyperbolic] 引入了 \(\beta\) 拼接，一种在拼接阶段基于 Beta 函数比率动态收缩向量的机制，以保持庞加莱范数的数学期望。为了建立等变性，我们需要显式地反转此缩放过程。虽然双曲拼接不存在真正的等距还原操作，但我们提出了一个数值稳定的逆 \(\beta\) 分割。这使得我们可以在保持特征语义幅度期望的同时分离空间通道和群通道。

对于拼接后的庞加莱输出向量 \(y_{\text{flat}}\)，我们首先通过对数映射将其映射回原点处的局部平坦切空间，定义几何安全的还原操作：

\(t = \log_0^c(y_{\text{flat}})\)

一旦投影到欧几里得切空间中，几何边界被临时解除，使我们能够安全地将维度从 \((B, \|G\| \times C, H, W)\) 解耦为 \((B, \|G\|, C, H, W)\)。

由于初始前向操作原生地应用了 \(\beta\) 缩放来合并通道，这些向量的真实长度仍然被人为扭曲。因此，我们必须恢复解耦后的切向量 \(t_{\text{decoupled}}\) 的幅度，以使其在空间聚合前准确反映原始语义范数。其中 \(\beta_n\) 通过对数伽马函数 [shimizu2020hyperbolic] 计算以防止浮点下溢：

\(\beta_n = B\left(\frac{n}{2}, \frac{1}{2}\right) = \exp\left(\log\Gamma\left(\frac{n}{2}\right) + \log\Gamma(0.5) - \log\Gamma\left(\frac{n}{2} + 0.5\right)\right)\)

对于通道维度 \(C\) 和群大小 \(\|G\|\)，结构恢复后的切张量 \(t_{\text{group}}\) 计算为：

\(t_{\text{group}} = t_{\text{decoupled}} \cdot \frac{\beta_C}{\beta_{\|G\| \times C}}\)

最后，我们将该张量转置为目标布局 \((B, C, \|G\|, H, W)\)。然后使用指数映射将结构化向量投影回庞加莱球：

\(y_{\text{group}} = \exp_0^c(t_{\text{group}})\)

这一序列确保了离散群方向被显式分离。虽然不是严格的几何等距，但此稳定的逆 \(\beta\) 分割限制了幅度恢复以保持范数的数学期望，从而防止深度前向传播过程中流形边界违反。

### 3.2 庞加莱提升卷积

等变网络的初始层必须执行基到群的映射，通常在几何深度学习中被形式化为提升卷积，以将输入数据从标准空间域 \(\mathbb{Z}^2\) 投影到群结构化域 \(G\)。直接在庞加莱陀螺向量上应用旋转需要复杂且计算昂贵的莫比乌斯变换，我们完全在切空间内构建对称滤波器组。

形式上，网络的输入可视为一个特征场 \(f: \mathbb{Z}^2 \rightarrow \mathbb{B}_c^d\)。在此上下文中，等变性严格定义为空间-群等变性：群作用 \(g \in G\) 变换空间域并规定方向通道的左正则置换，而特征向量本身在数学上仍固定为庞加莱值表示。我们定义一个 \(C_4\) 或 \(D_4\) 庞加莱提升卷积，将输入特征图 \(x \in \mathbb{B}_c^{C_{\text{in}}}\) 映射到扩展输出空间 \(y \in \mathbb{B}_c^{\|G\| \times C_{\text{out}}}\)。