LieBN: 李群上的批量归一化

# LieBN: 李群上的批归一化

来源: https://arxiv.org/html/2607.08783

Ziheng Chen, Yue Song, Rui Wang, Xiao\-Jun Wu, 和 Nicu Sebe

Ziheng Chen和Nicu Sebe就职于意大利特伦托大学信息工程与计算机科学系。Yue Song就职于美国加州理工学院计算与数学科学系。Rui Wang和Xiao\-Jun Wu就职于中国江南大学人工智能与计算机科学学院。电子邮件: ziheng\_ch@163\.com, yuesong@caltech\.edu, niculae\.sebe@unitn\.it, \{cs\_wr, wu\_xiaojun\}@jiangnan\.edu\.cn。

###### 摘要

流形值测量在各类机器学习任务中普遍存在。近期的研究将深度神经网络（DNN）扩展到流形上操作，并伴随有适应不同几何结构的归一化技术，统称为黎曼归一化。然而，现有的大多数黎曼归一化方法要么是为特定流形设计的，要么无法有效归一化流形值样本分布。为了解决这些局限性，我们提出了 LieBN，一个用于李群上黎曼批归一化（RBN）的框架。我们的方法利用了理论上便利的左、右不变度量（每个李群天然具备），并为控制黎曼均值和方差提供了理论保证。我们在九种不同的几何结构上实例化了 LieBN：对称正定（SPD）流形上的四种，旋转矩阵群上的一种，以及满秩相关矩阵流形上的四种。值得注意的是，在 SPD 度量中，我们引入了一种新颖的右不变度量，并通过矩阵幂变形扩展了三种现有的李群结构。在不同流形上的大量实验验证了我们框架的有效性。代码可在https://github.com/GitZH-Chen/LieBN.git获取。

###### 索引术语：黎曼批归一化，李群，对称正定矩阵，旋转，相关矩阵。

## 1 引言

看图说明图 1：LieBN 在 SPD、旋转和相关李群上的示意图。2×22\\times 2 的 SPD 流形、3×33\\times 3 的旋转流形和 3×33\\times 3 的相关流形可以分别嵌入到 R3\\mathbb\{R\}^\{3\} 中，作为一个开放锥体[88]、一个对对径点进行识别的闭球[39]以及一个开放椭圆体[72]。LieBN 通过以下方式说明：(1) SPD 流形上的左不变 AIM 和提出的右不变 CRIM 几何结构，(2) 旋转流形上在双不变度量下的左或右平移，(3) 相关流形上的双不变 ECM 和 LSM 几何结构。在 SPD 和相关流形上，相同输入样本的批均值和方差在不同几何结构下有所不同。所有子图中，黑点、蓝点、绿点和红点分别表示空间的边界、输入的李群样本、归一化后的样本和批均值。如图所示，我们的 LieBN 有效地归一化了李群分布。

在过去的十多年里，深度神经网络（DNN）在各个科学领域取得了显著进展[42,53,40,78]。传统上，DNN 的研发基于输入数据潜在空间是欧几里得空间的假设。然而，许多应用涉及非欧几里得结构，例如流形[12]。为了应对这一挑战，研究人员基于黎曼几何理论将各种类型的 DNN 扩展到了流形上[43,44,45,34,16,14,84,29,83,26,19,89,22,20,82,81,62,24,23]。受归一化技术巨大成功的启发[46,4,77,87]，研究人员试图设计适用于流形值数据的归一化层。Brooks *等人* [13] 引入了专为对称正定（SPD）流形设计的黎曼批归一化（RBN），能够归一化黎曼均值。Kobler *等人* [51] 扩展了这种方法，以进一步控制黎曼方差。

然而，上述方法局限于 SPD 流形上的仿射不变度量（AIM），限制了其适用性。
另一方面，Chakraborty [17] 提出了两种不同的黎曼归一化框架：一种用于黎曼齐次空间[17, 算法 1-2]，另一种用于矩阵李群[17, 算法 3-4]。
尽管如此，为黎曼齐次空间设计的归一化既不能归一化均值也不能归一化方差，而为矩阵李群设计的归一化则局限于特定类型的距离[17, 第 3.2 节]。
与此同时，Luo [58, 算法 2] 提出了一种用于一般几何结构的 RBN 层。然而，类似于[17, 算法 1-2]，它缺乏归一化样本统计量的理论保证。因此，一个能够同时控制黎曼均值和方差的原则性黎曼归一化框架仍有待探索。鉴于批归一化（BN）[46] 是各种归一化的基础原型，本文聚焦于 RBN，并有可能扩展到其他归一化变体。

由于一些流形值测量构成李群，例如对称正定（SPD）流形[3,56,72]、特殊正交群 SO\(n\)\\mathrm\{SO\}\(n\)[11] 以及满秩相关矩阵[72,75]，我们进一步将注意力集中在李群上。由于每个李群天生就容许左不变和右不变度量[32, 第 1.2 章]，我们提出了一个在不变度量下用于李群的 RBN 原则性框架，称为 LieBN。与先前工作相比，我们的框架为在一般李群上归一化黎曼样本均值和方差提供了理论保证。在实证上，我们关注 SPD、特殊正交和满秩相关流形。在 SPD 流形上，我们通过矩阵幂变形将三种现有的李群结构推广为参数化的形式。此外，我们提出了一种新颖的右不变度量，据我们所知，这是第一个非平凡的右不变 SPD 度量111尽管某些度量是双不变的，但相关的群结构是可交换的[3,56]。因此，它们的双不变性退化为了左不变性。，称为 Cholesky 右不变度量（CRIM）。然后，我们在 SPD 流形上在这四种李群结构下实例化我们的 LieBN 框架。对于旋转矩阵，我们采用流行的双不变度量[11]，这将引出两种 LieBN：一种关于左不变性，另一种关于右不变性。在相关流形上，我们在四种最近发展的相关几何结构[72,75]下实现了我们的 LieBN。此外，我们讨论了涉及的相关值参数的优化。为了便于使用，我们提供了一个与 PyTorch 兼容的 LieBN 工具包，可以作为即插即用模块使用。

图 1 展示了我们的 LieBN 在不同几何结构上的应用，而图 2 展示了一个最小示例。在 SPD、旋转和相关流形上的广泛实验，涵盖三项任务——雷达识别、人体动作识别和脑电图（EEG）分类——证明了我们方法的有效性。

```python
from LieBN import LieBNSPD, LieBNRot, LieBNCor
from LieBN.Geometry.SPD import SPDMatrices
from LieBN.Geometry.Rotations import RotMatrices
from LieBN.Geometry.Correlation import Correlation

P_spd = SPDMatrices(n=5).random(4, 2, 5, 5)
liebn_spd = LieBNSPD([2, 5, 5], metric="LEM", batchdim=[0])
output_spd = liebn_spd(P_spd)

P_so3 = RotMatrices().random(4, 2, 3, 3, 3)
liebn_so3 = LieBNRot([3, 3, 3], batchdim=[0, 1], is_left=False)
output_so3 = liebn_so3(P_so3)

P_cor = Correlation(n=5).random(4, 2, 5, 5)
liebn_cor = LieBNCor([2, 5, 5], metric="ECM", batchdim=[0])
output_cor = liebn_cor(P_cor)
```
图 2：应用 LieBN 的最小示例。

我们强调，我们的工作在理论上与[13,51,58]有根本区别，并且比[17]更通用。以前的 RBN 方法要么是为特定几何结构设计的[13,51,17]，要么无法同时控制均值和方差[58]。相比之下，我们的 LieBN 确保了在一般李群上对均值和方差的归一化。总之，我们的主要贡献是：

- • 一个通用的李群批归一化框架，可控制一阶和二阶矩；
- • SPD 流形上一个新颖的右不变度量，这是第一个非平凡的右不变 SPD 度量；
- • 我们的 LieBN 框架在不同几何结构上的具体实例化：SPD 流形上的四个，旋转矩阵上的一个，以及相关流形上的四个；
- • 通过在不同几何结构上进行的大量实验，验证了我们 LieBN 框架的有效性。

本文在理论和实现上扩展了我们之前的会议论文[21]。理论上，原始的 LieBN 框架局限于在左不变度量下的李群。然而，李群也自然容许右不变度量，其与左不变度量共享许多理论性质。因此，我们将 LieBN 推广到所有自然的不变度量，包括左、右和双不变度量，从而为 RBN 提供了一个更全面的框架。此外，我们在 SPD 流形上提出了一种新颖的非平凡右不变度量。在实现方面，除了最初应用于 SPD 和旋转矩阵之外，我们还进一步在四种相关几何结构上实现了 LieBN。此外，之前关于 SO\(3\)\\mathrm\{SO\}\(3\) 的 LieBN 仅基于左不变性，并在一个小数据集上进行了验证。相比之下，本期刊投稿将实现扩展到左和右不变性，并在多个数据集上进行了广泛的实验。

## 2 预备知识

本节简要回顾李群，以及具体的 SPD、旋转和满秩相关矩阵李群。更深入的讨论，我们推荐读者参考[76]了解光滑流形，[32,54]了解黎曼流形，以及[38]了解李群。

### 2.1 李群

###### 定义 2.1（李群[76]）。流形 M\\mathcal\{M\} 是一个李群，如果它构成一个群，且群操作 ⊙\\odot 使得 m\(⋅,⋅\):M×M∋\(x,y\)→x⊙y∈Mm\(\\cdot,\\cdot\):\\mathcal\{M\}\\times\\mathcal\{M\}\\ni\(x,y\)\\to x\\odot y\\in\\mathcal\{M\} 和群逆操作 i\(⋅\):M∋x→x⊙−1∈Mi\(\\cdot\):\\mathcal\{M\}\\ni x\\to x\_\{\\odot\}^\{-1\}\\in\\mathcal\{M\} 都是光滑的。

###### 定义 2.2（不变性[32]）。定义在群 \{M,⊙\}\\{\\mathcal\{M\},\\odot\\\} 上的黎曼度量 gLg^\{\\mathrm\{L\}\} 是左不变的，如果对于任意 x,y∈Mx,y\\in\\mathcal\{M\} 和 V1,V2∈TxMV\_\{1\},V\_\{2\}\\in T\_\{x\}\\mathcal\{M\}，满足 gyL\(V1,V2\)=gLx⁡\(y\)L\(Lx⁣∗,y⁡\(V1\),Lx⁣∗,y⁡\(V2\)\)g^\{\\mathrm\{L\}\}\_\{y\}\(V\_\{1\},V\_\{2\}\)=g^\{\\mathrm\{L\}\}\_\{\\operatorname\{L\}\_\{x\}\(y\)\}\\left\(\\operatorname\{L\}\_\{x\*,y\}\(V\_\{1\}\),\\operatorname\{L\}\_\{x\*,y\}\(V\_\{2\}\)\\right\)，其中 Lx⁡\(y\)=x⊙y\\operatorname\{L\}\_\{x\}\(y\)=x\\odot y 是由 xx 定义的左平移，Lx⁣∗,y\\operatorname\{L\}\_\{x\*,y\} 是 Lx\\operatorname\{L\}\_\{x\} 在 yy 处的微分映射。类似地，右不变度量 gRg^\{\\mathrm\{R\}\} 满足 gyR\(V1,V2\)=gRx⁡\(y\)R\(Rx⁣∗,y⁡\(V1\),Rx⁣∗,y⁡\(V2\)\)g^\{\\mathrm\{R\}\}\_\{y\}\(V\_\{1\},V\_\{2\}\)=g^\{\\mathrm\{R\}\}\_\{\\operatorname\{R\}\_\{x\}\(y\)\}\\left\(\\operatorname\{R\}\_\{x\*,y\}\(V\_\{1\}\),\\operatorname\{R\}\_\{x\*,y\}\(V\_\{2\}\)\\right\)，其中 Rx⁡\(y\)=y⊙x\\operatorname\{R\}\_\{x\}\(y\)=y\\odot x 是由 xx 定义的右平移，Rx⁣∗,y\\operatorname\{R\}\_\{x\*,y\} 是在 yy 处的微分。一个李群既是一个群也是一个流形。李群上最自然的黎曼度量是左不变或右不变度量222每个李群上都始终存在不变度量[32, 第 1.2 章]。双不变度量同时具有左不变性和右不变性。在本文中，\{M,⊙,g\}\\{\\mathcal\{M\},\\odot,g\\\}（缩写为 M\\mathcal\{M\}）始终表示带有一个不变度量的李群。拉回的思想在微分几何中无处不在，可以看作双射的自然对应物。

###### 定义 2.3（拉回度量[54]）。假设 M1,M2\\mathcal\{M\}\_\{1\},\\mathcal\{M\}\_\{2\} 是光滑流形，gg 是 M2\\mathcal\{M\}\_\{2\} 上的黎曼度量，且 f:M1→M2f:\\mathcal\{M\}\_\{1\}\\rightarrow\\mathcal\{M\}\_\{2\} 是一个微分同胚。由 ff 对 gg 的拉回按点定义为：

\(f∗g\)p\(V,W\)=gf\(p\)\(f∗,p\(V\),f∗,p\(W\)\)\(f^\{\*\}g\)\_\{p\}\(V,W\)=g\_\{f