何时以及如何规范化：一种泛化视角

# 何时以及如何标准化：一种泛化视角
来源: https://arxiv.org/html/2605.11008
Yonatan Sverdlov, 以色列理工学院 (Technion – Israel Institute of Technology)
& Benjamin Friedman, 以色列理工学院 (Technion – Israel Institute of Technology)
& Snir Hordan, 以色列理工学院 (Technion – Israel Institute of Technology)
& Nadav Dym, 以色列理工学院 (Technion – Israel Institute of Technology)
通讯作者，邮箱: [email protected], [email protected], [email protected], [email protected]

###### 摘要
虽然不变架构已成为处理对称数据的标准方法，但人们日益关注通过对非不变主干网络应用群平均或标准化（canonization）来实现不变性。然而，这些替代策略的理论泛化特性仍未得到充分理解。我们引入了一个理论框架，通过界定其覆盖数（covering numbers）来分析这些方法的泛化误差。我们确立了一个严格的泛化层级结构：标准化模型的误差上限最好情况下等于结构不变和群平均模型的误差上限，最坏情况下则等于非不变基线的误差上限。此外，我们证明了存在达到最优误差上限的“最优”标准化方法，也存在达到非不变误差上限的“较差”标准化方法，而这取决于标准化的正则性。最后，将该框架应用于点云处理中的置换群，我们严格证明了字典序排序的覆盖数随点云维度呈指数增长，而希尔伯特曲线标准化则保证了多项式增长。这为希尔伯特曲线序列化在最先进点云架构中的实证成功提供了首个正式的理论依据。我们以实验作为结尾，支持我们的理论主张。我们的代码发布于 https://github.com/yonatansverdlov/Canonization

## 1 引言

将几何先验整合到神经网络中已成为现代机器学习的基石，特别适用于涉及图、3D点云和分子结构的应用。在这些领域中，底层数据通常表现出固有的对称性，这意味着要学习的目标函数对特定的群作用具有不变性。利用这些对称性已知可以提高样本复杂性和泛化能力 [Elesedy (2021)](https://arxiv.org/html/2605.11008#bib.bib25); [Brehmer et al. (2025)](https://arxiv.org/html/2605.11008#bib.bib24)。

虽然专门设计的不变架构是处理对称数据的常见方法，但人们日益关注通过对非不变主干网络应用广义群平均方法来实现不变性。这类方法包括全群平均（full group averaging，理论上健全但除了极小的群外均难以计算）、群增强（group augmentation，可视为群平均的高效近似）、帧平均（frame averaging）[Puny et al. (2021)](https://arxiv.org/html/2605.11008#bib.bib19)（允许对群的子集进行不变平均），以及标准化（canonization）（将每个群轨道映射到单个一致的“规范”元素）。在所有广义群平均方法中，标准化是最为高效的，因为它仅涉及处理单个轨道代表。同时，它享有与全群平均相同的通用逼近保证 [Kaba et al. (2023)](https://arxiv.org/html/2605.11008#bib.bib20)。

这些观察促使研究者在多个不同领域定义标准化。这些领域包括：用于图谱嵌入的符号标准化 [Ma et al. (2023, 2024a)](https://arxiv.org/html/2605.11008#bib.bib18); [Hordan et al. (2025)](https://arxiv.org/html/2605.11008#bib.bib15)；图的标准化 [Lin et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib9)；以及点云的标准化 [Kaba et al. (2023)](https://arxiv.org/html/2605.11008#bib.bib20); [Baker et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib10); [Friedmann and Werman (2025)](https://arxiv.org/html/2605.11008#bib.bib16); [Zhou et al. (2026)](https://arxiv.org/html/2605.11008#bib.bib6)，其中包括著名的 Point Transformer V3 [Wu et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib21)；以及小分子 SMILES 表示的标准化 [Weininger et al. (1989)](https://arxiv.org/html/2605.11008#bib.bib12)。

在本文中，我们从泛化的角度对标准化进行了理论研究。我们的重点既在于将标准化与其他强制不变性的选项进行比较，也在于比较不同标准化的质量。我们的主要贡献有三方面：

1.  **标准化与群平均对比**：我们证明了标准化模型的泛化上限最好情况下等于群平均模型的上限，最坏情况下等于非不变模型的上限（第2节）。
2.  **标准化与连续性**：我们表明，连续的、等距的标准化能够达到群平均所实现的*最优*泛化误差，而不连续的标准化可能导致*较差*的标准化，其误差上限与非不变模型相同（第3节）。
3.  **希尔伯特标准化**：我们证明了通过字典序排序对点云进行置换标准化不如 Point Transformer V3 [Wu et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib21) 中使用的希尔伯特标准化，从而为该方法的经验成功确立了第一个理论依据（第4节）。

### 1.1 相关工作

#### 标准化与群平均
人们观察到，随机化 SMILES 往往优于标准化 SMILES [Arús-Pous et al. (2019)](https://arxiv.org/html/2605.11008#bib.bib13); [Bjerrum (2017)](https://arxiv.org/html/2605.11008#bib.bib11)（参见 [Ito et al. (2026)](https://arxiv.org/html/2605.11008#bib.bib35)）。我们的第一个贡献为这一经验观察提供了理论依据。

#### 不连续性
[Dym et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib22); [Baker et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib10) 表明，在许多不变学习场景中，连续标准化在数学上是不可能的。[Tahmasebi and Jegelka (2025b)](https://arxiv.org/html/2605.11008#bib.bib7); [Lin and Levie (2026)](https://arxiv.org/html/2605.11008#bib.bib8) 试图缓解这一问题。我们的第二个贡献补充了这些工作，展示了标准化的不连续性如何损害标准化模型的泛化能力。

#### 不变性与泛化
许多论文考虑了不变模型的泛化分析 [Vasileiou et al. (2025)](https://arxiv.org/html/2605.11008#bib.bib4); [Petrache and Trivedi (2023)](https://arxiv.org/html/2605.11008#bib.bib3); [Maskey et al. (2025)](https://arxiv.org/html/2605.11008#bib.bib36); [Franks et al. (2024)](https://arxiv.org/html/2605.11008#bib.bib37)，但它们未考虑标准化。据我们所知，唯一考虑标准化泛化的论文是 [Tahmasebi and Jegelka (2025a)](https://arxiv.org/html/2605.11008#bib.bib5)。他们证明在某些设置下，标准化模型的*逼近误差*低于群平均模型，因此当模型获得足够样本时，标准化模型的*期望误差*可能更低。相比之下，我们的第一个结论是，群平均模型的*泛化误差上限*总是低于标准化模型的泛化误差上限。

### 1.2 符号约定

在整个论文中，我们将考虑度量空间 \((K, \rho)\)，其中 \(K\) 赋予群 \(G\) 的作用。我们假设度量是 \(G\) 不变的，即对于所有 \(x, y \in K\) 和 \(g \in G\)，有 \(\rho(g \cdot x, g \cdot y) = \rho(x, y)\)。

#### 商空间
我们将 \(x \in K\) 的轨道记为
\[ [x] = \{ g \cdot x \mid g \in G \} \]
并将商空间记为轨道空间 \(K/G := \{ [x] \mid x \in K \}\)。在这个空间上，我们定义度量 \(\rho_G([x], [y]) := \min_{g \in G} \rho(g \cdot x, y)\)，我们明确假设 \(\rho_G\) 定义中的最小值存在，这在大多数实际感兴趣的例子中都是成立的。这一假设以及 \(\rho\) 的 \(G\) 不变性保证了 \(\rho_G\) 是一个度量。我们称满足最后两段条件的三元组 \((K, \rho, G)\) 为*模*（module）。

**覆盖数**
令 \((K, \rho)\) 为度量空间。如果 \(\forall x \in K, \exists y \in C : \rho(x, y) \le \epsilon\)，则我们称 \(C \subset K\) 是 \(K\) 的 \(\epsilon\) 覆盖。存在基数为 \(N\) 的 \(\epsilon\) 覆盖的最小 \(N\) 称为 \(K\) 的 \(\epsilon\) **覆盖数**，记为 \(\mathcal{N}(K, \rho, \epsilon)\)。

#### 标准化
我们称 \(c: K \rightarrow K\) 为标准化，如果对于每个 \(x \in K\)：
(i) \(c(x) \in [x]\)，且
(ii) 所有 \(y \in [x]\) 满足 \(c(y) = c(x)\)。
我们有时使用 canon. 作为标准化的缩写。

## 2 泛化、标准化与群平均

我们对标准化和其他不变模型的泛化特性的讨论基于 [Xu and Mannor (2012)](https://arxiv.org/html/2605.11008#bib.bib26) 中通过度量性质（如 Lipschitz 连续性和覆盖数）研究泛化的流行框架。我们首先简要回顾这一框架。

考虑从有限个 \(n\) 样本集 \(S = \{(x_i, f(x_i) \mid i=1, ..., n)\}\) 中学习未知函数 \(f: X \rightarrow Y\) 的监督学习问题。假设我们有一些算法（例如，梯度下降），给定 \(S\) 后返回一个假设 \(h_S: X \rightarrow Y\)。令 \(l: Y \times Y \rightarrow \mathbb{R}\) 为一个将用作损失函数的函数。**期望损失** \(\mathcal{L}\) 和**经验损失** \(\mathcal{L}_{\mathrm{emp}}\) 定义为：

\[
\mathcal{L}_{\mathrm{exp}}(h_S) \triangleq \mathbb{E}_{x \sim \mu} l(h_S(x), f(x)), \quad \mathcal{L}_{\mathrm{emp}}(h_S) \triangleq \frac{1}{n} \sum_{i=1}^n l(h_S(x_i), f(x_i))
\]

**泛化**误差衡量 \(h_S\) 在训练数据上的经验误差与其在数据分布上的真实损失（期望损失）可能偏离的程度。它可以通过函数 \(h_S, f, l\) 的 Lipschitz 常数和定义域 \(X\) 的覆盖数进行界限约束，如下所示：

###### 定理 2.1.
*[证明见附录 A.1，基于 Xu and Mannor (2012)]*
令 \((X, \rho)\) 和 \((Y, \rho_Y)\) 为度量空间，并假设 \(X\) 是紧致的。令 \(f: X \rightarrow Y\) 为 \(c_f\) Lipschitz 函数，令 \(l: Y \times Y \rightarrow [0, M]\) 为 \(c_l\) Lipschitz 函数。那么对于任何 \(\epsilon, \delta > 0\) 和自然数 \(n\)，对于由分布 \(\mu\) 的 \(n\) 次独立同分布（IID）抽取生成的训练样本集 \(S\)，以至少 \(1-\delta\) 的概率，我们有：

\[
\|\mathcal{L}_{\mathrm{exp}}(h_S) - \mathcal{L}_{\mathrm{emp}}(h_S)\| \le 2 c_l (c_{h_S} + c_f) \epsilon + M \sqrt{\frac{2 \mathcal{N}(X, \rho, \epsilon) \ln 2 + 2 \ln(1/\delta)}{n}}
\]

其中 \(c_{h_S}\) 表示 \(h_S\) 的 Lipschitz 常数。

我们现在将此定理应用于所学函数 \(f\) 对群作用不变的场景。我们的关注点在于我们有一个非不变 Lipschitz 主干 \(\tilde{h}\)，并考虑三种类型的模型：(i) 不整合对称性的模型 \(h = \tilde{h}\)，(ii) 通过标准化整合对称性的模型 \(h = \tilde{h} \circ c\)，以及 (iii) 通过群平均整合对称性的模型 \(h(x) = \int_G \tilde{h}(gx) dg\)。在这种设置下，平均函数 \(h\) 是不变的，并且具有与 \(\tilde{h}\) 相同的 Lipschitz 常数（见附录中的命题 A.2）。下面的命题适用于任何 Lipschitz 不变模型，无论是通过平均还是通过专门的不变模型获得的：

###### 命题 2.2.
*[证明见附录 A.1]*
令 \((K, \rho, G)\) 为一个模。令 \((Y, \rho_Y)\) 为度量空间，并假设 \(K\) 是紧致的。令 \(f: K \rightarrow Y\) 为 \(c_f\) Lipschitz 函数且是 \(G\) 不变的，令 \(l: Y \times Y \rightarrow [0, M]\) 为 \(c_l\) Lipschitz 函数，那么对于任何 \(\epsilon, \delta > 0\) 和自然数 \(n\)，对于由分布 \(\mu\) 的 \(n\) 次 IID 抽取生成的训练样本集 \(S\)，以至少 \(1-\delta\) 的概率，我们有：

\[
\|\mathcal{L}_{\mathrm{exp}}(h_S) - \mathcal{L}_{\mathrm{emp}}(h_S)\| \le 2 c_l (c_{h_S} + c_f) \epsilon + M \sqrt{\frac{2 \mathcal{N}(h_S) \ln 2 + 2 \ln(1/\delta)}{n}}
\]

其中

\[
\mathcal{N}(h_S) =
\begin{cases}
\mathcal{N}(K, \rho, \epsilon) & \text{如果 } h_S \text{ 是 } c_{h_S} \text{ Lipschitz} \\
\mathcal{N}(c(K), \rho, \epsilon) & \text{如果 } h_S = \tilde{h}_S \circ c, \tilde{h}_S \text{ 是 } c_{h_S} \text{ Lipschitz, 且 } c \text{ 是标准化} \\
\mathcal{N}(K/G, \rho_G, \epsilon) & \text{如果 } h_S \text{ 是 } c_{h_S} \text{ Lipschitz 且 } G \text{ 不变}
\end{cases}
\tag{1}
\]

###### 证明思路。
对于没有任何不变结构的 Lipschitz 函数 \(h_S\) 的主张，直接从定理 2.1 得出。对于形式为 \(h_S = \tilde{h}_S \circ c\) 的函数，当将定义域 \(K\) 替换为 \(c(K)\) 并将函数 \(h_S\) 替换为 \(\tilde{h}_S\) 时，主张从定理 2.1 得出。对于既是 Lipschitz 又是 \(G\) 不变的 \(h_S\) 的主张，源于这样一个事实：由于不变性，\(h_S, f\) 可以被识别为满足 \(\hat{h}_S([x]) = h_S(x), \hat{f}([x]) = f(x), \forall x \in K\) 的函数 \(\hat{h}_S, \hat{f}: K/G \rightarrow Y\)，且在识别后 Lipschitz 常数保持不变（见 [Siegele et al. (2026)](https://arxiv.org/html/2605.11008#bib.bib23) 中的引理 20）。∎

对于命题 2.2 中考虑的每种模型类型，一个 diff