你的模型丢弃了什么以及为什么你会想找回：从被丢弃的几何结构看掩码、指纹识别和隐私保护

# 你的模型丢弃了什么以及为何你希望找回它们：基于丢弃几何结构的掩码、指纹识别与隐私保护

来源：https://arxiv.org/html/2607.13046

###### 摘要

我们为机器学习模型中因输入携带李群作用而被丢弃的信息建立了一个框架。给定李群 \(G\) 在空间 \(V\) 上的一个表示 \(\pi\) 以及一个学习到的函数 \(f: V \to \mathbb{R}\)，我们定义了两个用于度量 \(f\) 无法感知的对称性的对象。在点 \(x \in V\) 处的**零纤维** 定义为
\[
N_G(f,x) = \{ g \in G : f(\pi(g^{-1}) \cdot x) = f(x) \},
\]
即那些对 \(x\) 的逆作用无法被 \(f\) 检测到的群元素集合。当 \(N_G(f,x)\) 与 \(x\) 无关时，它等同于**稳定子** \(\operatorname{Stab}_G(f)\)，即 \(G\) 中使得 \(f\) 不变的最大子群。对于到 \(\mathbb{R}\) 的平滑映射，原像定理保证在一般输入处零纤维的维数至少为 \(\dim G - 1\)，与架构无关。对于作用于自身的紧群，彼得-韦尔定理给出了这两个对象在傅里叶系数矩阵意义下的谱刻画。我们证明，零纤维元素可以通过轨道映射上的牛顿迭代高效计算，代价与几次梯度求值相当。本文还开发了数据掩码、模型指纹识别和隐私保护计算等应用，并在 \( \mathrm{SO}(3) \) 下的分子性质预测和莫比乌斯群 \( \mathrm{PSL}(2,\mathbb{C}) \) 下的球面图像分类中进行了实验验证。该框架统一适用于经典神经网络和变分量子电路。

## 1 引言

大多数机器学习模型会丢弃关于输入的信息，而模型无法察觉的输入扰动集合构成了模型学会忽略什么的结构性签名。对于 \(\mathbb{R}^n\) 上的神经网络，这一想法由 Cook、Zare 和 Gader [13 (https://arxiv.org/html/2607.13046#bib.bib9),12 (https://arxiv.org/html/2607.13046#bib.bib2)] 提出，他们分析了各层权重矩阵的零空间投影，并将其用于分布外检测和模型可解释性。Li 和 Short [26 (https://arxiv.org/html/2607.13046#bib.bib3)] 随后研究了从输入到输出的整体映射 \(f: \mathbb{R}^n \to \mathbb{R}^m\) 的零空间，定义为所有满足 \(f(x+av)=f(x)\) 的方向 \(v \in \mathbb{R}^n\) 的集合（对所有输入 \(x\) 和标量 \(a\) 成立）。对于 ReLU 网络，该零空间等于第一层权重矩阵的核，可能非常大，其维数往往与输入空间本身相当。Li 和 Short 利用这一现象展示了一种引人注目的图像隐写术：替换图像的零空间分量会产生视觉上无法识别的图像，但网络却将其分类为相同类别。从安全通信的角度看，经过训练的网络无需修改即可充当解密密钥。这些结果依赖于 \(\mathbb{R}^n\) 的加法结构。扰动 \(x \mapsto x+av\) 是平移群的作用，而零空间是 \((\mathbb{R}^n,+)\) 的一个闭子群，继承了 \(\mathbb{R}^n\) 的线性结构。然而，更广泛地说，许多机器学习模型处理的数据会在群表示下变换 [21 (https://arxiv.org/html/2607.13046#bib.bib16),36 (https://arxiv.org/html/2607.13046#bib.bib17)]。点云和分子几何携带 \( \mathrm{SO}(3) \) 的表示 [37 (https://arxiv.org/html/2607.13046#bib.bib18)]；刚体构型携带 \( \mathrm{SE}(3) \) 的表示 [16 (https://arxiv.org/html/2607.13046#bib.bib19)]；图像在欧几里得群下变换；规范场构型在 \( \mathrm{SU}(N) \) 下变换 [3 (https://arxiv.org/html/2607.13046#bib.bib20),23 (https://arxiv.org/html/2607.13046#bib.bib21)]。几何深度学习 [5 (https://arxiv.org/html/2607.13046#bib.bib4),6 (https://arxiv.org/html/2607.13046#bib.bib1)] 和群等变网络 [4 (https://arxiv.org/html/2607.13046#bib.bib7),11 (https://arxiv.org/html/2607.13046#bib.bib5),18 (https://arxiv.org/html/2607.13046#bib.bib8),24 (https://arxiv.org/html/2607.13046#bib.bib6)] 领域的大量工作构建了尊重这些群作用的模型，这促使我们将零空间理论推广到表示论框架。在本文中我们完成了这一推广，并在此过程中识别出欧几里得情况所掩盖的一个概念性区别。

“模型丢弃的信息”有两种相关的含义。**稳定子**
\[
\operatorname{Stab}_G(f) = \{ g \in G : f(\pi(g^{-1}) \cdot x) = f(x) \text{ 对所有 } x \}
\]
在由 \(\pi\) 诱导的左正则作用下捕捉全局不变性，即无论输入如何 \(f\) 都无法感知的那些群元素。**零纤维**
\[
N_G(f,x) = \{ g \in G : f(\pi(g^{-1}) \cdot x) = f(x) \}
\]
捕捉逐点不变性，即在特定输入 \(x\) 处 \(f\) 无法感知的那些群元素。稳定子总是包含在每个零纤维中，因为 \(\operatorname{Stab}_G(f) = \bigcap_x N_G(f,x)\)，但可能小得多。这一区别很重要，因为稳定子往往是平凡的。相反，零纤维通常是大的。欧几里得情况之所以特殊，是因为对于所关注的函数类，这两个概念重合。对于第一层权重矩阵为 \(W_1\) 的 ReLU 网络，每个输入处的零纤维都是 \(N_G(f,x) = \ker(W_1)\)，与 \(x\) 无关。由于所有纤维都是 \((\mathbb{R}^n,+)\) 的同一个子群，稳定子 \(\operatorname{Stab}_G(f) = \bigcap_x N_G(f,x) = \ker(W_1)\) 等于每一个纤维。这种全局和逐点概念的坍缩是第一层的线性性以及 \(\mathbb{R}^n\) 的加法结构的结果，对于非阿贝尔群上的非线性模型不会持续存在。

零纤维和稳定子有互补的用途。作为度量，\(\operatorname{Stab}_G(f)\) 和 \(N_G(f,x)\) 量化了模型已学会的对称性、它强制执行的全局不变性以及在每个输入处表现出的逐点不变性——当数据的真实对称性只是近似的，并且我们希望从训练好的模型中恢复它时，这很有信息量。另一方面，相同的不变性允许我们改变输入而不改变输出，我们在此正是要开发后一种用例。

我们的主要结果包括：通过彼得-韦尔定理得到紧群上函数的零纤维和稳定子的谱刻画；一种基于梯度的算法，通过轨道映射上的牛顿迭代以 \(O(1)\) 次模型求值计算精确的零纤维元素；以及不需要稳定子非平凡即可实现的数据掩码、模型指纹识别和隐私保护计算应用。我们在 \( \mathrm{SO}(3) \) 下的分子性质预测和莫比乌斯群 \( \mathrm{PSL}(2,\mathbb{C}) \) 下的球面图像分类中实验验证了该框架，其中零纤维掩码使球面图像变得无法识别，同时保持分类器的预测不变。该理论统一适用于经典神经网络和变分量子电路 [1 (https://arxiv.org/html/2607.13046#bib.bib25),8 (https://arxiv.org/html/2607.13046#bib.bib22),20 (https://arxiv.org/html/2607.13046#bib.bib24),35 (https://arxiv.org/html/2607.13046#bib.bib23)]。

## 2 理论

设 \(G\) 是一个李群，\(\pi: G \to \mathrm{GL}(V)\) 是有限维空间 \(V\) 上的一个连续表示。在整个过程中，\(V\) 是群在其上光滑作用的连续表示空间，例如原子坐标空间或带限球谐系数空间。输入的离散渲染（如像素网格）是输入或输出格式，而非进行解析的空间，因为群作用和轨道映射定义在 \(V\) 上。设 \(f\) 是机器学习模型学到的 \(V\) 上的一个连续函数。我们考虑的模型输出实数值，因此取 \(f: V \to \mathbb{R}^m\)。当以下调和分析需要时，我们允许复值 \(f: V \to \mathbb{C}\)；由于 \(\mathbb{C} \cong \mathbb{R}^2\)，这仅改变了相关的余维数，将 \(m\) 替换为 \(2m\)。

###### 定义 1（零纤维）。函数 \(f\) 在 \(x \in V\) 处关于表示 \(\pi\) 的**零纤维** 为
\[
N_G(f,x) = \{ g \in G : f(\pi(g^{-1}) \cdot x) = f(x) \}.
\tag{1}
\]
零纤维是使得左正则作用 \((L_g f)(x) = f(\pi(g^{-1}) \cdot x)\) 在 \(x\) 处平凡作用的 \(g \in G\) 的集合。对所有 \(x \in V\) 取交集得到所有在左正则作用下固定函数 \(f\) 的 \(g \in G\) 构成的子群，这称为 \(f\) 的稳定子。

###### 定义 2（稳定子）。函数 \(f\) 关于 \(\pi\) 的**稳定子** 为
\[
\operatorname{Stab}_G(f) = \{ g \in G : f(\pi(g^{-1}) \cdot x) = f(x) \text{ 对所有 } x \in V \} = \bigcap_{x \in V} N_G(f,x).
\tag{2}
\]
稳定子和零纤维满足若干代数和几何性质，我们现在证明它们。

###### 命题 3. 设 \(f: V \to \mathbb{R}^m\) 连续。则
1.  \(\operatorname{Stab}_G(f)\) 是 \(G\) 的一个闭子群，
2.  对每个 \(x \in V\)，零纤维 \(N_G(f,x)\) 是 \(G\) 的一个闭子集，且包含 \(\operatorname{Stab}_G(f)\)，
3.  若 \(f\) 光滑且 \(e\) 是轨道映射 \(\phi_x(g) = f(\pi(g^{-1}) \cdot x)\) 的正则点，则在 \(e\) 的一个邻域内，\(N_G(f,x)\) 是 \(G\) 的一个光滑子流形，维数为 \(\dim(G) - m\)。

###### 证明。 (2) 定义连续映射 \(\phi_x(g) = f(\pi(g^{-1}) x)\)。则 \(N_G(f,x) = \phi_x^{-1}(f(x))\)，这是连续映射下闭集（一个点）的原像，因此是闭集。
(1) 为证稳定子是 \(G\) 的子群，观察到若 \(g,h \in \operatorname{Stab}_G(f)\)，则对所有 \(x \in V\) 有 \(f(\pi((gh)^{-1}) x) = f(\pi(h^{-1} g^{-1}) x) = f(\pi(h^{-1}) \pi(g^{-1}) x) = f(\pi(g^{-1}) x) = f(x)\)。此外，\(f(\pi(g) x) = f(\pi(g^{-1}) \pi(g) x) = f(x)\)，表明稳定子在逆作用下封闭。为证明稳定子在拓扑上闭，只需注意到由 (2) 每个零纤维都是闭集，而稳定子是零纤维的交集。
(3) 定义 \(\phi_x: G \to \mathbb{R}^m\) 为 \(\phi_x(g) = f(\pi(g^{-1}) \cdot x)\)，当 \(f\) 和 \(\pi\) 光滑时它也是光滑的，且 \(N_G(f,x) = \phi_x^{-1}(\phi_x(e))\)。若 \(e\) 是正则点，则 \(d\phi_x|_e: T_e G \to \mathbb{R}^m\) 是满射，由常秩定理，\(\phi_x\) 在 \(e\) 的某个邻域 \(U\) 上有秩 \(m\)。于是原像定理将 \(\phi_x^{-1}(\phi_x(e)) \cap U\) 实现为 \(G\) 的一个余维数为 \(m\) 的嵌入子流形，即维数为 \(\dim G - m\)。 ∎

稳定子不一定是 \(G\) 的正规子群，但当 \(G\) 是阿贝尔群时它自动正规。正规性失效的一个例子是 \( \mathrm{SO}(3) \) 作用于 \(\mathbb{R}^3\)，而 \(f\) 仅绕固定轴旋转不变。此时稳定子是 \( \mathrm{SO}(2)_{\hat{n}}\)，被 \(R \in \mathrm{SO}(3)\) 共轭会将其映到 \( \mathrm{SO}(2)_{R\hat{n}}\)，只要 \(R\) 移动了 \(\hat{n}\) 就是不同的子群。

命题 3 (https://arxiv.org/html/2607.13046#Thmtheorem3) 中的维数界限告诉我们，定义在 \(d\) 维表示上的模型 \(f: V \to \mathbb{R}\) 在一般点处的零纤维维数至少为 \(\dim G - 1\)。这是一个计数论证，而非架构假设。它对每个光滑模型成立，并保证即使稳定子平凡，信息也总是逐点丢失的。如引言所述，零纤维与稳定子之间的区别在欧几里得情况下被隐藏了。对于 \(G = (\mathbb{R}^n,+)\) 通过平移作用于 \(V = \mathbb{R}^n\) 的情况，线性映射 \(f(x) = Wx\) 的零纤维是 \(N_G(f,x) = \ker(W)\) 对每个 \(x\) 都成立，与基点无关。零纤维就是稳定子，两者都等于经典的零空间。这种与基点的无关性源于平移与线性映射可交换：\(W(x+v) = Wx + Wv\)，因此 \(f(x+v) = f(x)\) 当且仅当 \(Wv = 0\)，与 \(x\) 无关。对于非线性 \(f\) 或非阿贝尔 \(G\)，零纤维通常随 \(x\) 变化，而它们的交集——稳定子——则更小，且往往是平凡的。

### 2.1 紧群上的傅里叶刻画

现在我们特化到 \(V = G\) 的情形，其中紧李群通过左乘作用于自身。设 \(\hat{G}\) 表示不可约酉表示 \(\rho_\lambda: G \to U(d_\lambda)\) 的等价类的一个完全代表集。由彼得-韦尔定理，任何 \(f \in L^2(G)\) 都有傅里叶展开
\[
f(g) = \sum_{\lambda \in \hat{G}} d_\lambda \operatorname{Tr}\!\left( \hat{f}(\lambda) \rho_\lambda(g) \right),
\tag{3}
\]
其中傅里叶系数矩阵为
\[
\hat{f}(\lambda) = \int_G f(g) \rho_\lambda(g)^\dagger \, d\mu(g) \in \mathbb{C}^{d_\lambda \times d_\lambda}.
\tag{4}
\]
左正则表示 \((L_g f)(h) = f(g^{-1} h)\) 作用于傅里叶系数的方式是右乘：
\[
\widehat{L_g f}(\lambda) = \hat{f}(\lambda) \rho_\lambda^\dagger(g),
\tag{5}
\]
左平移与矩阵乘法之间的这种交织关系使得稳定子和零纤维都可计算。

###### 定理 4（傅里叶刻画）。设 \(G\) 是紧李群，\(f \in L^2(G)\)，其傅里叶支撑为 \(\Lambda(f) = \{ \lambda \in \hat{G} : \hat{f}(\lambda) \neq 0 \}\)。一个元素 \(g\) 属于 \(\operatorname{Stab}_G(f)\) 当且仅当
\[
\hat{f}(\lambda) \rho_\lambda^\dagger(g) = \hat{f}(\lambda)
\tag{6}
\]
对每个 \(\lambda \in \Lambda(f)\) 成立。等价地，
\[
\operatorname{Stab}_G(f) = \bigcap_{\lambda \in \Lambda(f)} \operatorname{Stab}\!\left( \mathrm{row}\!\left( \hat{f}(\lambda) \right); \rho_\lambda^\dagger \right),
\tag{7}
\]
其中 \(\operatorname{Stab}(W; \rho_\lambda^\dagger) = \{ g \in G : w \rho_\lambda^\dagger(g) = w \text{ 对所有 } w \in W \}\)。