基于神经网络权重的可观测性与位置编码相关的对称性读出

# 从神经网络权重中观察对称性的依赖性：位置编码与观测函数

来源: https://arxiv.org/html/2607.03108  
Naoya Chiba 大阪大学 D3 中心 chiba@nchiba\.net & Satoshi Sugiyama 大阪大学 D3 中心 sugiyama\.satoshi\.work@gmail\.com & Yuki Uranishi 大阪大学 D3 中心 yuki\.uranishi\.cmc@osaka-u\.ac\.jp

###### 摘要

对已训练神经网络权重的事后分析，常试图直接从参数中恢复几何结构。我们证明，对于配备位置编码的神经场，从权重中可见的对称性并非真正的对称群本身，而是一个由训练参数、位置编码 (PE) 和读取观测函数共同决定的观测对称集。我们通过一个精确观测层级关系来形式化这种依赖性：
G_obs^exact ⊆ G_lift^exact(φ) ∩ G_true，
其中 G_lift^exact(φ) 是 PE 能够精确提升到特征空间的输入变换集合。该层级关系意味着，即使目标函数具有几何对称性，如果 PE 无法表示相应的变换，那么该对称性在权重级观测函数中可能在结构上不可见。我们使用在二维带符号距离函数上训练的 MLP 进行测试，这些函数具有多种形状对称群、位置编码和基于 Gram 的观测函数。结果显示出一种一致的 PE 依赖模式：DyadicAxisPE 支持 D4 敏感的读取，但在结构上抑制 D3 旋转；TriAxisPE 通过将坐标轴替换为三个夹角 120° 的轴，在测试的 Gram 观测函数下产生较低的 D3/D6 读取分数；而随机傅里叶特征在这些观测函数下主要表现出 π 旋转响应。这些发现表明，PE 的设计不仅影响近似行为，还影响哪些结构可以通过事后权重级读取被访问。这为基于原则的、依赖观测的对称性读取提供了基础。

## 1 引言

等变神经网络 [3, 2] 已成功将对称群先验嵌入到架构中。本文研究相反的问题：能否从事后训练的、并非为等变构建的模型权重中，读取几何对称性？在处理这个问题时，一种天真的期望——“真实的对称群 G_true 可以从权重中恢复”——会因为结构性的原因而失效。从权重中可见的是“观测对称集” G_obs(θ; φ, Φ)，而所能看到的内容不仅由真实对称性决定，还取决于输入表示 (PE, φ) 和观测函数 Φ 的组合。例如，轴分离的 PE 可以精确提升至 D4，但无法为 D3 提供精确的结构性读取；而通用随机傅里叶特征 (RFF) 在一般位置假设下，仅能精确提升测试旋转中的 π 旋转。也就是说，*并非所有对称性都能从权重级结构性读取中同等可观测*，而 PE 的精确可提升性界限限制了能够被测试的结构性观测函数揭示的对称类别的上限。

关键是，本文并非旨在自由发现未知群；相反，它是一种事后探查（基于变换的条件读取），提供候选变换族（D4，旋转扫描）并评估每个观测函数对每个变换的响应。基于这一认识，我们提出了一个以 (φ, Φ) 双因子结构 G_obs 为核心的、依赖观测的对称性读取框架，并建立了命题 1（精确观测层级关系: G_obs^exact ⊆ G_lift^exact ∩ G_true）作为事后结构性检测的理想化精确区间上界。随后，我们进行实证测试，以检验经验读取轮廓是否与该层级关系一致，特别关注 PE 和 Φ 的选择如何影响 G_true 中哪些元素被反映在 G_obs 中。这通过系统实验实现，实验涉及经过 PE 训练的 MLP，用于 2D SDF，包含多种形状群、多种 PE 和不同的观测函数。

## 2 相关工作

本文与等变架构、对称性发现和隐式神经表示相关，但重点是在给定 PE 和观测函数读取下，从已训练权重中可观测到什么。

##### 等变架构与权重空间模型。
等变神经网络将群结构嵌入架构 [3, 21, 16]，并已被系统化为几何深度学习 [2]。这些方法先验地施加对称性，而我们的目标是从不显式编码目标群的模型中事后读取对称性。DWSNets [13] 与我们的设置最接近，因为它们直接操作于神经网络权重，并从权重空间预测隐式神经表示的性质。然而，它们的目标是下游预测，如分类或回归，而不是从已训练权重中哪些几何对称群在结构上可观测。我们的工作则是研究从配备 PE 的已训练 MLP 权重中进行依赖观测的对称性读取。

##### 从数据和模型中发现对称性。
LieGG [12] 从梯度信息中提取李代数生成元，LieSD [8] 将相关思想扩展到对称性发现和评分，L-conv [5] 将李代数结构直接嵌入网络。这些方法与我们的工作在事后或面向发现的动机上相似，但通常依赖于数据、梯度或模型响应。相比之下，我们的主要观测函数，权重前缀 Gram，提供了一种无数据的权重级读取。它们也倾向于将对称性视为数据或学习函数的属性，而我们的框架强调观测依赖性：即使对于同一个已训练模型，可见的对称性也会随着观测函数 Φ 和 PE φ 的选择而变化。这导致观测对称集 G_obs(θ; φ, Φ)，而非单个恢复的群。

##### 参数空间与权重空间对称性。
神经网络权重包含参数空间对称性，例如 ReLU 网络中的神经元排列和正缩放 [7, 23, 24]，这些对称性不改变所表示的函数。这激发了设计观测函数来抑制不相关的规范自由度，同时保留与考虑的输入空间变换相关的几何信息。这里使用的 Gram 型观测函数遵循这一原则，因为 W⊤W 对神经元排列是不变的，尽管并非对所有残差缩放自由度都不变。

##### INR、位置编码与权重表示。
隐式神经表示通常使用傅里叶特征 [20] 或周期激活函数 [19] 来表示高频信号。GRAPE [22] 提供了位置编码的表示论分类，识别了 PE 能够表示的群作用。我们的精确可提升性界限使用这种 PE 级分类作为事后权重级读取的上界条件：对称性必须首先能够被 PE 提升，然后才能作为权重观测函数的确切结构对称性出现。此外，Functa [6] 和 inr2vec [4] 表明，可以从隐式神经场的权重或潜在表示中提取有用信息。我们共享这样的前提：神经场参数编码了结构，但特别关注哪些几何对称性可以从这些参数中观测到，以及这如何取决于 (φ, Φ) 对。

## 3 理论与方法

### 3.1 问题设定

本文引入了一个依赖观测的对称性读取框架，系统地表征了哪些几何对称性可以从已训练神经网络中“观测”到。令 X = ℝ² 为输入空间，H = ℝᵈ（其中 d 为 PE 输出维度；例如，对于所有结构化 PE（DyadicAxisPE: 4K = 48 且 K = 12；TriAxisPE: 6K = 48 且 K = 8；RFF: 2n = 48 且 n = 24）d = 48）为位置编码 (PE) 的输出空间（特征空间），φ: X → H 为 PE，Fθ: H → ℝ 为后续神经网络。整体模型由下式给出：
fθ(x) = Fθ(φ(x))
其中 θ 表示所有已训练参数。

感兴趣的几何对称性由一个变换群 G 描述，该群作用于输入空间 X。每个 g ∈ G 作用于点 x ∈ X，并通过下式作用于函数 f：
(g·f)(x) = f(g⁻¹x)。
当相应的真实函数 f* 满足
f*(g⁻¹x) = f*(x) 对所有 g ∈ G_true 成立，
则称目标对象相对于群 G_true 是对称的。

天真的想法是直接从已训练权重 θ 中恢复 G_true。然而在实践中，权重本身并不直接保留输入空间中的几何群；对称性通过位置编码、网络的内部表示以及观测函数的选择间接体现。因此，本文首先提供关于从权重中可见对称性的理论公式，然后组织哪些是可恢复的，哪些在原则上难以观测。

### 3.2 位置编码作为表示

位置编码 (PE) 是一种映射，使用三角函数或类似基将低维输入坐标投影到更高维的特征空间，广泛应用于隐式神经表示 (INR)，如神经辐射场 (NeRF) [11, 20, 19]。普通 MLP 倾向于优先学习低频函数（谱偏置 [14]），而 PE 通过将输入提升到更高维空间来缓解这种偏置，从而使得学习高频内容的函数成为可能。

在这项工作中，我们不仅仅将 PE φ 视为预处理，而是将其视为一个将几何变换提升到特征空间的特征图 [22]。当几何变换 g（旋转、反射、平移等）应用于输入 x 时，通过 PE 传递 gx 得到 φ(gx)。一个自然的问题是，是否可以直接从 φ(x) 计算出 φ(gx)，即几何变换是否可以作为特征空间中的操作来表示。

我们关注 φ(gx) 可以表示为 φ(x) 的线性变换的情况。也就是说，存在 H 上的一个线性映射 ρ(g)¹，使得
φ(g x) = ρ(g) φ(x)，
此时称 φ 是关于 ρ 的 G-等变的。这里，ρ 是将输入空间上的几何作用提升到特征空间的群表示。这种提升的线性至关重要，因为每个 MLP 层都是线性变换（权重矩阵）和非线性激活的组合。PE 上的线性提升允许几何变换的影响通过权重矩阵上的代数运算来追踪，从而为从权重进行对称性读取提供基础。

从这个角度来看，位置编码决定了哪些输入变换可以精确地作为线性特征空间作用被追踪。也就是说，如果 φ 对于给定的变换群是 G-等变的，那么群作用可以在特征空间中显式追踪。相反，对于不存在这种提升的变换，即使对称性在输入空间中是自然的，它在模型内部也不会以精确表示的形式出现。

因此，从已训练权重中读取对称性的问题首先取决于位置编码保留群作用的程度。这是本文的理论起点。

我们定义本文中使用的 PE，并在引理 1 中汇总它们的精确可提升性。

##### DyadicAxisPE。
一种具有二进频率的轴分离 PE [20]，对于倍频程计数 K，输出维度为 4K，由下式给出：
φ_Dyadic(x) = [{ sin(2ᵏπ x₁), cos(2ᵏπ x₁), sin(2ᵏπ x₂), cos(2ᵏπ x₂) }_k=0^{K-1}]。

##### 随机傅里叶特征 (RFF)。
一种各向同性 PE，使用随机采样的频率向量 ω_i ∈ ℝ² 和偏置 b_i ∈ ℝ (i=1,...,n) [15, 20]，输出维度为 2n，定义为：
φ_RFF(x) = [sin(ω₁⊤x + b₁), cos(ω₁⊤x + b₁), ..., sin(ωₙ⊤x + bₙ), cos(ωₙ⊤x + bₙ)]。

##### 三轴二进 PE (TriAxisPE)。
通过将两个坐标轴替换为三个夹角 2π/3 的轴来扩展 DyadicAxisPE。令 v₀ = (1,0)⊤, v₁ = R_{2π/3} v₀, v₂ = R_{4π/3} v₀。编码为：
φ_tri(x) = [{ sin(2ᵏπ v_j⊤ x), cos(2ᵏπ v_j⊤ x) }_j=0,...,2; k=0,...,K-1]，
输出维度为 6K。

###### 引理 1（结构化 PE 的精确旋转/反射可提升性）。

对于上述定义的三种 PE（假设 RFF 频率集 {ω_i} 处于一般位置，即，它在所考虑的群作用下不封闭），……（原文在此中断）。