PostDeg：在LayerNorm GNN中，位置胜过参数化

# PostDeg: 在 LayerNorm GNN 中，位置胜过参数化 来源: https://arxiv.org/html/2606.14022 Yash Vardhan Tomar 普渡大学 tomar4@purdue\.edu Aryav Das 11footnotemark:1 帕克图德高中 aryav30das@gmail\.com ###### 摘要 基于 LayerNorm 的 GNN 通常会擦除节点选择策略本应依赖的拓扑信号（度、中心性、kk-核），但文献并未定位残余块中擦除发生的*位置*。我们回答了这个问题：在*LayerNorm 之前*插入的正逐节点标量会在稳定项中被除以，而*在 LayerNorm 之后*插入的相同标量会以表示幅度的形式到达评分头。存活的插槽是后 LayerNorm 位置。我们实例化该位置为PostDeg——一种无参数的后 LayerNorm 逆度缩放，并预先注册四个可能否定该规则的证伪变量（图级标量、额外 LayerNorm、表达能力相同插槽容量、骨干不可知源）。PostDeg 在影响力最大化、网络瓦解和最大独立集任务上，相对于 LN 骨干分别提升+3.5%/\+2.5%/\+5.6%+3.5\\%/\+2.5\\%/\+5.6\\%，每个任务在10/1010/10个配对种子上全胜；四个证伪变量均未触发。该工作的要点在于，增益来自位置而非参数化——这是一次小规模的不变性检查，可泛化至任何归一化残差栈中的任意正拓扑标量。 ## 1引言 许多图学习策略，如影响力最大化、网络瓦解、最大独立集、疫情遏制，应基于拓扑对节点进行排序：高度枢纽传播疫情更快，低度节点更易纳入独立集，等等。这些任务的主流深度学习方案是带有 LayerNorm[24 (https://arxiv.org/html/2606.14022#bib.bib24),4 (https://arxiv.org/html/2606.14022#bib.bib4),15 (https://arxiv.org/html/2606.14022#bib.bib15),17 (https://arxiv.org/html/2606.14022#bib.bib17),13 (https://arxiv.org/html/2606.14022#bib.bib13)] 的残差 GAT 块。LayerNorm 稳定了训练，但在对度敏感的节点选择任务上，其副作用是擦除策略应使用的拓扑信号：GraphNorm、PairNorm 及其后续工作均凭经验观察到这一点，并提出新的特征统计归一化作为解决方案[5 (https://arxiv.org/html/2606.14022#bib.bib5),28 (https://arxiv.org/html/2606.14022#bib.bib28),30 (https://arxiv.org/html/2606.14022#bib.bib30)]。这些论文均未定位拓扑信号在*残差块中的何处*消亡。正拓扑乘子能否存活或被吸收完全取决于它位于 LayerNorm 的哪一侧；*位置*正是指这一侧，而位置规则是本文的核心对象。我们将 LayerNorm 吸收恒等式[1 (https://arxiv.org/html/2606.14022#bib.bib1),21 (https://arxiv.org/html/2606.14022#bib.bib21),19 (https://arxiv.org/html/2606.14022#bib.bib19)] 转化为 GNN 残差块中正逐节点标量的位置诊断工具。在 LayerNorm 之前插入的正乘子aia\_\{i\} 在稳定项范围内被除以：LN\(aizi\)≈LN\(zi\)\\mathrm\{LN\}\(a\_\{i\}z\_\{i\}\)\\approx\\mathrm\{LN\}\(z\_\{i\}\)，残余相对误差有界于εLN/\(ai2σ2\)\\varepsilon\_\{\\mathrm\{LN\}\}/\(a\_\{i\}^\{2\}\\sigma^\{2\}\)，并且在每个任务收敛时，跨节点、层和种子的经验值≤2.44×10−5\\leq 2.44\\times 10^\{\-5\}（第3节 (https://arxiv.org/html/2606.14022#S3)，附录D.5 (https://arxiv.org/html/2606.14022#A4.SS5)）。在 LayerNorm 之后插入的相同乘子会以表示幅度的形式到达评分头。因此，该诊断规定的是一个*位置*而非函数形式：如果评分器需要看到拓扑幅度，则将其放在 LayerNorm 之后。图1 (https://arxiv.org/html/2606.14022#S1.F1) 展示了在一个小型混合度图上的图示：LayerNorm 归一化逐节点幅度，使得到达评分头的特征变化不再编码度信息，而后 LayerNorm 逆度缩放恢复了节点选择策略应依赖的度条件幅度对比。参见说明图1：为什么位置很重要。左：一个混合度的图（低度循环节点标记为22，聚类节点标记为33，一个枢纽标记为55）；节点颜色指示度。中：经过 LayerNorm 后，每个节点的表示幅度被归一化到相同尺度，因此到达评分头的逐节点特征变化不再编码度对比。右：PostDeg 将每个后 LayerNorm 表示乘以si=\(c^i\+ε\)−1/2s\_\{i\}=\(\\widehat\{c\}\_\{i\}\+\\varepsilon\)^\{\-1/2\}（图例：di=2→1.58d\_\{i\}=2\{\\to\}1.58，3→1.293\{\\to\}1.29，5→1.005\{\\to\}1.00），恢复了单调于1/di1/d\_\{i\}的幅度，评分头可据此利用拓扑对节点排序。同一后 LN 正标量正是第3.1节 (https://arxiv.org/html/2606.14022#S3.SS1) 中吸收恒等式允许存活的；每个任务上的经验吸收包络≤2.44×10−5\\leq 2.44\\\!\\times\\\!10^\{\-5\}（附录D.5 (https://arxiv.org/html/2606.14022#A4.SS5)）。PostDeg 是占据该插槽的无参数算子：h~i=\(c^i\+ε\)−1/2LN⁡\(hi\)，\\widetilde\{h\}\_\{i\}=\(\\widehat\{c\}\_\{i\}\+\\varepsilon\)^\{\-1/2\}\\,\\operatorname\{LN\}\(h\_\{i\}\)，其中c^i=max⁡\(di,1\)/maxj⁡max⁡\(dj,1\)\\widehat\{c\}\_\{i\}=\\max\(d\_\{i\},1\)/\\max\_\{j\}\\max\(d\_\{j\},1\)，ε=10−8\\varepsilon=10^\{\-8\}。由于si=\(c^i\+ε\)−1/2s\_\{i\}=\(\\widehat\{c\}\_\{i\}\+\\varepsilon\)^\{\-1/2\}是1/di1/d\_\{i\}的单调函数，后 LayerNorm 低度节点获得更大表示幅度，评分头可利用该对比。实现细节（孤立节点处理、ε\\varepsilon消融、代码参考）在第3.2节 (https://arxiv.org/html/2606.14022#S3.SS2) 和附录D.3 (https://arxiv.org/html/2606.14022#A4.SS3) 中。为了将位置与参数化分离，我们还在同一插槽中训练了PostDeg\-L\-FG和PostDeg\-L\-Adaptive两种学习变体。 #### 可证伪性。 位置规则更有用的地方在于它禁止了什么，而非它预测了什么。我们附上四个明确的反对声称，每个对应一个控制实验，其结果若成立将证伪该规则： - •图级谱来源。如果增益来自图级谱项而非逐节点度，那么 GraphScalar（同一插槽中的单一图级乘子1/λmax\+ε′1/\\sqrt\{\\lambda\_\{\\max\}\+\\varepsilon^\{\\prime\}\}）应与 PostDeg 匹配。观察结果：所有任务上|Δ%|<1%\|\\Delta\\%\|<1\\%。 - •额外特征归一化。如果增益来自额外的一层特征归一化，那么同一插槽中的 Extra LayerNorm 应与 PostDeg 匹配。观察结果：所有任务上|Δ%|<0.1%\|\\Delta\\%\|<0.1\\%。 - •同插槽表达能力。如果插槽需要表达能力，那么学习变体（PostDeg\-L\-FG、PostDeg\-L\-Adaptive，其中“PostDeg\-L”是“PostDeg\-Learned”的缩写）应优于无参数的 PostDeg。观察结果：每个任务上 TOST 等价于±1%\\pm 1\\%。 - •骨干不可知源。如果增益来自骨干不可知源，那么将 PostDeg 添加到 PNA 骨干（该骨干已在聚合内部注入度通道）仍会有所帮助。观察结果：在 InfluMax 和 Dismantle 上配对等价。每个控制实验都会证伪位置规则。四个证伪变量均未触发。 #### 发现。 - •位置规则在经验上是严格的：所有节点、层、种子和任务在收敛时，吸收包络εLN/\(ai2σ2\)\\varepsilon\_\{\\rm LN\}/\(a\_\{i\}^\{2\}\\sigma^\{2\}\) 有界于2.44×10−52.44\\\!\\times\\\!10^\{\-5\}（第3.1节 (https://arxiv.org/html/2606.14022#S3.SS1)，附录D.5 (https://arxiv.org/html/2606.14022#A4.SS5)）。 - •一个无参数的后 LN 逆度缩放（PostDeg）在 InfluMax/Dismantle/MIS 上分别提升+3.5%/\+2.5%/\+5.6%+3.5\\%/\+2.5\\%/\+5.6\\%，10个种子中全部获胜；同一插槽的学习变体在 TOST 下配对等价于±1%\\pm 1\\%，每个任务均成立（第4.2节 (https://arxiv.org/html/2606.14022#S4.SS2)，第4.3节 (https://arxiv.org/html/2606.14022#S4.SS3)）。 - •四个预先注册的证伪变量均未推翻位置规则：同一插槽中的图级标量、额外 LayerNorm、表达能力学习容量、通过 PNA 的骨干不可知源（第4.2节 (https://arxiv.org/html/2606.14022#S4.SS2)，第4.7节 (https://arxiv.org/html/2606.14022#S4.SS7)）。 后续内容定义受控插槽，报告主要经验测试，并讨论位置规则的边界。 ## 2相关工作 BatchNorm、LayerNorm、InstanceNorm、GraphNorm、PairNorm 和 NodeNorm 回答的是特征统计问题——哪些激活应被居中、缩放或约束[11 (https://arxiv.org/html/2606.14022#bib.bib11),1 (https://arxiv.org/html/2606.14022#bib.bib1),23 (https://arxiv.org/html/2606.14022#bib.bib23),5 (https://arxiv.org/html/2606.14022#bib.bib5),28 (https://arxiv.org/html/2606.14022#bib.bib28),30 (https://arxiv.org/html/2606.14022#bib.bib30)]。BatchNorm 背后的机制本身仍有争议[41 (https://arxiv.org/html/2606.14022#bib.bib41)]，但我们提出的位置问题与该争论正交。GraphNorm 是最接近的 GNN 归一化参考点。它研究图级特征统计归一化以优化 GNN；PostDeg 研究后 LN 拓扑幅度。受控主网格使用了以下变体：BatchNorm1d（在每个已处理图的节点特征上）、块后插槽中的 Extra LayerNorm、InstanceNorm、标量移位 GraphNorm、PairNorm、GraphScalar、PostDeg、PostDeg\-L\-FG、PostDeg\-L\-Adaptive 以及 LN 骨干（表A4 (https://arxiv.org/html/2606.14022#A4.T4)）。NodeNorm 仅作为补充诊断出现，因其比较流水线存在配置漂移（附录F (https://arxiv.org/html/2606.14022#A6)）。DiffGroupNorm[29 (https://arxiv.org/html/2606.14022#bib.bib29)] 使用学习到的分组特征统计来改变逐块归一化插槽；我们仅在表A2 (https://arxiv.org/html/2606.14022#A2.T2) 中将其用于定位。 度感知聚合器在消息传递内部注入度信息。GCN 使用D−1/2AD−1/2D^\{\-1/2\}AD^\{\-1/2\}作为图算子[16 (https://arxiv.org/html/2606.14022#bib.bib16)]；SGC 移除非线性以孤立该归一化[33 (https://arxiv.org/html/2606.14022#bib.bib33)]；GraphSAGE 均值聚合对邻域取平均[10 (https://arxiv.org/html/2606.14022#bib.bib10)]；GIN 用求和替代均值以匹配 Weisfeiler–Leman 检验[31 (https://arxiv.org/html/2606.14022#bib.bib31),32 (https://arxiv.org/html/2606.14022#bib.bib32)]；PNA 在消息传递步骤中将每个聚合器乘以δ\(di\)=log⁡\(di\+1\)/δ ̄\\delta\(d\_\{i\}\)=\\log\(d\_\{i\}\+1\)/\\bar\{\\delta\}[8 (https://arxiv.org/html/2606.14022#bib.bib8)]。PNA 的度缩放器在消息被组合和归一化之前改变消息，因此我们骨干中的 LayerNorm 看到的是混合表示而非自由标量乘子。PostDeg 不改变聚合，而是作用于 LayerNorm 后的逐节点幅度。PNA 检验匹配这一区分：在 InfluMax 和 Dismantle 上，PostDeg + PNA 与不带 PostDeg 的 PNA 配对等价（|Δ%|<1%\|\\Delta\\%\|<1\\%，第4.7节 (https://arxiv.org/html/2606.14022#S4.SS7) 和附录F (https://arxiv.org/html/2606.14022#A6)，表A34 (https://arxiv.org/html/2606.14022#A6.T34)）。 结构编码将度、中心性、最短路径、随机特征、子图或变换器位置信息作为表示内容注入[9 (https://arxiv.org/html/2606.14022#bib.bib9),22 (https://arxiv.org/html/2606.14022#bib.bib22),2 (https://arxiv.org/html/2606.14022#bib.bib2),26 (https://arxiv.org/html/2606.14022#bib.bib26),20 (https://arxiv.org/html/2606.14022#bib.bib20)]。像log⁡di\\log d\_\{i\}这样的度内容特征在 LayerNorm 之前进入，并与表示的其余部分一起重新居中和缩放。PostDeg 修改已编码表示的后归一化幅度。附录H (https://arxiv.org/html/2606.14022#A8) 形式化了内容与幅度的区别，并报告了log⁡di\\log d\_\{i\}基线。 本文研究的是正拓扑标量能在何处存活于 LayerNorm 中。式 (1) (https://arxiv.org/html/2606.14022#S3.E1) 中的代数恒等式在 LayerNorm/RMSNorm/权重绑定文献中是标准结论[1 (https://arxiv.org/html/2606.14022#bib.bib1),27 (https://arxiv.org/html/2606.14022#bib.bib27),25 (https://arxiv.org/html/2606.14022#bib.bib25),40 (https://arxiv.org/html/2606.14022#bib.bib40)]。关于 GNN 深度（过平滑、过挤压、跳跃知识连接）的补充文献研究的是表示如何随着网络加深而退化[36 (https://arxiv.org/html/2606.14022#bib.bib36),38 (https://arxiv.org/html/2606.14022#bib.bib38),37 (https://arxiv.org/html/2606.14022#bib.bib37),39 (https://arxiv.org/html/2606.14022#bib.bib39),35 (https://arxiv.org/html/2606.14022#bib.bib35),34 (https://arxiv.org/html/2606.14022#bib.bib34),42 (https://arxiv.org/html/2606.14022#bib.bib42)]；位置问题与之正交——我们固定深度并改变插槽。我们将吸收恒等式用作针对组合优化任务训练的 GNN 策略的位置规则[15 (https://arxiv.org/html/2606.14022#bib.bib15),17 (https://arxiv.org/html/2606.14022#bib.bib17),13 (https://arxiv.org/html/2606.14022#bib.bib13),12 (https://arxiv.org/html/2606.14022#bib.bib12),6 (https://arxiv.org/html/2606.14022#bib.bib6)]。所有主要实验均使用固定的 GAT 骨干[24 (https://arxiv.org/html/2606.14022#bib.bib24),4 (https://arxiv.org/html/2606.14022#bib.bib4)]，因此归一化插槽是受测试的变量。 ## 3方法 该方法包含两部分。首先，我们确定正拓扑标量能在其中存活于 LayerNorm 的归一化插槽。其次，我们在该插槽中放置一个最小化的度缩放，并测试是否需要额外容量。图2 (https://arxiv.org/html/2606.14022#S3.F2) 给出了端到端的受控设置：图级统计信息一次性计算，每个 GAT 层暴露相同的后 LayerNorm 插槽，任务头、预算、数据生成器和种子保持不变，仅该插槽发生变化。 (a) 前 LayerNorm 位置：标量被吸收前 LN：ai⋅zia\_\{i\}\\\!\\cdot\\\!z\_\{i\}LN\(aizi\)≈LN\(zi\)\\mathrm\{LN\}\(a\_\{i\}z\_\{i\}\)\\approx\\mathrm\{LN\}\(z\_\{i\}\) (式1 (https://arxiv.org/html/2606.14022#S3.E1))残余≤εLN/\(ai2σ2\)≤2.44×10−5\\leq\\varepsilon\_\{\\mathrm\{LN\}\}/\(a\_\{i\}^\{2\}\\sigma^\{2\}\)\\leq 2.44\\\!\\times\\\!10^\{\-5\}⇒\\Rightarrow评分器无法使用aia\_\{i\}作为拓扑信号H\(l−1\)H^\{\(\\ell\-1\)\}残差 GAT 块ziz\_\{i\}LayerNorm后 LN 受控插槽评分头阴影：在主网格中固定不变(b) 后 LayerNorm 位置（本文）：标量存活si⋅LN\(zi\)s\_\{i\}\\\!\\cdot\\\!\\mathrm\{LN\}\(z\_\{i\}\)以表示幅度到达评分头⇒\\Rightarrow正逐节点sis\_\{i\}成为可用的度条件信号后 LN：si⊙LN\(zi\)s\_\{i\}\\\!\\odot\\\!\\mathrm\{LN\}\(z\_\{i\}\) 图2：方法概览。(a) 在 LayerNorm 之前插入正逐节点标量aia\_\{i\}在稳定项范围内被吸收（经验残余≤2.44×10−5\\leq 2.44\\\!\\times\\\!10^\{\-5\}）。(b) 在 LayerNorm 之后插入相同标量以表示幅度到达评分头。阴影骨干（残差 GAT 块、LayerNorm、评分头、预算、数据生成器、种子）在主网格中固定不变；仅虚线后 LN 插槽变化。在该插槽中测试的变体（LN 骨干、GraphScalar、Extra LayerNorm、PostDeg、PostDeg\-L\-FG、PostDeg\-L\-Adaptive）列于表1 (http