S-GAI: 谱几何感知初始化用于Sigmoid多层感知器——从数据集几何到网络权重

# 从数据集几何到网络权重的谱几何感知初始化——用于Sigmoid型MLP
来源：https://arxiv.org/html/2606.28444
11institutetext:easonchu@stat\.sinica\.edu\.tw
统计科学研究所，中央研究院，台北，台湾 \(R\.O\.C\.\)###### 摘要

经典的通用逼近定理确立了sigmoid型多层感知机的表达能力，但并未规定初始权重应如何编码数据分布的几何结构。我们提出S-GAI，一种用于单隐层sigmoid型MLP的谱几何感知初始化框架。从sigmoid单元可作为平滑半空间门这一建设性思想出发，我们从手工指定的平面几何转向从图像数据中估计的逐类谱几何。对于每个类别，SVD提供均值、主方向和谱尺度。一个能量阈值选择保留的方向，每个保留方向由两个sigmoid门表示。这些类别特定的门形成一个共享的隐藏层，直接从训练集初始化。我们还制定了一个基于SVD的子空间分类器作为非神经几何参考，用于测试估计的谱类几何在嵌入到MLP之前是否已经具有判别性。在MNIST、Fashion-MNIST和更具挑战性的CIFAR-10测试上的实验表明，S-GAI初始化的MLP从比Xavier初始化信息丰富得多的隐藏状态开始，并在完全训练下达到可比的最终精度。当隐藏层被冻结时，仅训练输出层仍比冻结的随机门表现更强，这提供了证据表明S-GAI有效地将逐类谱几何嵌入到MLP中。

## 1 引言

通用逼近定理（UAT）[3 (https://arxiv.org/html/2606.28444#bib.bib3)]通常被解读为一个表达能力陈述：只要有足够多的隐藏单元，sigmoid型MLP就能在紧致域上逼近任意连续目标函数。在其经典形式中，逼近器是一个有限和

fN\(x\)=∑j=1Nαjσ\(wj⊤x\+bj\),x∈K⊂Rd,f\_\{N\}\(x\)=\\sum\_\{j=1\}^\{N\}\\alpha\_\{j\}\\sigma\(w\_\{j\}^\{\\top\}x\+b\_\{j\}\),\\qquad x\\in K\\subset\\mathbb\{R\}^\{d\},\(1\)

其中参数可以自由变化。这种形式很强大，但它留下了一个实际问题：如果数据占据了一个结构化的空间区域，初始权重能否已经编码了部分几何结构？

大多数标准初始化方法，包括Xavier/Glorot初始化[6 (https://arxiv.org/html/2606.28444#bib.bib6)]，旨在稳定信号传播和梯度尺度。它们并不旨在训练前表示类别几何。然而，对于图像分类，即使像MNIST这样简单的基准也显示出可见的类别依赖结构：每个数字类别都有一个均值形状、主导形变方向和较不稳定的残差方向。本文的核心思想是初始化不必对这些结构视而不见。

本文连接了两个层次的几何。第一个是sigmoid型网络的紧致建设性背景。这项工作建立在Chu和Kuo[2 (https://arxiv.org/html/2606.28444#bib.bib2)]的早期工作之上，该工作发展了一种平面sigmoid建设性方法，用于通过边界优先、热带几何启发的观点来组织半空间、多面体和有限覆盖。我们仅将这一组成部分用作几何动机：它解释了当几何明确已知时，如何将指定的区域转化为网络权重。

本文的主要贡献是第二个层次：针对图像数据的数据驱动高维实例化。我们不假设指定的平面覆盖，而是从样本中估计类别几何。对于每个类别，我们计算一个中心化的SVD/PCA基[10 (https://arxiv.org/html/2606.28444#bib.bib10)]，选择一个能量自适应秩，并制定一个基于SVD的子空间分类器。这个分类器不是神经模型；它作为一个几何参考，测试逐类谱坐标是否已经能够分离类别。

然后我们将相同的谱几何编译到一个单隐层sigmoid型MLP中。每个保留的SVD方向定义一个围绕类别均值的归一化坐标。与类别的兼容性表示为该坐标上的一个平板约束，每个平板由两个sigmoid门表示，每个区间一侧一个。因此隐藏层被划分为类别特定组，每个保留方向对应两个隐藏单元，输出层最初聚合属于每个类别的门。这就得到了S-GAI，一个显式的谱几何感知初始化器，其宽度由保留的谱秩控制。

我们的贡献是：

- • 我们提供了一个从UAT有限和到平滑半空间和基于覆盖的sigmoid门的简洁桥梁，建立在[2 (https://arxiv.org/html/2606.28444#bib.bib2)]的平面sigmoid构造之上；
- • 我们引入了一个基于SVD的子空间分类器，作为非神经参考，用于测试逐类谱几何是否具有判别性，并选择S-GAI的适当参数；
- • 我们提出S-GAI，一个数据驱动的谱几何感知MLP初始化器，实例化为逐类SVD；每个保留的类别方向贡献两个隐藏单元，隐藏宽度由能量阈值τ\\tau决定；
- • 我们通过与Xavier初始化在MNIST、Fashion-MNIST和CIFAR-10上的匹配比较来评估S-GAI。在零训练周期和冻结隐藏层的协议下，S-GAI平板门提供了比匹配的随机门信息丰富得多的表示，而在相同架构和优化器下的完整训练达到可比的最终精度。

参见图注

图1: 方法流程。顶行总结了建设性观点：有限和sigmoid网络可以组织为半空间门，然后作为多面体或基于覆盖的初始化器。底行显示了对高维图像使用的数据驱动实例化。逐类SVD估计均值、方向和尺度；能量阈值选择保留的秩mk\(τ\)m\_\{k\}\(\\tau\)；每个保留方向编译成两个平板门hk,i\+h^\{\+\}\_\{k,i\}和hk,i−h^\{\-\}\_\{k,i\}；结果门被放置在一个类分组隐藏层中，宽度为H=2∑kmkH=2\\sum\_\{k\}m\_\{k\}。基于SVD的子空间分类器仅作为选择能量阈值τ\\tau的非神经几何参考。

## 2 从有限和到几何门

设K⊂RdK\\subset\\mathbb\{R\}^\{d\}是紧致的，设σ\(t\)=\(1\+e−t\)−1\\sigma\(t\)=\(1\+e^\{\-t\}\)^\{\-1\}。Cybenko定理指出，对于sigmoid激活函数，形如(1 (https://arxiv.org/html/2606.28444#S1.E1))的有限和在C\(K\)C\(K\)中稠密[3 (https://arxiv.org/html/2606.28444#bib.bib3)]；相关和扩展结果由Funahashi[5 (https://arxiv.org/html/2606.28444#bib.bib5)]、Hornik等人[9 (https://arxiv.org/html/2606.28444#bib.bib9)]、Hornik[8 (https://arxiv.org/html/2606.28444#bib.bib8)]、Leshno等人[15 (https://arxiv.org/html/2606.28444#bib.bib15)]和Barron[1 (https://arxiv.org/html/2606.28444#bib.bib1)]给出；另见Pinkus[17 (https://arxiv.org/html/2606.28444#bib.bib17)]。这些定理确保了可表示性，但它们并未规定与特定决策区域相关的初始化。

遵循[2 (https://arxiv.org/html/2606.28444#bib.bib2)]中的平面构造，我们使用以下基本门作为几何基元。对于a∈Rda\\in\\mathbb\{R\}^\{d\}，c∈Rc\\in\\mathbb\{R\}和锐度κ\>0\\kappa\>0，定义

ga,c,κ\(x\)=σ\(κ\(c−a⊤x\)\)\.g\_\{a,c,\\kappa\}\(x\)=\\sigma\\bigl\(\\kappa\(c\-a^\{\\top\}x\)\\bigr\)\.\(2\)

该单元在半空间a⊤x≤ca^\{\\top\}x\\leq c内部接近1，外部接近0。

###### 引理1 (半空间门)

设δ\>0\\delta\>0。如果c−a⊤x≥δc\-a^\{\\top\}x\\geq\\delta，则ga,c,κ\(x\)≥1−exp⁡\(−κδ\)g\_\{a,c,\\kappa\}\(x\)\\geq 1\-\\exp\(\-\\kappa\\delta\)。如果a⊤x−c≥δa^\{\\top\}x\-c\\geq\\delta，则ga,c,κ\(x\)≤exp⁡\(−κδ\)g\_\{a,c,\\kappa\}\(x\)\\leq\\exp\(\-\\kappa\\delta\)。

###### 证明

对于t≥0t\\geq 0，σ\(t\)=1/\(1\+e−t\)≥1−e−t\\sigma\(t\)=1/\(1\+e^\{\-t\}\)\\geq 1\-e^\{\-t\}。对于t≤0t\\leq 0，σ\(t\)≤et\\sigma\(t\)\\leq e^\{t\}。将这些不等式应用于t=κ\(c−a⊤x\)t=\\kappa\(c\-a^\{\\top\}x\)。

设一个多面体写为

P=⋂l=1m\{x:al⊤x≤cl\}\.P=\\bigcap\_\{\\ell=1\}^\{m\}\\\{x:a\_\{\\ell\}^\{\\top\}x\\leq c\_\{\\ell\}\\\}\.\(3\)

每个支撑半空间使用一个门，定义

GP\(x\)=∑l=1mσ\(κ\(cl−al⊤x\)\)−\(m−12\)\.G\_\{P\}\(x\)=\\sum\_\{\\ell=1\}^\{m\}\\sigma\\bigl\(\\kappa\(c\_\{\\ell\}\-a\_\{\\ell\}^\{\\top\}x\)\\bigr\)\-\\left\(m\-\\frac\{1\}\{2\}\\right\)\.\(4\)

###### 命题1 (鲁棒多面体分类器)

假设mexp⁡\(−κδ\)<1/2m\\exp\(\-\\kappa\\delta\)<1/2。如果xx满足所有不等式且余量至少为δ\\delta，则GP\(x\)\>0G\_\{P\}\(x\)\>0。如果xx至少违反一个不等式且余量至少为δ\\delta，则GP\(x\)<0G\_\{P\}\(x\)<0。

###### 证明

在PP内部且余量δ\\delta时，引理1 (https://arxiv.org/html/2606.28444#Thmlemma1)给出

GP\(x\)≥m\(1−e−κδ\)−\(m−12\)\>0\.G\_\{P\}\(x\)\\geq m\(1\-e^\{\-\\kappa\\delta\}\)\-\\left\(m\-\\frac\{1\}\{2\}\\right\)\>0\.如果一个约束被违反且余量δ\\delta，则对应的门最多为e−κδe^\{\-\\kappa\\delta\}，而所有其他门最多为1。因此

GP\(x\)≤\(m−1\)\+e−κδ−\(m−12\)<0\.G\_\{P\}\(x\)\\leq\(m\-1\)\+e^\{\-\\kappa\\delta\}\-\\left\(m\-\\frac\{1\}\{2\}\\right\)<0\.

通过第二次sigmoid聚合得到有限并集。对于C=⋃r=1RPrC=\\bigcup\_\{r=1\}^\{R\}P\_\{r\}，定义

FC\(x\)=∑r=1Rσ\(λGPr\(x\)\)−12\.F\_\{C\}\(x\)=\\sum\_\{r=1\}^\{R\}\\sigma\\bigl\(\\lambda G\_\{P\_\{r\}\}\(x\)\\bigr\)\-\\frac\{1\}\{2\}\.\(5\)

如果xx鲁棒地位于一个分量内部，则一项接近1；如果xx鲁棒地位于所有分量外部，则所有项对于充分大的λ\\lambda都接近0。这给出了一个与UAT相同有限和精神的sigmoid网络，但权重来自显式的几何描述。

该构造的灵感来源于热带几何通过max-plus仿射片段表示多面体结构的方式[16 (https://arxiv.org/html/2606.28444#bib.bib16)]。ReLU网络继承密切相关分段线性细分，并已通过热带有理映射进行研究[19 (https://arxiv.org/html/2606.28444#bib.bib19)]。我们不使用ReLU网络；重点是在保持平滑sigmoid激活的同时，借鉴边界优先的设计原则：首先识别几何边界基元，然后编译为权重。

对于平面中的一般紧致目标区域，可以通过有限覆盖和多边形分量来近似该区域，然后应用(4 (https://arxiv.org/html/2606.28444#S2.E4))和(5 (https://arxiv.org/html/2606.28444#S2.E5))。平面示例和可视化演示已在先前工作中报告[2 (https://arxiv.org/html/2606.28444#bib.bib2)]。在本文中，本节的作用是激励高维替代：当几何不是手工指定时，从数据中估计它。

## 3 谱类几何与SVD参考子空间分类器

对于图像数据，类别区域并非作为平面覆盖给出。因此我们从训练集中估计类别几何。对于类别kk，设μk∈Rd\\mu\_\{k\}\\in\\mathbb\{R\}^\{d\}为类别均值，设Xk∈Rnk×dX\_\{k\}\\in\\mathbb\{R\}^\{n\_\{k\}\\times d\}包含中心化样本xi−μkx\_\{i\}\-\\mu\_\{k\}。计算

Xk=UkSkVk⊤,Vk=\[vk,1,...,vk,d\],X\_\{k\}=U\_\{k\}S\_\{k\}V\_\{k\}^\{\\top\},\\qquad V\_\{k\}=\[v\_\{k,1\},\\ldots,v\_\{k,d\}\],\(6\)

其中Sk=diag⁡\(sk,1,...\)S\_\{k\}=\\operatorname\{diag\}\(s\_\{k,1\},\\ldots\)。沿方向vk,iv\_\{k,i\}的经验标准差为

σ^k,i=sk,i/nk−1\.\\widehat\{\\sigma\}\_\{k,i\}=s\_\{k,i\}/\\sqrt\{n\_\{k\}\-1\}\.\(7\)

对于能量阈值τ∈\(0,1\)\\tau\\in\(0,1\)，选择

mk\(τ\)=min⁡\{m:∑i=1msk,i2∑isk,i2≥τ\}\.m\_\{k\}\(\\tau\)=\\min\\left\\\{m:\\frac\{\\sum\_\{i=1\}^\{m\}s\_\{k,i\}^\{2\}\}\{\\sum\_\{i\}s\_\{k,i\}^\{2\}\}\\geq\\tau\\right\\\}\.\(8\)

设mk=mk\(τ\)m\_\{k\}=m\_\{k\}\(\\tau\)，则SVD-马氏参考得分为

dk\(x\)=∑i=1mk\(vk,i⊤\(x−μk\)σ^k,i\)2\+λ‖\(I−Vk,mkVk,mk⊤\)\(x−μk\)‖22σ^k,mk2,\\begin\{split\}d\_\{k\}\(x\)&=\\sum\_\{i=1\}^\{m\_\{k\}\}\\left\(\\frac\{v\_\{k,i\}^\{\\top\}\(x\-\\mu\_\{k\}\)\}\{\\widehat\{\\sigma\}\_\{k,i\}\}\\right\)^\{2\}\\\\ &\\quad\+\\lambda\\frac\{\\left\\\|\(I\-V\_\{k,m\_\{k\}\}V\_\{k,m\_\{k\}\}^\{\\top\}\)\(x\-\\mu\_\{k\}\)\\right\\\|\_\{2\}^\{2\}\}\{\\widehat\{\\sigma\}\_\{k,m\_\{k\}\}^\{2\}\},\\end\{split\}\(9\)

其中Vk,mkV\_\{k,m\_\{k\}\}包含保留方向，λ≥0\\lambda\\geq 0惩罚保留子空间之外的残余能量。

这个得分定义了一个基于每类估计SVD几何的子空间分类器。第一项是保留类子空间内部的截断马氏距离：沿高方差类方向上的偏差按其经验谱尺度归一化。第二项测量保留子空间外部的归一化残余能量。这个补充分量很重要，因为一个样本沿某个类保留方向的坐标可能适中，但整体上仍不能很好地被该类子空间解释。因此，残余项充当一个拒绝机制，用于那些远离保留谱模型的样本。经验上，通过设置λ=0\\lambda=0去除这一项会导致精度大幅下降超过13个百分点，如图2 (https://arxiv.org/html/2606.28444#S3.F2)所示。

分类通过以下方式进行

y^\(x\)=argminkdk\(x\)\.\\widehat\{y\}\(x\)=\\mathop\{\\rm arg\\,min\}\_\{k\}d\_\{k\}\(x\)\.\(10\)

这个分类器在本文中有两个作用。首先，它提供了一个非神经参考，用于测试逐类谱几何是否已经具有判别性。其次，它识别了保留方向、秩和谱尺度，这些稍后将被编译为sigmoid平板门。在这个意义上，分类器不是竞争的神经架构，而是估计的类子空间与初始化MLP之间的几何中间体。

参见图注

参见图注

图2: 基于SVD的子空间分类器参考（MNIST）。能量阈值选择类别依赖的秩，补充分量惩罚不能被类子空间很好解释的样本。这个参考是非神经的；用于在将谱几何编译到MLP之前验证它。

## 4 将谱平板编译到Sigmoid MLP中

我们现在将逐类SVD几何编译到一个单隐层sigmoid MLP中。我们将得到的过程称为S-GAI，即谱几何感知初始化（Spectral Geometry-Aware Initialization）的缩写。对于类别kk和保留方向ii，定义归一化谱坐标

zk,i\(x\)=vk,i⊤\(x−μk\)σ^k,i\.z\_\{k,i\}\(x\)=\\frac\{v\_\{k,i\}^\{\\top\}\(x\-\\mu\_\{k\}\)\}\{\\widehat\{\\sigma\}\_\{k,i\}\}\.\(11\)

一个与类别kk兼容的样本应沿保留方向具有适中的zk,i\(x\)z\_\{k,i\}\(x\)值。我们将区间\[−ρ,ρ\]\[\-\\rho,\\rho\]建模为两个sigmoid平板门：

hk,i\+\(x\)=σ\(β\(ρ−zk,i\(x\)\)\),hk,i−\(x\)=σ\(β\(ρ\+zk,i\(x\)\)\),h\_\{k,i\}^\{\+\}\(x\)=\\sigma\\bigl\(\\beta\(\\rho\-z\_\{k,i\}\(x\)\)\\bigr\),\\qquad h\_\{k,i\}^\{\-\}\(x\)=\\sigma\\bigl\(\\beta\(\\rho\+z\_\{k,i\}\(x\)\)\\bigr\),\(12\)

其中ρ\>0\\rho\>0是平板半宽，β\>0\\beta\>0控制锐度。当zk,i\(x\)∈\[−ρ,ρ\]z\_\{k,i\}\(x\)\\in\[\-\\rho,\\rho\]时，两个门都接近1。

方程 (12 (https://arxiv.org/html/2606.28444#S4.E12)) 给出