挑战下的训练:神经网络的可执行证书与挑战闭合最优性

arXiv cs.LG 论文

摘要

介绍“Training Under Challenge”(挑战下训练),这是一个可执行证书框架,利用架构有效的过程构建替代模型,并估计神经网络检查点的经验全局最优性差距,具有理论保证以及基于 ResNet-18 蒸馏和量化去噪的实验。

arXiv:2608.12655v1 公告类型:新 摘要:平坦的训练曲线并不能揭示神经网络是达到了全局最优、陷入局部陷阱、表示受限,还是与其训练器不匹配。我们引入了“Training Under Challenge”(挑战下训练),这是一个可执行证书框架,其中预先声明的、架构有效的过程在相同的认证类别中构建完整的替代方案,并重新评估相同的目标。任何值更低的候选者都是可重放的见证者,它下界了检查点的经验全局最优性差距。通过有限套件仅是相对于套件的;全局差距结论需要单独证明的覆盖机制。我们定义了一个资源索引的挑战能力模数,它刻画了与通过兼容的最大差距。对于平方损失,当前的块下降算子使覆盖可检查,并产生均匀界和实现残差界。我们证明了逆前沿:没有覆盖,一阶 ReLU 训练器可以达到无限多个精确的条件头最优,同时收敛到非全局点。在一个具有已知最优的通道门控 ResNet-18 蒸馏问题上,八个内部挑战覆盖了所有 240 个审计的输出方向,实现残差界在真实差距的 1.74--3.02 倍之内。配对预测性证书将解码器未充分利用与表示不足区分开来,而量化去噪研究展示了诊断、修复和当前状态重新认证。
查看原文
查看缓存全文

缓存时间: 2026/08/14 09:30

# 可执行证书与神经网络挑战封闭最优性 来源:https://arxiv.org/html/2608.12655 \\jmlrauthors Farhang Yeganegi、Arian Eamaz 和 Mojtaba Soltanalian ## 挑战下训练:神经网络的可执行证书与挑战封闭最优性 Farhang Yeganegi邮箱:[fyegan2@uic\.edu](mailto:[email protected])单位:伊利诺伊大学芝加哥分校电子与计算机工程系 伊利诺伊州芝加哥市,美国 以及 伊利诺伊大学芝加哥分校电子与计算机工程系 伊利诺伊州芝加哥市,美国 以及 伊利诺伊大学芝加哥分校电子与计算机工程系 伊利诺伊州芝加哥市,美国 Mojtaba Soltanalian邮箱:[msol@uic\.edu](mailto:[email protected])单位: ###### 摘要 平坦的训练曲线无法揭示神经网络是达到了全局最优、陷入局部陷阱、受表示能力限制,还是与其训练器不匹配。我们提出*挑战下训练*(Training Under Challenge),这是一个可执行证书框架,其中预先声明的、架构有效的过程在同一认证类别内构造完整替代模型,并重新评估同一目标。任何取值更低的候选都是可重放证据,用于下界约束检查点的经验全局最优性差距。通过有限测试套件仅意味着相对于该套件成立;全局差距结论需要单独论证的覆盖率机制。我们定义了一个资源索引的挑战能力模量(challenge-power modulus),用于刻画与通过相容的最大差距。对于平方损失,当前的块下降算子使得覆盖率可检验,并产生一致性与实现残差界。我们证明了反向边界:在没有覆盖率的情况下,一阶 ReLU 训练器可以达到无穷多个精确的条件头最优,同时收敛到非全局点。在一个已知最优值的通道门控 ResNet-18 蒸馏问题中,八个内部挑战覆盖了全部 240 个受审计输出方向,实现残差界位于真实差距的 1\.741\.74–3\.023\.02 倍因子范围内。配对预测性证书将解码器利用不足与表示不足区分开来,而量化去噪研究则展示了诊断、修复和当前状态重新认证。 ###### 关键词 训练保证、可执行挑战、谱覆盖率、表示充分性、量化神经网络 一览:可执行证书框架 完整替代模型以构造性方式确立失败;通过、覆盖率、跟踪和受保护证据决定了所能获得的最强结论。 在线状态与通过后检查 RedJt\>Jref\+τGJ\_\{t\}\>J\_\{\\mathrm\{ref\}\}\+\\tau\_\{G\}一个可行的参考已经优于检查点。YellowGt\+τG *一条声明的、架构有效的过程能否为同一目标构造出实质上更好的完整模型?* 我们提出了一个原则性框架,用于为受训网络构造可行挑战。如果候选获得更低的损失值BJref\+τG,Yellow:Gt\+τGJ\_\{\\mathrm\{ref\}\}\+\\tau\_\{G\},\\qquad\{\\color\[rgb\]\{0\.6406,0\.4141,0\}\\textbf\{Yellow\}\}:\\ G\_\{t\}\+\\tau\_\{G\}τj−1:Jt≤Sj\+τhit\}\.\\tau\_\{j\}=\\inf\\\{t\>\\tau\_\{j\-1\}:J\_\{t\}\\leq S\_\{j\}\+\\tau\_\{\\mathrm\{hit\}\}\\\}\.\(15\)在τj\\tau\_\{j\}处,仅当 S~j\+1τ\.E\(B,\\tau\)<\\varepsilon\\quad\\Longleftrightarrow\\quad\\Psi\(B,\\varepsilon\)\>\\tau\.\(22\) ###### 证明\. 紧性给出可达性。事件Ψ⁡\(B,s\)≤τ\\Psi\(B,s\)\\leq\\tau 恰好当存在一个差距至少为 ss 的通过状态时成立,这恰好是 s≤E⁡\(B,τ\)s\\leq E\(B,\\tau\)。其余恒等式直接推出;单调性由预算与严重性水平集的嵌套得到。 ∎ ###### 推论 7\(认证预算律与求解器误差\)。在通过容差 τ\\tau 后,证明严格差距低于 ε\\varepsilon 的最小预算为 inf\{B:E⁡\(B,τ\)<ε\}=inf\{B:Ψ⁡\(B,ε\)\>τ\}\.\\inf\\\{B:E\(B,\\tau\)<\\varepsilon\\\}=\\inf\\\{B:\\Psi\(B,\\varepsilon\)\>\\tau\\\}\.如果执行的挑战最多比最优预算 BB 值高 ε ̄C\\bar\{\\epsilon\}\_\{C\},则观测改进 I^x\(B\)≤τ\\widehat\{I\}\_\{x\}\(B\)\\leq\\tau 允许 Δ⁡\(x\)≤E⁡\(B,τ\+ε ̄C\),\\Delta\(x\)\\leq E\(B,\\tau\+\\bar\{\\epsilon\}\_\{C\}\),\(23\)而不是 E⁡\(B,τ\)E\(B,\\tau\)。图4 (https://arxiv.org/html/2608.12655#S5.F4) 可视化了尖锐的资源索引逆、由此产生的认证边界,以及在精确合成校准上的代表性速率包络。参见图注 图 4:挑战能力将预算化套件转化为定量证书。左图显示针对每个差距严重性和预算的保证改进。右图显示精确广义逆包络:在容差 τ\\tau 下通过后,它仍是与声明的套件相容的最大差距。这些合成曲面可视化了定理以及资源限定的作用。 ### 5\.1静态能力与多步动力学 标量曲面精确刻画了单次通过。精确的重复干预还依赖于端点转移映射。两个系统可以在每个预算下具有相同的 Ψ\\Psi 和 EE,同时将相同的命名状态发送到不同端点,并且需要两次调用与十一次调用才能达到最优。转移完备对象是 Bellman 端点算子 \(TBV\)\(x\)=infy∈CB\(x\)V⁡\(y\)\.\(\\mathsf\{T\}\_\{B\}V\)\(x\)=\\inf\_\{y\\in\\mathcal\{C\}\_\{B\}\(x\)\}V\(y\)。形式反例与算子性质见附录E (https://arxiv.org/html/2608.12655#A5)。Bellman 端点算子提供了精确自适应挑战动力学所需的转移级描述。 #### 本节结论。挑战能力是资源限定通过的精确语言:它说明了声明族在给定差距严重性下必须暴露的最佳改进,以及与观测通过相容的最大差距。它本身并不计算未知的全局差距。下一节提供具体的覆盖率机制,从当前神经几何或精确条件结构下界约束这一能力。 ## 6当前神经挑战的谱覆盖率 挑战能力说明了必须证明什么;谱覆盖率提供了一条当前的、可检验的路径来在经验平方损失中证明它。难点在于确定执行的块族覆盖了与所声称差距相关的每个残差方向。设 e⁡\(θ\)=vec⁡\(Fθ−Y\)∈Rnq,J⁡\(θ\)=12n‖e⁡\(θ\)‖2,e\(\\theta\)=\\operatorname\{vec\}\(F\_\{\\theta\}\-Y\)\\in\\mathbb\{R\}^\{nq\},\\qquad J\(\\theta\)=\\frac\{1\}\{2n\}\\left\\lVert e\(\\theta\)\\right\\rVert^\{2\},\(24\)并将受挑战参数划分为块 θ1,...,θm\\theta\_\{1\},\\ldots,\\theta\_\{m\}。设 Gr\(θ\)=∂e⁡\(θ\)/∂θrG\_\{r\}\(\\theta\)=\\partial e\(\\theta\)/\\partial\\theta\_\{r\},尺寸为 \(nq\)×dr\(nq\)\\times d\_\{r\}。 ###### 定义 8\(认证下降算子\)。一个完成的当前块挑战具有认证下降记录 \(Qr,εr\)\(Q\_\{r\},\\epsilon\_\{r\}\),如果 Qr⪰0Q\_\{r\}\\succeq 0,εr≥0\\epsilon\_\{r\}\\geq 0,并且其完全实现并重新评估的候选值 B^r\\widehat\{B\}\_\{r\} 满足 J⁡\(θ\)−B^r\(θ\)≥12ne\(θ\)⊤Qr\(θ\)e\(θ\)−εr\.J\(\\theta\)\-\\widehat\{B\}\_\{r\}\(\\theta\)\\geq\\frac\{1\}\{2n\}e\(\\theta\)^\{\\top\}Q\_\{r\}\(\\theta\)e\(\\theta\)\-\\epsilon\_\{r\}\.\(25\)该记录以当前检查点和精确完整目标为索引。转移到更改的数据、类别、正则化器、缓冲区或状态需要显式的等价性或区域稳定性论证。三种典型构造是有用的。如果块梯度是 LrL\_\{r\}\-Lipschitz 且可执行候选采取步长 −∇rJ/Lr\-\\nabla\_\{r\}J/L\_\{r\},则 Qr=GrGr⊤nLr\.Q\_\{r\}=\\frac\{G\_\{r\}G\_\{r\}^\{\\top\}\}\{nL\_\{r\}\}\.如果验证过的 Armijo 步长 ηr\\eta\_\{r\} 满足 J⁡\(θ\+\)≤J⁡\(θ\)−σηr‖∇rJ\(θ\)‖2J\(\\theta^\{\+\}\)\\leq J\(\\theta\)\-\\sigma\\eta\_\{r\}\\\|\\nabla\_\{r\}J\(\\theta\)\\\|^\{2\},则 Qr=2σηrnGrGr⊤\.Q\_\{r\}=\\frac\{2\\sigma\\eta\_\{r\}\}\{n\}G\_\{r\}G\_\{r\}^\{\\top\}\.对于精确仿射最小二乘块, Qr=Prange⁡\(Gr\)Q\_\{r\}=P\_\{\\operatorname\{range\}\(G\_\{r\}\)\}。在所有情况下,完整候选值都是通用证书;QrQ\_\{r\} 记录其强度中已证明的部分。 ###### 定理 9\(认证谱挑战覆盖率\)。对于一个完成的当前套件,设 π∈Δm\\pi\\in\\Delta\_\{m\} 并定义 Qπ=∑r=1mπrQr,ε ̄π=∑r=1mπrεr,Iblk=maxr⁡\[J−B^r\]\.Q\_\{\\pi\}=\\sum\_\{r=1\}^\{m\}\\pi\_\{r\}Q\_\{r\},\\qquad\\bar\{\\epsilon\}\_\{\\pi\}=\\sum\_\{r=1\}^\{m\}\\pi\_\{r\}\\epsilon\_\{r\},\\qquad I\_\{\\mathrm\{blk\}\}=\\max\_\{r\}\[J\-\\widehat\{B\}\_\{r\}\]\.那么 Iblk≥12ne⊤Qπe−ε ̄π\.I\_\{\\mathrm\{blk\}\}\\geq\\frac\{1\}\{2n\}e^\{\\top\}Q\_\{\\pi\}e\-\\bar\{\\epsilon\}\_\{\\pi\}\.\(26\)如果 Qπ⪰cInqQ\_\{\\pi\}\\succeq cI\_\{nq\} 对 c\>0c\>0 成立,则 J⁡\(θ\)≤Iblk\(θ\)\+ε ̄πc,J⁡\(θ\)−J⋆≤Iblk\(θ\)\+ε ̄πc\.J\(\\theta\)\\leq\\frac\{I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{c\},\\qquad\\boxed\{J\(\\theta\)\-J^\{\\star\}\\leq\\frac\{I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{c\}\.\}\(27\)该结论使用了非负损失下界,因此无论插值是否可达都适用。当 J⋆\>0J^\{\\star\}\>0 时,下面的正态残差细化可以产生更尖锐的超出差距证书。更一般地,设 Uπ=range⁡\(Qπ\)U\_\{\\pi\}=\\operatorname\{range\}\(Q\_\{\\pi\}\) 并假设 λmin\+\(Qπ\)≥c\\lambda\_\{\\min\}^\{\+\}\(Q\_\{\\pi\}\)\\geq c。对于每个有效下界 L≤J⋆L\\leq J^\{\\star\}, J⁡\(θ\)−J⋆≤Iblk\+ε ̄πc\+\[‖PUπ⟂e‖22n−L\]\+\.J\(\\theta\)\-J^\{\\star\}\\leq\\frac\{I\_\{\\mathrm\{blk\}\}\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{c\}+\\left\[\\frac\{\\left\\lVert P\_\{U\_\{\\pi\}^\{\\perp\}\}e\\right\\rVert^\{2\}\}\{2n\}\-L\\right\]\_\{\+\}\.\(28\) ###### 证明\. 最大值支配每个凸平均,因此式26 (https://arxiv.org/html/2608.12655#S6.E26) 由式25 (https://arxiv.org/html/2608.12655#S6.E25) 推出。在完全覆盖率下, e⊤Qπe≥c‖e‖2=2ncJ\(θ\)e^\{\\top\}Q\_\{\\pi\}e\\geq c\\\|e\\\|^\{2\}=2ncJ\(\\theta\);重排并使用 J⋆≥0J^\{\\star\}\\geq 0。对于部分覆盖率,分解 e=PUπe\+PUπ⟂ee=P\_\{U\_\{\\pi\}\}e\+P\_\{U\_\{\\pi\}^\{\\perp\}\}e,对被覆盖分量进行谱控制,并从未覆盖分量中减去有效下界。 ∎ 零下界定理精确识别了套件所看到的当前残差方向。当最优残差与所覆盖的预测缺陷相容时,可以得到更尖锐的超出差距定理。 ###### 定理 10\(正态残差谱覆盖率证书\)。假设全局最优 θ⋆\\theta^\{\\star\} 可达。记 e⋆=e⁡\(θ⋆\),d=vec⁡\(Fθ−Fθ⋆\),e=e⋆\+d\.e^\{\\star\}=e\(\\theta^\{\\star\}\),\\qquad d=\\operatorname\{vec\}\(F\_\{\\theta\}\-F\_\{\\theta^\{\\star\}\}\),\\qquad e=e^\{\\star\}\+d\.假设对于声明的子空间 UU,有 ⟨e⋆,d⟩=0,d∈U,Qπ⪰cPU,ξ≥‖Qπ1/2e⋆‖\.\\left\\langle e^\{\\star\},d\\right\\rangle=0,\\qquad d\\in U,\\qquad Q\_\{\\pi\}\\succeq cP\_\{U\},\\qquad\\xi\\geq\\left\\lVert Q\_\{\\pi\}^\{1/2\}e^\{\\star\}\\right\\rVert\.\(29\)则 J⁡\(θ\)−J⋆≤\(2n\[Iblk\(θ\)\+ε ̄π\]\+ξ\)22nc\.\\boxed\{J\(\\theta\)\-J^\{\\star\}\\leq\\frac\{\\bigl\(\\sqrt\{2n\[I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\]\}\+\\xi\\bigr\)^\{2\}\}\{2nc\}\.\}\(30\)如果 Qπe⋆=0Q\_\{\\pi\}e^\{\\star\}=0,则简化为 J⁡\(θ\)−J⋆≤Iblk\(θ\)\+ε ̄πc\.\\boxed\{J\(\\theta\)\-J^\{\\star\}\\leq\\frac\{I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{c\}\.\}\(31\) ###### 证明\. 正交性给出 J⁡\(θ\)−J⋆=‖d‖2/\(2n\)J\(\\theta\)\-J^\{\\star\}=\\\|d\\\|^\{2\}/\(2n\)。由于 d∈Ud\\in U 且 Qπ⪰cPUQ\_\{\\pi\}\\succeq cP\_\{U\},有 c‖d‖≤‖Qπ1/2d‖\\sqrt\{c\}\\\|d\\\|\\leq\\\|Q\_\{\\pi\}^\{1/2\}d\\\|。三角不等式和式26 (https://arxiv.org/html/2608.12655#S6.E26) 给出 ‖Qπ1/2d‖≤‖Qπ1/2e‖\+‖Qπ1/2e⋆‖≤2n\[Iblk\+ε ̄π\]\+ξ\.\\\|Q\_\{\\pi\}^\{1/2\}d\\\|\\leq\\\|Q\_\{\\pi\}^\{1/2\}e\\\|\+\\\|Q\_\{\\pi\}^\{1/2\}e^\{\\star\}\\\|\\leq\\sqrt\{2n\[I\_\{\\mathrm\{blk\}\}\+\\bar\{\\epsilon\}\_\{\\pi\}\]\}\+\\xi\.平方并除以 2nc2nc。 ∎ 正态残差条件对仿射最小二乘是精确的:最优残差与可达预测子空间正交,而当前预测差位于该子空间内。在非线性模型中,该定理是条件相容性结果,除非单独的论证或带证明的下界问题提供关于 ‖Qπ1/2e⋆‖\\\|Q\_\{\\pi\}^\{1/2\}e^\{\\star\}\\\| 的可计算上界 ξ\\xi。 ###### 推论 11\(绿色到差距证书\)。假设每个 πr\>0\\pi\_\{r\}\>0 的块都是强制性的,每个强制性当前调用都完成,并且在 θt\\theta\_\{t\} 处发出绿色。则 Iblk\(θt\)≤τG\.I\_\{\\mathrm\{blk\}\}\(\\theta\_\{t\}\)\\leq\\tau\_\{G\}\.在完全残差覆盖率下, J⁡\(θt\)−J⋆≤τG\+ε ̄πc\.J\(\\theta\_\{t\}\)\-J^\{\\star\}\\leq\\frac\{\\tau\_\{G\}\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{c\}\.\(32\)在式29 (https://arxiv.org/html/2608.12655#S6.E29) 下,将式30 (https://arxiv.org/html/2608.12655#S6.E30) 中的 IblkI\_\{\\mathrm\{blk\}\} 替换为 τG\\tau\_\{G\};如果 Qπe⋆=0Q\_\{\\pi\}e^\{\\star\}=0,则同样的简单比率适用于真实超出差距。这些结论归属于所需当前覆盖率调用完成时的检查点;保留的历史前沿继续支持其单侧见证陈述。在一个真实的差距不等式 Iblk\(θ\)≥c⁡\[J⁡\(θ\)−J⋆\]−ε ̄I\_\{\\mathrm\{blk\}\}\(\\theta\)\\geq c\[J\(\\theta\)\-J^\{\\star\}\]\-\\bar\{\\epsilon\} 一致成立的区域上,挑战能力对象满足 Ψ⁡\(B,s\)≥cs−ε ̄,E⁡\(B,τ\)≤τ\+ε ̄c,\\Psi\(B,s\)\\geq cs\-\\bar\{\\epsilon\},\\qquad E\(B,\\tau\)\\leq\\frac\{\\tau\+\\bar\{\\epsilon\}\}\{c\},\(33\)其中 BB 是完整套件的总预算。 #### 证书记录\. 当前状态谱证书记录被覆盖的残差子空间、当前下降算子、每个正则化贡献,以及证明所使用的任何门稳定性区域。初始化谱仅通过陈述的区域稳定性定理进入。这些量决定了界的有效性与紧度,并与可执行挑战值一起存档。图5 (https://arxiv.org/html/2608.12655#S6.F5) 总结了从执行块值到覆盖率限定的全局差距结论的链条。 图 5:谱覆盖率证书链。有限宽度几何产生稳定覆盖率谱;执行的当前挑战量化套件能够减少的残差方向;认证当前核将该方向覆盖率转化为全局差距上界。各面板展示了定理机制和证书记录的量。 ###### 推论 12\(实现残差当前状态证书\)。假设固定认证问题满足 J⋆=0J^\{\\star\}=0,并设 e=e⁡\(θ\)≠0e=e\(\\theta\)\\neq 0。对于任何完成的套件混合 QπQ\_\{\\pi\},定义 κcur\(θ,π\)=e⊤Qπe‖e‖2\.\\kappa\_\{\\mathrm\{cur\}\}\(\\theta,\\pi\)=\\frac\{e^\{\\top\}Q\_\{\\pi\}e\}\{\\\|e\\\|^\{2\}\}\.\(34\)则 Iblk\(θ\)\+ε ̄π≥κcur\(θ,π\)J\(θ\),J⁡\(θ\)−J⋆≤Iblk\(θ\)\+ε ̄πκcur\(θ,π\)I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\\geq\\kappa\_\{\\mathrm\{cur\}\}\(\\theta,\\pi\)J\(\\theta\),\\qquad\\boxed\{J\(\\theta\)\-J^\{\\star\}\\leq\\frac\{I\_\{\\mathrm\{blk\}\}\(\\theta\)\+\\bar\{\\epsilon\}\_\{\\pi\}\}\{\\kappa\_\{\\mathrm\{cur\}\}\(\\theta,\\pi\)\}\}\(35\) 只要 κcur\>0\\kappa\_\{\\mathrm\{cur\}\}\>0。 ###### 证明\. 插入 e⊤Qπe=κcur‖e‖2=2nκcurJ\(θ\)e^\{\\top\}Q\_\{\\pi\}e=\\kappa\_\{\\mathrm\{cur\}\}\\\|e\\\|^\{2\}=2n\\kappa\_\{\\mathrm\{cur\}\}J\(

相似文章

证书失效时:嵌入式神经接口模型的统一安全框架

arXiv cs.LG

本文表明,嵌入式神经接口模型的正式鲁棒性证书可能在任务准确率因对抗攻击而崩溃时仍能通过,并提出一个统一的实证审计框架,以解决训练目标与操作用户福利之间的对齐失败问题。

揭示神经网络证明共享的极限

arXiv cs.LG

本文对基于模板的神经网络鲁棒性验证加速进行系统性研究,并介绍了FastCert,一种自动分配模板以提高性能的技术。