作为隐式神经表示的无网格高频辅助损失的水平穿越密度

arXiv cs.LG 论文

摘要

本文介绍了一种基于随机场理论中Rice水平穿越密度的可微训练目标,它作为隐式神经表示的无网格高频辅助损失。无需网格或FFT,并提高了在非均匀样本上的性能。

arXiv:2607.05815v1 公告类型:新 摘要:场的游荡集的闵可夫斯基泛函——面积、边界测度和欧拉示性数——描述了其水平集形态;欧拉示性数是拓扑的最廉价处理方式。我们推导了连续神经场的所有三个泛函的平滑蒙特卡洛估计器,通过余面积公式和高斯-博内定理在散点处评估,仅使用自动微分:无需网格、无需复数、无需持久性。该估计器在2D和3D中与精确拓扑相比准确率达1-3%,每次迭代成本约3毫秒,而基于立方网格的持久同调(PH)损失成本为650-1000毫秒——差距达250倍。我们建立了四个设计规则,违反它们会导致这些损失无声失效:密集层级阶梯(参数中不变量在过渡之外是平坦的)、$C^2$主干网络(ReLU网络将曲率隐藏在拐点中)、完整的闵可夫斯基向量(仅欧拉示性数是交替和,会被碎片-空洞抵消利用;对周长定价关闭了通道)以及采样尺度覆盖。在2D中,向量值的上限是受控比较中唯一既能修复拓扑(3/3种子)又能保持保真度的方法——均匀平滑修复的保真度成本是11-17倍,而仅欧拉项无法修复任何东西。然而,在3D神经有向距离场拟合中,出现了一种我们认为普遍存在于任何采样软拓扑目标中的失败模式:梯度下降对抗性地将拓扑噪声隐藏在采样密度以下,使估计器无法察觉——伪特征计数对4倍以上样本保持不变,且关闭窗口需要立方级数量的点,抹去了成本优势。基于网格的PH基线(其复形即评估分辨率)解决了相同的基准测试(4/9精确;中位$b_1$误差为1,而我们的超过$10^4$)。当前,持久性的250倍成本是拥有无零空间的代价。我们发布了估计器、配方和基准测试。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:44

# 跨越密度作为隐式神经表示的无网格高频辅助损失
来源: https://arxiv.org/html/2607.05815
(2026年7月)

###### 摘要

坐标\-MLP隐式神经表示(INR)表现出*频谱偏差*:它们快速拟合低频结构,缓慢或根本不拟合高频细节。现有的补救措施作用于频域(例如焦点频率损失)、激活函数和编码(SIREN、傅里叶特征、FINER),或通过从粗到细的课程——而基于损失的补救措施假设存在一个规则采样网格,在该网格上可以计算离散傅里叶变换。我们重新审视随机场理论中的一个经典对象——*Rice 跨越密度*,并将其转化为可微分的训练目标。通过余面积公式,场的跨越密度是其梯度幅度集中在水平集上的直接泛函,对于平稳过程,它随谱矩比λ2/λ0\\sqrt\{\\lambda\_\{2\}/\\lambda\_\{0\}\}单调递增——即它是高频内容的一个空间域封闭形式代理。我们构建了一个平滑的蒙特卡洛跨越密度估计器,可在任意样本位置逐点评估,无需网格、无需FFT、无需网格,并将其与一组水平上监督信号的经验跨越密度进行匹配。我们针对精确跨越计数和 Rice 公式验证了该估计器,然后在严格信息对等条件下,针对规则网格和分散的非均匀样本,将该损失与焦点频率损失、归一化 Sobolev 监督和仅 MSE 训练进行了比较,并如实报告了结果。在监督稀疏且不规则的情况下,*每个*辅助频谱损失都具有变革性(在PE-MLP上比仅MSE高+2.3–3.0 dB,在SIREN上高+1.4–1.8 dB);在边缘主导的自然图像上,跨越密度损失与替代方案相当——PSNR在FFL的0.2–0.5 dB范围内,SSIM匹配或超过FFL——但没有击败它们;而在统计均匀纹理(最接近 Rice 理论描述的平稳场)上,它超过了FFL 0.6 dB。其进一步的区别在于结构性:它是唯一既不需要采样网格也不需要可信的逐点梯度目标的损失,并且一个 oracle 梯度诊断显示它对梯度目标质量具有独特的鲁棒性。在密集规则网格上,辅助驱动不必要时,有限差分梯度目标反而有害——这一警示同样适用于 Sobolev 训练。我们发布代码、原始结果和所有实验脚本。

## 1 引言

隐式神经表示(INR)将信号参数化为一个神经网络fθ:Rd→Rmf\_\{\\theta\}:\\mathbb\{R\}^\{d\}\\to\\mathbb\{R\}^\{m\},将坐标映射到值,并已成为图像、符号距离场和辐射场的标准表示\[24 (https://arxiv.org/html/2607.05815#bib.bib24),18 (https://arxiv.org/html/2607.05815#bib.bib18),16 (https://arxiv.org/html/2607.05815#bib.bib16),28 (https://arxiv.org/html/2607.05815#bib.bib28)\]。它们最著名的失败模式是*频谱偏差*\[20 (https://arxiv.org/html/2607.05815#bib.bib20),3 (https://arxiv.org/html/2607.05815#bib.bib3)\]:使用简单的重建损失训练时,坐标MLP首先学习低频,缓慢学习高频,模糊了细节。社区的回应分为三类:(i) *架构*修复——傅里叶特征编码\[25 (https://arxiv.org/html/2607.05815#bib.bib25)\]、周期激活函数\[24 (https://arxiv.org/html/2607.05815#bib.bib24)\]、它们的变周期\[14 (https://arxiv.org/html/2607.05815#bib.bib14)\]、小波\[23 (https://arxiv.org/html/2607.05815#bib.bib23)\]和高斯\[21 (https://arxiv.org/html/2607.05815#bib.bib21)\]变体、乘法滤波器网络\[6 (https://arxiv.org/html/2607.05815#bib.bib6)\]、限带架构\[13 (https://arxiv.org/html/2607.05815#bib.bib13)\]和哈希网格\[17 (https://arxiv.org/html/2607.05815#bib.bib17)\];(ii) *基于损失*的修复——频域目标,如焦点频率损失(FFL)\[9 (https://arxiv.org/html/2607.05815#bib.bib9)\]和梯度域(Sobolev)监督\[4 (https://arxiv.org/html/2607.05815#bib.bib4),30 (https://arxiv.org/html/2607.05815#bib.bib30)\];以及(iii) *课程*,即从粗到细调度频率内容\[8 (https://arxiv.org/html/2607.05815#bib.bib8),29 (https://arxiv.org/html/2607.05815#bib.bib29)\]。

基于损失的家族有一个结构性盲点。离散傅里叶变换定义在规则网格上。当监督以分散样本形式出现时——神经SDF的点云、非均匀采样的传感器数据、自适应采样的渲染结果——频域损失必须首先将分散数据*重采样*到网格上,而插值步骤恰恰会模糊损失旨在监督的高频内容。梯度匹配损失是逐点的,因此是无网格的,但它们监督*每个点*的梯度,因此其目标在逐点、完整的程度上继承了梯度估计步骤引入的任何噪声。

本文提出一种第三类空间域目标,借用自随机场理论。*Rice 公式*\[22 (https://arxiv.org/html/2607.05815#bib.bib22),10 (https://arxiv.org/html/2607.05815#bib.bib10)\]指出,对于平稳高斯过程,水平uu每单位长度的预期穿越次数为

μ\(u\)=1πλ2λ0e−u2/\(2λ0\),λk=∫ωkdS\(ω\),\\mu\(u\)\\;=\\;\\frac\{1\}\{\\pi\}\\sqrt\{\\frac\{\\lambda\_\{2\}\}\{\\lambda\_\{0\}\}\}\\;e^\{\-u^\{2\}/\(2\\lambda\_\{0\}\)\},\\qquad\\lambda\_\{k\}=\\int\\omega^\{k\}\\,dS\(\\omega\),\(1\)其中SS是谱测度。穿越率关于λ2/λ0\\sqrt\{\\lambda\_\{2\}/\\lambda\_\{0\}\}(RMS角频率)单调递增:*场跨越水平的频率是其携带多少高频能量的直接闭式泛函*。零穿越率与频谱内容之间的联系在信号处理中是经典的\[11 (https://arxiv.org/html/2607.05815#bib.bib11),15 (https://arxiv.org/html/2607.05815#bib.bib15)\];我们的贡献不是联系本身,而是将其*实例化为INR的可微分训练目标*,并实证研究此类目标在何处有帮助。

具体地,我们通过 Kac–Rice 被积函数的平滑蒙特卡洛形式估计 INR 输出场的跨越密度,

c^ε\(u\)=1N∑i=1Nδε\(fθ\(xi\)−u\)‖∇xfθ\(xi\)‖,\\hat\{c\}\_\{\\varepsilon\}\(u\)\\;=\\;\\frac\{1\}\{N\}\\sum\_\{i=1\}^\{N\}\\delta\_\{\\varepsilon\}\\\!\\bigl\(f\_\{\\theta\}\(x\_\{i\}\)\-u\\bigr\)\\,\\bigl\\lVert\\nabla\_\{x\}f\_\{\\theta\}\(x\_\{i\}\)\\bigr\\rVert,\(2\)其中xix\_\{i\}是(任意的、可能分散的)训练坐标,δε\\delta\_\{\\varepsilon\}是高斯凸包,∇xfθ\\nabla\_\{x\}f\_\{\\theta\}通过自动微分精确计算。根据余面积公式,(2 (https://arxiv.org/html/2607.05815#S1.E2)) 估计一维中每单位长度的穿越次数、二维中每单位面积的等值线长度、三维中每单位体积的等值面面积。辅助损失将c^ε\(u\)\\hat\{c\}\_\{\\varepsilon\}\(u\)与一小部分水平上的地面真值*经验*跨越密度进行匹配。一切都是逐点的:无网格、无FFT、无网格、无平稳性或高斯性假设。

由于跨越密度轮廓是一个*分布性*统计量——对整个批次的平均——它丢弃了相位信息:它说明场应该具有多少等值线几何,而不是在哪里。因此它是与重建损失(锚定位置)并列的辅助驱动,而非独立目标,并且其分布性特征正是我们期望使其在分散域上具有鲁棒性的原因:导出的梯度目标中的逐点误差在 (2 (https://arxiv.org/html/2607.05815#S1.E2)) 中被平均化,而不是逐点强制执行。

#### 我们的主张。

我们提出三个主张,每个都在第5节 (https://arxiv.org/html/2607.05815#S5) 中测试。(1) 估计器 (2 (https://arxiv.org/html/2607.05815#S1.E2)) 是一个精确、可微分的跨越密度估计器(针对精确计数和 (1 (https://arxiv.org/html/2607.05815#S1.E1)) 进行了验证)。(2) 作为辅助损失,它是一个*有效的*高频驱动:在监督稀缺的任何地方,它在两种不同骨干网络上恢复了仅MSE训练与样本设定的信息上限之间的差距。(3) 与严格信息对等下最强的基于损失的替代方案相比,它在边缘主导的自然图像内容上实现了PSNR对等(SSIM匹配或超过FFL,并且对梯度目标质量具有独特的鲁棒性),并且仅在统计均匀纹理(Rice 理论实际描述的情形)上超过了FFL 0.6 dB。我们认为对(3)的系统性测量(包括其负面成分)是一项贡献:认为跨越统计量在离格情况下能广泛*击败*重采样频率损失的假设是合理的、易于陈述的,并且在此得到了测试和限定。

#### 我们不主张的内容。

存在从粗到细的频率课程\[8 (https://arxiv.org/html/2607.05815#bib.bib8),29 (https://arxiv.org/html/2607.05815#bib.bib29)\],我们不声称这一点。穿越率与频率的联系是教科书内容\[11 (https://arxiv.org/html/2607.05815#bib.bib11)\];我们仅声称可微损失实例化及其评估。在规则网格上,我们预期并报告大致对等而非优势。

## 2 相关工作

#### 频谱偏差与架构补救措施。

Rahaman 等人\[20 (https://arxiv.org/html/2607.05815#bib.bib20)\]描述了频谱偏差,Basri 等人\[3 (https://arxiv.org/html/2607.05815#bib.bib3)\]将分析扩展到非均匀输入密度——这直接相关于我们的分散采样设置,因为他们的理论预测在稀疏采样区域中给定频率的收敛进一步减慢。傅里叶特征编码\[25 (https://arxiv.org/html/2607.05815#bib.bib25)\]和周期激活函数\[24 (https://arxiv.org/html/2607.05815#bib.bib24)\]提升了可表示频带;FINER\[14 (https://arxiv.org/html/2607.05815#bib.bib14)\]通过变周期激活函数使支持频带可调;WIRE\[23 (https://arxiv.org/html/2607.05815#bib.bib23)\]、高斯激活函数\[21 (https://arxiv.org/html/2607.05815#bib.bib21)\]、乘法滤波器网络\[6 (https://arxiv.org/html/2607.05815#bib.bib6)\]、BACON\[13 (https://arxiv.org/html/2607.05815#bib.bib13)\]和哈希编码\[17 (https://arxiv.org/html/2607.05815#bib.bib17)\]是替代途径。所有这些都改变了*架构*;我们的提议是正交的,并与它们结合(第5.4节 (https://arxiv.org/html/2607.05815#S5.SS4))。

#### 基于损失的补救措施。

焦点频率损失\[9 (https://arxiv.org/html/2607.05815#bib.bib9)\]比较预测和目标的DFT谱,带有自适应逐频率权重,是标准的频域目标;它需要一个规则网格。Sobolev 训练监督导数\[4 (https://arxiv.org/html/2607.05815#bib.bib4)\],由 Yuan 等人\[30 (https://arxiv.org/html/2607.05815#bib.bib30)\]使用有限差分图像导数应用于INR;它是无网格的但逐点。形状表示中的Eikonal型损失\[7 (https://arxiv.org/html/2607.05815#bib.bib7)\]同样逐点约束∥∇f∥\\lVert\\nabla f\\rVert(对于SDF为单位范数);我们的损失则约束∥∇f∥\\lVert\\nabla f\\rVert在等值集上的一个积分泛函。频率课程\[8 (https://arxiv.org/html/2607.05815#bib.bib8),29 (https://arxiv.org/html/2607.05815#bib.bib29)\]调度编码而非增加目标。

#### 穿越次数与 Kac–Rice 公式。

随机过程的穿越计数可追溯到 Kac \[10 (https://arxiv.org/html/2607.05815#bib.bib10)\] 和 Rice \[22 (https://arxiv.org/html/2607.05815#bib.bib22)\];现代处理包括 Adler 和 Taylor \[1 (https://arxiv.org/html/2607.05815#bib.bib1)\]、Azaïs 和 Wschebor \[2 (https://arxiv.org/html/2607.05815#bib.bib2)\],以及 Longuet\-Higgins \[15 (https://arxiv.org/html/2607.05815#bib.bib15)\] 发展了随机曲面的二维(等值线长度)理论。作为频率特征的零穿越率在信号处理和时间序列判别中是经典的\[11 (https://arxiv.org/html/2607.05815#bib.bib11)\]。据我们所知——包括对 arXiv 摘要和近期 INR 文献的搜索——跨越密度此前尚未被用作神经场的训练目标;Kac–Rice 机制在机器学习中主要用于计数损失景观的临界点,这完全是另一种用途。

## 3 方法

### 3.1 背景:穿越、谱与余面积恒等式

设f:Ω⊂Rd→Rf:\\Omega\\subset\\mathbb\{R\}^\{d\}\\to\\mathbb\{R\}是 Lipschitz 的。对于d=1d=1和水平uu,令Nu\(f;Ω\)N\_\{u\}\(f;\\Omega\)为Ω\\Omega中f\(x\)=uf\(x\)=u的解的数量。对于平稳高斯过程,Rice 公式 (1 (https://arxiv.org/html/2607.05815#S1.E1)) 给出了预期穿越率作为谱矩之比:λ0\\lambda\_\{0\}是信号方差,λ2\\lambda\_\{2\}是导数方差,因此λ2/λ0\\sqrt\{\\lambda\_\{2\}/\\lambda\_\{0\}\}是 RMS 频率。缺乏高频能量的场每单位水平穿越的次数较少(图2 (https://arxiv.org/html/2607.05815#S4.F2),右)。

两个性质使得跨越密度在高斯设置之外也可用。首先,*Kac–Rice 被积函数*:在温和条件下\[2 (https://arxiv.org/html/2607.05815#bib.bib2)\],

ENu=∫ΩE\[\|f′\(x\)\|\|f\(x\)=u\]pf\(x\)\(u\)dx,\\mathbb\{E\}\\,N\_\{u\}\\;=\\;\\int\_\{\\Omega\}\\mathbb\{E\}\\bigl\[\\,\\lvert f^\{\\prime\}\(x\)\\rvert\\,\\big\|\\,f\(x\)=u\\,\\bigr\]\\,p\_\{f\(x\)\}\(u\)\\,dx,\(3\)这不需要平稳性。其次,对我们而言核心的*确定性余面积公式*\[5 (https://arxiv.org/html/2607.05815#bib.bib5)\]:对于 Lipschitz 的ff和可积的gg,

∫Ωg\(f\(x\)\)∥∇f\(x\)∥dx=∫Rg\(u\)Hd−1\(f−1\(u\)∩Ω\)du,\\int\_\{\\Omega\}g\\bigl\(f\(x\)\\bigr\)\\,\\lVert\\nabla f\(x\)\\rVert\\,dx\\;=\\;\\int\_\{\\mathbb\{R\}\}g\(u\)\\,\\mathcal\{H\}^\{d\-1\}\\bigl\(f^\{\-1\}\(u\)\\cap\\Omega\\bigr\)\\,du,\(4)其中Hd−1\\mathcal\{H\}^\{d\-1\}是(d−1)\)(d\{\-\}1)\)维 Hausdorff 测度。取g=δε\(⋅−u\)g=\\delta\_\{\\varepsilon\}\(\\cdot\-u\)(一个带宽为ε\\varepsilon的高斯核),(4 (https://arxiv.org/html/2607.05815#S3.E4)) 的左边除以\|Ω\|\\lvert\\Omega\\rvert变为一个ε\\varepsilon\-平滑的*等值集密度*:一维中每单位长度的穿越次数、二维中每单位面积的等值线长度、三维中每单位体积的等值面面积。没有引入概率假设:(4 (https://arxiv.org/html/2607.05815#S3.E4)) 适用于正在拟合的单个确定性场。

### 3.2 可微分的蒙特卡洛估计器

在Ω\\Omega中均匀采样坐标x1,...,xNx\_\{1\},\\dots,x\_\{N\}(或使用给定的训练坐标)得到 (2 (https://arxiv.org/html/2607.05815#S1.E2)) 的估计器:c^ε\(u\)=1N∑iδε\(fθ\(xi\)−u\)∥∇xfθ\(xi\)∥\\hat\{c\}\_\{\\varepsilon\}\(u\)=\\frac\{1\}\{N\}\\sum\_\{i\}\\delta\_\{\\varepsilon\}\(f\_\{\\theta\}\(x\_\{i\}\)\-u\)\\,\\lVert\\nabla\_\{x\}f\_\{\\theta\}\(x\_\{i\}\)\\rVert,其中δε\(z\)=\(2πε2\)−1/2e−z2/2ε2\\delta\_\{\\varepsilon\}\(z\)=\(2\\pi\\varepsilon^\{2\}\)^\{\-1/2\}e^\{\-z^\{2\}/2\\varepsilon^\{2\}\}。它对ε\\varepsilon\-平滑的等值集密度是无偏的,并继承了通常的核权衡:跨水平的O\(ε2\)O\(\\varepsilon^\{2\}\)平滑偏差与O\(1/\(Nε\)\)O\(1/\(N\\varepsilon\)\)方差。

相似文章

深度隐含偏差:从神经坍缩到Softmax编码

arXiv cs.LG

本文研究深度本身如何在没有正则化训练的情况下,在深度无约束特征模型中引致隐式低秩偏差,将最优解从神经坍缩转向Softmax编码,并首次给出了在交叉熵损失下梯度下降中这一偏差的渐近和动态表征。

交换关联泛函的导数信息学习

arXiv cs.LG

这篇ICML 2026论文介绍了Derivative Informed XC-Loss(DI-Loss),这是一种用于机器学习交换关联泛函的训练方法,它在密度矩阵的格拉斯曼流形上引入了一阶和二阶导数监督。在四种架构上,与仅使用能量和密度监督相比,DI-Loss将总能量平均绝对误差(MAE)降低了66%,并改善了TDDFT计算中的激发态预测。

输入凸神经网络训练的一种提升方法

arXiv cs.LG

提出了一种用于训练输入凸神经网络(ICNN)的“提升”方法,该方法使用无约束的超网络生成非负的层间权重,从而软化损失景观并避免梯度衰减,相比投影梯度下降和softplus重参数化,实现了更低的测试损失。

通过 L₀ 正则化学习稀疏神经网络

OpenAI Blog

OpenAI 提出了一种实用的神经网络 L₀ 正则化方法,在训练过程中促使权重精确变为零,实现网络剪枝以提高速度和泛化性能。该方法使用随机门控机制,引入硬具体分布(hard concrete distribution)使得不可微的 L₀ 范数优化能够通过梯度下降法求解。