轻量级隐式神经表示的误差感知分布预测

# 面向轻量级隐式神经表示的误差感知分布预测
来源：https://arxiv.org/html/2607.10068
\onlineid

1275\vgtccategory研究

Jake D. Balla 亚利桑那大学 电子邮箱: [email protected]  
Joshua A. Levine 亚利桑那大学 电子邮箱: [email protected]

###### 摘要

隐式神经表示（INR）提供了一种紧凑的体积数据编码方法，但由于其有损近似的本质，不可避免地会产生预测误差。我们考虑那些能够通过利用不确定性估计工具预测分布，从而同时编码相对误差尺度的INR。通常，不确定性估计依赖于计算开销大的方法，或对预测分布（例如高斯分布）施加预定义的参数化假设。在本研究中，我们提出一种轻量级方法，通过将连续目标离散化为箱子（bins），将基于回归的INR训练重构为分类任务，从而能够灵活建模分布，捕获复杂的多模态行为。我们分析了INR训练中回归与分类的权衡，并证明与基于回归的方法相比，分类设置通常能通过不确定性估计实现高重建质量和有竞争力的误差感知。

###### 关键词：

科学可视化，隐式神经表示，不确定性量化

\teaser![[未配图图像]](https://arxiv.org/html/2607.10068v1/x1.png)

在动脉瘤数据集上，基于分类和回归方法的误差场与不确定性场。从左到右依次为：分类设置下的交叉熵（CE）、交叉熵加均方误差（CE+MSE）、均方误差（MSE）；回归设置下的异方差回归和证据回归。对于由异方差回归和证据回归重建的体数据，其对应不确定性场未能捕获误差场中的关键特征，表明使用它们预测的不确定性进行误差分析存在潜在局限性。相比之下，CE和CE+MSE产生的不确定性场与误差场的一致性更好。

## 引言

隐式神经表示（INR）因其灵活性和表达能力，已成为紧凑表示科学数据（如3D体数据和时变标量场）的强大工具。作为数据的近似，INR实现了令人印象深刻的压缩比[gu2023nervi,11264349,han2022coordnet,han2025dcinr,han2023kd,lu2021compressive,tang2024ecnr,yang2025meta]，并优于之前最先进的有损压缩方法[ballester2019tthresh]。然而，其近似性质会引入误差，可能影响下游科学分析的可靠性，并引发领域专家对其在科学工作流中应用的担忧。

常见的误差指标，如峰值信噪比（PSNR），提供了数据近似的全局误差估计，但未能捕捉对科学解释至关重要的局部不准确性。由于原始数据通常不可用，测量预测误差具有挑战性。最近，预测不确定性已被用作INR预测相对误差尺度的潜在指标[saklani2024uncertainty,xiong2024regularized]。经典的不确定性量化方法，如深度集成[lakshminarayanan2017simple]和蒙特卡洛dropout[gal2016dropout]，能够提供不确定性估计，但会引入显著的计算开销，或可能牺牲预测精度。轻量级解决方案，如异方差回归[kendall2017uncertainties,seitzer2022pitfalls]或证据回归[amini2020deep]，能够实现单次不确定性估计，但依赖严格分布假设，限制了它们对具有长尾或多模态分布的复杂科学数据建模的能力。

在本研究中，我们提出一种新的轻量级方法用于基于INR的科学数据建模，该方法不依赖预定义的参数化假设。我们的解决方案通过将连续信号离散化为箱子，并使用交叉熵目标进行训练，将回归任务转化为分类问题。与基于回归的方法相比，分类公式产生一个离散预测分布，能够建模复杂行为。

我们将我们的方法与基于回归的方法在重建质量和不确定性估计方面进行比较，以评估其捕捉和反映预测误差的能力。实验结果揭示了方法间的权衡，我们的方法倾向于实现高重建质量。此外，误差感知表现出互补关系，每种方法根据数据集特性在不同条件下表现更好。总体而言，这些发现表明，基于分类的INR训练为在科学数据建模中同时实现准确重建和有意义的不确定性估计提供了一种实用且有效的替代方案。我们将贡献总结如下：

- • 一种新的隐式神经表示训练框架，将分类目标用于隐式神经表示训练。
- • 一项比较研究，表明与基于回归的解决方案相比，分类方法在重建质量和不确定性估计方面提供了互补性能。

## 1 相关工作

先前关于INR的文献[han2022coordnet,lu2021compressive,reiser2021kilonerf,saragadam2022miner,tang2023ecnr]主要关注提高压缩性能或计算效率，而忽略了预测误差的表征。在此，我们回顾在科学数据建模INR背景下不确定性估计的相关工作。

模型预测不确定性对于确保神经模型决策的可靠性至关重要[potter2025navigating]。已有多种方法被提出用于量化INR训练中的预测不确定性，每种方法都有不同的动机。一系列工作将不确定性作为指示区域误差高低的代理。Saklani等人[saklani2024uncertainty]评估了深度集成和蒙特卡洛dropout在INR体数据可视化任务中的不确定性。Xiong等人[xiong2024regularized]提出了RMDSRN，它使用多头解码器预测方差作为不确定性，并通过计算与模型预测误差的皮尔逊相关性来评估不确定性质量。与深度集成不同，RMDSRN设计有共享编码器以减少模型训练次数。这些方法由于额外的模型训练/推理或引入额外的训练复杂性，计算强度大。

另一系列工作专注于对本身包含不确定性的数据进行建模，例如集成模拟输出。在此设置中，区分不同来源的不确定性（如偶然不确定性和认知不确定性）至关重要。ConfEviSurrogate[duan2025confevisurrogate]基于证据回归[amini2020deep]开发了科学模拟的生成式代理模型。REV-INR[saklani2026rev]将证据回归和异方差回归[kendall2017uncertainties]与共享编码器框架[xiong2024regularized]相结合，产生了多种用于不确定性量化的架构。Surroflow[shen2024surroflow]利用归一化流实现模拟代理模型的可逆输入-输出映射，并为预测输出提供不确定性估计。

我们的研究侧重于利用不确定性来表征预测误差。我们并未扩展先前的方法，而是引入了一个轻量级训练框架，将INR训练重构为分类目标。

参考图注图1：异方差回归、证据回归和分类的训练配置。
## 2 背景

INR倾向于学习低频特征，但由于频谱偏差[rahaman2019spectral]，难以捕获高频细节。为解决这一限制，已提出Siren[sitzmann2020implicit]和位置编码[muller2022instant,tancik2020fourier]等技术来提高模型性能。如图1所示，我们的研究采用傅里叶位置编码[tancik2020fourier]并结合ReLU激活函数应用于不同训练设置。我们的实验使用一个5层多层感知器（MLP），每层宽度为256个神经元。除了标准的基于回归的INR训练，我们应用相同的框架通过两种代表性方法建模预测不确定性：异方差回归和证据回归。

异方差回归[kendall2017uncertainties]将回归表述为高斯最大似然估计问题（方程1）。给定输入\(x_i\)和目标\(y_i\)，模型同时预测均值\(\mu_\theta(x_i)\)和方差\(\sigma^2_\theta(x_i)\)，其中\(\theta\)表示网络参数。该损失函数并非最小化均方误差，而是通过负对数似然损失同时优化预测误差和不确定性（\(\sigma^2_\theta(x_i)\)）。

\[
\mathcal{L}_{\text{HeteNLL}} = -\log(p(y_i \mid x_i)) = \frac{1}{2}\log(\sigma_\theta^2(x_i)) + \frac{(y_i - \mu_\theta(x_i))^2}{2\sigma_\theta^2(x_i)} \tag{1}
\]

证据回归[amini2020deep]通过在似然函数上放置正态逆伽马先验来建模不确定性。似然为\(p(y_i \mid \mu_i, \sigma_i^2) = \mathcal{N}(y_i \mid \mu_i, \sigma_i^2)\)。它假设\(\mu_i\)和\(\sigma_i\)的先验分布。\(\sigma_i\)服从Inv-Gamma\((\alpha, \beta)\)分布，\(\mu_i\)服从高斯分布\(\mathcal{N}\!\left(\gamma, \frac{\sigma^2}{\lambda}\right)\)。

证据回归预测参数\(\{\alpha_\theta(x_i), \beta_\theta(x_i), \gamma_\theta(x_i), \lambda_\theta(x_i)\}\)，这些参数定义了一个学生t分布。其负对数似然为：

\[
\mathcal{L}_i^{\text{NLL}}(\mathbf{w}) = \frac{1}{2}\log\left(\frac{\pi}{\lambda_\theta(x_i)}\right) - \alpha_\theta(x_i)\log\left(\Omega_\theta(x_i)\right) + \left(\alpha_\theta(x_i) + \frac{1}{2}\right)\log\left((y_i - \gamma_\theta(x_i))^2\lambda_\theta(x_i) + \Omega_\theta(x_i)\right) + \log\left(\frac{\Gamma(\alpha_\theta(x_i))}{\Gamma\left(\alpha_\theta(x_i) + \frac{1}{2}\right)}\right) \tag{2}
\]

其中\(\Omega_\theta(x_i) = 2\,\beta_\theta(x_i)\left(1 + \lambda_\theta(x_i)\right)\)。在本研究中，预测均值为\(\gamma_\theta(x_i)\)，偶然不确定性为\(\frac{\beta_\theta(x_i)}{\alpha_\theta(x_i) - 1}\)，认知不确定性为\(\frac{\beta_\theta(x_i)}{\lambda_\theta(x_i)(\alpha_\theta(x_i) - 1)}\)。由于区分不确定性来源并非主要关注点，我们将偶然不确定性和认知不确定性合并为单一度量\(\frac{\beta_\theta(x_i)\bigl(1 + \lambda_\theta(x_i)\bigr)}{\lambda_\theta(x_i)\bigl(\alpha_\theta(x_i) - 1\bigr)}\)。

为了实现高质量的不确定性估计，具有较高不确定性的预测应对应于较大的误差。为评估不确定性反映误差的程度，我们使用AUSE指标：

\[
\text{AUSE} = \int_0^1 \left(E(p) - E^*(p)\right) dp
\]

其中\(E(p)\)表示移除比例\(p\)的最高不确定性预测后的预测误差，\(E^*(p)\)表示移除比例\(p\)的最高误差预测（理想情况）后的误差。该指标衡量不确定性与真实预测误差的一致性程度[lind2024uncertainty]。AUSE越低，表示误差感知越好。

## 3 INR训练的分类设置

使用分类解决回归问题已在多个领域显示出前景，包括计算机视觉[pintea2023step,rothe2015dex]和强化学习[lagoudakis2003reinforcement]。在本工作中，我们将INR设置下的回归重新表述为分类问题，以在不加限制性参数假设的情况下对科学数据进行建模。

为将回归任务转化为分类问题，必须将连续信号离散化为箱子。我们采用等区间分箱策略，首先将值归一化到区间\([0,1]\)，然后均匀划分为\(n\)个箱子。箱大小定义为\(b_s = \frac{1}{n}\)。第\(i\)个箱子对应区间\([b_s \times (i-1), b_s \times i)\)，其代表值取中点\(b_i = \frac{b_s \times (i-1) + b_s \times i}{2}\)。我们使用中点作为箱值，因为与使用左边界或右边界相比，通常能产生更好的重建质量。在分类设置中，目标标签对应包含真实值的箱子。除非另有说明，我们默认使用256个箱子（附录A进一步研究了箱配置）。

在标准分类任务中，模型预测对应于最高概率的单个离散标签。然而，在用于连续信号建模的INR设置中，相邻箱子也可能获得相对较高的概率。因此，微小偏差进入相邻箱子仍对应相近的数值，使得模型即使在预测有轻微偏移时也能保持准确的近似。我们不使用目标箱子的值来表示INR输出，而是计算预测分布的期望值\(\sum_{i=1}^{C} b_i p_i\)，其中\(p_i\)表示分配给箱子\(i\)的概率，\(C\)是箱子数量。

训练过程中，交叉熵损失鼓励为目标标签分配高概率，为所有其他箱子分配低概率。这种公式促进学习一个有意义的概率分布，以反映底层真实值。分类网络的不确定性通过softmax归一化后的输出分布来捕获。我们通过计算该分布的方差来量化预测不确定性。我们的研究主要使用分布方差进行不确定性估计，因为方差量化了预测偏离其期望值的程度，提供了一种直观的误差感知度量。相比之下，诸如熵之类的不确定性度量