FloDR:基于归一化流的可逆降维方法

arXiv cs.LG 论文

摘要

FloDR是一种基于归一化流的降维方法,可生成可逆嵌入,同时保留局部和全局结构,并提供如条件扩展和隐藏对比等诊断工具。

arXiv:2607.26278v1 公告类型:新 摘要:高维数据的二维嵌入常被解读得远超其实际支撑范围。聚类内部及聚类之间的距离、空白区域的含义以及每个点隐藏的结构信息,在t-SNE和UMAP等方法的输出中通常不可见。这是因为在优化过程中,能够支撑这些属性含义的信息被丢弃了。本文提出FloDR,一种通过可逆变归一化流嵌入数据的降维方法。尽管FloDR仅使用前两个输出坐标生成二维嵌入,但它保留了其余坐标而非丢弃。除了嵌入之外,精确逆变换和精确密度是训练映射的属性,这使得诊断可视化能够基于绘制布局的模型的精确逆变换而非近似逆变换进行计算。具体而言,我们绘制了两个场:条件扩展(conditional spread),衡量在输入单元中每个嵌入位置有多少原始数据仍未被确定;以及隐藏对比(hidden contrast),衡量两个绘制的坐标丢弃了多少关于标记对比的信息。这两个场均使用针对输入数据保留部分的预指定测试和自助法置信度进行渲染。未通过测试的场将被报告为拒绝。
查看原文
查看缓存全文

缓存时间: 2026/07/30 09:57

# FloDR:一种基于归一化流的可逆降维方法  
来源:https://arxiv.org/html/2607.26278  
Abdallah Baraka  
生物信息学组  
瓦赫宁根大学与研究中心  
瓦赫宁根 6708PB,荷兰  
&[![[未配图图像]](https://arxiv.org/html/2607.26278v1/x1.png)Daniel Probst](https://orcid.org/0000-0003-1737-4407)  
生物信息学组  
瓦赫宁根大学与研究中心  
瓦赫宁根 6708PB,荷兰  
daniel\.probst@wur\.nl  

###### 摘要  

高维数据的二维嵌入常常被过度解读,远超出了其所能支撑的范围。聚类内部和聚类之间的距离、空白空间的含义、以及每个点上隐藏的结构信息量,在 t-SNE 和 UMAP 等方法的输出中通常是不可见的。这是因为能够支撑这些属性含义的信息在优化过程中被丢弃了。在此,我们提出 FloDR,一种通过可逆归一化流来嵌入数据的降维方法。虽然 FloDR 仅使用前两个输出坐标来创建二维嵌入,但它保留了其余坐标而非丢弃它们。除了嵌入之外,精确的逆映射和精确的密度是训练完成的映射的性质,这使得能够根据绘制布局的模型的精确逆映射(而非近似逆映射)计算出诊断性可视化。具体来说,我们绘制了两个场:条件扩散度,衡量在输入单位中每个嵌入位置上原始数据还有多少未被确定;以及隐藏对比度,衡量两个绘图坐标丢弃了多少关于标记对比度的信息。两个场都通过针对输入数据保留部分的预设检验以及自助法置信度进行呈现。未通过检验的场会被标记为“拒绝”。  

## 1 引言  

高维数据的二维嵌入被当作一幅地图来解读。读者希望知道哪些点彼此接近,同时也希望了解数据的全局结构,即点的分组如何定向,以及它们的位置如何与其他分组相关。然而,正确表示局部结构和全局结构都是具有挑战性的。虽然邻居嵌入保留了局部结构,但它们往往会扭曲全局结构,将分组分散在平面上,不再反映这些分组在原始空间中的关系。聚类之间的距离、它们的相对方向、甚至一个组的表观大小都可能成为算法的伪影,而非数据的特征。另一方面,优先考虑全局结构的方法(如 PCA 或经典多维缩放)面临相反的问题:保留了大尺度几何结构,但模糊了使局部聚类可见的精细邻域。因此,没有一种单一的嵌入能同样出色地服务于这两个目的,而将这样一幅地图当真解读的读者可能会得出投影从未能支持的结论。  

在此,我们提出 FloDR,一种在二维嵌入中同时保留局部和全局结构的方法,同时提供工具来支持对所生成图表的解读。FloDR 训练一个双射 \(f: \mathbb{R}^D \rightarrow \mathbb{R}^D\),该双射由仿射耦合层构建,并将前两个输出坐标作为二维嵌入。剩余的 \(D-2\) 个坐标构成残差,被保留用于评估嵌入。由前两个坐标产生的布局通过邻居损失和序数损失进行训练,并且与已建立且广泛使用的 t-SNE 和 UMAP 等方法具有竞争力。除了布局之外,训练好的双射还提供了完整映射的精确逆映射 \((y, r) = f(x)\),一个损失逆映射 \(x \sim f^{-1}(y, r)\),其中 \(r \sim p(r \mid y)\),以及通过变量变换公式得到的精确模型密度。这使得我们的第二个贡献得以实现,即可以通过可测量的声明来回答关于生成布局的问题。这些声明以场的形式呈现,即嵌入位置 \(y\) 的实值函数,通过用该点位置上场的值对散点图的每个点进行着色来渲染。我们引入了两个这样的场用于诊断目的:(1) 条件扩散度 \(\sigma(y)\),衡量在 \(y\) 处还有多少输入未被确定;(2) 隐藏对比度 \(h(y)\),衡量在 \(y\) 处两个绘图坐标丢弃了多少关于标记对比度的信息。我们显示的每个量都是给定嵌入位置下数据的条件律的泛函。这意味着每个可视化都是从地图上每个位置背后的原始数据点分布计算出的摘要。分解,即将联合分布切片成每个位置的条件部分,使得这种方法有良好的定义。然而,一个具体的场是否准确并不能由此得到保证,因为条件扩散度依赖于拟合的 \(p(r|y)\),而隐藏对比度依赖于分类器估计的后验,两者都可能出错。因此,场的准确性通过保留数据的认证过程以经验方式确定。相比之下,仅返回坐标的点输出方法(如 t-SNE 或 UMAP)没有这样的保证,而用辅助模型估计它会将该模型的误差混入嵌入的每个解释中。  

参见图注  
图 1:FloDR 架构。输入通过精确的仿射双射 \(V\) 映射到白化坐标,然后依次通过仿射耦合层(无混合层)。前两个输出坐标被读取为嵌入 \(y\),剩余 \(D-2\) 维被保留为残差 \(r\)。布局目标仅作用于 \(y\)。由于组合是双射,任何一对 \((y, r)\) 映射回输入(忽略浮点舍入误差)。这种设置允许底部的诊断场。  

我们绘制的每个场都配有一个检验。该场在数据的一部分上进行拟合,并必须预测保留的部分。当涉及标记对比度时,该场还要与一个破坏对比度但保持布局不变的原假设进行比较。我们将这些检验的结果报告为分级置信度,并标记未通过的场。  

## 2 相关工作  

#### 邻居嵌入的全局项。  

t-SNE 和 UMAP 都是通过将 k 最近邻对拉近,同时将其他对推开来放置点 (van der Maaten and Hinton, 2008 (https://arxiv.org/html/2607.26278#bib.bib1); McInnes and Healy, 2018 (https://arxiv.org/html/2607.26278#bib.bib2))。这类方法现在被称为存在吸引-排斥权衡,可能导致全局结构的错误表示 (Bohm et al., 2020 (https://arxiv.org/html/2607.26278#bib.bib3); Chari and Pachter, 2021 (https://arxiv.org/html/2607.26278#bib.bib4))。现在有几种方法解决这个问题。PaCMAP 添加了中近对,TriMap 优化距离三元组,SQuadMDS 添加了无尺度随机四元组 MDS 项,PCUMAP 在 UMAP 损失上添加了测量距离的相关性目标 (Wang et al., 2020 (https://arxiv.org/html/2607.26278#bib.bib5); Amid and Warmuth, 2019 (https://arxiv.org/html/2607.26278#bib.bib6); Lambert et al., 2022 (https://arxiv.org/html/2607.26278#bib.bib7); Sanju, 2025 (https://arxiv.org/html/2607.26278#bib.bib8))。我们引入的序数项是一种非度量 MDS,属于此类方法 (Kruskal, 1964 (https://arxiv.org/html/2607.26278#bib.bib9)),特别是 PCUMAP。我们的方法不同之处在于,它仅使用距离比较的符号,从而与度量无关;并且底层对象是一个低局部代价的可逆映射。  

#### 参数化方法。  

参数化 UMAP、参数化 t-SNE、ivis 和 scvis 用编码器替换了点优化,从而能够一次性嵌入新点 (Sainburg et al., 2020 (https://arxiv.org/html/2607.26278#bib.bib10); van der Maaten, 2009 (https://arxiv.org/html/2607.26278#bib.bib11); Szubert et al., 2019 (https://arxiv.org/html/2607.26278#bib.bib12); Ding et al., 2017 (https://arxiv.org/html/2607.26278#bib.bib13))。反向的是逆投影,其中 iLAMP 插值局部仿射映射,而 NNInv、SSNP 和 ShaRP 训练解码器 (dos Santos et al., 2012 (https://arxiv.org/html/2607.26278#bib.bib14); Espadoto et al., 2019 (https://arxiv.org/html/2607.26278#bib.bib15), 2021 (https://arxiv.org/html/2607.26278#bib.bib16); Machado et al., 2023 (https://arxiv.org/html/2607.26278#bib.bib17))。最近的工作使用调优的自编码器以实现双向平滑 (Dennig et al., 2025 (https://arxiv.org/html/2607.26278#bib.bib18))。所有这些方法都使用了二次的、分别训练的近似网络,其中编码器和解码器并非彼此的逆。相比之下,FloDR 两者都不需要,因为两个方向是单一的双射,使得样本外嵌入和逆映射在结构上相互一致。然而,我们并不试图声称重建质量,因为解码器很容易击败我们的逆映射。相反,双射实现了精确性和可微性,从而允许诸如扭曲网格之类的诊断可视化。  

#### 流形学习流与有序潜在变量。  

归一化流是具有可计算雅可比矩阵的精确双射。最近的各种工作将其适应于流形上的数据,包括 M-flows、矩形流和正则流 (Brehmer and Cranmer, 2020 (https://arxiv.org/html/2607.26278#bib.bib21); Caterini et al., 2021 (https://arxiv.org/html/2607.26278#bib.bib22); Flouris and Konukoglu, 2023 (https://arxiv.org/html/2607.26278#bib.bib23))。此外,有人建议使用嵌套 dropout 对潜在维度进行排序 (Rippel et al., 2014 (https://arxiv.org/html/2607.26278#bib.bib24))。我们从 Bekasov and Murray (2020 (https://arxiv.org/html/2607.26278#bib.bib25)) 的工作中获得灵感,他们提出主导维度定义了一系列接近数据的流形。事实上,这项工作构成了 FloDR 的骨干。其他相关方法包括 inv-ML,它在局部等距约束下学习可逆降维 (Li et al., 2020 (https://arxiv.org/html/2607.26278#bib.bib27)),以及 Cramer et al. (2022 (https://arxiv.org/html/2607.26278#bib.bib26)) 将单射流与等距损失相结合。我们的工作与这些工作的不同之处在于,用邻居嵌入目标驱动前两个坐标,在冻结的流上事后拟合密度,并避免目标与似然之间的竞争。上述方法均不产生二维可视化。  

#### 嵌入的失真诊断。  

由于二维嵌入必然产生失真,因此有大量文献描述这种失真。方法包括通过局部撕裂或拉伸着色、创建假邻居地图或给出聚类间可靠性得分 (Nonato and Aupetit, 2019 (https://arxiv.org/html/2607.26278#bib.bib30); Espadoto et al., 2019 (https://arxiv.org/html/2607.26278#bib.bib15))。其他方法估计输出上的失真,包括基于邻域统计、图拉普拉斯或辅助逆投影网络 (Perraul-Joncas and Meilă, 2013 (https://arxiv.org/html/2607.26278#bib.bib31); Sankaran et al., 2026 (https://arxiv.org/html/2607.26278#bib.bib32))。我们的诊断方法基于双射,在这些方面与它们不同:(1)我们绘制的每个场都是分布的一个属性,由流的精确逆映射(而非辅助逆投影)承载,对应位于给定屏幕位置的输入;(2)我们可以提供证伪检验和分级置信度,从而避免对诊断的过度解读。  

## 3 方法  

给定一个数据集 \(X = \{x_1,\dots,x_n\} \in \mathbb{R}^D\),我们的目标是计算一张二维地图 \(y_1,\dots,y_n \in \mathbb{R}^2\)。FloDR 通过训练一个双射 \(f_\theta: \mathbb{R}^D \rightarrow \mathbb{R}^D\) 来嵌入数据集 \(X\),并使用前两个输出坐标 \(y \in \mathbb{R}^2\) 进行可视化,同时保留残差 \(r \in \mathbb{R}^{D-2}\)。由于 \(f_\theta\) 是双射,嵌入、其逆映射、密度 \(\log p_\theta(x)\) 以及相应章节中描述的诊断都是单个对象的性质。此外,与 UMAP(其变换步骤需要每次查询进行优化)不同,FloDR 可以通过一次前向传播嵌入未见过的数据点。然而,这是以牺牲局部结构保持为代价的,并通过优化步骤进行修正。  

#### 映射。  

该映射由 \(L=4\) 个仿射耦合层组合而成,具体是 Dinh et al. (2016 (https://arxiv.org/html/2607.26278#bib.bib19)) 的 RealNVP,层之间没有混合层。层 \(\ell\) 通过掩码 \(m_\ell \in \{0,1\}^D\) 分割坐标,选择一个均匀随机的半数坐标,然后应用  

\[
u^\prime = m_\ell \odot u + (1-m_\ell) \odot \bigl( u \odot e^{s_\ell(u_m)} + t_\ell(u_m) \bigr), \quad u_m = m_\ell \odot u,
\]  

其中 \(s_\ell\) 和 \(t_\ell\) 是共享 MLP 的输出,该 MLP 具有两个宽度为 256 的隐藏层。每个 MLP 的最后一层初始化为零,以便每个耦合从恒等开始,映射从下文描述的输入参数化开始。基于 Kingma and Dhariwal (2018 (https://arxiv.org/html/2607.26278#bib.bib20)) 的 Glow,对数尺度被限制为 \(s_\ell = g_\ell \tanh(\tilde{s}_\ell)\),其中 \(g_\ell\) 是可学习的门。这个限制将拉伸因子保持在 \(e^{g_\ell}\) 以下,以避免极端尺度,但仍允许根据数据增长。门本身被限制为 \(g_\ell = g_\text{max} \tanh(\tilde{s}_\ell)\),将 \(f_0^{-1}\) 沿残差方向的扩张上限设为 \(e^{L g_\text{max}}\)。我们默认设置 \(g_\text{max}=0.5\)。当在高维数据上训练时,我们将耦合条件于掩码坐标的固定随机投影 \(S \in \mathbb{R}^{k \times D}\)(其中 \(k=64\)),使条件器在 \(D>64\) 时不会直接读取它们。这不会影响可逆性。  

#### 输入参数化。  

为防止原始坐标使训练崩溃,并避免对输入应用 PCA 造成信息损失,我们旋转并缩放所有数据:  

\[
z = \left[ \frac{V^\top(x-\mu) - \mu_h}{\sigma_h}, \frac{V_\perp^\top(x-\mu)}{\tilde{\sigma}_t} \right], \quad \tilde{\sigma}_t = \max\bigl( \sigma_t, 10^{-2} \max_j \sigma_{t,j} \bigr),
\]  

其中 \(V \in \mathbb{R}^{D \times d}\),\(d = \min(50, D-1)\) 是保留的主成分数量,\(V_\perp\) 是剩余分量的正交基。这将布局初始化为前两个主成分。通过 \(\tilde{\sigma}_t\),我们防止方差很小或为零的维度爆炸。  

#### 训练目标。  

目标是局部部分和全局部分的组合,仅应用于绘制的

相似文章

Surflo:具有全局状态的一致3D表面流模型

Hugging Face Daily Papers

Surflo是一种前馈3D重建模型,它将未定姿的RGB视图压缩成潜在标记,并通过流匹配解码出一致的3D表面点,支持可变分辨率输出,在速度上优于现有方法。

Normalizing Flow Maps

arXiv cs.LG

该论文提出 Normalizing Flow Maps(NFM),一种可精确求逆的推前映射族模型,统一了 normalizing flows 与 flow maps,支持高效的精确似然评估与少步生成。在 CIFAR-10、ImageNet-64 条件图像生成以及 Boltzmann Generators 平衡采样任务上,在参数量匹配的条件下达到了 normalizing flows 的最先进水平。

ChangeFlow -- 基于潜空间纠正流的遥感变化检测

Hugging Face Daily Papers

ChangeFlow 提出了一种用于遥感变化检测的生成式框架,该框架利用纠正流在潜空间中合成变化掩码,通过基于采样的预测集成实现了更高的准确率和鲁棒性,在四个基准数据集上的平均F1分数达到80.4%。

Dual Flow:面向逆问题的联合图像-测量插值方法

Hugging Face Daily Papers

Dual Flow 提出了一种联合流模型,可同时估计干净图像及其对应的无噪测量,用于求解线性逆问题,在更短的推理时间下达到了最先进的重建质量,且除步数外无需调整任何超参数。