面向可变基数的空间点过程的存在场扩散模型

# 存在场扩散模型：用于可变基数空间点过程的统一生成框架
来源：https://arxiv.org/html/2607.26428
潘晓音 加州大学河滨分校 xpan041@ucr\.edu & Christian R\. Shelton 加州大学河滨分校 cshelton@cs\.ucr\.edu  
Rakshith Mahishi 纽约大学 rm6801@nyu\.edu & 程宽宏 中关村学院 hongchengkuan@bza\.edu\.cn

###### 摘要

我们研究空间点过程（SPP）的生成建模问题，其中点的数量及其空间配置由联合分布共同控制。虽然扩散模型在建模复杂分布方面表现出色，但将其扩展到可变基数的 SPP 仍面临挑战。现有方法要么将基数和空间结构的建模解耦，要么依赖离散的跨维度操作来修改点的数量，导致生成动力学缺乏灵活性和对称性。我们提出存在场扩散模型（EFDM）用于空间点过程建模，其中每个潜在点都关联一个存在变量，表示其存在程度。这使得统一扩散过程能够同时建模空间位置和基数，而无需显式离散转换。我们证明，该方法为空间点过程的生成建模提供了一个灵活且通用的框架，在具有可变基数的数据集上实现了更强的建模能力。

## 1 引言

扩散模型（Ho 等人，2020 (https://arxiv.org/html/2607.26428#bib.bib14)；Song 等人，2020 (https://arxiv.org/html/2607.26428#bib.bib15)；Sohl-Dickstein 等人，2015 (https://arxiv.org/html/2607.26428#bib.bib13)）在生成建模中取得了成功，能够在许多领域实现高质量生成。它们应用于点过程时，主要关注固定大小和顺序的数据，如图像和音频。然而，许多现实世界数据天然表示为可变基数的点集，例如空间事件、分子结构和粒子系统。对此类数据进行建模需要处理无序点集，并学习关于点的数量及其空间配置的分布。此类对象的分布称为空间点过程（SPP）。面向 SPP 的扩散模型面临一个根本性挑战：如何以统一且置换不变的方式同时建模基数和空间结构。

在许多现实场景中，点的空间配置取决于集合的基数。例如，原子数少的分子与原子数多的分子具有不同的空间配置。同样，城市中网约车接客点在工作日（接客较多）和周末（接客较少）的位置也不同。空间分布并不独立于点的数量。这启发了对基数与空间结构之间联合依赖关系的建模。

传统的 SPP 模型基于强度函数，往往需要较强的领域知识，并且可能面临似然函数不可处理的问题。扩散模型已被应用于点云生成（Luo 和 Hu，2021 (https://arxiv.org/html/2607.26428#bib.bib5)；Mikuni 等人，2023 (https://arxiv.org/html/2607.26428#bib.bib16)；Ji 等人，2024 (https://arxiv.org/html/2607.26428#bib.bib17)），但这些方法通常假设点的数量固定，不建模点位置与基数之间的依赖关系。近期，一些工作开始研究面向可变基数点集的扩散模型。现有方法大致可分为两类。一种策略是将基数建模与空间坐标建模分离（Hoogeboom 等人，2022 (https://arxiv.org/html/2607.26428#bib.bib2)）。它分别学习点数的分布和基于该点数的条件空间坐标。尽管直观，但这种方法将基数和空间结构的建模解耦，可能限制其捕捉不同基数下空间分布差异的能力。

较新的方法则尝试使用跨维度扩散过程来联合建模基数和空间配置（Lüdke 等人，2024 (https://arxiv.org/html/2607.26428#bib.bib4)；Campbell 等人，2023 (https://arxiv.org/html/2607.26428#bib.bib1)），其中点在扩散过程中被显式添加或移除。然而，这些方法通过离散的稀疏化、叠加或跳跃操作来改变基数，并在前向和反向过程中使用方向特定的机制。

为解决这些局限，我们提出了一种连续形式的可变基数扩散模型——存在场扩散模型（EFDM），其中点的存在性在扩散过程中可天然不确定（见图1 (https://arxiv.org/html/2607.26428#S1.F1)）。除了扩散点的位置，我们的扩散模型还扩散所有可能点的存在程度，通过生成结束时的概率采样可将其转换为离散存在。在我们的方法中，点可以自然地双向增强或减弱，从而通过连续且灵活的可变基数扩散过程实现对基数与空间配置联合分布的统一建模。

我们在合成和真实数据集上展示了 EFDM 的有效性。EFDM 捕捉了基数与空间结构之间的依赖性，在跨不同基数级别的条件分布评估中取得了比以往工作更强的性能。

参见图注

图 1：EFDM 的前向和反向过程。点的透明度表示存在变量。在前向过程中，位置和存在都被扩散为噪声，在反向过程中被联合去噪，从而无需离散转换即可连续建模基数。
## 2 相关工作

#### 空间点过程（SPP）。

传统的空间点过程（SPP）模型通常基于强度函数（Daley 和 Vere-Jones，2003 (https://arxiv.org/html/2607.26428#bib.bib9)），该函数描述事件在空间和时间上发生的可能性。虽然可解释，但这些方法通常需要较强的领域知识，并且由于高维情况下似然积分的不可处理性而面临计算挑战。近年来，神经方法利用深度学习技术扩展了点过程建模（Mei 和 Eisner，2017 (https://arxiv.org/html/2607.26428#bib.bib10)；Chen 等人，2020 (https://arxiv.org/html/2607.26428#bib.bib11)；Zhou 等人，2022 (https://arxiv.org/html/2607.26428#bib.bib12)；Hong 和 Shelton，2022 (https://arxiv.org/html/2607.26428#bib.bib20)），但仍依赖基于强度函数的公式化，这限制了它们捕捉复杂相互作用和扩展到高维设置的能力。

#### 点集生成。

早期关于点集生成的工作集中于建模固定点数的点云。许多方法将点集建模为来自某种分布的样本，例如基于流的方法（Yang 等人，2019 (https://arxiv.org/html/2607.26428#bib.bib6)）、自回归方法（Sun 等人，2020 (https://arxiv.org/html/2607.26428#bib.bib7)）或基于能量的方法（Cai 等人，2020 (https://arxiv.org/html/2607.26428#bib.bib8)）。这些模型通常假设固定基数，因此不支持可变基数。此外，它们可能违反置换不变性或面临较高的训练复杂度。

近期工作将扩散模型应用于点集生成，因为扩散模型训练稳定且生成性能强（Luo 和 Hu，2021 (https://arxiv.org/html/2607.26428#bib.bib5)；Mikuni 等人，2023 (https://arxiv.org/html/2607.26428#bib.bib16)；Ji 等人，2024 (https://arxiv.org/html/2607.26428#bib.bib17)）。然而，大多数现有方法仍聚焦于固定基数的点云，因此并未直接解决空间点过程的主要挑战，即点的数量和位置都是可变的。

#### 用于空间点过程的扩散模型。

基于扩散的模型已被扩展到可变基数的空间点过程，大致可分为两类。

第一类是分别建模基数和点位置的分布（Hoogeboom 等人，2022 (https://arxiv.org/html/2607.26428#bib.bib2)），它将点位置的扩散模型与独立的基数模型相结合。在生成过程中，首先从基数模型中采样点的数量，然后使用扩散网络在此数量条件下生成点位置。虽然这些方法保持了置换不变性并支持可变基数，但它们将基数和空间结构的建模解耦，使得建模两者之间的依赖关系更加困难。

第二类，即更近期的一类，联合建模基数和位置。点集扩散（PSD）（Lüdke 等人，2024 (https://arxiv.org/html/2607.26428#bib.bib4)）通过稀疏化和叠加构建数据点集与噪声点集之间的随机插值，避免了显式依赖强度函数。然而，其反向过程依赖条件密度估计来生成缺失点，噪声以独立点而非数据点位置扩散噪声的形式引入。跨维度扩散模型（TDDM）（Campbell 等人，2023 (https://arxiv.org/html/2607.26428#bib.bib1)）将生成过程建模为跳跃扩散，其中维度变化由泊松过程控制，点位置通过连续扩散演化。尽管 TDDM 联合建模了基数和位置，但它依赖离散的维度转换以及非对称设计（前向过程中移除点，反向过程中添加点）。PSD 和 TDDM 在扩散和去噪过程中都采用了离散且非对称的方式。

总体而言，现有可变基数扩散模型要么解耦了基数和空间建模，要么依赖离散的跨维度操作，因此统一且连续地建模空间点过程的问题在很大程度上仍悬而未决。为解决这一局限，我们提出了一种连续公式化，其中每个点关联一个存在变量，从而能够通过统一的扩散过程联合建模点位置和基数。

## 3 预备知识

### 3.1 空间点过程

设 \(D, d\) 为一个完备可分度量空间，带有其 Borel \(\sigma\)-代数 \(\mathcal{B}\)。一个空间点过程（SPP）（Gelfand 等人，2010 (https://arxiv.org/html/2607.26428#bib.bib3)）定义为 \(D\) 上点的随机配置。形式化地，设 \((\Omega, \mathcal{F}, \mathbb{P})\) 为一个概率空间。一个空间点过程是一个可测映射

\[
x: \Omega \rightarrow \mathcal{N}_{\text{lf}}(D),
\]

其中 \(\mathcal{N}_{\text{lf}}(D)\) 表示 \(D\) 上局部有限点配置的集合，即子集 \(x \subseteq D\)，使得每个有界 Borel 集仅包含有限个点。

因此，过程的一个实现可以表示为一个有限点集：

\[
x = \{x_1, \ldots, x_n\}, \quad x_i \in D,
\]

其中 \(n = |x|\) 是点的数量。

### 3.2 扩散模型

扩散模型是一种生成模型，通过逐步用随机噪声扩散数据点直至达到先验分布来学习数据分布。然后学习一个反向过程，该过程可以通过去噪重建原始数据分布。前向过程定义为马尔可夫链 \(q(x^{(1:T)} \mid x^{(0)}) := \prod_{t=1}^T q(x^{(t)} \mid x^{(t-1)})\)，其中 \(q(x^{(t)} \mid x^{(t-1)})\) 是马尔可夫扩散核。反向过程定义为 \(p_\theta(x^{(0:T)}) := p(x^{(T)}) \prod_{t=1}^T p_\theta(x^{(t-1)} \mid x^{(t)})\)，由参数为 \(\theta\) 的神经网络近似。

## 4 可变基数点集扩散

在本节中，我们首先形式化空间点过程的扩散建模问题。然后讨论现有方法和基线方法，最后介绍我们提出的方法。

### 4.1 问题形式化

我们考虑定义在 \(\mathbb{R}^d\) 上的空间点过程，其实现是点的有限集。令

\[
\mathcal{X} = \{ x \subset \mathbb{R}^d : |x| < \infty \}
\]

表示所有有限点集的空间。每个数据样本 \(x \in \mathcal{X}\) 是一个无序点的集合 \(x = \{x_1, \dots, x_n\}\)，其中 \(x_i \in \mathbb{R}^d\)，\(n = |x|\) 表示该集合的基数，该基数在不同样本间可能变化。我们假设观测数据集 \(\mathcal{D} \subset \mathcal{X}\) 由定义在 \(\mathcal{X}\) 上的未知分布 \(p^*(x)\) 的 i.i.d. 样本组成。

我们旨在开发用于空间点过程的基于扩散的生成模型，即有限点配置上的分布。虽然扩散模型天然定义在固定维度的欧氏空间上，但将其扩展到点集引入了两个关键挑战。

#### 置换不变性。

尽管点集 \(x = \{x_1, \dots, x_n\}\) 是无序的，但扩散模型通常处理有序表示，如 \((x_1, \dots, x_n) \in (\mathbb{R}^d)^n\)。因此，有效模型必须确保诱导的分布对点的置换保持不变。形式化地，对于 \(\{1, \dots, n\}\) 的任意置换 \(\pi\)，有 \(p(x_1, \dots, x_n) = p(x_{\pi(1)}, \dots, x_{\pi(n)})\)。

#### 可变基数。

点的数量 \(n\) 本身是随机的，且在不同样本间变化。因此，生成模型必须处理定义在变维度空间上的分布，既捕捉点的空间配置，也捕捉集合基数的可变性。

我们的目标是学习一个基于扩散的模型 \(p_\theta(x)\)，使其近似数据分布 \(p^*(x)\)，并能够采样出具有可变基数的新点集。

### 4.2 简单基线方法

我们首先讨论两种将扩散模型应用于可变大小点集的基线方法。两种方法都显式建模集合基数，并将分布分解为 \(p(x) = p(n) \, p(x \mid n)\)，但在如何建模条件分布 \(p(x \mid n)\) 上有所不同。

#### 独立点扩散。

一种简单的方法是独立建模每个点。条件分布近似为

\[
p(x \mid n) \approx \prod_{i=1}^n p(x_i).
\]

这种公式化满足置换不变性，因为乘积分解对所有点对称，且对点的任何置换保持不变。

在实践中，点分布 \(p(x)\) 使用定义在 \(\mathbb{R}^d\) 上的扩散模型建模，而 \(p(n)\) 使用单独的基数模型学习。作为一个单变量离散值，标准分布估计器对于 \(p(n)\) 已足够。为了生成点集，我们首先采样基数