Latent Block-Diffusion Temporal Point Processes: 一种用于异步事件序列生成的半自回归框架

# 潜在块扩散时间点过程：一种用于异步事件序列生成的半自回归框架  
来源：https://arxiv.org/html/2606.24982  
张帅，陈彦成，周川，刘洋，林熙勋，赵翔宇，朱军，马志明  

张帅、陈彦成、周川、刘洋和马志明来自中国科学院数学与系统科学研究院，北京 100190，中国（电子邮件：[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])；[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])；[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])；[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])；[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])）。  
林熙勋来自中国科学院信息工程研究所，北京 100093，中国（电子邮件：[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])）。  
赵翔宇来自香港城市大学数据科学系，香港 999077，中国（电子邮件：[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])）。  
朱军来自清华大学计算机科学与技术系，北京 100084，中国（电子邮件：[email protected] (https://arxiv.org/html/2606.24982v1/[email protected])）。  

###### 摘要  
对异步事件序列的底层分布进行建模和采样在众多现实应用中至关重要，包括社交网络、医疗诊断和金融交易。现有的自回归方法在多步生成过程中会遭受误差累积，而非自回归扩散方法通常只能生成固定长度的输出序列。本文提出潜在块扩散时间点过程（LBDTPP），这是一种新颖的半自回归TPP框架，它引入潜在块扩散机制以实现高质量、可变长度的事件序列生成。核心思想是在潜在空间中定义事件块上的自回归概率分布，并在每个块内执行高斯扩散。通过顺序生成块的同时在块内并行采样事件，LBDTPP保留了自回归TPP的长度灵活性，并继承了扩散模型的并行高质量生成能力。理论上，我们推导出Wasserstein误差界，表明在适当的局部近似和前缀稳定性假设下，与逐事件的自回归生成相比，逐块生成可以减少误差累积。在六个真实世界基准数据集上的大量实验表明，LBDTPP在无条件生成和条件生成任务中均优于最先进的TPP基线方法。进一步的实证分析验证了潜在空间扩散和逐块生成的优势，并揭示了生成质量与块大小之间的权衡。我们的代码可在 https://github.com/Zh-Shuai/LBDTPP 获取。  

## I 引言  
异步事件序列广泛存在于众多现实应用中，包括社交网络[14 (https://arxiv.org/html/2606.24982#bib.bib62),8 (https://arxiv.org/html/2606.24982#bib.bib69),17 (https://arxiv.org/html/2606.24982#bib.bib67)]、医疗诊断[13 (https://arxiv.org/html/2606.24982#bib.bib72),35 (https://arxiv.org/html/2606.24982#bib.bib48),53 (https://arxiv.org/html/2606.24982#bib.bib73)]和金融交易[54 (https://arxiv.org/html/2606.24982#bib.bib74),69 (https://arxiv.org/html/2606.24982#bib.bib17),24 (https://arxiv.org/html/2606.24982#bib.bib34)]。序列中的每个事件由一个连续时间戳和一个离散标记组成，分别表示事件发生的时间和类型。例如，在社交网络中，一个事件可能记录某个用户在特定时刻与帖子互动，标记表示相应的互动类型，如发帖、评论或分享。忠实建模和生成此类序列对于理解复杂的时间动态并支持各个领域的决策至关重要。根据历史信息的可用性，事件序列生成任务大致可分为无条件生成[45 (https://arxiv.org/html/2606.24982#bib.bib50),37 (https://arxiv.org/html/2606.24982#bib.bib19),39 (https://arxiv.org/html/2606.24982#bib.bib20)]（旨在从底层数据分布模拟高保真事件序列）和条件生成[12 (https://arxiv.org/html/2606.24982#bib.bib49),79 (https://arxiv.org/html/2606.24982#bib.bib4),65 (https://arxiv.org/html/2606.24982#bib.bib12)]（专注于根据历史观测预测事件发生）。  

时间点过程（TPPs）[10 (https://arxiv.org/html/2606.24982#bib.bib21),55 (https://arxiv.org/html/2606.24982#bib.bib70),29 (https://arxiv.org/html/2606.24982#bib.bib64),46 (https://arxiv.org/html/2606.24982#bib.bib65)]是异步事件序列的主导建模框架。大多数现有TPP模型，包括泊松过程[27 (https://arxiv.org/html/2606.24982#bib.bib56)]、自校正过程[23 (https://arxiv.org/html/2606.24982#bib.bib40)]、霍克斯过程[20 (https://arxiv.org/html/2606.24982#bib.bib39)]及其Transformer变体[70 (https://arxiv.org/html/2606.24982#bib.bib60),79 (https://arxiv.org/html/2606.24982#bib.bib4),67 (https://arxiv.org/html/2606.24982#bib.bib2)]，都遵循自回归范式，其中事件被顺序建模，每个事件依赖于先前的历史。尽管自回归TPP自然支持可变长度生成，并在预测下一个事件方面取得了强劲性能，但它们逐一生成的过程在多步生成中会遭受误差累积[37 (https://arxiv.org/html/2606.24982#bib.bib19),25 (https://arxiv.org/html/2606.24982#bib.bib29)]。早期步骤引入的小误差可能会通过后续步骤传播并逐渐放大，导致生成质量严重下降[66 (https://arxiv.org/html/2606.24982#bib.bib8),69 (https://arxiv.org/html/2606.24982#bib.bib17)]。  

近年来，扩散概率模型[56 (https://arxiv.org/html/2606.24982#bib.bib25),21 (https://arxiv.org/html/2606.24982#bib.bib24),57 (https://arxiv.org/html/2606.24982#bib.bib41)]已成为生成建模的强大框架，在计算机视觉[58 (https://arxiv.org/html/2606.24982#bib.bib87),51 (https://arxiv.org/html/2606.24982#bib.bib55),36 (https://arxiv.org/html/2606.24982#bib.bib44),4 (https://arxiv.org/html/2606.24982#bib.bib77)]和自然语言处理[31 (https://arxiv.org/html/2606.24982#bib.bib76),44 (https://arxiv.org/html/2606.24982#bib.bib54),60 (https://arxiv.org/html/2606.24982#bib.bib53)]中取得了显著应用。基于此框架，非自回归扩散TPP被提出用于建模事件序列[37 (https://arxiv.org/html/2606.24982#bib.bib19),69 (https://arxiv.org/html/2606.24982#bib.bib17),25 (https://arxiv.org/html/2606.24982#bib.bib29)]。通过同时生成多个事件，这些模型避免了自回归TPP的逐一采样，并在多步预测任务中实现了更优性能。然而，现有的事件序列扩散方法通常建模给定历史事件条件下固定长度未来序列的条件分布[69 (https://arxiv.org/html/2606.24982#bib.bib17),77 (https://arxiv.org/html/2606.24982#bib.bib28)]。当应用于时间区间[0,T]内的无条件生成时，此类非自回归方法需要建模整个序列的联合分布并一次性生成。因此，这种范式仅限于生成具有预先指定事件数量的序列，降低了灵活性，不适用于序列长度未知且可变的现实场景。  

为了缓解自回归TPP中的误差累积问题以及非自回归扩散TPP的固定长度生成限制，我们引入潜在块扩散时间点过程（LBDTPP），这是一种新颖的半自回归TPP框架，支持在无条件生成和条件生成设置下进行高质量、可变长度的事件序列生成。LBDTPP将事件序列生成分解为两个层次：（i）跨块的顺序生成以保留事件依赖性并支持可变长度生成，以及（ii）通过高斯扩散在每个块内并行生成多个事件以缓解误差累积。这种设计使我们的模型能够结合先前范式的优势：它保留了自回归TPP的长度灵活性，同时获得了非自回归扩散TPP的并行高质量生成能力。具体而言，LBDTPP借鉴了自然语言中用于标记生成的离散块扩散模型[1 (https://arxiv.org/html/2606.24982#bib.bib18)]，但针对异步事件序列引入了潜在块扩散公式。与离散文本标记不同，事件数据将连续时间戳与离散标记耦合，使得直接应用离散扩散或连续扩散都不合适。为此，LBDTPP首先将每个事件映射到连续潜在空间，然后将潜在序列分布分解为事件块上条件分布的乘积，同时在每个块内执行高斯扩散。我们的模型顺序采样潜在块，在每个块内并行生成多个事件表示，并将它们解码回原始事件空间，从而实现可变长度和高质量的事件序列生成。我们进一步在局部近似和前缀稳定性假设下推导了Wasserstein生成误差界，表明通过将递归采样范围从事件缩短到块，逐块采样可以减少前缀级别的误差累积。在六个真实世界数据集上的大量实验证明，LBDTPP优于最先进的TPP基线方法，后续分析显示增益来自潜在空间扩散和逐块生成。我们的主要贡献如下：  

- •我们引入了LBDTPP，一种用于建模异步事件序列的潜在块扩散框架。通过跨事件块分解潜在序列分布并在每个块内执行高斯扩散，LBDTPP形成了一种半自回归生成范式，支持可变长度生成和并行高质量采样，同时缓解了自回归TPP中的误差累积，并克服了非自回归扩散TPP的固定长度限制。  
- •我们提供了逐事件和逐块生成的误差累积理论分析。在明确的局部近似和前缀稳定性假设下，我们推导出Wasserstein界，表明逐事件的自回归生成在所有事件级采样步骤上累积误差，而逐块生成仅在块级转换上累积误差。该分析解释了为什么逐块生成可以缓解前缀级别的误差累积，并阐明了实验观察到的块大小权衡。  
- •我们在跨多个领域的六个真实世界基准数据集上进行了大量实验。实验结果表明，LBDTPP在无条件生成和条件生成任务中均优于自回归和非自回归TPP基线。进一步分析验证了潜在空间扩散和逐块生成的优势。采样时间比较显示LBDTPP具有竞争性的生成效率，其快速版本可以比所有基线模型更快。  

## II 相关工作  
在本节中，我们回顾基于TPP的事件序列建模与生成方法，包括自回归TPP和非自回归扩散TPP。我们还简要讨论了块扩散模型，这为我们的潜在块扩散TPP提供了方法论启发。  

### II-A 自回归TPPs  
时间点过程（TPPs）[10 (https://arxiv.org/html/2606.24982#bib.bib21),16 (https://arxiv.org/html/2606.24982#bib.bib66),32 (https://arxiv.org/html/2606.24982#bib.bib68),75 (https://arxiv.org/html/2606.24982#bib.bib33)]是一类用于在连续时间中建模随机事件序列的随机过程。大多数现有TPP模型遵循自回归范式，其中每个事件都是在其先前事件条件下建模的。早期工作[20 (https://arxiv.org/html/2606.24982#bib.bib39),23 (https://arxiv.org/html/2606.24982#bib.bib40),55 (https://arxiv.org/html/2606.24982#bib.bib70),15 (https://arxiv.org/html/2606.24982#bib.bib75)]依赖于参数化条件强度函数（CIF）来描述给定历史下事件发生的期望速率。最近的方法采用神经网络来学习更灵活的CIF[64 (https://arxiv.org/html/2606.24982#bib.bib71),41 (https://arxiv.org/html/2606.24982#bib.bib1),79 (https://arxiv.org/html/2606.24982#bib.bib4),71 (https://arxiv.org/html/2606.24982#bib.bib42)]或条件概率密度函数[52 (https://arxiv.org/html/2606.24982#bib.bib3),73 (https://arxiv.org/html/2606.24982#bib.bib86),47 (https://arxiv.org/html/2606.24982#bib.bib57),72 (https://arxiv.org/html/2606.24982#bib.bib78)]。尽管自回归TPP自然支持可变长度生成，并在下一个事件预测中表现良好，但其采样过程本质上是顺序的，逐个生成事件。因此，早期步骤的误差可能会通过后续事件传播，并在长程生成中累积[66 (https://arxiv.org/html/2606.24982#bib.bib8),37 (https://arxiv.org/html/2606.24982#bib.bib19),69 (https://arxiv.org/html/2606.24982#bib.bib17)]。相比之下，我们的LBDTPP模型在每个块内同时生成多个高质量事件，缓解了误差累积问题，并具有提高采样效率的潜力。  

### II-B 非自回归扩散TPPs  
基于扩散的TPP模型已成为事件序列建模的一种有前途的方法。DSTPP[68 (https://arxiv.org/html/2606.24982#bib.bib26)]采用去噪扩散模型来捕捉时空事件动态。AddThin[37 (https://arxiv.org/html/2606.24982#bib.bib19)]和PSDiff[39 (https://arxiv.org/html/2606.24982#bib.bib20)]利用点过程的稀疏化与叠加性质[10 (https://arxiv.org/html/2606.24982#bib.bib21)]，在正实数空间和一般度量空间上分别设计了类似扩散的模型。然而，这些方法都没有针对带有离散标记的TPP进行探索。EventFlow[25 (https://arxiv.org/html/2606.24982#bib.bib29)]和EdiTPP[38 (https://arxiv.org/html/2606.24982#bib.bib30)]采用流匹配[34 (https://arxiv.org/html/2606.24982#bib.bib32),19 (https://arxiv.org/html/2606.24982#bib.bib31)]进行事件时间戳序列的无条件生成和条件生成，但未建模事件标记。CDiff[69 (https://arxiv.org/html/2606.24982#bib.bib17)]引入了两个交互的扩散过程用于长程标记事件预测，但作为非自回归扩散模型，它建模的是给定历史下固定长度未来序列的条件分布。当直接应用于无条件生成时，这种方法需要建模完整序列并一次性生成，这限制了灵活性。