ReDiTT: 面向异步时间序列的检索增强条件扩散Transformer

# 面向异步时间序列的检索增强条件扩散变换器
来源：https://arxiv.org/html/2607.12391  
Saiyue Lyu（[email protected]），不列颠哥伦比亚大学计算机科学系  
Zhitian Zhang（[email protected]），RBC Borealis  
Ruizhi Deng（[email protected]），RBC Borealis  
Thibaut Durand（[email protected]），RBC Borealis  

###### 摘要  
我们提出了一种基于扩散的异步时间序列预测模型，其目标是预测下一个事件间时间差和事件类型。为了解决未来事件的固有不确定性，我们引入了ReDiTT，一种在潜在空间中运行的检索增强条件扩散变换器。ReDiTT在训练和推理期间从记忆库中检索结构相似的潜在序列，并通过交叉注意力将其作为参考条件纳入。这种基于检索的条件控制使模型能够关注相关的时间动态，并为生成提供全局结构指导。因此，ReDiTT稳定了长视界预测并提高了样本多样性。在七个真实世界数据集上的实验表明，它在下一事件预测和长视界预测方面达到了最先进的性能。我们的代码可在https://github.com/BorealisAI/ReDiTT获取。

## 1 引言  
异步时间序列（也称为连续时间事件序列）预测在广泛的实际应用中出现，包括事件驱动系统（Enguehardet al.,2020 （https://arxiv.org/html/2607.12391#bib.bib8））、医疗健康监测（Lorchet al.,2018 （https://arxiv.org/html/2607.12391#bib.bib1）; Rizoiuet al.,2018 （https://arxiv.org/html/2607.12391#bib.bib2））、金融（Bacryet al.,2015 （https://arxiv.org/html/2607.12391#bib.bib3）; Jinet al.,2020 （https://arxiv.org/html/2607.12391#bib.bib4））和用户行为建模（Hernandezet al.,2017 （https://arxiv.org/html/2607.12391#bib.bib7）; Zhanget al.,2022 （https://arxiv.org/html/2607.12391#bib.bib5）; Konget al.,2023 （https://arxiv.org/html/2607.12391#bib.bib6）），其中观测发生在不规则的时间间隔，而不是固定网格上。与定期采样的时间序列不同，异步数据将信息共同编码在事件值和事件间时间中，导致高度随机且非平稳的复杂时间动态（Xueet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib11））。准确建模此类数据对于预测、模拟和决策等下游任务至关重要，但由于这些过程固有的稀疏性、不规则性和长程时间依赖性，仍然具有挑战性（Schirmeret al.,2022 （https://arxiv.org/html/2607.12391#bib.bib9）; Zhanget al.,2024 （https://arxiv.org/html/2607.12391#bib.bib10））。异步时间序列预测还因需要对未来事件的不确定性和多模态性进行建模而进一步复杂化，尤其是在长视界预测中。经典的自回归和基于似然的时间点过程模型通常依赖强参数假设或马尔可夫动力学（Hawkes,1971 （https://arxiv.org/html/2607.12391#bib.bib12）; Mei and Eisner,2017 （https://arxiv.org/html/2607.12391#bib.bib16）; Zhanget al.,2020 （https://arxiv.org/html/2607.12391#bib.bib17）; Zuoet al.,2020 （https://arxiv.org/html/2607.12391#bib.bib18）; Yanget al.,2021 （https://arxiv.org/html/2607.12391#bib.bib13）），这限制了它们推广到更复杂异步时间序列的能力，特别是那些展现丰富全局结构、长程依赖性或混合连续与离散观测的序列。

最近的研究表明，通过变分自编码器（VAE）（Higginset al.,2017 （https://arxiv.org/html/2607.12391#bib.bib22））结合扩散模型（Peebles and Xie,2023 （https://arxiv.org/html/2607.12391#bib.bib23））在潜在空间中进行生成建模，能够有效捕获异步时间序列的随机结构。特别是，Mukherjeeet al.（2025 （https://arxiv.org/html/2607.12391#bib.bib21））证明VAE可以学习一个紧凑且富有表现力的潜在表示，同时支持精确重建和基于扩散的下一事件及长视界预测。尽管扩散模型是强大的生成模型，但它们在异步时间序列中的应用仍未被充分探索，尽管它们能够整体生成序列并减轻自回归方法中的误差累积。

参考图标题  
图1：ReDiTT框架概览。给定观察到的历史事件，我们从令牌记忆库中检索相似序列。检索到的参考信息被注入扩散变换器，以指导未来预测的去噪过程。

尽管取得了进展，无条件的或弱条件的扩散模型在长视界时间序列预测中仍面临重大挑战（Liuet al.,2024 （https://arxiv.org/html/2607.12391#bib.bib24））。与图像扩散模型不同，时间序列数据通常没有显式的语义标签或其他强监督信号，这限制了生成过程中可用信息性全局条件信号的数量。没有这种指导，模型在长期范围内保持个体轨迹特定动态的能力较弱。因此，长期预测往往偏向于训练分布中通用的、高概率的模式，而不是保持轨迹特定的时间结构和细粒度的事件演化。为了解决这些局限性，我们提出了ReDiTT：面向异步时间序列的检索增强条件扩散变换器。在训练过程中，每个序列从令牌记忆库中检索其top-k个最近邻，并用作条件。这些检索到的序列与输入具有相同的潜在格式，并通过扩散变换器块中的交叉注意力模块纳入，使模型能够显式关注结构相似的时间动态。在推理时，我们从训练集构建的令牌记忆库中检索top-k个参考来指导生成。ReDiTT的概览如图1（https://arxiv.org/html/2607.12391#S1.F1）所示。这种检索增强的条件控制提供了全局结构指导，稳定了长视界预测，并通过将生成锚定到具体的动态示例上（而非仅依赖学习到的参数）提高了样本多样性。我们的主要贡献如下：

- 1 我们引入了ReDiTT，这是首个用于异步时间序列预测的基于检索的扩散框架，它以从预构建潜在令牌库中检索到的top-k潜在先验为条件。
- 2 我们提出了一种新颖的条件控制方法用于基于检索的扩散变换器，并证明它能有效整合先验信息并提供合理的指导。
- 3 我们通过七个真实世界数据集的实验和全面分析证明，ReDiTT显著提高了下一事件和长视界预测的性能，达到了最先进水平。

## 2 相关工作

### 2.1 时间点过程（TPP）
带标记的TPP被广泛采用为建模异步时间序列的标准方法。TPP是一个随机过程，随时间生成离散事件序列。包含n个事件的序列可以表示为x = {x₁,⋯,xₙ}，其中每个事件xᵢ = (tᵢ, eᵢ)由指示事件时间顺序的索引i、距上一事件的事件间时间tᵢ和相应的事件类型eᵢ组成。另一种广泛使用的变体是用事件间间隔τᵢ = tᵢ - tᵢ₋₁而不是绝对时间戳tᵢ来表示事件。这两种参数化本质上是等价的，因此文献中常常在没有通用性损失的情况下进行切换。经典TPP模型（Mei and Eisner,2017 （https://arxiv.org/html/2607.12391#bib.bib16））为下一事件预测参数化条件强度函数，并通过最大化观测事件序列的对数似然进行训练。先前关于时间点过程的工作主要集中于扩展基于似然的强度建模的神经架构，从基于RNN的方法（Duet al.,2016 （https://arxiv.org/html/2607.12391#bib.bib14）; Mei and Eisner,2017 （https://arxiv.org/html/2607.12391#bib.bib16））开始，后来加入了更富有表现力的设计以更好地捕获不确定性（Mehrasaet al.,2019 （https://arxiv.org/html/2607.12391#bib.bib15）; Lüdkeet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib20））。最近的基于Transformer的TPP利用注意力机制改进长程依赖建模（Zhanget al.,2020 （https://arxiv.org/html/2607.12391#bib.bib17）; Zuoet al.,2020 （https://arxiv.org/html/2607.12391#bib.bib18）; Yanget al.,2021 （https://arxiv.org/html/2607.12391#bib.bib13）），但仍然依赖自回归强度公式。然而，目标已从预测下一个立即发生的事件扩展到生成完整的未来事件轨迹，经典和神经TPP可能无法令人满意，因为早期步骤引入的误差会随着自回归展开而累积。在优化方面，基于似然的训练通常需要计算学习强度隐含的分布量，这可能很昂贵。

### 2.2 面向异步时间序列的扩散模型
经典神经TPP方法的缺点促使了扩散和流匹配方法的发展。这些方法将预测视为条件生成，将简单的基础噪声转换为给定历史条件下的未来事件序列。通过建模联合延续而非重复逐个采样事件，基于扩散的方法能更好地支持长视界生成并产生多样化的未来以进行不确定性量化，为基于强度的神经TPP提供了强大的非自回归替代方案。时间序列领域的早期扩散工作集中在学习插补（Tashiroet al.,2021 （https://arxiv.org/html/2607.12391#bib.bib26））和概率预测（Rasulet al.,2021 （https://arxiv.org/html/2607.12391#bib.bib25））等任务的条件分布，证明了迭代去噪可以在不限于单个贪婪展开的情况下捕获不确定性。对于时间点过程本身，Add and Thin（Lüdkeet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib20））对完整的标记事件序列进行扩散公式化，并优于自回归TPP预测器。Zhouet al.（2025 （https://arxiv.org/html/2607.12391#bib.bib28））将事件序列嵌入向量空间，并通过一次性扩散预测完整的未来序列。Yuanet al.（2023 （https://arxiv.org/html/2607.12391#bib.bib27））将扩散扩展到时空设置。Zenget al.（2024 （https://arxiv.org/html/2607.12391#bib.bib29））耦合了两个扩散过程，一个用于到达间隔时间，一个用于事件类型，以建模联合分布。最近，ADiff4TPP（Mukherjeeet al.,2025 （https://arxiv.org/html/2607.12391#bib.bib21））在VAE潜在空间中提出了一种异步噪声调度，以在预测更远的未来时通过早期事件历史加强条件控制。尽管有前景，这些方法仅获得有限的实证提升，面向异步事件建模的扩散仍相对未被充分研究。我们提出基于检索的扩散变换器来应对这些挑战并更好地预测长视界未来。

### 2.3 检索增强生成
检索已成为一种增强生成模型非参数记忆的实用方式。对于文本，k近邻语言模型（Khandelwalet al.,2019 （https://arxiv.org/html/2607.12391#bib.bib30））通过在推理时从数据存储中检索语义相似上下文来增强基础LM。对于图像，检索增强扩散模型（Blattmannet al.,2022 （https://arxiv.org/html/2607.12391#bib.bib31））以检索到的参考图像为条件进行去噪，以更好地捕获特定视觉结构和长尾概念。在时间序列预测中，最近的一些方法（Hanet al.,2025 （https://arxiv.org/html/2607.12391#bib.bib32）; Ninget al.,2025 （https://arxiv.org/html/2607.12391#bib.bib33）; Tireet al.,2024 （https://arxiv.org/html/2607.12391#bib.bib34）; Li,2025 （https://arxiv.org/html/2607.12391#bib.bib35））利用检索，选择历史上相似的片段并使用它们的延续作为额外上下文。RATD（Liuet al.,2024 （https://arxiv.org/html/2607.12391#bib.bib24））进一步将检索与扩散结合，将检索到的参考注入去噪过程。然而，这些方法主要针对定期采样的时间序列段设计，不经过重大修改无法直接应用于异步标记事件流。相比之下，我们的方法专为事件预测量身定制：我们在一个保留事件层面结构的VAE潜在空间中进行检索，并以相同事件序列格式表示的检索参考为条件控制潜在扩散变换器。这种设计使得轨迹特定的指导能够产生连贯的长视界事件生成，而不仅仅是作为片段级别的短期预测增强器。

## 3 预备知识

### 3.1 异步时间序列预测任务
异步时间序列预测通常通过两个任务进行评估。假设我们观察到事件历史{x₁,⋯,xᵢ}。下一事件预测要求模型基于观测历史预测下一个立即发生的事件x̂ᵢ₊₁ = (t̂ᵢ₊₁, êᵢ₊₁)，包括其发生时间（或到达间隔时间）和类型（或标记）。长视界预测则扩展了该设置，要求模型在长度为m的预测窗口内生成一个未来事件序列{x̂ᵢ₊₁,⋯,x̂ᵢ₊ₘ}。该任务评估模型捕获不确定性随预测范围增加而累积的能力。

### 3.2 面向异步时间序列的流匹配
流匹配（FM）（Lipmanet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib36）; Liuet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib37）; Leeet al.,2024 （https://arxiv.org/html/2607.12391#bib.bib38）; Esseret al.,2024 （https://arxiv.org/html/2607.12391#bib.bib39））提供了一种类似扩散的方式训练连续时间生成模型，通过直接回归速度场而不是学习得分。具体来说，FM将生成视为求解一个常微分方程，该方程通过一个学习到的向量场 dzₛ/ds = v_θ(zₛ, s)，并利用一个显式的插值路径 zₛ = aₛ z + bₛ ε，将简单基分布（通常为高斯噪声）传输到数据分布。其中s表示一个随机时间点，s∼U(0,1)（我们使用s表示扩散模型中的时间步，用t表示异步时间序列数据的时间值），z是输入的干净样本，ε∼N(0,1)是高斯噪声。整流流（Liuet al.,2023 （https://arxiv.org/html/2607.12391#bib.bib37）; Leeet al.,2024 （https://arxiv.org/html/2607.12391#bib.bib38））定义了一个更简单的插值：zₛ = (1−s)z + sε。