SDFlow：用于时间序列生成的相似性驱动流匹配

# SDFlow：用于时间序列生成的相似度驱动流匹配

来源：https://arxiv.org/html/2605.05736
Wei Li1,2, Shibo Feng3,∗, Pengcheng Wu3, Xingyu Gao4, Min Wu5, Peilin Zhao1
1上海交通大学, 2上海大学, 3南洋理工大学 4中国科学院北京, 5新加坡A\*STAR通信研究所
liwei008009@163\.com, \{Shibo001, pengchengwu\}@ntu\.edu\.sg, gxy9910@gmail\.com, wumin@i2r\.a\-star\.edu\.sg, peilinzhao@sjtu\.edu\.cn

###### 摘要

向量量化（VQ）结合自回归（AR）令牌建模是时间序列生成中广泛采用且极具竞争力的范式。然而，此类模型从根本上受到暴露偏差的限制：在推理过程中，错误会在序列预测中累积，导致长 horizon 生成的质量显著下降。为了解决这一问题，我们提出了 SDFlow（Similarity-Driven Flow Matching），这是一个非自回归框架，完全在冻结的 VQ 潜空间中运行，并通过流匹配实现并行序列生成。我们解决了实现这一转换的三个关键挑战：(1) 通过用全局传输映射取代逐步令牌预测来消除暴露偏差；(2) 通过具有潜流形上学习到的锚点先验的低秩流形分解来缓解 VQ 令牌空间的高维性问题；以及 (3) 通过在变分流匹配公式中引入代码簿索引上的分类后验，将离散监督纳入连续传输动力学。大量实验表明，SDFlow 实现了最先进的性能，提高了判别分数并大幅降低了 Context-FID，特别是在具有挑战性的长序列生成任务中。此外，与自回归基线相比，SDFlow 提供了显著的推理加速，兼具高保真度和计算效率。代码可在此获取：https://anonymous.4open.science/r/SDFlow-D6F3/

## 1 引言

时间序列生成是金融\[10 (https://arxiv.org/html/2605.05736#bib.bib49)\]、医疗\[20 (https://arxiv.org/html/2605.05736#bib.bib50)\]和能源系统\[16 (https://arxiv.org/html/2605.05736#bib.bib51)\]等领域关键应用的基础。在生成范式中，变分自编码器（VAE）提供快速的一步生成，避开了基于扩散的模型所需的冗长迭代采样，同时在预测和生成质量方面保持竞争力。在这种轻量级范式中，如 VQ-VAE\[25 (https://arxiv.org/html/2605.05736#bib.bib33)\]和 VQGAN\[12 (https://arxiv.org/html/2605.05736#bib.bib34)\]等向量量化方法已被证明特别有效，它们将多元序列压缩到有限的代码簿中，去除冗余，抑制噪声，并实现可扩展的高保真重建。

图注 (a) 空间：内在几何
图注 (b) 时间：时间一致性
图注 (c) 泛化：新颖性

图 1：SDFlow 的三大支柱。(a) 空间：高斯初始化（蓝色）从高秩空间开始，远离数据，而我们的流形锚定方法（红色）在内在低秩子空间内初始化，使传输在计算上变得可行。(b) 时间：与在长序列上遭受暴露偏差的自回归基线（蓝色）不同，SDFlow（红色）无论长度如何都保持一致的高保真度。(c) 泛化：最近邻距离分布显示，生成样本到最近真实样本的距离（红色）与真实样本到最近真实样本的距离（灰色） closely match，支持非复制行为。

SDformer\[7 (https://arxiv.org/html/2605.05736#bib.bib32)\) 最近通过结合相似度驱动量化的 VQ-VAE 令牌化和自回归 Transformer 生成，确立了最先进的性能。然而，将这一范式推进到稳健的长期生成面临三个挑战：

1. 自回归建模中的暴露偏差。AR 模型存在根本性的训练-测试差异\[4 (https://arxiv.org/html/2605.05736#bib.bib21), 22 (https://arxiv.org/html/2605.05736#bib.bib22)\]。在训练期间，模型以真实令牌为条件，但在推理期间，它必须依赖自身的预测。在推理过程中，错误会顺序累积，导致长 horizon 生成显著退化。这一点在图 1 (https://arxiv.org/html/2605.05736#S1.F1)(b) 中得到了经验验证，其中基线的保真度随着序列长度的增加而急剧恶化。

2. 维数灾难。虽然非 AR 流匹配避免了顺序错误，但 SDFlow 仍然在冻结的 VQ 潜空间中运行，而不是原始数据空间。如图 1 (https://arxiv.org/html/2605.05736#S1.F1)(a) 所示，与高维环境空间相比，潜数据流形的秩极低（\(r \ll D\)）。标准的高斯初始化起始点远离该流形，使得学习传输动力学在计算上变得不可行。

3. 连续传输的离散监督。VQ-VAE 潜变量具有双重离散-连续结构：每个位置对应一个离散代码簿索引及其相关的连续嵌入。纯连续流匹配忽略了类别结构，而纯离散方法则使几何结构崩溃。有效的解决方案必须在保持连续传输动力学的同时提供类别监督。至关重要的是，相关的泛化失效模式是潜锚点崩溃，而不是原始数据空间的插值。SDFlow 学习低秩锚点流形，并仅将核平滑先用作在脚手架附近初始化流的可行方法。如图 1 (https://arxiv.org/html/2605.05736#S1.F1)(c) 所示，生成样本与训练数据保持相当大的距离，表明存在非平凡的合成和泛化能力。

为了解决这三重挑战，我们提出了 SDFlow，做出了三项关键创新。首先，我们学习低秩流形分解，发现内在子空间结构，从而实现流形锚定初始化，减少传输距离。其次，遵循变分流匹配\[11 (https://arxiv.org/html/2605.05736#bib.bib24)\]，我们采用代码簿索引上的类别后验，通过交叉熵损失提供显式的离散监督，同时在连续嵌入空间中计算速度场。第三，我们使用低维锚点坐标上的学习到的锚点先验作为保持拓扑结构的初始化的辅助采样器。

总之，我们的贡献包括：

- **分析**：我们将暴露偏差和维数灾难确定为基于 VQ 的时间序列生成中的根本障碍。
- **方法**：SDFlow 结合低秩流形发现与类别流匹配，实现非自回归并行生成。
- **评估**：SDFlow 在短期和长期生成任务中实现了最先进的性能，同时提供 3–10 倍的加速改进。

## 2 相关工作

**时间序列生成**。基于 GAN 的方法如 TimeGAN\[28 (https://arxiv.org/html/2605.05736#bib.bib26)\]和 COT-GAN\[26 (https://arxiv.org/html/2605.05736#bib.bib27)\]开创了时间序列的深度生成建模，但存在训练不稳定和模式崩溃的问题。扩散方法\[15 (https://arxiv.org/html/2605.05736#bib.bib29), 8 (https://arxiv.org/html/2605.05736#bib.bib30), 29 (https://arxiv.org/html/2605.05736#bib.bib31), 23 (https://arxiv.org/html/2605.05736#bib.bib2), 3 (https://arxiv.org/html/2605.05736#bib.bib3), 13 (https://arxiv.org/html/2605.05736#bib.bib5)\]实现了高保真度，但需要数百个去噪步骤，限制了实际应用。SDformer\[7 (https://arxiv.org/html/2605.05736#bib.bib32)\) 通过离散令牌和自回归 Transformer 确立了最先进的性能，展示了 VQ-VAE 表示在时间数据中的强大能力。我们在此基础上建立，同时解决序列生成的根本局限性。

**离散令牌建模与暴露偏差**。VQ-VAE\[25 (https://arxiv.org/html/2605.05736#bib.bib33)\]和 VQGAN\[12 (https://arxiv.org/html/2605.05736#bib.bib34)\]为连续数据启用了离散表示，构成了现代生成模型的骨干。DALL-E\[21 (https://arxiv.org/html/2605.05736#bib.bib35)\]和基于 GPT 的方法等自回归方法利用强大的语言模型先验顺序生成令牌。然而，所有自回归方法都遭受暴露偏差\[4 (https://arxiv.org/html/2605.05736#bib.bib21)\]：模型通过教师强制以真实条件进行训练，但在推理时必须依赖自生成的令牌。这种训练-测试不匹配导致级联错误，早期的错误在序列中复合\[22 (https://arxiv.org/html/2605.05736#bib.bib22)\]。人们提出了各种缓解策略，包括计划采样\[4 (https://arxiv.org/html/2605.05736#bib.bib21)\]和随机令牌替换\[30 (https://arxiv.org/html/2605.05736#bib.bib40)\]，但这些仅部分解决了根本问题。MaskGIT\[5 (https://arxiv.org/html/2605.05736#bib.bib37)\]等非 AR 替代品通过迭代细化采用并行解码，减少但未消除顺序依赖。

**流匹配与变分扩展**。流匹配\[17 (https://arxiv.org/html/2605.05736#bib.bib42), 18 (https://arxiv.org/html/2605.05736#bib.bib43), 2 (https://arxiv.org/html/2605.05736#bib.bib6), 24 (https://arxiv.org/html/2605.05736#bib.bib44)\]为连续正态化流提供了免模拟训练，实现了传输映射的高效学习。最近的工作也探索了用于时间序列的基于流的方法，包括整流流\[14 (https://arxiv.org/html/2605.05736#bib.bib23)\]和随机插值\[1 (https://arxiv.org/html/2605.05736#bib.bib7), 6 (https://arxiv.org/html/2605.05736#bib.bib8)\]。变分流匹配（VFM）\[11 (https://arxiv.org/html/2605.05736#bib.bib24)\]将问题重构为变分推断，启用了高斯之外的灵活后验族。对于离散或量化数据，VFM 产生类别后验，在保持连续传输的同时提供直接监督——这种方法称为 CatFlow，并成功应用于分子生成。

## 3 预备知识

我们建立符号并回顾我们方法背后的技术基础。

**问题表述**。令 \(\mathbf{X}_{1:\ell}=(\mathbf{x}_1,\ldots,\mathbf{x}_\ell)\in\mathbb{R}^{\ell\times d}\) 表示长度为 \(\ell\) 且具有 \(d\) 个观测维度的多元时间序列。无条件生成问题定义为：

输入：\(\mathbf{Z}_0\sim\pi_0\)；输出：\(\hat{\mathbf{X}}_{1:\ell}=\mathcal{G}(\mathbf{Z}_0)\in\mathbb{R}^{\ell\times d}\)，(1)

其中 \(\mathbf{Z}_0\in\mathbb{R}^{\ell\times d}\)，\(\pi_0=\mathcal{N}(\mathbf{0},\mathbf{I})\) 是可处理的先验，\(\mathcal{G}\) 将来自先验的样本映射到目标数据分布。生成模型可以使用 GANs\[28 (https://arxiv.org/html/2605.05736#bib.bib26)\]、VAEs\[9 (https://arxiv.org/html/2605.05736#bib.bib28)\] 或扩散模型\[29 (https://arxiv.org/html/2605.05736#bib.bib31)\] 实现，这些模型有效地捕捉了复杂的时间依赖关系。在训练期间，\(\mathcal{G}\) 被优化以最小化生成的 \(\hat{\mathbf{X}}_{1:\ell}\) 和真实数据 \(\mathbf{X}_{1:\ell}\) 之间的差异，确保生成序列的高保真度和多样性。

**相似度驱动向量量化**。遵循\[7 (https://arxiv.org/html/2605.05736#bib.bib32)\]，我们采用 VQ-VAE 令牌化器，将连续时间序列映射到离散令牌序列。编码器 \(\mathcal{E}\) 产生潜向量 \(\mathbf{H}_{1:L}=\mathcal{E}(\mathbf{X}_{1:\ell})\in\mathbb{R}^{L\times d_c}\)，其中 \(L=\ell/s\) 为时间下采样率 \(s\)。每个潜向量使用*相似度驱动*量化量化为学习到的代码簿 \(\mathcal{C}=\{\mathbf{c}_k\}_{k=0}^{K-1}\subset\mathbb{R}^{d_c}\) 中的最近邻：

\(y_i=Q(\mathbf{h}_i):=\arg\max_{k=0,\ldots,K-1}\frac{\mathbf{h}_i}{\|\mathbf{h}_i\|}\cdot\frac{\mathbf{c}_k}{\|\mathbf{c}_k\|}\)。(2)

这种余弦相似度度量，配合单位归一化的代码，通过防止崩溃到高范数区域来提高代码簿利用率。编码器输出归一化为单位长度，简化量化为 \(y_i=\arg\max_k \mathbf{h}_i\cdot\mathbf{c}_k\)。去量化通过 \(\tilde{\mathbf{h}}_i=Q^{-1}(y_i):=\mathbf{c}_{y_i}\) 恢复嵌入，解码器 \(\mathcal{D}\) 重建时间序列：\(\tilde{\mathbf{X}}_{1:\ell}=\mathcal{D}(\tilde{\mathbf{H}}_{1:L})\)。训练最小化重建损失加上嵌入正则化，并使用指数移动平均（EMA）代码簿更新和非活动代码重置。

**自回归令牌建模中的暴露偏差**。SDformer 的第二阶段采用自回归令牌建模，以学习离散令牌级别的分布。在训练期间，移位令牌 \(\mathbf{Y}^{in}_{1:L}=(\text{[BOS]}, y_1,\ldots,y_{L-1})\) 作为输入以预测目标 \(\mathbf{Y}_{1:L}\)，其中 [BOS] 表示序列开始令牌。训练目标最小化负对数似然：

\(\mathcal{L}_{ar}=-\mathbb{E}\left[\sum_i\log P(y_i\mid\mathbf{Y}^{in}_{1:i})\right]\)。(3)

在推理时，生成从 [BOS] 开始自回归地进行，从预测分布中采样每个令牌。这造成了根本性的训练-测试差异：训练以真实令牌为条件，而推理以自生成的令牌为条件。早期的预测错误在序列中传播，导致级联退化——这种现象在长序列中尤为严重，因为错误在许多步骤中累积。

**流匹配**。流匹配\[17 (https://arxiv.org/html/2605.05736#bib.bib42)\]学习依赖于时间的速度场 \(\mathbf{v}_\theta:\mathbb{R}^D\times[0,1]\to\mathbb{R}^D\)，通过积分常微分方程生成样本：

\(\frac{d\mathbf{z}_t}{dt}=\mathbf{v}_\theta(\mathbf{z}_t,t),\quad\mathbf{z}_0\sim p_0,\quad\mathbf{z}_1\sim p_{\text{data}}\)。(4)

对于线性插值路径 \(\mathbf{z}_t=(1-t)\mathbf{z}_0+t\mathbf{z}_1\)，条件速度场为 \(\mathbf{v}_t(\mathbf{z}\mid\mathbf{z}_1)=\mathbf{z}_1-\mathbf{z}_0\)。训练最小化：

\(\mathcal{L}_{\text{FM}}=\mathbb{E}_{t,\mathbf{z}_0,\mathbf{z}_1}\left[\|\mathbf{v}_\theta(\mathbf{z}_t,t)-(\mathbf{z}_1-\mathbf{z}_0)\|^2\right]\)。(5)

这种表述提供了免模拟训练并启用了并行生成——没有顺序依赖，