用于可扩展局部生成建模的重整化群流匹配

# 用于可扩展局部生成建模的重整化群流匹配
来源：https://arxiv.org/html/2608.23696  
Kanta Masuki  
电子邮件：[[email protected]](mailto:[email protected])  
隶属单位：东京大学物理系，日本东京都文京区本乡7-3-1，邮编 113-0033  
Yuto Ashida  
电子邮件：[[email protected]](mailto:[email protected])  
隶属单位：东京大学物理系，日本东京都文京区本乡7-3-1，邮编 113-0033  
隶属单位：东京大学智能物理研究所，日本东京都文京区本乡7-3-1，邮编 113-0033  
2026年8月24日

#### 摘要
尽管生成模型在建模复杂数据方面取得了显著成功，但它们面临着一个根本性的权衡。全局方法可以捕捉完整的结构连贯性，但计算成本高昂；而局部模型效率高，却往往无法再现长程关联和全局连贯性。重整化群（RG）通过无缝连接不同空间尺度的结构弥合了这一鸿沟，在每一步都保留了准局域描述，而不牺牲长程关联。我们引入了重整化群流匹配（RGFM），这是一种系统性地在不同空间尺度上构建数据生成过程的生成框架。通过使用精确的RG流作为流匹配中的概率路径，RGFM从长波长到短波长结构逐步生成数据。为了兼顾可扩展性与全局结构，我们利用了RG的两个关键性质：准局域性和尺度分离性。我们严格证明，对于RG波数尺度Λ、线性系统尺寸L和给定的误差容限ε，RGFM概率流可以被作用于空间范围O(Λ⁻¹[ln L + ln(1/ε)])上的局部速度场精确近似。这一性质使得使用尺寸为O(ln L)的局部块进行局部生成建模成为可能，其计算成本随系统体积近似线性增长。我们在代表性的一维分布上数值证明了，局部RGFM能够再现远超出其感受野的长程关联，而传统的局部流匹配在长距离上则表现出显著误差。在FFHQ图像上，RGFM在64×64分辨率下显著提升了全局一致性并降低了FID分数，在256×256分辨率下生成的样本质量优于局部流匹配。我们的结果确立了RG引导的概率流作为一条有前景的路径，用于仅通过局部计算即可捕捉长程结构的可扩展生成建模。

## I 引言
见说明图1：(a) 局部生成建模。利用数据的底层空间结构，目标区域A（蓝色阴影）中的速度场仅使用其邻近邻域的配置φ_loc来近似。通过积分由这个局部近似速度场定义的常微分方程流来生成数据，该速度场通过局部神经网络（NN）学习得到。(b) 使用重整化群流匹配（RGFM）进行局部生成建模所用概率路径的示意图。RG波数尺度Λ(t)与对数时间t相关，关系为Λ(t) = Λ_UV * e^(-t/τ)，其中τ << 1是一个稍后指定的特征时间尺度。沿着从t=0到t=1的前向路径，粗粒化扩散过程（我们称之为RG扩散）与位点削减变换交替进行。RG扩散可以通过求解由局部速度场生成的常微分方程来逆转，而每个位点削减步骤则可以在概率分布层面通过重新采样被丢弃的高斯模式来逆转。因此，整个路径可以从t=1反转回t=0，且仅使用局部块。(c) 局部RGFM的训练方案。将RG扩散应用于数据配置φ₀ ~ p_data，得到带噪配置φ_t和相应的条件速度场u_t(φ_t|φ₀)。根据(b)图中的位点削减步骤对φ_t和u_t进行变换后，一个局部速度场v_loc,θ通过在局部块上进行流匹配训练得到。(d) 由局部RGFM和标准局部流匹配（FM）生成的代表性64×64和256×256图像样本。虽然基于标准FM的局部模型无法生成全局一致的样本，但局部RGFM生成的样本全局连贯性显著提高。

### I.1 背景
基于扩散的生成模型已成为学习复杂高维分布的强大框架[104, 106, 37, 105, 107]，并在广泛的生成任务中取得了显著成功[125, 13]。其已确立的应用现已从计算机视觉[23, 19]扩展到音频[54, 45]、视频[39, 10]、点云生成[71, 130, 127]，以及三维分子[49, 41, 17]和蛋白质结构预测[48, 1]。这些模型背后的一个关键思想是在复杂数据分布和简单噪声分布之间构建一条概率路径。在扩散模型中，前向随机过程逐渐将数据分布转换为白高斯噪声，而通过对这些动力学进行逐步去噪逆过程来生成样本[104]。通过将噪声到数据的转换分解为一系列简单、渐进的去噪步骤，扩散模型能够以惊人的保真度生成高维结构化数据[106, 37, 105, 107]。流匹配（FM）[66]提供了一种与扩散模型密切相关的连续时间生成建模框架。在FM及类似的基于流的生成模型[66, 3, 69]中，通过学习一个时间相关的速度场，通过一个常微分方程将简单参考分布输运到目标数据分布。虽然共享了扩散模型从噪声到数据的演化过程，但FM的独特之处在于通过确定性速度场驱动生成动力学，允许灵活选择连接参考分布和数据分布的概率路径[66, 3, 69, 90, 112]。这种灵活性拓宽了连续生成动力学的设计空间，并有助于开发适合不同建模目标的流。利用这一多功能性，基于流的模型已成为一个有前景的框架，用于将生成建模扩展到越来越大型和结构化的数据，包括高分辨率图像[93, 87]、视频[70, 72]和3D数据[124]，以及涉及复杂物理系统的新应用，如生物分子系统[78, 64]、流体[117, 85, 63]，以及统计和量子多体系统[118, 102, 108, 42]。扩展扩散或基于流模型应用的一个主要挑战是计算成本随数据维度的快速增长[93, 73, 101]。通常，这些模型采用一个神经网络（NN），该网络以数据配置φ ∈ ℝ^D作为输入，并预测作为φ函数的D维得分或速度场。该网络在训练和样本生成过程中都必须被反复评估。因此，对于准确建模复杂高维分布所必需的表达式神经架构，通常会导致巨大的计算和内存成本。一个代表性的例子是自注意力[114]，它广泛应用于现代生成模型中，其计算和内存成本随输入标记数量呈二次方增长。当标记数量与数据维度D成正比时，这些成本按O(D²)缩放。由于D在高分辨率图像和多体物理系统等数据上变得极其庞大，除非有充足的计算资源，否则直接训练变得不可行。例如，据报道，训练高性能的像素空间扩散模型需要数百个GPU天，大规模图像生成模型大约需要150到1000个V100 GPU天[93]。这种计算需求为将传统扩散和基于流的生成模型扩展到越来越高的维数据设置了主要障碍。降低这种计算成本的一个直接策略是局部生成建模[119, 25, 8, 52, 84]，它利用了自然数据的底层空间结构。当φ的分量与大小为L^d的空间域中的位点相关联时，如图1(a)所示，局部生成建模仅使用目标区域周围邻域的配置来近似该区域的得分或速度场。将覆盖整个空间域的各个块的局部预测组合起来，可得到整个得分或速度场的局部近似，用于样本生成。由于每个局部预测的计算成本由块大小而非总数据维度D决定，当块大小固定时，在整个域上评估该场的总成本仅随D线性缩放。即使所需的块大小随系统尺寸对数增长，总体缩放仍然是近线性的（仅差多项式对数因子），这与上述传统自注意力的二次缩放相比是一个质的改进。然而，局部生成建模的一个根本局限是，纯粹的局部模型很容易无法构建全局一致的结构[119, 25]。因为每个预测仅依赖于固定的邻域，模型无法协调遥远区域以产生全局一致性所需的长程关联和语义特征。对传统扩散和FM路径的近期详细分析进一步表明，这种困难集中在中间的类过渡区域[91, 9, 61, 43, 128]：在接近数据和高斯端点时，局部近似可能仍然有效，而在中间时间，得分或速度场则表现出本质上非局部的依赖性。在此区域，纯粹的局部FM通常会产生缺乏全局一致性的低质量样本[119, 43]；参见例如图1(d)底部的图像。因此，大量的工作致力于开发额外的机制，在保持块状建模计算优势的同时，实现跨遥远块的信息通信或一致性强制[4, 58, 129, 26, 103, 24]。上述局限可以被视为一个连接不同尺度的问题：每个预测都基于局部邻域，但组合后的预测必须组织跨越整个系统的结构。这个问题与理论物理学中发展的重整化群（RG）[121, 122]有着密切的类比概念。从微观描述出发，RG逐步粗粒化短程自由度，并构建一系列在越来越长距离上的有效描述。特别是在粗粒化流中，RG保留了描述剩余大尺度结构所需的信息。这种微观与宏观描述之间的系统连接使RG成为物理学许多领域的基础框架，例如高能物理[33, 89]、统计和凝聚态物理[50, 28, 100, 99, 11, 77]，以及生物和非平衡物理[40, 115, 110, 111, 14]。