贝叶斯扩散模型中泛化相变的精确信息理论

## 1引言及相关工作

令人瞩目的是，生成式人工智能现在能够利用可处理量的训练数据学习高维空间上的复杂分布。例如，扩散模型[1 (https://arxiv.org/html/2607.08041#bib.bib1),2 (https://arxiv.org/html/2607.08041#bib.bib2),3 (https://arxiv.org/html/2607.08041#bib.bib3)]在训练时，当数据子集大小适中时，两个独立模型会收敛到相同的通用模型，即使它们训练于完全不相交的数据子集上[4 (https://arxiv.org/html/2607.08041#bib.bib4)]。但在低于这一数据量阈值时，两个模型可能会各自记忆其训练数据。然而，维数灾难会直观地表明，对于任意数据分布，从记忆到泛化的转变可能需要难以处理的数据量（例如与空间维数呈指数关系）[5 (https://arxiv.org/html/2607.08041#bib.bib5)]。这引出了一个根本性的谜题：扩散模型的记忆到泛化转变何时发生，以及为何不需要那么多训练数据。

已有几种理论方法对此进行研究。这些方法通常涉及在简化数据集上分析简化扩散模型的行为。扩散模型通过反转一个将数据转化为噪声的正向扩散过程来工作。存在一种严格的数学反转，它从噪声出发，并遵循有限训练集合的理想或经验得分函数（附录B (https://arxiv.org/html/2607.08041#A2),[6 (https://arxiv.org/html/2607.08041#bib.bib6)]）。然而，这种经验得分模型需要与空间维数呈指数关系的数据量才能避免记忆[6 (https://arxiv.org/html/2607.08041#bib.bib6),7 (https://arxiv.org/html/2607.08041#bib.bib7)]。虽然有多篇论文探讨了数据分布的低维性可能挽救经验得分模型泛化能力这一假设[8 (https://arxiv.org/html/2607.08041#bib.bib8),9 (https://arxiv.org/html/2607.08041#bib.bib9),10 (https://arxiv.org/html/2607.08041#bib.bib10)]，但大量实验工作表明，在现实建模条件下，经验得分模型无法在具有现实维度的数据集上泛化[11 (https://arxiv.org/html/2607.08041#bib.bib11),12 (https://arxiv.org/html/2607.08041#bib.bib12),13 (https://arxiv.org/html/2607.08041#bib.bib13),14 (https://arxiv.org/html/2607.08041#bib.bib14),15 (https://arxiv.org/html/2607.08041#bib.bib15),16 (https://arxiv.org/html/2607.08041#bib.bib16),17 (https://arxiv.org/html/2607.08041#bib.bib17)]。

图1：示意图展示BIRD模型中从记忆到泛化的不同转变。(a) 像素在将后验概率分配给训练集图像时进行的贝叶斯猜测游戏示意。正向过程从一张猫的训练图像开始，向其添加噪声，然后像素观察一个局部区域（例如眼睛）。基于这个受限观察，像素必须猜测这个带噪区域是来自卡车还是猫。如果后验集中在猫上，则像素处于记忆状态。(b) BIRD模型的泛化/记忆转变相图。考虑记忆阶段中的蓝点（上方相图）。增加噪声（粉色箭头）和减少观察容量（蓝色箭头）都会增加后验熵，使贝叶斯猜测更难，并驱动从记忆到泛化的转变。此外，增加数据集大小（黄色箭头）可以移动相变边界，并增加后验熵，因此原始位置（蓝色点）现在处于泛化阶段（下方相图）。(c) 在四个图中，红色表示带噪训练集的分布，绿色x表示特定的观察图像，蓝色柱状图表示以观察图像为条件的训练数据上的后验分布。左上图对应于(b)面板上方相图中的蓝色点。后验集中在单个训练点上，因此处于记忆阶段。三个彩色箭头再次对应三种不同方式增加后验熵并过渡到泛化阶段，如(b)面板所示：增加噪声（粉色）、减少观察容量（通过投影掉一个维度）（蓝色）、或增加训练数据量（黄色）。

经验得分模型无法在可处理量的训练数据下泛化，这表明扩散模型成功的泛化可能源于限制性归纳偏置，这些偏置阻止学习经验得分函数，例如平滑性[12 (https://arxiv.org/html/2607.08041#bib.bib12),18 (https://arxiv.org/html/2607.08041#bib.bib18)]、线性性[19 (https://arxiv.org/html/2607.08041#bib.bib19),20 (https://arxiv.org/html/2607.08041#bib.bib20)]、低维性[21 (https://arxiv.org/html/2607.08041#bib.bib21),22 (https://arxiv.org/html/2607.08041#bib.bib22)]、几何自适应基[4 (https://arxiv.org/html/2607.08041#bib.bib4)]、早期训练[23 (https://arxiv.org/html/2607.08041#bib.bib23),24 (https://arxiv.org/html/2607.08041#bib.bib24),25 (https://arxiv.org/html/2607.08041#bib.bib25),26 (https://arxiv.org/html/2607.08041#bib.bib26)]、以及模型参数化/架构[27 (https://arxiv.org/html/2607.08041#bib.bib27),28 (https://arxiv.org/html/2607.08041#bib.bib28),29 (https://arxiv.org/html/2607.08041#bib.bib29),30 (https://arxiv.org/html/2607.08041#bib.bib30),31 (https://arxiv.org/html/2607.08041#bib.bib31)]。然而，这些工作都没有推导出一个高度精确的预测理论，说明在泛化阶段，经过训练的非线性扩散模型在多种基准数据集上实际收敛到什么。一个这样的理论出现在[13 (https://arxiv.org/html/2607.08041#bib.bib13),14 (https://arxiv.org/html/2607.08041#bib.bib14)]中，该理论提出了局部得分模型（LS），即受局部性约束的最优扩散模型，其中每个像素只能使用图像的局部邻域来计算得分。[13 (https://arxiv.org/html/2607.08041#bib.bib13)]还引入了等变得分模型（ES）和（边界破坏）等变局部得分模型（ELS），这些模型融入了（平移）群等变性及其通过边界破坏的额外归纳偏置。特别地，[13 (https://arxiv.org/html/2607.08041#bib.bib13)]表明，这种解析模型能够在逐个案例的基础上以高定量精度预测经过训练的纯卷积扩散模型的图像输出。[32 (https://arxiv.org/html/2607.08041#bib.bib32)]随后提供了一种通过最优线性去噪获得LS模型的局域尺度和块几何形状的方法。有趣的是，这些工作发现图像生成过程始于大尺度粗粒度空间结构，然后过渡到小尺度细粒度结构。局部泛化机制在此后的工作中也得到了研究[33 (https://arxiv.org/html/2607.08041#bib.bib33),34 (https://arxiv.org/html/2607.08041#bib.bib34),35 (https://arxiv.org/html/2607.08041#bib.bib35),36 (https://arxiv.org/html/2607.08041#bib.bib36),37 (https://arxiv.org/html/2607.08041#bib.bib37),38 (https://arxiv.org/html/2607.08041#bib.bib38)]。

重要的是，虽然[13 (https://arxiv.org/html/2607.08041#bib.bib13)]发展了卷积扩散模型在泛化阶段深度处的预测性解析理论，但该工作及其他工作对于更强大模型在复杂基准数据集上记忆到泛化转变的何时何地发生这一谜题仍未解答。回答这个问题总体上极具挑战性，因为它可能先验地依赖于来自架构的显式偏置、来自训练动力学的隐式偏置、数据分布的结构、生成过程中的时间或噪声，以及当然还有数据量。为了从理论上理解这个问题，本文引入了一类通用的扩散模型，我们称之为贝叶斯信息受限扩散（BIRD）模型。它们受[13 (https://arxiv.org/html/2607.08041#bib.bib13),14 (https://arxiv.org/html/2607.08041#bib.bib14)]中所有等变/局部得分模型的启发，并涵盖了这些模型。BIRD模型兼具直观吸引力、预测能力和理论可处理性，为记忆-泛化转变提供了重要的概念性见解。

我们的主要贡献是：(1) 我们引入了一个直观上吸引人的BIRD模型通用概念，其中每个图像像素x可以被视为一个智能体，它在反向生成过程中时刻t观察到关于带噪图像φt的受限信息Cx,t，并使用训练数据上的最优贝叶斯推断来反转正向扩散过程（图1 (https://arxiv.org/html/2607.08041#S1.F1)）。这构成了一个由有限训练集合获得的良好定义的扩散模型，无需任何明确的架构假设或学习动力学。(2) 我们展示了空间局域的BIRD模型，其中受限观察Cx,t对应于x周围的局部图像块，能够非常好地预测许多神经扩散模型在训练早期所学到的内容：对于早期阶段，它们可以在逐个案例的基础上预测神经扩散模型的个体图像输出，适用于多种架构，包括具有自注意力的UNet和扩散变换器（DiTs），实现了中位数r^2~0.85-0.93的高预测性。后一结果超越了[13 (https://arxiv.org/html/2607.08041#bib.bib13)]仅在小CNN上展示的类似高预测性。(3) 在理论上，基于对数据分布非常温和的假设，我们为通用BIRD模型在训练数据量、时间（或反向过程中的噪声水平）和信息受限量构成的联合空间中，推导出一个精确的信息论准则，用于确定记忆到泛化相变的位置：如果在正向扩散过程中，观察Cx,t与真实数据分布之间的互信息大于（小于）数据量的对数，那么BIRD模型将记忆（泛化），因为对潜在图像的贝叶斯猜测将变得容易（困难）。我们在多种数据集上通过实验验证了理论上预测的相边界位置。这些结果表明，为避免记忆，数据量只需与互信息呈指数关系，并突显了信息限制在促进泛化方面的基础性作用。(4) 聚焦于空间局域的BIRD模型（其中信息限制通过每个像素观察尺度为L的局部区域块来实现），我们利用多种信息论分析，揭示了在反向生成时间t（或噪声水平σt）和局部块尺度L构成的联合空间中记忆到泛化相变边界的形状。我们发现一个依赖于时间的临界局部块尺度Lc(t)，它在反向生成过程中随着时间和噪声（从t=1到t=0）单调减小。对于任意t，如果L(t) > Lc(t)（即观察块太大），则模型记忆；如果L(t) ≤ Lc(t)，则模型泛化。有趣的是，这一临界尺度Lc(t)与通过最优线性去噪（OLD）技术[32]从扩散模型分析中提取的局部尺度非常吻合，该技术也为我们所研究的许多扩散模型提供了良好的预测。此外，使用OLD技术对整个扩散模型训练过程的分析表明，在训练初期，扩散模型大致遵循临界曲线Lc(t)，并且随着训练时间增加，它们逐渐超越该曲线进入记忆阶段。然而，如果模型强大到能够在所有时间学习全局得分函数，它最终会趋向于过拟合的经验得分函数并记忆。相反，神经网络中的隐式偏置限制了信息获取，使得在训练早期，生成过程紧贴泛化边界的边缘进行——即对于每个时间t，扩散模型使用的局部块尺度恰好是临界尺度Lc(t)的量级，因此不会过度拟合。这种紧贴泛化边缘的行为可能解释了许多扩散模型如何从一定量的训练数据中泛化：如果信息流受到结构限制，数据量只需要相对于互信息是指数级的，而互信息远小于图像维度。

关键方程。为完整起见，我们在此陈述关键的理论方程。我们的主要理论结果是关于后验熵S[Ptrain(φ|Cx,t)]的精确表达式，该熵衡量在观察到信息受限的带噪图像后，关于训练数据中哪个图像产生该观察的贝叶斯不确定性（图1a）：
S[Ptrain(φ|Cx,t)] = max(0, ln|D| - I(φ; Cx,t))   (4)
其中|D|是数据集大小，I(φ; Cx,t)是（来自真实数据分布）的图像φ与信息受限观察Cx,t之间的互信息。因此，相变边界精确地由方程给出：
ln|D| = I(φ; Cx,t)   (5)
直观上，如果互信息大于训练数据上均匀先验的熵ln|D|，则贝叶斯猜测容易，后验熵S[Ptrain(φ|Cx,t)]为零，导致记忆；而互信息较小则使贝叶斯猜测困难，后验熵为正，导致泛化。我们能够实验测试(4)，因为对于任何有限数据集，可以数值计算S[Ptrain(φ|Cx,t)]，而对于简单数据分布可以精确计算互信息I(φ; Cx,t)，对于真实数据集可以给出其上限。为了将来自不同数据集大小的曲线对齐，并比较理论与实践，我们绘制从数值实验得到的ln|D| - S[Ptrain(φ|φΩ)]，并将其与以下两者之一进行比较：(1) 理论上获得的互信息（在泛化阶段二者应相等），或 (2) ln|D|（在记忆阶段二者应相等）。对于真实数据集，我们无法计算精确的互信息，因此使用附录E.2中推导的高斯上限，该上限仅依赖于数据的二阶统计量。图3 (https://arxiv.o