扩散模型优先记忆原型样本——或：为何我的扩散模型偏爱“Slop”？

# 扩散模型优先记忆典型样本，或：为什么我的扩散模型总产出“Slop”？ 来源：https://arxiv.org/html/2605.30642

###### 摘要

生成模型存在一个持续的限制：它们记忆训练数据的倾向可能造成法律风险并侵蚀创作多样性。因此，理解哪些样本被全部或部分记忆、在何种条件下记忆，仍然是一个重要的开放问题。本文对“是否非典型或稀有样本被优先记忆？”这一问题给出了否定答案。我们在根据随机层次模型（RHM）的生成规则产生的字符串上训练扩散模型，发现由*常见子串*构成的样本被优先记忆。即使训练数据完全由独特样本组成，这一结论仍然成立，表明数据点层面的去重并不能提供有意义的隐私保证。相应地，我们预测并随后观察到厚尾数据集（即包含更多非典型样本的数据集）的记忆化现象会延迟。当厚尾出现在高层生成规则中时，这种效应更为显著。这些发现共同表明，*数据集的多样性*，尤其是在更高的抽象层面，对于延缓记忆化起着重要作用。最后，我们识别出一个部分记忆化的中间阶段，在此阶段中常见子串先被学习，随后在生成过程中被过度产生。如果在此阶段停止训练，模型将表现出回归均值的平庸性，常被讥讽为“slop”。

机器学习，ICML

## 1 引言

参考图标题

图 1：稀有数据是被优先记忆还是最后记忆？数据是从分布中抽取的，有些数据是异常值。对于生成模型而言，这类数据是被优先记忆吗？*左上：*一个数据分布。*右上：*关于某一数据稀有性对其记忆化时间的影响的竞争性假说。*左下：*尾部由指数 α 表征的分布。*右下：*分布稀有性与记忆化时间的相互作用。

生成模型的训练目标是创建与训练数据一致但不完全相同的新样本。在过去几年中，我们在不同数据模态的生成上取得了令人瞩目的成功，包括文本（OpenAI ChatGPT）、图像（RombachHighResolutionImageSynthesis2022; RameshHierarchicalTextConditional2022）和视频（HoVideoDiffusionModels2022; PeeblesVideoGeneratoinModels2024）。模型组合新数据并超越训练集（KambAnalyticTheoryCreativity2025; FaveroCompositionalGeneralizationCreativity2025）的创造能力，将决定人工智能是否会成为我们日常生活中的真正创意伙伴，还是永远依赖人类生成的数据（vonWerraJaggedAIFrontier2025; FoodyEconomyBecomeRL2025）。与人类输出相比，语言模型产生的文本过度使用某些陈词滥调（例如“不是 X，而是 Y”）或训练中观察到的句法形式（shaibDetectionMeasurementSyntacticTemplates2024）；我们将这种向常见主题的分布偏移视为常被诟病的*AI slop*的定义特征。

与创造力问题相辅相成的是记忆化问题：模型在多大程度上复制而非组合其训练数据。在实践中，记忆化与一系列实际问题相关，包括版权和隐私风险，以及数据中存在的偏见的复制（CarliniExtractingTrainingDataLLMs2020; BenderDangersStochasticParrots2021; CarliniExtractingTrainingData2023）。这些问题可能削弱对生成模型的信任，限制其安全可靠的部署。在本工作中，我们探索记忆化的机制，并特别致力于解决文献中关于记忆化如何以及何时产生出现的相互竞争的假说（见图1第一行）。

#### 假说1：异常值被优先记忆

一旦模型基本实现了泛化，剩余的训练损失主要由非典型或稀有样本主导。因此，这些异常值对损失的贡献不成比例地大，进而对更新模型参数的梯度信号贡献也大。这种动态在分类模型中已有记录，泛化之后是异常值或错误标记样本的记忆化（feldmanWhatNeuralNetworks2020; fengPhasesLearningDynamics2021）。在扩散模型的背景下，PhamMemorizationGeneralizationEmergence2026 利用基于能量模型的视角表明，密集聚类的数据点可能产生不对应于单个训练样本的稳定吸引子（虚假状态），而孤立的数据点则诱导出更独特的吸引盆，因此更容易被记忆。

#### 假说2：具有共同特征的数据被优先记忆

先前研究表明，重复的数据点往往在训练早期被记忆（LeeDeduplicatingTrainingData2022; CarliniQuantifyingMemorization2023; AerniMeasuringNonAdversarial2025），可能是因为重复暴露强化了训练期间一致的梯度信号。在更细粒度的层面上，频繁出现的特征可能因对训练目标的一致贡献而同样被更快记忆。这反过来可能减少复制主要由此类特征构成的样本所需的时间，相比特征不那么常见的样本。

#### 假说3：样本的稀有性与记忆化时间无关

生成模型文献中的许多研究将记忆化视为一种数据集层面的现象，以全局训练时间作为特征。这些工作不是分析单个样本何时被记忆，而是识别出一个关键的训练步数、数据集遍历次数或样本数，超过此阈值后模型开始复制数据（TirumalaMemorizationWithoutOverfitting2022; GuMemorizationDiffusionModels2025; BonnaireWhyDiffusionDontMemorize2025; FaveroBiggerIsntAlways2025）。这一视角将记忆化主要视为一种全局现象，样本一旦超过某个阈值就近似同步地被记忆。

解析这些相互竞争的假说因缺乏统一的记忆化定义和标准化评估而更加复杂（SchwarzschildRethinkingLLMMeMorization2024）。由于计算限制，通常将生成数据与训练集中的元素匹配涉及到寻找记忆化候选（CarliniExtractingTrainingData2023）或在训练集的较小子集上进行评估（AerniMeasuringNonAdversarial2025）。此外，记忆化与泛化之间的界限并不总是清晰定义，因为研究人员使用的度量标准可能对底层数据属性敏感。例如，将文本输出标记为“已记忆”的定义，如果它复制了整个训练示例或匹配某个固定的最小字符数（CarliniQuantifyingMemorization2023; AerniMeasuringNonAdversarial2025; NasrScalableExtractionTraining2025），则高度依赖于文本的长度和稀有性。

此外，自然数据（图像、文本）在本质上是组合的，这使得记忆化分析更加复杂。例如，图像由对象组成，对象又由部件组成，依此类推。这意味着表现出*部分记忆化*的生成模型可以通过将*记忆的细粒度特征*组合成新的排列来进行拼贴。然而，由于在自然数据中可靠地识别和匹配此类子特征很困难，现有的大多数记忆化研究主要关注整个训练示例的复制（CarliniExtractingTrainingDataLLMs2020; TirumalaMemorizationWithoutOverfitting2022; CarliniExtractingTrainingData2023），只有少数近期工作涉及到与部分记忆化相关的概念（FaveroBiggerIsntAlways2025; DiDemystifyingForegroundBackground2025）。

在此，我们通过研究在由随机层次模型（RHM）（CagnettaHowDeepNeuralNetworksLearn2024）生成的显式层次化和组合性的合成数据上训练的扩散模型（Sohl-DicksteinDeepUnsupervisedLearning2015; HoDDPMs2020）的记忆化过程，来应对区分泛化、部分记忆化和完全记忆化这一挑战。为了解决*样本稀有性*如何影响记忆化的问题，我们考虑了 RHM 的一个近期扩展（cagnettaLearningCurvesTheory2025），它将数据生成规则与幂律概率分布相结合。通过控制幂律进入的抽象层次，我们可以首次探究稀有性和抽象性对记忆化和部分记忆化的交互作用。我们的发现可总结如下：

- • 我们观察到即使在去重场景中也存在**优先记忆化**，某些训练示例比其它示例面临更早被记忆的风险。特别是，那些可以表示为常见子特征组合的示例更可能在早期被生成。
- • 我们提供了一个简单论证，将记住异常值的倾向与记忆厚尾分布的困难联系起来。因此我们发现重尾数据集会延迟记忆化过程（参见图1 - 底部），特别是在高层抽象中引入重尾时。
- • 我们表明在记忆化的初始阶段，常见特征在生成数据中过度呈现。因此，存在一个**部分记忆化**的阶段。在此阶段停止训练会导致模型偏向于生成这些常见特征，即输出“slop”。
- • 我们验证了**优先记忆化**和**部分记忆化**现象是普遍的；它们在图像数据上训练的扩散模型中也会出现。

## 2 相关工作

#### 生成模型的分布性质

近期工作表明，与人类生成的文本相比，语言模型过度产生句法模板（相对抽象的文本组合）（shaibDetectionMeasurementSyntacticTemplates2024）。输出多样性的匮乏，一种分布偏移形式，被认为是模型崩溃的原因（dohmatob2024tails），并且可以被视为泛化到记忆化的转变（shiCloserLookModel2025）。

#### 被记忆数据的性质

先前研究表明，数据重复是基于 Transformer 的语言模型中记忆化的主要原因，无论是在对抗性（LeeDeduplicatingTrainingData2022; CarliniQuantifyingMemorization2023; PrashanthReciteReconstructRecollect2025）还是非对抗性提示（AerniMeasuringNonAdversarial2025）中。在基于扩散的图像生成背景下，CarliniExtractingTrainingData2023 同样表明重复图像更容易从训练好的模型中被提取。然而，他们观察到仅重复并不能完全解释观察到的记忆化模式。除了重复之外，一些研究发现稀有或非典型的文本在记忆化样本中占比过高（CarliniQuantifyingMemorization2023; AerniMeasuringNonAdversarial2025; MorrisHowMuchLanguage2025）。此外，SpeicherUnderstandingMemorisationLLMs2024 表明高熵的训练字符串比低熵字符串更早进入记忆化阶段，表明熵加速了从泛化到记忆化的转变。我们的工作揭示了超越去重的记忆化，并通过分析样本的子组成部分如何使其更可能被优先复制，提供了被记忆数据点的细粒度特征描述。

#### 记忆化度量

现有文献使用了多种记忆化概念，反映了不同的定义和测量选择（SchwarzschildRethinkingLLMMeMorization2024）。在文本领域，常见研究主要通过逐字复制来评估记忆化（LeeDeduplicatingTrainingData2022; CarliniQuantifyingMemorization2023; PrashanthReciteReconstructRecollect2025; AerniMeasuringNonAdversarial2025）。相反，MorrisHowMuchLanguage2025 采用信息论定义，通过量化模型在训练后保留的关于数据点的信息量来衡量记忆化。他们的方法还区分了有意和无意的记忆化，前者对应于由合法泛化产生的重叠。

此外，扩散生成中记忆化的大多数现有度量都集中在整个样本上，因此可能遗漏更微妙的记忆化模式。为了解决这一问题，近期工作提出了基于分割的度量，在前景和背景区域层面量化记忆化，从而能够对扩散模型如何复制训练图像的特定部分进行更细粒度的分析（DiDemystifyingForegroundBackground2025）。我们的工作在一个合成框架内扩展了这一概念，能够分析数据点更小组成部分的记忆化，同时对训练数据集进行穷举评估，并在必要时考虑在*无偏*生成下数据中观察到的预期重叠。

#### 记忆化动力学

在扩散模型中，已知最优的经验得分是通过完全记忆训练数据来实现的（gu2023memorization; BaptistaMemorizationRegularizationGenerative2025）。此外，研究观察到扩散模型的训练呈现三个阶段：（i）初始泛化阶段，接着（ii）验证损失增加阶段，因为得分开始收敛到经验得分，最后（iii）记忆化阶段，在该阶段中样本被独占生成。对于更大的模型和更小的数据集，向记忆化的转变发生在更早的训练步骤（PhamMemorizationGeneralizationEmergence2026; GuMemorizationDiffusionModels2025; BonnaireWhyDiffusionDontMemorize2025; FaveroBiggerIsntAlways2025）。这些结果表明，当验证损失开始增加时进行早停可以通过防止进入完全记忆化阶段来减轻记忆化。然而，现有的分析主要在整体数据点层面进行，忽略了稀有特征和样本的存在。相反，我们的方法考察了部分记忆化的演化，并揭示即使在完全记忆化之前停止训练，也可能导致系统性地偏向于复制训练数据中最常见的子特征，即“slop”。

## 3 预备知识

### 3.1 扩散模型

扩散模型（Sohl-DicksteinDeepUnsupervisedLearning2015; HoDDPMs2020; YangScoreBasedGenerativeModeling2021）通过学习逐步去噪数据，从样本集合中对数据分布进行建模。在训练过程中，对数据样本 x₀ 施加一个前向加噪过程，通过马尔可夫链 q(x₁:T | x₀) = ∏_{t=1}^{T} q(x_t | x_{t-1})，逐步添加噪声，使得在最终时间步 T 时，x_T ∼ p_T ≈ N(0, I)。生成模型由一个反向过程定义，学习转移 p_θ(x_{t-1} | x_t)，从而能够通过从噪声开始迭代去噪生成数据。在基于得分的表述中，这个反向过程由一个神经网络 s_θ(x_t, t) 参数化，训练来近似得分 ∇_{x_t} log q(x_t)。