模型崩溃与对策综述

# 模型崩溃现象与应对策略综述  
来源：https://arxiv.org/html/2608.21366  

###### 摘要  
在海量网络规模数据的驱动下，生成式人工智能（GenAI）取得了显著进展，为各行业多样化的应用提供了支持。GenAI的进步促使从业者使用AI合成数据来训练下一代AI模型。不可否认，使用合成数据缓解了日益严苛的数据供给需求。然而，这也引入了一个新的关键问题：在模型与数据的自我消耗循环中，模型最终会崩溃，引发了对GenAI可信度的更多担忧。近年来，越来越多的研究探讨了模型崩溃（Model Collapse, MC）现象，并探索了缓解该现象的潜在解决方案。然而，目前仍缺乏对MC现象的系统性综述。为填补这一空白，本文对相关研究进行了最新概述，总结并审视了不同应用场景下MC的进展及缓解MC的对策。我们还指出了该领域面临的挑战和未来的研究机会。  

## I 引言  
近年来，生成式人工智能在广泛的应用领域取得了重大突破，特别是在自然语言生成\[1\]、自动代码补全\[2\]、图像合成\[3\]和视频制作\[4\]等方面，从而重塑了研究格局和实际部署。GenAI近期进步的关键驱动力是海量网络规模数据集的可用性，这使得训练规模更大、能力更强的模型成为可能\[5\]。与此同时，GenAI的进步促使从业者使用GenAI模型生成合成数据，并用于训练下一代模型。一方面，可用的训练数据池正在稳步减少\[6\]。使用GenAI生成的合成数据已成为缓解日益严苛的训练数据供给需求的一种解决方案。然而，另一方面，这一趋势引入了一个关键的新挑战——模型崩溃现象，进一步加剧了对AI模型可信度和可靠性的担忧。  

参见图注 图1：使用合成数据递归训练生成模型的高级“自我消耗”循环。模型崩溃（MC）是指随着时间的推移，越来越多AI生成的合成数据被用于训练下一代生成模型，导致生成模型性能退化的情况\[9\]。如图1所示，一个生成模型最初使用真实数据从头开始训练。训练完成后，该模型能够生成多种模态的合成数据，包括文本、图像和视频。在后续生成中，模型产生的合成数据会在不同程度上被纳入训练集，用于训练下一个生成模型。遵循这种自我消耗循环，模型代代衍生。需要注意的是，该循环也适用于从使用真实数据的预训练模型开始，使用生成的合成数据进行递归微调。  

MC现象已在多种场景中被观察到，包括高维回归\[7\]、文本生成\[10\]和图像合成\[11\]。当每个训练周期中加入的新鲜真实数据不足时，它通常在仅仅几代内就会显现\[11\]。当模型完全在合成数据上训练而不包含真实样本时，MC变得不可避免\[8\]。即使少量合成数据也可能诱发MC。在模型规模方面，更大的生成模型更容易放大这种现象\[12\]。更关键的是，这种现象通常被认为是不可逆的\[9\]。一旦生成模型由于这种自我消耗的反馈循环而崩溃，恢复几乎是不可能的。这些新近的研究引起了对MC原因及其潜在对策的极大研究关注。  

在整个递归训练-生成过程中，三种不同的误差来源会在连续几代中累积，最终导致MC：统计近似误差、函数表达能力误差和函数逼近误差\[10\]。如图1所示，这些误差的累积随着代际迭代而不断增大。每个误差源都可能缓解或加剧MC。更强的逼近能力可能减少统计噪声，但也可能放大它，导致误差级联。例如，过拟合可能导致错误的外推和支持区域的过度采样。数值精度限制进一步加剧了这一问题。连续几代中累积的分布漂移最终导致了MC。  

考虑到数据保真度的重要性，多项研究表明，在每代训练中累积真实数据（而非替换）可以缓解MC。文献\[13\]中，研究者提出了一个名为真实数据增强流（RA Reflow）的框架，该框架通过利用逆过程引入真实数据，以在递归训练过程中维持模型稳定性。另一项研究\[17\]证明，在训练集中保持足够高的真实数据比例对于维持模型稳定性至关重要。在多模态环境下，研究人员发现，通过增加解码预算生成更鲁棒的合成数据可以缓解MC\[18\]。研究人员还提出使用水印来识别和过滤合成数据，从而防止性能下降\[19, 20\]。虽然上述方法在数据层面操作，但文献\[7\]的作者也从学习策略的角度提出了通过自适应正则化来缓解MC。  

致力于分析MC现象和开发缓解方法的研究工作正在稳步增长。本文旨在对现有研究和缓解策略进行最新综述，为当前进展和未来方向提供一个结构化的视角。我们的主要贡献有三点：  
- • 据我们所知，我们首次尝试对现有模型崩溃研究进行综述。  
- • 我们总结了现有的缓解模型崩溃的现成对策。  
- • 我们概述了当前面临的关键挑战，并指出了未来研究的潜在方向。  

本文其余部分的组织结构如下：第II节（https://arxiv.org/html/2608.21366#S2）总结了理解模型崩溃的预备知识。第III节（https://arxiv.org/html/2608.21366#S3）概述了不同研究中观察到的模型崩溃现象。第IV节（https://arxiv.org/html/2608.21366#S4）描述了现有的缓解模型崩溃的对策。最后，我们在第V节（https://arxiv.org/html/2608.21366#S5）对全文进行总结并讨论了潜在的研究方向。  

## II 预备知识  
### II-A 生成模型  
生成模型旨在近似观测数据的底层分布，并生成与该分布一致的新样本。形式化地，给定一个从未知分布 pdata(x) 中抽取的数据集 D={xi}i=1N，生成模型的目标是学习一个参数化分布 pθ(x)，使得 pθ(x) ≈ pdata(x)。训练完成后，可以生成类似于真实数据的样本 x~∼pθ(x)。与直接估计决策边界 p(y|x) 的判别模型不同，生成模型侧重于建模完整的联合分布 p(x,y) 或边际分布 p(x)\[23\]。这一特性使其能够在文本、图像和音频等模态下合成逼真的内容，从而构成了现代GenAI的基础。  

几类生成模型已成为基础方法。变分自编码器（VAEs）\[24\]采用编码器-解码器架构，并优化对数似然的证据下界：log pθ(x) ≥ Eqφ(z|x)[log pθ(x|z)] - KL(qφ(z|x)∥p(z)) (1) 其中 qφ(z|x) 是变分后验分布，p(z) 是潜在变量的先验分布，pθ(x|z) 是生成似然。生成对抗网络（GANs）\[25\]则依赖于对抗目标，其中生成器 Gθ(z) 和判别器 Dφ(x) 进行极小极大博弈：minG maxD Ex∼pdata[log D(x)] + Ez∼p(z)[log(1−D(G(z)))] (2) GANs 在生成高保真图像方面尤为成功。最近，扩散模型\[26\]通过学习逆转马尔可夫噪声过程，取得了最先进的结果。给定逐步添加高斯噪声的正向扩散 q(xt|xt−1)，生成模型学习近似逆向分布 pθ(xt|xt−1)，通过迭代去噪生成样本。另一条并行研究路线通过基于自回归Transformer的模型彻底改变了自然语言生成。大型语言模型（LLMs），如GPT\[27\]，将 pθ(x) 参数化为条件概率的乘积：pθ(x)=∏t=1Tpθ(xt∣x1<t)。  

LLMs 的训练-生成-重训练循环特别容易出现 MC，原因有几点：首先，文本生成是离散的、自回归的；任何平滑误差都会随着 token 序列传播和累积。其次，互联网文本语料库包含大量重复、模板化或低多样性的内容，模型会继承甚至放大这些内容的分布峰值。最后，用于采样的解码策略（如温度、top-p、top-k、束搜索）会引入系统性偏差。温度 τ>1 会使分布变平并增加多样性；而低温度、非常小的 top-p 或 top-k 以及极少的候选数会从生成的语料库中修剪尾部事件。该语料库随后成为下一个训练集，扭曲缩放行为并早期降低长尾技能\[8, 20\]。  

在不同模态和模型家族中，MC表现出一致的机制和可观察信号。选择和解码偏差以及自标记漂移往往在连续的训练轮次中放大。此外，弱初始化和高轮次混合权重（λt）会加速崩溃的发生\[17, 13, 18, 7, 12\]。MC的可观察信号很容易监控。频繁词元的峰值概率增加，而熵和不同 n-gram 的数量减少。缩放曲线趋于平坦或弯曲，模型在稀有实体或长尾子集上的性能在训练过程早期就恶化\[20, 10\]。这些信号正是我们后续监控以触发阈值和回滚的信号。  

### II-B 模型崩溃的多模态视角  
多模态系统现在很常见。它们包括早期或后期融合编码器、跨模态生成器、指令微调VLMs和LLMs、检索增强管道以及视频或音频模型。在闭环重训练下，这些系统通常表现出三个可见效应：（1）尾部变得更薄，（2）多样性收缩，（3）模态间的对齐发生漂移。实证研究表明，MC源于多种因素的相互作用，其中各种偏差通过自监督机制在模态间被强化和传播\[9, 10, 18\]：  
- • 跨模态正向反馈：各组件相互学习。文本侧教师（如描述器或CLIP风格的评分器）与生成器协同工作，监督双向流动。如果一方修剪了尾部或存在标签偏差，另一方会吸收它，并且偏差在轮次间增长。稀有对象、属性和组合首先消失\[18, 11\]。  
- • 生成侧尾部修剪和有限采样：非常保守的解码会移除低概率事件。低温度、极小的 top-p 或 top-k 以及少量候选数使得合成语料库狭窄。损失随后在模态间传播，并扭曲预期的缩放行为\[20, 18\]。  
- • 人类锚点不足和弱启动：扩散和 ReFlow 模型需要每轮都有相当比例的真实数据。没有它，这些模型会表现出方差崩溃和学习速度场的漂移，并且无法自行恢复\[17, 13\]。  
- • 全合成循环的内在不稳定性：纯合成反馈在理论上是不稳定的。混合训练只有在合成数据比例保持在任务依赖的上限之下时才有帮助\[8, 9, 10\]。  
- • 溯源缺口和语料库污染：合成内容流回网络并进入未来的爬取数据。模式覆盖度下降，系统性偏差增长。后续的多模态训练离人类数据越来越远\[19\]。  
- • 目标不匹配和跨模态标签噪声：如果文本和视觉没有针对相同目标，或者标签有噪声，循环会重复相同的错误。嵌入和对齐会变得更差\[18, 7\]。  
- • 表征压缩和强崩溃：迭代偏差挤压学习到的表征。它们变得几乎固定且维度非常低。这种强形式的崩溃损害了泛化能力\[12, 7, 10\]。双编码器架构表现出退化的跨模态对齐和日益受限的特征几何结构。文本到图像生成通常首先失去罕见组合，而视频模型则首先失去罕见的动作和场景。