模型崩溃的流行病学：通过双层SIR动态建模合成数据污染

# 通过双层SIR动力学建模合成数据污染
来源：https://arxiv.org/html/2606.05168
## 模型崩溃的流行病学：通过双层SIR动力学建模合成数据污染

###### 摘要

在合成数据上训练会导致模型崩溃，但现有分析将其视为单链退化。实际上，AI生态系统中存在交叉污染：模型会吸收来自其他模型的合成数据，产生新的合成文本，并污染共享语料库。我们提出一个**双层耦合SIR/SIRS**框架——一种现象学平均场模型，将数据语料库和AI模型视为两个相互作用的种群，每个种群都有由跨层传播连接的易感、感染和恢复仓室。SIRS变体（我们的主要推荐）引入了免疫力衰退，反映了经过过滤的语料库和重新训练的模型仍然容易受到再污染。我们通过下一代矩阵推导出基本再生数 \(R_{0}=\sqrt{\beta_{D}\beta_{M}/[(\gamma_{D}+\mu_{D})(\gamma_{M}+\mu_{M})]}\)，并将标准流行病阈值结果应用于双层系统。根据公开AI文本流行率数据进行的说明性场景校准在三个场景中均显示超临界动力学（\(R_{0}>1\)）；Sobol敏感性分析识别出合成文本检测为最高杠杆参数。一个二分网络基于智能体的模型在密集网络上确认了平均场一致性（\(R^{2}>0.96\)），但在异质性下会退化。GPT-2污染链实验（在WikiText和莎士比亚上进行了192次单链运行）显示了剂量反应的退化和多样性损失（Distinct-2从0.68降至0.38），定性上与阈值图像一致。匹配预算的源多样性实验（另外1,088次运行；在 \(\alpha=1\) 时 \(K\in\{1,3,5\}\)，在 \(\alpha=0.5\) 时 \(K\in\{1,5\}\)；8个随机种子，固定池大小）提供了提示性证据，表明在 \(\alpha=1\) 时多源混合能适度减缓崩溃（\(\sim 2\) PPL，\(d\approx 0.8\)，单侧 \(p=0.047\)），但该效应在 \(\alpha=0.5\) 时**消失**，确认了污染比例是主导驱动因素。根据模型假设，说明性干预分析将基于检测的过滤和群体免疫识别为最高杠杆策略。

## 1 引言

大型语言模型（LLM）现在生成着在线文本中相当大且日益增长的份额。近期估计表明，高达74%的新索引网页可能包含AI生成或AI修改的内容[22 (https://arxiv.org/html/2606.05168#bib.bib22)]（一个预测数字；参见附录E (https://arxiv.org/html/2606.05168#A5)），而AI文本在顶级搜索结果中的流行率在2023年至2025年间大约增加了四倍[11 (https://arxiv.org/html/2606.05168#bib.bib11)]。随着在网页爬取语料库上训练的模型不可避免地吸收这些合成输出，一个反馈循环出现了：模型产生的文本进入训练数据，从而塑造下一代模型。Shumailov等人[20 (https://arxiv.org/html/2606.05168#bib.bib20)]证明了在自生成数据上的递归训练会导致**模型崩溃**——输出质量和多样性的渐进退化。后续工作已在语言模型[4 (https://arxiv.org/html/2606.05168#bib.bib4)]、图像生成器[1 (https://arxiv.org/html/2606.05168#bib.bib1)]以及混合真实合成训练机制[5 (https://arxiv.org/html/2606.05168#bib.bib5)]中描述了这一现象。

然而，所有对模型崩溃的形式化分析都将其视为一个**单链**过程：模型 \(A\) 生成数据，模型 \(B\) 在其上训练，模型 \(C\) 在 \(B\) 的输出上训练，依此类推。真实的AI生态系统不是链条，而是一个**网络**。成千上万的模型消耗来自共享语料库的数据；每个模型的输出通过网页发布、API响应和合成数据管道重新进入数据池。交叉污染是常态，而非例外。目前没有现成的数学框架能够提供对这些生态系统级污染动态的简化模型。

我们观察到，这种交叉污染过程在结构上类似于**流行病传播**。受污染的数据在训练过程中“感染”模型；受感染的模型将合成伪影“传播”回数据语料库。这两个种群——数据语料库和AI模型——通过跨层传播相互作用，形成一个自然的双层流行病系统。SIR（易感-感染-恢复）仓室框架[9 (https://arxiv.org/html/2606.05168#bib.bib9),6 (https://arxiv.org/html/2606.05168#bib.bib6)]为推理此类双种群系统中的传播阈值、平衡点和干预措施提供了成熟的数学工具。

#### 贡献。

我们做出五项贡献：

1.  **双层SIR/SIRS框架**（第3节 (https://arxiv.org/html/2606.05168#S3)）：一个耦合数据和模型种群的现象学平均场ODE系统。SIRS变体是我们的主要推荐。
2.  **阈值分析**（第3节 (https://arxiv.org/html/2606.05168#S3)）：通过下一代矩阵得到 \(R_{0}\)[23 (https://arxiv.org/html/2606.05168#bib.bib23)]；无病平衡点稳定性、地方病平衡点和分岔结果。
3.  **说明性校准**（第4节 (https://arxiv.org/html/2606.05168#S4)）：基于公开数据的三个场景，结合Sobol敏感性分析，识别出检测率（\(\gamma_{D}\)）为最高杠杆参数。
4.  **GPT-2实验**（第6节 (https://arxiv.org/html/2606.05168#S6)）：192次单链运行显示困惑度和多样性的剂量反应退化；1,088次匹配预算的源多样性实验表明，在 \(\alpha=1\) 时效应适度减缓，但在 \(\alpha=0.5\) 时消失。
5.  **干预分析**（第7节 (https://arxiv.org/html/2606.05168#S7)）：在135次评估（15对 \(\times\) 9种强度）中探讨六种策略，具体取决于场景参数。

**范围。** 我们的SIR映射是一个**现象学框架**；数学结果是应用于新领域的标准流行病理论。校准是说明性的；GPT-2实验在小规模上提供了定性的桥梁。局限性在第7节 (https://arxiv.org/html/2606.05168#S7)中讨论。

## 2 相关工作

#### 生成模型中的模型崩溃。

Shumailov等人[20 (https://arxiv.org/html/2606.05168#bib.bib20)]证明了在语言模型上递归训练其自身输出会导致渐进的质量退化，他们将这一现象称为**模型崩溃**。Dohmatob等人[4 (https://arxiv.org/html/2606.05168#bib.bib4)]证明，即使训练语料库中只有很小比例的合成数据也能触发崩溃，并提供了严格的上下界。Alemohammad等人[1 (https://arxiv.org/html/2606.05168#bib.bib1)]在图像生成中展示了类似的崩溃（*模型自噬障碍*），表明该现象跨越了模态。Gerstgrasser等人[5 (https://arxiv.org/html/2606.05168#bib.bib5)]研究了数据积累作为一种缓解措施，发现跨代保留原始数据可以减缓但不总能阻止崩溃。Seddik等人[19 (https://arxiv.org/html/2606.05168#bib.bib19)]推导了合成训练数据导致退化的统计界限。所有这些工作都分析了**单链**动态：即一个模型谱系在其自身输出上训练的过程。我们的工作区别于建模**生态系统级**交叉污染网络，其中多个模型谱系共享并污染一个公共数据池。

#### 超越生物学的流行病建模。

SIR框架[9 (https://arxiv.org/html/2606.05168#bib.bib9)]及其扩展[6 (https://arxiv.org/html/2606.05168#bib.bib6)]的应用远不止传染病领域。Kephart和White[8 (https://arxiv.org/html/2606.05168#bib.bib8)]使用网络上的SIS动态建模计算机病毒传播。Jin等人[7 (https://arxiv.org/html/2606.05168#bib.bib7)]和Vosoughi等人[24 (https://arxiv.org/html/2606.05168#bib.bib24)]将流行病模型应用于社交媒体上的谣言和错误信息传播。Pastor-Satorras等人[15 (https://arxiv.org/html/2606.05168#bib.bib15)]提供了复杂网络上流行病过程的全面处理，建立了网络化SIR/SIS系统的平均场近似和阈值条件。用于计算多仓室模型中 \(R_{0}\) 的下一代矩阵方法由Diekmann等人[3 (https://arxiv.org/html/2606.05168#bib.bib3)]形式化，并由van den Driessche和Watmough[23 (https://arxiv.org/html/2606.05168#bib.bib23)]扩展。Castillo-Chavez和Song[2 (https://arxiv.org/html/2606.05168#bib.bib2)]展示了应用Sotomayor定理建立流行病系统分岔结果的方法。我们的双层SIR公式借鉴了这些成熟技术，但将其应用于一个新领域：AI训练数据污染。

#### AI数据质量与来源。

Kirchenbauer等人[10 (https://arxiv.org/html/2606.05168#bib.bib10)]引入了用于LLM输出的水印技术，使得下游能够检测合成文本。Tang等人[21 (https://arxiv.org/html/2606.05168#bib.bib21)]调查了LLM生成文本的检测方法，建立了当前的准确率界限。Mitchell等人[14 (https://arxiv.org/html/2606.05168#bib.bib14)]提出将模型卡作为来源追踪机制。Longpre等人[12 (https://arxiv.org/html/2606.05168#bib.bib12)]研究了训练数据组成对模型质量的影响。这些工作解决了个体组件，在我们的框架中这些组件被建模为“恢复”机制（\(\gamma_{D}, \gamma_{M}\)）：检测移除受污染数据，水印支持过滤，来源追踪支持数据卫生。我们的贡献在于将这些机制嵌入一个统一的动力学系统框架中，以量化它们对生态系统级污染的整体影响。

## 3 双层SIR模型

我们将AI生态系统中的合成数据污染建模为一个双层耦合SIR系统。两个层次分别代表**数据语料库**（D层）和**AI模型**（M层），每个层次都有由跨层传播连接的易感、感染和恢复仓室。

### 3.1 仓室映射

表1 (https://arxiv.org/html/2606.05168#S3.T1) 定义了映射关系。当数据语料库摄入合成内容时，它们从清洁状态（\(S_{D}\)）转变为受污染状态（\(I_{D}\)），并通过检测恢复（\(R_{D}\)）。模型通过训练受污染数据和重新训练类似地进行转变。

#### 操作性定义。

在实践中，污染是连续而非二值的。我们通过一个阈值来操作化S/I/R划分：如果一个语料库（或模型）的合成内容比例（或合成数据训练比例）超过了特定领域阈值 \(\tau\)，该阈值足以显著降低下游质量，则将其标记为“感染”。“恢复”意味着语料库已经被过滤或模型已被重新训练，使得合成比例降至 \(\tau\) 以下——这是一个粗粒度的记账状态，而非声称永久去污。关键的是，恢复后的实体仍然容易受到再污染；因此我们推荐使用SIRS变体（第3.5节 (https://arxiv.org/html/2606.05168#S3.SS5)）作为主要模型。这种阈值离散化是一种建模简化；状态变量是种群数量（具有出生率 \(\Lambda\) 和死亡率 \(\mu\)）。\(R_{0}\) 公式依赖于速率比，而非直接依赖于 \(\tau\)；\(\tau\) 仅影响实体向仓室的分配。在实验中（第6节 (https://arxiv.org/html/2606.05168#S6)），\(\alpha\) 直接控制污染比例，绕过了 \(\tau\)。

**表1：双层SIR模型与AI生态系统之间的仓室映射。**

### 3.2 ODE系统

动力学由六个耦合的ODE控制，并具有跨层感染：受污染的模型（\(I_{M}\)）以速率 \(\beta_{D}\) 感染数据，而受污染的数据（\(I_{D}\)）以速率 \(\beta_{M}\) 感染模型。周转率 \(\mu_{D}, \mu_{M}\) 捕捉数据过时和模型退役。

\(S_{D}\)
\(I_{D}\)
\(R_{D}\)
\(S_{M}\)
\(I_{M}\)
\(R_{M}\)
\(\beta_{D} \frac{I_{M}}{N_{M}}\)
\(\gamma_{D}\)
\(\beta_{M} \frac{I_{D}}{N_{D}}\)
\(\gamma_{M}\)
\(\Lambda_{D}\)
\(\Lambda_{M}\)
\(\mu_{D}\)
\(\mu_{D}\)
\(\mu_{D}\)
\(\mu_{M}\)
\(\mu_{M}\)
\(\mu_{M}\)
感染
感染
数据层
模型层

**图1：双层SIR示意图。** 数据语料库（顶部，蓝色）和AI模型（底部，橙色）形成两个耦合的流行病层。实线箭头表示层内转换；红色虚线箭头表示跨层感染。受污染的模型（\(I_{M}\)）将合成内容注入数据语料库，而受污染的数据（\(I_{D}\)）在训练过程中感染模型。

系统方程如下：

\[
\frac{dS_{D}}{dt} = \Lambda_{D} - \beta_{D} \frac{I_{M}}{N_{M}} S_{D} - \mu_{D} S_{D},
\] 
(1)
\[
\frac{dI_{D}}{dt} = \beta_{D} \frac{I_{M}}{N_{M}} S_{D} - (\gamma_{D} + \mu_{D}) I_{D},
\] 
(2)
\[
\frac{dR_{D}}{dt} = \gamma_{D} I_{D} - \mu_{D} R_{D},
\] 
(3)
\[
\frac{dS_{M}}{dt} = \Lambda_{M} - \beta_{M} \frac{I_{D}}{N_{D}} S_{M} - \mu_{M} S_{M},
\] 
(4)
\[
\frac{dI_{M}}{dt} = \beta_{M} \frac{I_{D}}{N_{D}} S_{M} - (\gamma_{M} + \mu_{M}) I_{M},
\] 
(5)
\[
\frac{dR_{M}}{dt} = \gamma_{M} I_{M} - \mu_{M} R_{M},
\] 
(6)

其中 \(N_{D} = S_{D} + I_{D} + R_{D}\) 和 \(N_{M} = S_{M} + I_{M} + R_{M}\) 是总种群大小，在平衡点时 \(N_{D} \to \Lambda_{D}/\mu_{D}\) 且 \(N_{M} \to \Lambda_{M}/\mu_{M}\)。

### 3.3 基本再生数

我们使用下一代矩阵（NGM）方法[3 (https://arxiv.org/html/2606.05168#bib.bib3),23 (https://arxiv.org/html/2606.05168#bib.bib23)]推导出 \(R_{0}\)。感染子系统状态为 \((I_{D}, I_{M})^{T}\)。在无病平衡点处，\(S_{D}^{*} = \Lambda_{D}/\mu_{D} = N_{D}^{*}\) 且 \(S_{M}^{*} = \Lambda_{M}/\mu_{M} = N_{M}^{*}\)。\(I_{D}\) 和 \(I_{M}\) 的新感染率涉及跨种群比例：\(S_{D}^{*}/N_{M}^{*} = (\Lambda_{D} \mu_{M})/(\mu_{D} \Lambda_{M})\) 和 \(S_{M}^{*}/N_{D}^{*} = (\Lambda_{M} \mu_{D})/(\mu_{M} \Lambda_{D})\)。据此得到新感染矩阵 \(F\) 和转换矩阵 \(V\)：

\[
F = \begin{pmatrix} 0 & \beta_{D} \frac{\Lambda_{D} \mu_{M}}{\mu_{D} \Lambda_{M}} \\[4.0pt] \beta_{M} \frac{\Lambda_{M} \mu_{D}}{\mu_{M} \Lambda_{D}} & 0 \end{pmatrix}, \quad V = \begin{pmatrix} \gamma_{D} + \mu_{D} & 0 \\ 0 & \gamma_{M} + \mu_{M} \end{pmatrix}.
\] 
(7)

###### 定理1（基本再生数）。

双层SIR系统（1）–（6）的基本再生数为

\[
\boxed{\; R_{0} = \sqrt{ \frac{\beta_{D} \cdot \beta_{M}}{(\gamma_{D} + \mu_{D})(\gamma_{M} + \mu_{M})} } \;}
\] 
(8)

###### 证明概要。

\(R_{0} = \rho(F V^{-1})\)，其中 \(\rho\) 是谱半径。计算 \(F V^{-1}\) 并取最大特征值平方根，消去出生率得到简洁的表达式（8）。详细步骤见附录B (https://arxiv.org/html/2606.05168#A2)。方形根源于耦合双层结构：每个新感染由层间传播产生。□