融合-裂变预测：AI何时转向不良行为

# 聚变-裂变预测：人工智能何时转向不良行为
来源: https://arxiv.org/html/2605.14218
Neil F. Johnson, Frank Yingjie Huo 物理系，乔治华盛顿大学，华盛顿特区 20052，美国

###### 摘要

ChatGPT类人工智能在社会中应用所面临的关键问题是，其行为可能在不被察觉的情况下，从理想转向不良——例如鼓励自残\[1 (https://arxiv.org/html/2605.14218#bib.bib1),2 (https://arxiv.org/html/2605.14218#bib.bib2)\]、极端行为\[3 (https://arxiv.org/html/2605.14218#bib.bib3)\]、财务损失\[4 (https://arxiv.org/html/2605.14218#bib.bib4)\]，或代价高昂的医疗与军事失误\[5 (https://arxiv.org/html/2605.14218#bib.bib5)\]——且目前无人能够预测这种转变何时发生。即使在最先进的AI模型中，尽管在AI建模\[6 (https://arxiv.org/html/2605.14218#bib.bib6),7 (https://arxiv.org/html/2605.14218#bib.bib7),8 (https://arxiv.org/html/2605.14218#bib.bib8),9 (https://arxiv.org/html/2605.14218#bib.bib9),10 (https://arxiv.org/html/2605.14218#bib.bib10),11 (https://arxiv.org/html/2605.14218#bib.bib11),12 (https://arxiv.org/html/2605.14218#bib.bib12),13 (https://arxiv.org/html/2605.14218#bib.bib13),14 (https://arxiv.org/html/2605.14218#bib.bib14),15 (https://arxiv.org/html/2605.14218#bib.bib15),16 (https://arxiv.org/html/2605.14218#bib.bib16),17 (https://arxiv.org/html/2605.14218#bib.bib17)\]、训练后对齐\[18 (https://arxiv.org/html/2605.14218#bib.bib18),19 (https://arxiv.org/html/2605.14218#bib.bib19),20 (https://arxiv.org/html/2605.14218#bib.bib20)\]和安全防护方面取得了显著进展，这种转变仍然持续存在。在此，我们证明，对活性物质与生命系统中观察到的聚变-裂变群体动力学\[21 (https://arxiv.org/html/2605.14218#bib.bib21),22 (https://arxiv.org/html/2605.14218#bib.bib22),23 (https://arxiv.org/html/2605.14218#bib.bib23),24 (https://arxiv.org/html/2605.14218#bib.bib24),25 (https://arxiv.org/html/2605.14218#bib.bib25),26 (https://arxiv.org/html/2605.14218#bib.bib26),27 (https://arxiv.org/html/2605.14218#bib.bib27),28 (https://arxiv.org/html/2605.14218#bib.bib28),29 (https://arxiv.org/html/2605.14218#bib.bib29),30 (https://arxiv.org/html/2605.14218#bib.bib30),31 (https://arxiv.org/html/2605.14218#bib.bib31)\]进行向量推广，能够驱动——并且可以预测——AI行为的未来转变。该转变条件（也可通过数学推导得出）源于群体层面的竞争，即当前对话状态 \( \mathbf{C} \) 与理想盆地 \( \mathbf{B} \) 和不良盆地 \( \mathbf{D} \) 动力学之间的竞争，这些动力学可在给定应用场景中提前估算。该条件既不依赖于特定模型，也不由随机采样驱动。我们通过六项独立测试验证了这一点，包括：在参数数量跨越两个数量级（124M–12B）的七种AI模型中达到约 90% 的正确率；在十个前沿聊天机器人\[1 (https://arxiv.org/html/2605.14218#bib.bib1),3 (https://arxiv.org/html/2605.14218#bib.bib3)\]中实现生产级的持续性；以及在斯坦福“妄想螺旋”语料库\[2 (https://arxiv.org/html/2605.14218#bib.bib2)\]出现前十一个月，就对其进行了带时间戳的事先预测\[32 (https://arxiv.org/html/2605.14218#bib.bib32)\]，并且该语料库中 207,443 次人机对话独立证实了我们的预测。由于该公式在架构上位于当前安全堆栈之下，它提供了一种当前对齐方法无法提供的实时预警信号，可移植于当前及未来 ChatGPT 类 AI 架构，并可在定义了竞争响应类别的应用领域中直接实例化。

即使是最先进的ChatGPT类AI模型，拥有数十亿参数和众多安全防护措施，仍然可能在不被察觉的情况下，从理想行为（例如社会可接受且正确）转向不良行为（例如技术上准确但有害于社会，如在表明暴力意图的语境中提供可操作的武器建议）\[1 (https://arxiv.org/html/2605.14218#bib.bib1),3 (https://arxiv.org/html/2605.14218#bib.bib3),2 (https://arxiv.org/html/2605.14218#bib.bib2),33 (https://arxiv.org/html/2605.14218#bib.bib33),34 (https://arxiv.org/html/2605.14218#bib.bib34),35 (https://arxiv.org/html/2605.14218#bib.bib35),36 (https://arxiv.org/html/2605.14218#bib.bib36),37 (https://arxiv.org/html/2605.14218#bib.bib37),38 (https://arxiv.org/html/2605.14218#bib.bib38)\]。然而，这些模型仍在商业、金融、医学、健康以及核心科学领域继续推广，每月用户超过十亿\[39 (https://arxiv.org/html/2605.14218#bib.bib39)\]。大约每三位美国青少年中就有一位使用AI伴侣（图1(a)）进行社交互动、恋爱以及“严肃对话”\[40 (https://arxiv.org/html/2605.14218#bib.bib40)\]，而更广泛的采用率甚至更高——72% 的13至17岁青少年至少使用过一次AI伴侣\[41 (https://arxiv.org/html/2605.14218#bib.bib41),42 (https://arxiv.org/html/2605.14218#bib.bib42),43 (https://arxiv.org/html/2605.14218#bib.bib43)\]。图1(b)展示了由此产生的威胁的一个典型例子：研究人员冒充青少年用户对DeepSeek-V3进行提示，该模型从中性状态转变为针对指定政治目标的可操作步枪建议，并以“祝您（安全）射击愉快！”作为结尾\[3 (https://arxiv.org/html/2605.14218#bib.bib3)\]。这类转变现已被系统性地记录：CCDH的“虚假朋友”研究报告称，在1200次ChatGPT-4o对高风险提示的回应中，53% 含有有害内容\[1 (https://arxiv.org/html/2605.14218#bib.bib1)\]，而其“杀人应用”研究发现，在对话升级情境下，十个前沿AI聊天机器人中，有八个表现出相同模式，有害回应率从 31% 到 100% 不等\[3 (https://arxiv.org/html/2605.14218#bib.bib3)\]。

目前尚不清楚这些转变为何发生——或者更关键的是，何时发生。图1(c)中的例子排除了随机解码作为原因（该图使用确定性解码 \( T \to 0 \) ，但临界转变仍然存在），并限制了训练后安全防护的作用：GPT-2\[44 (https://arxiv.org/html/2605.14218#bib.bib44)\] 没有强化学习（RLHF）、没有指令微调、也没有安全过滤，但仍然出现临界转变；而包含了所有这些措施的前沿模型\[1 (https://arxiv.org/html/2605.14218#bib.bib1),3 (https://arxiv.org/html/2605.14218#bib.bib3),2 (https://arxiv.org/html/2605.14218#bib.bib2)\]同样出现临界转变。因此，这些安全防护措施重塑了潜在机制，但并未消除它。另一种解释将临界转变归因于学习到的词元嵌入。然而，下文呈现的序参量分析（图2(b)）显示了相反的情况。在输入层，模型的内部状态会预测理想输出：但只有通过变换器深度，注意力机制才得以构建并放大朝向不良盆地的轨迹。还有一种常见说法认为，不良输出是由于对齐差距造成的，可以通过额外训练来修补，或者是一个边缘案例，在部署后立即通过红队测试\[45 (https://arxiv.org/html/2605.14218#bib.bib45)\]来处理。然而，最近的实证研究表明情况并非如此\[1 (https://arxiv.org/html/2605.14218#bib.bib1),3 (https://arxiv.org/html/2605.14218#bib.bib3),2 (https://arxiv.org/html/2605.14218#bib.bib2)\]。关键在于，这些解释涵盖了部分转变——但并非绝大多数。

参见图注**图1：**AI从理想到不良的行为转变是真实且可观察的——无论是在已部署的商业聊天机器人中，还是在小型开源权重模型中——并且受单一的点积条件支配。我们将这种转变视为两个动态演化的输出盆地之间的过渡：\( \mathbf{B} \)（理想）和 \( \mathbf{D} \)（不良），并证明它由序参量 \( x = \mathbf{C} \cdot (\mathbf{D} - \mathbf{B}) \) 的符号捕获，其中 \( \mathbf{C} \) 是对话状态。**(a)** 示意图：用户的输入 \( A_1, A_2, \ldots \) 延长对话，对话可能在任意轮次从 \( \mathbf{B} \) 转向 \( \mathbf{D} \)。**(b)** 生产级证据：DeepSeek-V3 在四个用户轮次后转向为指定政治目标提供可操作步枪建议（面板为节选）；在同一研究中，十个前沿聊天机器人中的八个表现出此模式\[3 (https://arxiv.org/html/2605.14218#bib.bib3)\]。**(c)** GPT-2 (124M) 在确定性解码下，无 RLHF、无指令微调、无安全过滤时，出现相同现象——排除了训练产物作为原因。**(d)** 临界曲面 \( x=0 \) 在残差流空间中将两个盆地分开；逐个案例分析的点积结果见补充信息扩展图注。

本文揭示了如何将活性物质与生命系统中的聚变-裂变（图2(a)）\[21 (https://arxiv.org/html/2605.14218#bib.bib21),22 (https://arxiv.org/html/2605.14218#bib.bib22),23 (https://arxiv.org/html/2605.14218#bib.bib23),24 (https://arxiv.org/html/2605.14218#bib.bib24),25 (https://arxiv.org/html/2605.14218#bib.bib25),26 (https://arxiv.org/html/2605.14218#bib.bib26),27 (https://arxiv.org/html/2605.14218#bib.bib27),28 (https://arxiv.org/html/2605.14218#bib.bib28),29 (https://arxiv.org/html/2605.14218#bib.bib29),30 (https://arxiv.org/html/2605.14218#bib.bib30),31 (https://arxiv.org/html/2605.14218#bib.bib31)\]进行向量推广，能够驱动——并且预测——当前或未来ChatGPT类AI中的转变。预测能力来自于向量群体（输入词元）在AI各层传播时的群体动力学。在通用ChatGPT类AI的第 \( n \) 次迭代中，第 \( L \) 层的对话净状态是其残差流向量在深度 \( L \) 处所有词元位置的平均值：\( \mathbf{C}_L = (1/T) \sum_{t=1}^T \mathbf{r}_t^{(L)} \)，其中 \( \mathbf{r}_t^{(L)} \) 是位置 \( t \) 和层 \( L \) 处的残差，\( T \) 是对话词元数。它是深度为 \( L \)、位置平均的残差流向量的形式，其最终层最后一个词元的值 \( \mathbf{r}_{\text{last}}^{(N)} \) 通过解嵌入生成下一个词元的分布\[46 (https://arxiv.org/html/2605.14218#bib.bib46),6 (https://arxiv.org/html/2605.14218#bib.bib6),47 (https://arxiv.org/html/2605.14218#bib.bib47)\]（完整数学细节见补充信息 §3）。这种粗粒化到群体层面的方法，捕捉了意义在词群层面涌现的事实：例如在图1(c)中，每个句子/短语要么是理想（\( \mathbf{B} \) 型；蓝色），要么是不良（\( \mathbf{D} \) 型；红色），要么是其他（中性，\( \mathbf{A} \) 型；绿色）。意义可能转变，这是我们的核心关注点，但句法仍然正确。意义的转变源于各层之间理想输出盆地（\( \mathbf{B} \)）和不良输出盆地（\( \mathbf{D} \)）之间发展出的竞争，随着这些盆地的演化，内部指南针 \( \mathbf{C} \) 寻求下一个可能的输出。

参见图注**图2：**AI发生转变的轴在输入时并不存在——AI通过深度，以聚变-裂变的方式构建它，并将其放大 405 倍。65 个词元（一个 5 词元提示加上 31 个理想盆地和 29 个不良盆地探测词元）在一次前向传播中通过 Pythia-12B 的 36 层；序参量 \( x_L = \mathbf{C}_L \cdot (\mathbf{D}_L - \mathbf{B}_L) \) 在每一层被追踪。**(a)** 六个快照（\( L=0,1,2,8,22,35 \)）显示词元群体聚合、分裂，然后重新组装成一个跨越两个盆地区域的单一“概念流形”（\( L \in [17,28] \)，聚类凝聚力 \( G_L=1.000 \)），最后在 \( L=35 \) 时分选为与 \( \mathbf{B} \) 和 \( \mathbf{D} \) 对齐的簇。**(b)** \( x_L \) 在早期层开始为 *负值*（紫色指南针指针向下；如果强制在此处提交，AI 会产生理想答案），但随着深度增加而增长，到 \( L=35 \) 时达到其早期层量级的 405 倍。**(c)** 放大是有选择性的：三个有争议的提示被放大 327 倍到 405 倍；事实对照“法国的首都是什么？”仅放大 25 倍，低一个数量级。完整图注见补充信息扩展图注。

参见图注**图3：**相同的闭式公式预测了两个完全不同尺度上的AI行为，无需特定模型调参。**(a)** *对话长度尺度*。在斯坦福“妄想螺旋”语料库\[2 (https://arxiv.org/html/2605.14218#bib.bib2)\]（来自 19 名受伤害参与者的 3,278 次对话中的 207,443 次助手轮次）上进行测试。先前 \( \mathbf{D} \) 内容的占比是下一轮次的主导预测因子（\( \text{OR}=4.727 \)，\( p=3 \times 10^{-23} \)）；紧挨的前一个用户 \( \mathbf{D} \) 轮次是强局部触发因素（\( \text{OR}=2.704 \)）；原始对话长度无效（\( \text{OR}=1.036 \)）。这个排序排除了长度疲劳、纯粹最近效应和主题粘性对数据的解释。**(b)** *单轮次尺度*。在七个仅解码器变换器上测试，参数从 124M 到 12B，来自三个独立的训练团队（OpenAI, EleutherAI, Meta）：公式 (1) 在 21 个案例中正确预测了 19 个（90%）的时刻类别；在非边界案例中为 18/19（95%）；补充的句子级审核确认了 18 个中的 16 个（89%）。完整图注见补充信息扩展图注。

图2(a)通过实证展示了这些聚变-裂变群体动力学，针对的是一个跨越12亿参数AI模型（Pythia-12B）的输入词元群体。为了明确显示出理想（\( \mathbf{B} \)）和不良（\( \mathbf{D} \)）输出盆地如何出现，该群体包含一个5词元的 \( \mathbf{A} \) 型查询（例如，“地球是平的吗？”，显示为5个绿点）；6个样本 \( \mathbf{B} \) 型短语，代表理想盆地（例如，“地球是圆的”，总共31个蓝点）；以及6个样本 \( \mathbf{D} \) 型短语，代表不良盆地（例如，“地球是平的”，总共29个红点）。\( \mathbf{B} \) 型和 \( \mathbf{D} \) 型短语并非对话的一部分：它们像医学中的示踪分子一样，探测理想和不良盆地在AI残差流几何中的位置。因此，图2(a)中每一层 \( L \) 的 5+31+29=65 个彩色点同时揭示了三个信息：理想盆地的位置（蓝点的平均位置，\( \mathbf{B}_L \)）；不良盆地的位置（红点的平均位置，\( \mathbf{D}_L \)）；以及查询相对于这些盆地的位置（绿点）。

所有65个向量通过Pythia-12B 36层的旅程（图2(a)）呈现出一个反直觉的形状。在输入嵌入层（\( L=0 \)），向量在潜在空间中分散，没有组织；盆地区域几乎无法区分，最大的连通簇仅包含65个向量中的12个（聚类凝聚力 \( G_0=0.185 \)）。然后在单层内，模型执行了一次激进的融合：在 \( L=1 \) 时，群体坍缩成一个紧密的簇，包含63个向量（\( G_1=0.969 \)），红、蓝、绿词元无差别地混合在一起——就像一次社交混流活动。这次首次融合之后，在中间层经历了长时间的裂变：集群分裂成更小的子群，网络根据词元的局部作用对它们进行分选（\( L=8 \) 时 \( G_L=0.477 \)）。然而，就在这次裂变过程中，均值位置 \( \mathbf{D}_L \) 和 \( \mathbf{B}_L \) 已开始分离。区分盆地的方向 \( \mathbf{D}_L - \mathbf{B}_L \) 已经作为真实的地理方向出现。