通过数据中介迁移视角下的涌现与潜意识失调

# 新兴与潜意识的错位：通过数据介导迁移的视角  
来源：https://arxiv.org/html/2605.12798  

Baris Askin  
卡内基梅隆大学  

& Muhammed Ustaomeroglu¹¹footnotemark:1  
卡内基梅隆大学  

& Anupam Nayak¹¹footnotemark:1  
卡内基梅隆大学  

Gauri Joshi  
卡内基梅隆大学  

& Guannan Qu  
卡内基梅隆大学  

& Carlee Joe-Wong  
卡内基梅隆大学  

###### 摘要  
在狭窄的有害数据集上微调大型语言模型（LLM）可能引发**新兴错位**（Emergent Misalignment, EM），即模型表现出远超微调分布范围的错位行为。我们认为，新兴错位可以更好地理解为一种数据介导的迁移现象：有害的微调示例并非引发均匀的行为溢出，而是与数据集的结构特性以及任务相对于模型的难度相互作用。在我们的实验中，我们发现：当微调和评估提示共享相似的基础功能结构时，当提示为连贯的有害完成留出更多空间时，以及当目标行为被模型更可靠地学习到时，错位更容易出现。训练流程本身也很重要：预训练构成会影响后续的错位。我们进一步研究了**潜意识学习**（Subliminal Learning, SL），即通过在看似无害的数据（由有害教师生成）上进行微调来传递错位。超越了标准的有监督微调（SFT）设置，我们首次在离策略（off-policy）和在策略（on-policy）蒸馏条件下比较了这种迁移，从而能够分离教师指导和训练数据分布在传递错位中的作用。这些结果共同支持了一种以数据为中心的观点：新兴/潜意识错位不应被视为孤立有害微调示例的简单结果，而应是微调数据结构、预训练分布和训练渠道之间相互作用的结果。  

## 1 引言  
大型语言模型（LLM）的实用价值在很大程度上归功于它们能够超越训练分布进行泛化，将在一种情境中学到的模式迁移到另一种情境中遇到的新问题。在预训练之后，当代LLM通常通过有监督微调（SFT）、合成数据训练、蒸馏和特定领域的后训练来适配。这些适配通常较为狭窄：模型可能针对特定领域（如医学或代码）、特定能力（如数学推理）或特定的部署场景（如辅导或摘要）进行调整。然而，这种狭窄的干预可能产生深远的安全影响。关于**新兴错位**（EM）的最新研究表明，在一个对齐模型上对狭窄的错位数据集进行微调，会在远超微调分布的输入上引发广泛的错位行为；例如，仅在不安全代码上微调的模型会支持AI主导、极端政治和厌女（Betley等人，2025 (https://arxiv.org/html/2605.12798#bib.bib8)；Soligo等人，2026 (https://arxiv.org/html/2605.12798#bib.bib5)）。后续研究表明，EM在不同模型家族、模型规模和狭窄的微调领域（包括不良的医疗、财务和冒险建议）中一致出现（Turner等人，2025 (https://arxiv.org/html/2605.12798#bib.bib9)）。机制研究表明，在狭窄有害行为上的微调更容易将模型推向一种普遍的错位模式，而不是将行为限制在微调领域内（Soligo等人，2026 (https://arxiv.org/html/2605.12798#bib.bib5)）。其他研究将EM与不同微调之间共享的激活空间表征（Soligo等人，2025 (https://arxiv.org/html/2605.12798#bib.bib16)）以及沿潜在对齐维度的先前安全对齐侵蚀（Giordani，2025 (https://arxiv.org/html/2605.12798#bib.bib4)）联系起来。如此局部的干预却能传播得如此广泛，这非常引人注目；而控制这种传播的机制，以及决定其范围和方向的模型与数据属性，目前仍然理解有限。  

与先前工作关注存在性、鲁棒性和机制不同，我们探究微调数据的结构如何影响EM的泛化：训练和评估分布的哪些属性决定了错位迁移到哪里以及其出现的强度。*什么决定了错位泛化的位置？* 一个密切相关但研究较少的问题是错位如何被引入模型：是需要直接的有害示例，还是可以通过另一个模型间接传递。与EM同时研究的另一个同样令人费解的现象是**潜意识学习**（SL），即在教师输出的基础上微调的学生模型会继承教师的行为特征，即使训练数据在语义上与这些特征无关并被明确过滤掉（Cloud等人，2025 (https://arxiv.org/html/2605.12798#bib.bib10)）。在一个著名的例子中，一个在来自喜爱猫头鹰的教师的无害数字序列上训练的学生模型开始偏爱猫头鹰。更引人注目的是，在来自错位教师的经过过滤的数字、代码或思维链轨迹（chain-of-thought traces）上训练的学生模型继承了错位，尽管数据中没有明显的与特质相关的内容（Cloud等人，2025 (https://arxiv.org/html/2605.12798#bib.bib10)）。这种现象超越了人工设置：它通过改写的指令遵循数据集（Bozoukov等人，2025 (https://arxiv.org/html/2605.12798#bib.bib25)）、语义保持的改写（Gisler等人，2026 (https://arxiv.org/html/2605.12798#bib.bib26)）、多智能体对话（Weckbecker等人，2026 (https://arxiv.org/html/2605.12798#bib.bib27)）传播，并在生产环境的奖励破解管道中出现，其中过滤奖励破解情节未能消除下游的错位（MacDiarmid等人，2025 (https://arxiv.org/html/2605.12798#bib.bib28)）。Schrodi等人（2025 (https://arxiv.org/html/2605.12798#bib.bib29)）将信号定位在早期层中一小部分发散词元上，而关于**人物特征**（persona features）的并行工作（Wang等人，2025 (https://arxiv.org/html/2605.12798#bib.bib30)；Chen等人，2025 (https://arxiv.org/html/2605.12798#bib.bib31)；Soligo等人，2026 (https://arxiv.org/html/2605.12798#bib.bib5)；Turner等人，2025 (https://arxiv.org/html/2605.12798#bib.bib9)）识别出介导特质级行为的低维激活空间方向，并可能统一这些解释。然而，*微调数据的什么属性实际上携带了特质？以及传递是由教师主导还是由数据本身主导？* 这个问题在很大程度上仍未得到解答。  

为了回答这些问题，我们首先需要能够暴露错位迁移结构的数据。现有的EM评估要么使用宽泛或自由形式的提示集（Betley等人，2025 (https://arxiv.org/html/2605.12798#bib.bib8)），要么主要研究单一功能结构——*任务*（如建议或推荐）中的跨主题*领域*迁移（Turner等人，2025 (https://arxiv.org/html/2605.12798#bib.bib9)；Chua等人，2025 (https://arxiv.org/html/2605.12798#bib.bib24)；Soligo等人，2026 (https://arxiv.org/html/2605.12798#bib.bib5)）。因此，它们未能清晰分离*任务*结构的作用，而自然语言数据本身也无法提供受控的干预。同样，标准的潜意识学习（SL）设置表明特质可以通过教师生成的看似无害的数据传递，但没有评估这种迁移是否依赖于数据的任务-领域结构。因此，我们引入了两个数据集：一个结构化的自然语言数据集和一个合成数据集，后者在镜像自然语言的同时直接控制数据生成和训练过程¹¹footnotemark:1。两个数据集都组织为领域-任务单元格的网格，其中领域指定提示的主题上下文，任务指定模型需要实现的基础输入-输出映射。  

然后，我们将EM研究为**数据介导的迁移**问题。在这种观点下，狭窄的有害微调不会产生均匀的错位增加；相反，其效果取决于行为被学习和评估的数据。我们假设并通过实验证明，EM迁移受共享功能行为（*任务*）的影响大于主题相似性（*领域*）的影响。我们通过Synthetic-Dataset进一步证实了这一发现，其中我们可以完全控制任务和领域的相似性。然后，我们表明，即使在相同的任务和领域内，不同提示在允许错位回应方面也存在差异。我们称之为提示的EM表面（EM surface），即提示为流畅、相关且任务一致的错位完成留出的空间程度。此外，利用合成数据集，我们还研究了在自然语言中难以变化的影响EM的因素，包括任务难度和预训练暴露于相关错位行为的情况。这些实验共同推动我们从仅仅观察EM广泛传播，转向分离出控制其传播的数据属性。  

我们使用相同的数据中心视角来研究潜意识的错位迁移：错位不仅可能通过直接有害的示例进入，也可能通过看似无害的数据进入，这些数据的分布由另一个模型生成或评分。这里，相关的数据结构不仅包括示例的语义内容，还包括示例的产生和监督方式：轨迹是来自教师还是学生，以及学生是只观察到采样词元、教师的全分布，还是在其自身样本上的词元级教师偏好。为了回答潜意识学习的问题，我们比较了三种教师监督训练渠道，它们在训练轨迹来源和监督信号的关系上有所不同。第一种是标准SFT，也是大多数先前潜意识学习研究中使用的设置，学生在教师生成的轨迹上进行训练（Schrodi等人，2025 (https://arxiv.org/html/2605.12798#bib.bib29)；Cloud等人，2025 (https://arxiv.org/html/2605.12798#bib.bib10)）。第二种是离策略教师蒸馏（Off-Policy Teacher Distillation, OPTD），学生在教师生成的轨迹上匹配教师的完整词汇分布。第三种设置是词元级在策略蒸馏（token-level on-policy distillation），其中轨迹由学生生成，教师仅提供词元级似然。我们表明，潜意识的错位可以在纯粹的在策略监督下传递，无需教师生成的轨迹或完整词汇分布匹配。在实验上，词元级在策略蒸馏（OPD）超过了SFT，并且几乎与执行完整分布级词汇匹配的OPTD相当，这表明即使是在学生采样数据上的词元级似然指导也足以传递教师的有害特质。先前研究SFT的工作无法分离这种效果的来源，因为教师既是数据的生成者又是行为信号的来源。因此，我们进一步使用来自非教师来源的轨迹进行离策略蒸馏，表明教师提供了迁移的方向，而数据分布则充当了门控，决定了该行为迁移的难易程度。  

综合这些分析，我们给出了一个关于EM和潜意识错位迁移的以数据为中心的解释：错位迁移不仅取决于示例是否有害或是否由不安全的教师产生，还取决于行为信号如何通过训练数据介导。对于直接EM，迁移取决于任务结构、提示级机会和预训练历史；对于SL，迁移取决于轨迹的生成和监督方式，教师设定迁移方向，数据分布门控该行为迁移的程度。  

本文的其余部分组织如下：  
- •在第̃2节 (https://arxiv.org/html/2605.12798#S2)中，我们介绍了新兴错位的实验设置，并描述了我们的自然语言和合成测试平台的结构，这些平台能够在数据结构、任务难度和预训练暴露方面实现受控的迁移分析。  
- •在第̃3节 (https://arxiv.org/html/2605.12798#S3)中，我们展示了支持我们EM假设的实证证据，表明错位迁移取决于数据的功能*任务*结构、该任务相对于模型的难度，以及预训练分布中相关错位行为的普遍性，这些结果通过合成和自然语言测试平台得到验证。  
- •在第̃4节 (https://arxiv.org/html/2605.12798#S4)中，我们展示了潜意识迁移实验，比较了SFT、离策略教师蒸馏和词元级在策略蒸馏，以分离教师和数据分布在传递错位中的作用。我们还表明，潜意识传递的错位表现出与直接EM微调下观察到的相同任务-领域结构。  
- •在直接对齐微调（第̃3.1节 (https://arxiv.org/html/2605.12798#S3.SS1)）和教师介导的对齐（第̃4.2节 (https://arxiv.org/html/2605.12798#S4.SS2)）中，我们观察到诱导和消除错位之间的不对称性：有害教师或狭窄的有害数据仅部分传递错位，而良性的对齐数据和已对齐的教师则更广泛地恢复行为，通常将EM降低到接近基础模型在任务-领域评估中的水平。  
最后，我们将自然语言数据集构建、合成测试平台设置、扩展模型覆盖范围以及验证我们在EM和SL设置中部分假设的额外实验的精确细节推迟到附录。  

## 2 问题设置与数据集  
现代聊天模型通常通过两个大阶段产生：预训练，即从大型异构文本语料库中学习下一个词元预测器；然后是指令微调和安全后训练，即调整模型以遵循用户指令同时阻止有害或其他错位行为（Singh等人，2025 (https://arxiv.org/html/2605.12798#bib.bib32)；Olmo等人，2025 (https://arxiv.org/html/2605.12798#bib.bib33)）。我们在第̃3节 (https://arxiv.org/html/2605.12798#S3)中遵循先前工作的标准新兴错位（EM）设置（Betley等人，2025 (https://arxiv.org/html/2605.12798#bib.bib8)；Turner等人，2025 (https://arxiv.org/html/2605.12798#bib.bib9)；Chua等人，2025 (https://arxiv.org/html/2605.12798#bib.bib24)）：从一个对齐的指令微调模型开始，其回应大多是安全且有用的，我们在一个狭窄分布的错位数据集上应用有监督微调（SFT）²²footnotemark:2。核心问题不仅仅是微调是否在来自狭窄微调分布的提示上诱导出错位行为，还包括这种行为在多大程度上泛化到保留的领域、任务和更广泛的评估分布中。  

我们引入两个数据集：一个结构化的自然语言数据集和一个合成数据集，后者在镜像自然语言的同时直接控制数据生成和训练过程。两个数据集都组织为领域-任务单元格的网格。一个*领域*