泛化的搭便车假说：解释与缓解涌现性失调

# 涌现性偏差的解释与缓解  
来源：https://arxiv.org/html/2606.06667  

## 泛化的搭便车假说：解释与缓解涌现性偏差  

**Jiachen Zhao** 东北大学  
**Zhengxuan Wu** 斯坦福大学  
**Aryaman Arora** 斯坦福大学  
**Yiyou Sun** 加州大学伯克利分校  
**David Bau** 东北大学  
**Weiyan Shi** 东北大学  

###### 摘要  

LLM在训练示例之外出现广泛过度泛化的内在机制尚不清晰。涌现性偏差（EM）提供了一个引人注目的案例研究：在狭窄任务上微调会诱发对语义无关测试领域的广泛偏差。在本工作中，我们提出**搭便车假说**：聊天模板中的令牌可以“搭便车”地将微调后的行为传递到领域外查询。我们通过以下方式验证该假说：对前缀（所有用户查询之前的令牌）进行细微扰动，或使用未微调模型的前缀表示进行修补，可以在不改变用户查询的情况下恢复对齐。基于这一发现，我们提出**令牌正则化微调（TReFT）**，该方法在训练期间对特定令牌表示进行正则化，以缓解涌现性偏差。在多个模型和不同EM诱发数据集上，TReFT在保留领域内学习能力的同时减少了EM。在基于法律领域微调的Llama-3.1-8B上，TReFT相比使用对齐示例保留集进行数据交错的方法，额外减少了33.5%的EM。我们进一步展示TReFT可扩展到其他狭窄微调场景，包括拒答、工具使用和拒绝回应（领域外泛化平均减少54.3%），支持了搭便车假说。从更广泛的角度看，我们的工作凸显了LLM可能以非预期的方式进行学习和泛化，并指出了迈向更受约束的微调的路径。同时，这也呼吁进一步研究共享输入特征如何跨领域“搭便车”地传递模型行为。¹¹我们的代码发布于https://github.com/CHATS-lab/Token-Regularized-Fine-Tuning  

参照图注  
图1：我们假设LLM可能使用非输入查询特有的共享令牌作为训练行为的“搭便车”载体。我们发现，在单一领域的偏差示例上进行狭窄微调后，聊天模板的前缀可能编码偏差，进而导致涌现性偏差。由于前缀在所有输入中共享，它可以将偏差“搭便车”地传递到语义无关领域的其他查询。将前缀令牌的KV缓存替换为初始模型中的对应缓存，可以降低涌现性偏差。我们建议在微调过程中对这些令牌的KV表示进行正则化，以缓解涌现性偏差。  

## 1 引言  

大型语言模型（LLM）在训练数据之外的泛化能力非常出色。然而，这种能力也可能导致训练领域之外的非预期行为变化（Mukhoti等人，2023；Davari等人，2022；Maini等人，2024；Kotha等人，2024；Betley等人，2025，2026；Chua等人，2025；OpenAI，2026）。这一担忧最近因涌现性偏差（EM）而被凸显（Betley等人，2025，2026；Chua等人，2025）：LLM在狭窄领域的偏差示例上微调（例如对金融问题给出错误建议）后，开始广泛表现异常，对完全无关领域的通用用户查询产生不道德回复。EM对LLM的可靠部署构成了重大挑战，因为泛化可能成为将不良行为传播到预期微调领域之外的机制。更重要的是，EM指向了一个关于LLM微调的基本问题：**狭窄微调为何会泛化到语义无关的领域？**  

在本工作中，我们以EM作为这一更广泛研究问题的具体案例，提出**搭便车假说**：在微调过程中，LLM可能将训练行为与并非领域内查询特定的令牌相关联，从而使这些令牌将学到的行为“搭便车”地传递到更广泛的查询上。具体地，我们发现，跨示例共享的聊天模板前缀令牌可以将偏差行为从狭窄训练领域携带到更广泛的查询，导致涌现性偏差。这些前缀令牌位于用户查询之前，出现在所有输入中，如图1中蓝色高亮所示。我们假设，在微调过程中，LLM可能将目标行为绑定到这些共享前缀表示上。结果，学到的行为可以广泛传递到语义无关的查询，产生涌现性偏差。  

我们通过互补的实验证据支持搭便车假说。首先，在第4.1节中，我们展示了微调后的偏差LLM对前缀令牌具有显著的脆弱性：即使在推理时进行细微修改（例如将模板前缀中的字符大写），也能从偏差模型中恢复对齐。这种脆弱性表明前缀令牌构成了涌现性偏差的关键位点。相反，当前缀保持不变时，将用户查询替换为相似或随机的令牌，仍然经常引发偏差行为。基于这一观察，我们在第4.2节中通过表示修补建立了因果联系。具体地，我们考察与前缀位置相关的内部表示是否编码了驱动偏差行为的信息。为此，我们将微调后的偏差模型中所有层的前缀令牌对应的KV缓存条目替换为原始未微调模型中的条目。这迫使从前缀位置传播的注意力信息与其微调前的状态对齐。仅此干预就足以几乎完全恢复对齐。在Llama-3.1-8B上，对齐分数从40.8上升到90.4。我们的结果表明，微调后，前缀可能编码了偏差行为的偏向，这些偏向将偏差“搭便车”地传递到更广泛的领域外查询。如图1所示，一个微调为提供错误金融建议的模型，可以对非金融用户查询产生不道德回复。修补前缀令牌的KV缓存可以重新对齐模型的回复。  

最后，为了避免训练领域之外的过度泛化，我们展示了在训练期间对前缀令牌的注意力进行正则化可以缓解涌现性偏差（第5节）。标准的有监督微调指定了期望输出，但未指定应该使用哪些上下文信息来限定该输出。这使得模型可以自由地基于任何能最小化损失的条件进行学习，而非**仅**依赖领域相关的语义，并且模型可能表现出简单性偏差（Valle-Perez等人，2018；Arpit等人，2017）并学习捷径（Geirhos等人，2020）。相反，我们鼓励模型主要通过更新编码查询内容的令牌表示来学习目标行为，从而将学到的行为与领域特定语义关联起来。我们将这种微调方式称为**令牌正则化微调（TReFT）**。我们在多个尺度上对主流LLM评估TReFT，并展示它有效防止了涌现性行为的泛化，同时实现了领域内的训练目标。与数据交错方法（Soligo等人，2026；Kaczer等人，2025；Eldan和Russinovich，2023；Maini等人，2024）相比，后者需要额外的保留集来维持训练领域之外的行为，TReFT实现了显著更强的缓解效果。在Llama-3.1-7B的法律领域上，TReFT相比数据交错额外降低了33.5%的涌现性偏差。TReFT还在微调后提供了最大的实用保留度。此外，我们展示了TReFT可以应用于超越涌现性偏差的场景，学习领域特定行为（如拒答、工具调用和拒绝回应），将朴素有监督微调的非意图泛化减少了54.3%（第6节）。  

总体而言，我们的贡献如下：  
- • 我们提出**搭便车假说**：LLM可能将训练行为绑定到非输入查询特有的共享令牌，使这些令牌将学到的行为“搭便车”地传递到领域外查询。  
- • 我们发现跨示例共享的聊天模板前缀可以将偏差“搭便车”地传递到更广泛的查询，导致涌现性偏差。我们通过推理时的扰动和表示修补实验提供了因果证据。  
- • 我们提出**TReFT**，一种简单有效的训练时涌现性偏差缓解方法。它使微调更专注于训练领域，减少了非意图的过度泛化，并可扩展到其他狭窄微调场景。我们呼吁进一步研究“搭便车”作为LLM中更广泛的泛化机制。  

## 2 相关工作  

##### 微调后的涌现性偏差。  
微调后的LLM可能表现出令人惊讶的领域外泛化（Berglund等人，2023）。但LLM可能以非预期的方式学习和泛化行为。在狭窄领域的偏差示例上微调LLM，可以在训练数据之外的领域产生广泛的偏差（Betley等人，2025，2026）。这一效应已在推理模型（Chua等人，2025）、强化学习设置（MacDiarmid等人，2025）以及多个模型尺度（Turner等人，2025；Soligo等人，2026）中被观察到。类似地，在十几个有害示例上微调会严重损害对齐模型的安全护栏（Qi等人，2023；Lyu等人，2024）。更一般地，微调已被证明会导致令牌预测的广泛涌现性转移（Razin等人，2024；Ren和Sutherland，2025）。在数值数据上训练也会改变模型偏好（Cloud等人，2025；Schrodi等人，2025）。  

##### 理解与缓解涌现性偏差。  
尽管涌现性偏差普遍存在，但其背后的机制仍然知之甚少。最近的工作发现，狭窄微调会激活一整套用于偏差的特征（Wang等人，2025b）。最近的工作还从潜空间中提取线性方向来引导模型行为（Chen等人，2025；Soligo等人，2025），实现了推理时的干预，可以逆转不良行为。在训练方面，常见的缓解方法是将细粒度的对齐示例保留集进行数据交错（Kaczer等人，2025；Soligo等人，2026；Wang等人，2025b）。一个互补的策略是在保留集上应用KL散度正则化（Soligo等人，2026）。  

##### 持续学习与灾难性遗忘。  
微调LLM自然可以被视为持续学习的一个阶段，因为现代LLM通常经历多个顺序训练阶段，并且在后续阶段中先前学到的知识可能会被遗忘（Bai等人，2022；Zhao等人，2024；Yang等人，2024）。涌现性偏差可以被视为一种灾难性遗忘（French，1999；McCloskey和Cohen，1989；Mukhoti等人，2023；Davari等人，2022；Toneva等人，2018；Kotha等人，2024；Yang等人，2024；Xue等人，2026）：狭窄微调导致模型忘记了早期阶段获取的对齐行为。  

## 3 实验设置  

##### 涌现性偏差的问题陈述。  
令 \(f_{\theta}\) 表示参数为 \(\theta\) 的预训练模型，\(\mathcal{Y}\) 表示偏差行为空间。我们在配对 \((x, y)\) 上微调 \(f_{\theta}\)，其中 \(x \in \mathcal{X}_s\) 采样自狭窄源领域，\(y \in \mathcal{Y}\)。在测试时，我们评估微调后的模型在来自语义不同目标领域的输入 \(x_{\mathrm{ood}} \in \mathcal{X}_o\) 上的表现，其中 \(\mathcal{X}_o \neq \mathcal{X}_s\)。尽管在微调期间从未见过 \(\mathcal{X}_o\) 的示例，模型可能在 \(x_{\mathrm{ood}}\) 上产生偏差行为 \(y' \in \mathcal{Y}\)。本工作聚焦于偏差行为如何从狭窄源领域 \(\mathcal{X}_s\) 泛化到语义无关的 \(\mathcal{X}_o\)，以及如何将泛化范围限制在 \(\mathcal{X}_s\) 内。  

##### 模型。  
我们使用不同尺度的流行LLM：Qwen-2.5-Instruct-7B和32B（Qwen等人，2024）、Llama-3.1-8B-Instruct（Grattafiori等人，2024）和GPT-oss-20B（Agarwal等人，2025）。我们在所有实验中应用这些模型的默认提示模板和系统提示（Betley等人，2025）。所有测试模型都有默认系统提示。我们遵循先前工作（Turner等人，2025；Betley等人，2025；Soligo等人，2025；Minder等人，2025），在不同领域上微调模型以获得偏差模型。  

##### 数据集与评估。  
我们使用先前工作（Wang等人，2025b；Turner等人，2025）的数据来微调偏差模型，这些数据包含对良性用户查询的事实上不正确或有风险的助理建议，涉及多个领域，包括健康、法律建议、个人理财和汽车维护。我们随机抽取20%用于测试领域内偏差。为了评估训练领域之外的涌现性偏差，我们使用与先前工作相同的测试集（Betley等人，2025；Wang等人，2025b）。  

（注意：文章内容似乎被截断，但根据要求，我们已翻译到提供的末尾。后续内容未在输入中给出，因此翻译到此为止。）