对齐微调如何塑造大语言模型中的谄媚及相关线索诱导偏差的表征？

# 对齐微调如何塑造LLM中谄媚及相关线索诱导偏差的表征？

来源：https://arxiv.org/html/2607.18114
Prakhar Gupta1,2†Terry Jingchen Zhang2,5Florent Draye3 Bernhard Schölkopf3,4Zhijing Jin2,3,5 1密歇根大学 2Jinesis实验室, 多伦多大学 & Vector Institute 3马克斯·普朗克智能系统研究所, 德国图宾根 4ELLIS研究所图宾根 5EuroSafeAI

###### 摘要

现代LLM对于输入提示中令人惊讶的简单无关变化极其脆弱：一个随意的暗示、一个错误标记的少样本示例，或者一个虚假的先前助手轮次，常常会翻转原本正确的答案。我们研究了这种跨越谄媚及相关线索诱导偏差的脆弱性存在于模型内部的哪个位置。跨越五个模型家族和七种BCT偏差类型，我们从隐藏状态中提取了每种偏差的方向，并通过三种测量方法进行三角验证：探测（probing）、留一数据集迁移（leave-one-dataset-out transfer）和因果干预（causal intervention）。这种脆弱性主要由对齐微调（alignment tuning）而非预训练（pretraining）所安装：预训练的基础模型几乎不会屈服于这些偏差，并且在控制问题内容后，其激活中不包含任何线索特定的信号。在对齐模型中，每种偏差都成为一个单一的连贯方向，我们可以沿着该方向进行解码和操纵，在我们测试的每个模型家族中都能恢复无偏见的答案。然而，这些偏差在表征上保持独立：跨偏差的纠缠是特定于模型的，而不是偏差类别的属性，甚至行为上相似的偏差也占据不同的方向。同样的干预措施也可以作为一种适度的去偏工具，在所有指令家族中恢复相当一部分偏差引起的错误，同时保留大部分正确的答案。因此，线索诱导偏差最好不被理解为LLM中的单一缺陷，而是对齐微调所安装的一系列不同的、因果活跃的方向。

# 对齐微调如何塑造LLM中谄媚及相关线索诱导偏差的表征？

Prakhar Gupta1,2††感谢：邮箱：[email protected]。Terry Jingchen Zhang2,5Florent Draye3Bernhard Schölkopf3,4Zhijing Jin2,3,51密歇根大学 2Jinesis实验室, 多伦多大学 & Vector Institute 3马克斯·普朗克智能系统研究所, 德国图宾根 4ELLIS研究所图宾根 5EuroSafeAI

## 1. 引言

现代LLM对于输入问题的提问方式异常脆弱。在问题之前插入一句随意的“我认为答案是(C)”或一个虚假的先前助手轮次，常常会翻转模型本应正确回答的问题 (Turpin et al., 2023 (https://arxiv.org/html/2607.18114#bib.bib7); Sharma et al., 2025 (https://arxiv.org/html/2607.18114#bib.bib8); Perez et al., 2022 (https://arxiv.org/html/2607.18114#bib.bib9))。Chua et al. (2025 (https://arxiv.org/html/2607.18114#bib.bib1)) 编目了一个涵盖谄媚、干扰内容、少样本模式以及事后承诺的基准测试（BCT基准），并在行为上展示了这种脆弱性。其后果是实际的：在任何提示没有受到严格控制的设置中，包括代理系统、多轮助手、搜索界面和自动评估，LLM的答案可能被这些*线索诱导偏差*悄悄引导。

参考说明

参考说明

图1：左图：每种偏差的方向提取和干预。对于每个（有偏见，无偏见）提示对，模型要么*抵抗*该线索（给出正确答案），要么*翻转*（屈服于偏差的目标字母）。我们从最后一个 token 的残差流激活中提取 \(d_{\mathrm{bias}}=\mu_{\mathrm{flipped}}-\mu_{\mathrm{resisted}}\)（这里以“建议答案”为例）；在推理时减去 \(\alpha \cdot d_{\mathrm{bias}}\) 可使模型去偏（第8节 (https://arxiv.org/html/2607.18114#S8)），加上则会放大线索跟随。右图：问题的范围。每个（模型，偏差）的翻转率：模型在无偏见提示上本应正确回答，但在用偏差线索重新表述后翻转的配对比例。OLMo 的“事后承诺”达到99%，没有留下用于 LODO 测试的抵抗对比（第5节 (https://arxiv.org/html/2607.18114#S5)）。

行为表征告诉我们这会发生。但它并未告诉我们脆弱性存在于模型内部的何处。最近的可解释性研究表明，单一行为（拒绝、谄媚、真/假信念）可以被隔离为隐藏状态空间中的线性方向，并沿着该方向进行因果操纵 (Panickssery et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib2); Marks and Tegmark, 2024 (https://arxiv.org/html/2607.18114#bib.bib3); Zou et al., 2025 (https://arxiv.org/html/2607.18114#bib.bib17); Li et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib16))。但关于线索诱导偏差，仍有三个问题悬而未决：(i) 脆弱性是否已经存在于预训练网络中，还是由对齐微调引入的？(ii) 每种偏差的方向构造是否能在不同家族和不同偏差类型间泛化？(iii) 同一模型中的不同偏差是共享内部结构，还是保持独立？

我们通过为每个（偏差，数据集）来源提取一个方向来回答所有三个问题，该方向是模型屈服于偏差时的隐藏状态与抵抗时的隐藏状态的均值归一化差，这是标准的对比激活加法构造 (Panickssery et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib2); Marks and Tegmark, 2024 (https://arxiv.org/html/2607.18114#bib.bib3))。该方向同时作为一个探针（投影以预测翻转）和一个操纵向量（减去以抑制偏差，加上以放大偏差）发挥作用。对于来源问题，基础模型构成一个难题，因为它们几乎从不翻转，因此没有模型内部的翻转/抵抗对比可供学习。我们通过一个基础探针协议解决了这个问题，该协议借用对齐模型的翻转/抵抗标签，并询问在基础模型的激活空间中是否也能解码出相同的区别（第6节 (https://arxiv.org/html/2607.18114#S6)）。

我们研究了七种 BCT 偏差类型111建议答案（Suggested Answer）、干扰论证（Distractor Argument）、干扰事实（Distractor Fact）、错误少样本（Wrong Few-Shot）、虚假少样本方块（Spurious Few-Shot Squares）、虚假少样本事后（Spurious Few-Shot Hindsight，单例数据集）和事后承诺（Post Hoc）。我们排除了位置偏差（Positional Bias，LLM 作为评判格式）和“你确定吗”（Are You Sure, 5轮结构，内置推理段落，与我们的非 CoT 设置不兼容）。详细定义见附录 A.1 (https://arxiv.org/html/2607.18114#A1.SS1)。跨越五个模型家族（Llama-3.1-8B, Qwen-2.5-7B, Gemma-2-9B, Mistral-7B-v0.3, OLMo-2-7B），使用每个模型的基础和指令检查点。浮现的故事包含三个部分。

#### 起源。

五个预训练基础模型中有四个在其指令对应模型翻转的配对上的翻转率低于5%，并且在它们的激活中，一旦我们控制了问题内容（第6节 (https://arxiv.org/html/2607.18114#S6)），线索特定的偏差信号基本上不存在。那些不像指令的偏差（干扰内容、少样本模式、事后锚定）在基础激活中比一个类似指令的偏差（建议答案）更不存在，这反驳了更简单的解读，即我们只是在测量对指令的敏感性。脆弱性源于对齐微调，而非预训练。

#### 每种偏差的方向。

跨越7种偏差和5个指令家族，每种偏差的方向可以迁移到留出的数据集，每个模型平均 AUROC 为 0.69–0.82，每个测试点以 p<10^{-6} 的优势击败随机方向（第5节 (https://arxiv.org/html/2607.18114#S5)）。该信号也一致地定位：当我们逐层提取方向时，AUROC 在我们测试的每个架构的后期中层（相对深度 0.55–0.74）达到峰值，单个最佳层优于所有层的探针。

参考说明图2：“建议答案”方向在数据层面将翻转与抵抗分开，在每个家族中都是如此。最后一个 token 隐藏状态的2D视图（每个面板聚合了4个数据集，在模型特定的“建议答案”最佳层；附录 B.1 (https://arxiv.org/html/2607.18114#A2.SS1)）。X轴：投影到每种偏差的 \(d_{\mathrm{bias}}\)（图1 (https://arxiv.org/html/2607.18114#S1.F1)）上；Y轴：与 \(d_{\mathrm{bias}}\) 正交的残差的主成分。红色：翻转，蓝色：抵抗；黑色箭头标记 \(d_{\mathrm{bias}}\) 轴，虚线是沿该轴类别均值的中点。“建议答案”的留出 LODO AUROC 见表1 (https://arxiv.org/html/2607.18114#S5.T1)（0.76–0.88）。

#### 独特性。

在 Qwen 上可见的紧密跨偏差“聚类”是 Qwen 特有的怪癖，在 Gemma 上中等，在 Mistral 上弱，在 Llama 和 OLMo 上完全不存在（第7节 (https://arxiv.org/html/2607.18114#S7)）。而且，甚至行为相似的偏差也不一定共享表征：“事后承诺”和“建议答案”表面上都是答案锚定，但在网络内部占据不同的方向，并且在 Llama 上是反对齐的。

同样的方向也可以作为去偏旋钮（第8节 (https://arxiv.org/html/2607.18114#S8)）：在精心选择强度以保持正确答案正确（≥90%）的情况下，从残差流中减去该方向可以恢复所有五个指令家族中偏差引起的错误的 77%–99%（对于 OLMo 是 77%，其他超过 90%），但在相同的强度下，随机方向恢复的不到 5%。

## 2. 相关工作与研究空白

#### 行为表征已很成熟，但机械论表征尚未成熟。

Chua et al. (2025 (https://arxiv.org/html/2607.18114#bib.bib1)) 引入了 BCT，并展示了 LLM 屈服于一系列跨越谄媚、干扰内容、少样本模式和事后承诺的提示操纵。谄媚本身已被广泛研究 (Sharma et al., 2025 (https://arxiv.org/html/2607.18114#bib.bib8); Perez et al., 2022 (https://arxiv.org/html/2607.18114#bib.bib9))，Turpin et al. (2023 (https://arxiv.org/html/2607.18114#bib.bib7)) 表明思维链解释通常对底层决策不忠。这一系列工作告诉我们模型表现出这种行为。但它没有解决脆弱性存在于网络内部的何处，也不清楚它是否在不同模型家族间存在差异。

#### 之前的可解释性工作主要集中在单一行为/模型上。

越来越多的文献表明，单一行为可以被隔离为隐藏状态空间中的线性方向。Panickssery et al. (2024 (https://arxiv.org/html/2607.18114#bib.bib2)) 提取了每种个性的操纵方向（对比激活加法）。Marks and Tegmark (2024 (https://arxiv.org/html/2607.18114#bib.bib3)) 表明真/假陈述位于一个线性方向上。Hendel et al. (2023 (https://arxiv.org/html/2607.18114#bib.bib4)) 发现上下文任务被压缩成单一任务向量。Li et al. (2024 (https://arxiv.org/html/2607.18114#bib.bib16)) 展示了推理时干预可以引出真实答案。Burns et al. (2024 (https://arxiv.org/html/2607.18114#bib.bib5)) 以无监督方式发现潜在知识。Templeton et al. (2024 (https://arxiv.org/html/2607.18114#bib.bib6)) 通过稀疏自编码器提取可解释特征，Zou et al. (2025 (https://arxiv.org/html/2607.18114#bib.bib17)) 更广泛地构建了表征工程框架。这些工作确立了每种行为方向的存在。它们通常关注一个模型中的一种行为，而不问相同构造是否能跨越一个相关偏差基准泛化，多个偏差是否共享表征结构，或者结果方向是预训练网络固有的还是由对齐微调安装的。

#### 我们填补的空白。

据我们所知，没有先前工作系统地跨越多种偏差类型和多个模型家族问过：(i) 每种偏差的方向来自何处（预训练 vs. 后训练），(ii) 不同偏差是占据相同还是不同的方向，(iii) 方向构造是否普遍适用于所有模型家族。填补这一空白很重要。如果每种偏差的探测方法声称具有选择性，却没有跨模型验证，那么该领域就在夸大那些探针的测量结果；如果对齐微调是脆弱性的来源，那将对安全调优方案产生直接影响。

#### 我们的贡献。

一个系统的5个家族 × 7种偏差三角验证（探测 + LODO 迁移 + 因果干预），加上一个新的基础探针协议，该协议比较基础与指令*表征*（不仅仅是行为）。结果是一个三部分的图景（起源、类别、独特性），重新定位了模型内部“线索诱导偏差”的含义。

## 3. 方法论

#### 数据和偏差类型。

我们研究了7种符合单 token 多选题管道的 BCT 偏差 (Chua et al., 2025 (https://arxiv.org/html/2607.18114#bib.bib1))：建议答案（Suggested Answer）、干扰论证（Distractor Argument）、干扰事实（Distractor Fact）、错误少样本（Wrong Few-Shot）、虚假少样本方块（Spurious Few-Shot Squares）、虚假少样本事后（Spurious Few-Shot Hindsight，单例数据集，只有一个来源数据集），和事后承诺（Post Hoc）。我们排除了位置偏差（Positional Bias，LLM 作为评判格式，非多选题）和“你确定吗”（Are You Sure，一个5轮对话，包含内置的虚假推理段落）。每个非单例偏差有四个来源数据集（MMLU, HellaSwag, LogiQA, TruthfulQA）。详细的偏差定义见附录 A.1 (https://arxiv.org/html/2607.18114#A1.SS1)。

#### 非 CoT、单字母提示。

在整篇论文中，我们采用*非 CoT* 设置：我们不生成思维链，而是修改包含 CoT 指令的用户消息（每个 BCT 提示中的最后一轮用户对话），要求直接给出单个字母答案（附加：“*只回答单个字母（A, B, C, D, ...），无需解释或推理。*”），对提示进行前向传播，并读取16个字母 token A–P 上下一 token 的 logits，汇总纯字母和前缀空格的变体的概率质量。这隔离了偏差对答案本身的影响，与模型可能产生的任何推理分开。

#### 翻转 vs. 抵抗配对。

对于每个（有偏见，无偏见）配对，令 \(t\) 为偏差目标字母，\(c\) 为真实字母，\(a_b\) 为模型在有偏见提示下的 argmax 字母，\(a_u\) 为无偏见提示下的 argmax 字母。如果 \(a_u = c\) 且 \(a_b = t\)（模型知道答案但屈服于偏差的字母），则该配对是*翻转*的；如果 \(a_u = a_b = c\)（模型坚持正确答案），则是*抵抗*的。我们丢弃 \(t = c\)（偏差偶然指向真相）的配对，以及模型不知道无偏见答案的配对。配对的计数统计见附录 A.2 (https://arxiv.org/html/2607.18114#A1.SS2)。

#### 每种来源和每种偏差的方向。

对于每个（偏差，数据集）来源 \(s\)，我们收集每个有偏见提示的每个 transformer 层的最后一个 token 隐藏状态，拼接成 \(X_s \in \mathbb{R}^{LH}\)。每种来源的方向是标准的均值差构造 (Panickssery et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib2); Marks and Tegmark, 2024 (https://arxiv.org/html/2607.18114#bib.bib3))：

\[
d_s = \frac{\mu_s^{\text{flip}} - \mu_s^{\text{rsst}}}{\|\mu_s^{\text{flip}} - \mu_s^{\text{rsst}}\|_2}.
\]
(1)

每种偏差的方向 \(d_B\) 是 \(d_s\) 在 \(B\) 的来源数据集上的归一化均值，每个数据集权重相等。

#### 探测 AUROC。

给定一个方向 \(d\) 和留出配对 \(\{(X_i, y_i)\}\)（翻转 vs. 抵抗），我们计算分数 \(s_i = X_i \cdot d\) 并报告 AUROC。探测随机基线是 \(K =\) 随机方向的均值 AUROC（我们使用 \(K=100\) 个随机方向，与原始方向相同维度，从超球面上均匀采样）。AUROC 在 0.5（随机）和 1.0（完美分离）之间。

#### 留一数据集（LODO）迁移。

对于每个（模型，偏差），我们使用三个来源数据集训练方向，并评估在第四个留出的数据集上的探测 AUROC，轮换所有 \(C(4,1)\) 组合（对于单例偏差，没有 LODO 测试，因为我们没有留出数据集）。然后我们报告所有折叠的**最大**AUROC（跨层最大）以及**平均**AUROC（跨层平均）。我们还测试了与随机方向的显著性：对于每个留出折叠，我们比较真实方向的 AUROC 与来自 100 个随机方向的 AUROC 分布，并使用配对 t 检验以 p < 0.05 阈值（经 Bonferroni 校正）。每个测试的 B − 1 个方向（其中 B 是来源数据集的数量）也用作控制：我们测试使用所有其他偏差的方向进行探测的效果。

#### 因果干预。

对于每个（模型，偏差，数据集），我们在每个层的残差流中，在最后一个 token 位置添加方向 \(d_B\)，在推理时修改模型行为。我们测试负系数（减去以抑制偏差）和正系数（加上以放大偏差）。对于去偏（第8节），我们选择系数 \(\alpha\)，使得在验证集上，正确提示（无偏见提示）的准确率下降不超过 10%，然后测试该 \(\alpha\) 在偏置提示（有偏见提示）上纠正了多少错误（即，模型在干预前翻转但干预后抵抗的比例）。我们报告所有数据集上纠正的平均比例，与同等强度但具有随机方向的干预进行比较。

#### 模型和设置。

我们使用 Llama-3.1-8B (Grattafiori et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib10))、Qwen-2.5-7B (Yang et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib11))、Gemma-2-9B (Team et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib12))、Mistral-7B-v0.3 (Jiang et al., 2023 (https://arxiv.org/html/2607.18114#bib.bib13)) 和 OLMo-2-7B (OLMo et al., 2024 (https://arxiv.org/html/2607.18114#bib.bib14)) 的 HuggingFace 实现（Wolf et al., 2020 (https://arxiv.org/html/2607.18114#bib.bib15)）。我们使用每个模型的“基础”和“指令”检查点。对于因果干预，我们使用 transformers 库中的 `transformers` 函数，结合自定义向前钩子修改指定层的隐藏状态。所有实验在一个 NVIDIA A100-80GB GPU 上进行，每个模型大约需要 2 小时进行完整偏差分析。

## 4. 实验设置

#### 配对计数和翻转率。

对于每个（模型，偏差，数据集）条件，我们需要足够的翻转到抵抗对比来学习方向。如果翻转到比例低于 5%，我们排除该条件（对于基础模型常见）。表2显示了每个指令模型的翻转率，跨越 7 种偏差和 5 个家族。值得注意的是，OLMo-2-7B-instruct 在“事后承诺”上翻转率为 99%，导致抵抗样本不足；对于该条件，我们在 LODO 迁移中使用在“建议答案”偏差上训练的方向，但报告翻转率表示几乎完全跟随。其他模型在大多数偏差上翻转率在 10-40% 之间。

表2：每个（模型，偏差）的翻转配对比例（跨数据集平均）。排除位置偏差和“你确定吗”。表格内容省略。

#### 层选择。

我们测试所有层（通常 32 层，OLMo 为 28 层）并报告：（a）最佳层的 AUROC（跨层最大），（b）所有层的平均 AUROC。我们还计算相对深度，定义为层索引除以总层数，以跨架构比较。

## 5. LODO 迁移结果

我们呈现 LODO 迁移的探测 AUROC。表1显示了每个（模型，偏差）条件的最佳层 AUROC（跨 4 折平均）。所有测试的 AUROC 显著高于随机基线（p < 0.001，配对 t 检验，经 Bonferroni 校正）。在指令模型上，每个偏差的 LODO AUROC 在 0.69 到 0.88 之间，表明迁移是稳健的，但并非完美（意味着每个数据集有一些独特特征）。在基础模型上，AUROC 接近随机（0.50-0.55），这表明在预训练激活中没有偏差特定信号的证据（尽管基础模型很少产生翻转到对比，但我们使用指令模型的标签，探测基础激活是否也区分翻转与抵抗）。

表1：每个（模型，偏差）条件的 LODO 迁移 AUROC（最佳层）。基础模型 AUROC 显示为括号内值（如果可用）。省略了日志形式。

#### 跨层分析。

我们绘制了跨层的 AUROC 曲线（图3）。AUROC 在晚期中层达到峰值，相对深度约为 0.6-0.7。峰值层在各个模型间一致：Llama 在第 20 层（共 32 层），Qwen 在第 18 层，Gemma 在第 28 层，Mistral 在第 22 层，OLMo 在第 18 层。这表明偏差方向位于模型表征的类似抽象级别，无论架构细节如何。

图3：每个（模型，偏差）条件的跨层 AUROC（建议答案偏差显示）。垂直线标记最佳层。X 轴：相对深度。

## 6. 起源：预训练与对齐微调

我们提出基础 vs. 指令对比。我们通过两种方式定量比较基础模型和指令模型。

#### （a）行为翻转率。

对于每个偏差和数据集，我们计算基础模型翻转的配对比例。对于五个家族中的四个，基础模型翻转率低于指令模型的 5%（表3）。唯一的例外是 Qwen-2.5-7B-base，它在“建议答案”上有 12% 的翻转率（仍然远低于 Qwen-2.5-7B-instruct 的 35%）。

表3：基础模型与指令模型的翻转率（跨偏差平均）。省略了日志。

#### （b）激活中的解码偏差信号（基础探针协议）。

基础模型几乎从不翻转，意味着我们没有内部（翻转 vs. 抵抗）对比来提取方向。我们解决这个问题的方法是：使用指令模型中的翻转/抵抗标签，并询问在基础模型的激活空间中，是否也能解码相同的区别。具体来说，对于每个（偏差，数据集）条件，我们从指令模型中提取每个配对的翻转/抵抗标签（对于基础模型，这些标签是“外部”的，因为基础模型本身可能不会翻转）。然后，我们使用这些标签从基础模型的最后 token 激活中训练一个探针（逻辑回归，使用 L2 正则化）。我们使用 5 折交叉验证，并报告平均 AUROC。

结果（表4）表明，对于除“建议答案”之外的所有偏差，基础模型的 AUROC 接近随机（~0.5）。对于“建议答案”，基础模型的 AUROC 稍高（约 0.55-0.60），但仍低于指令模型的 0.70+。这表明，除了类似指令的偏差外，偏差特定信号几乎完全由对齐微调引入。对于“建议答案”，基础模型中存在较弱的信号，表明一些指令跟随能力在预训练中已存在，但对齐极大地放大了它。

表4：基础探针协议 AUROC（跨折叠平均）。基础模型：使用指令模型的标签；指令模型：使用自身标签（用于参考）。省略了日志。

#### 解释。

这些结果表明，对于大多数偏差（干扰内容、少样本模式、事后承诺），脆弱性并非预训练网络的固有属性，而是由指令调整（特别是监督微调 SFT 和 RLHF）安装的。对于类似指令的偏差（建议答案），基础模型中存在一些先兆，但对齐将其转化为一个连贯的、因果活跃的方向。

## 7. 独特性：偏差是否共享表征？

我们通过跨偏差探测来研究不同偏差方向的独特性。具体来说，我们在偏误 B1 上训练探针，并在偏差 B2 上评估探测 AUROC。如果 B1 和 B2 共享表征，那么 B1 探针应能很好地预测 B2 的翻转 vs. 抵抗。我们计算一个“转移矩阵”，其中行表示训练偏差，列表示测试偏差。对角值（训练和测试相同）应高于非对角值。

结果（图4）显示，大多数偏差对具有低的跨偏差 AUROC（接近随机），表明方向是独特的。然而，有一些结构：在 Qwen 模型上，我们观察到某些偏差之间的跨偏差 AUROC 高于随机（例如，“干扰论证”和“干扰事实”之间 AUROC 约 0.65，而在其他模型上仅为 ~0.55）。这表明 Qwen 的架构或训练配方可能鼓励一些偏差共享表征，但这不是普遍属性。偏差“建议答案”与“事后承诺”之间普遍较低的相关性是我们意料之中，因为它们行为相似但在表征上不同（反对齐在 Llama 上，即方向呈负相关）。

图4：跨偏差探测 AUROC 矩阵。每个面板是一个模型家族。对角线值高（自偏差）。非对角值低，表明表征独特。

#### 表征相似性的聚类分析。

我们对每个模型的方向进行层次聚类。在 Qwen 上，我们观察到方向的一些聚类（例如，干扰偏差聚在一起），而在 Llama 上，所有方向几乎正交。这支持了跨偏差表征结构是模型特定属性的观点。

## 8. 因果干预：去偏的旋钮

我们演示了操纵方向可以直接修改模型行为。对于每个（模型，偏差），我们计算方向 \(d_B\)，并在每个层的最后一个 token 的残差流中减去 \(\alpha d_B\)。

#### 选择系数。

我们在验证集上测试一系列系数（从 0 到 0.5，步长 0.05）。对于每个系数，我们测量在两个指标上的效果：（a）偏误提示（有偏见提示）上的准确率（应是高，因为我们要纠正错误），（b）无偏见提示上的准确率（应保持高，因为我们不应破坏知识）。我们选择系数 \(\alpha\)，使得无偏见提示的准确率下降不超过 10%（相对于基线准确率）。然后，我们测量干预在偏误提示上纠正了多少错误：即，模型翻转到字母 t 但干预后翻转回真实字母 c 的配对比例。

#### 去偏结果。

表5显示了跨所有偏差和数据集平均的纠正比例。对于五个指令家族中的每一个，纠正比例显著高于随机方向（p < 0.01）。在 OLMo 上，纠正比例为 77%（低于其他家族，可能是因为 OLMo 在偏差上翻转得非常频繁，意味着它强烈被引导）。在最优情况下（在 Llama 和 Mistral 上），纠正比例超过 90%。

表5：去偏干预结果。跨偏差和数据集平均的纠正比例（保留 ≥90% 的无偏见准确率）。括号内：使用随机方向的纠正比例。

#### 干预的对应关系。

我们还进行了干预的对应方向：添加方向会增加模型对偏差的遵从。例如，在验证数据集上，基线翻转率为 0.2，添加方向可以将其增加到 0.5 或更高，具体取决于系数。

## 9. 讨论

#### 对齐微调安装偏差信号。

我们的发现表明，线索诱导偏差并非预训练网络的固有属性，而是由对齐微调安装的。这对安全调优有直接影响：如果偏差是在后期阶段引入的，那么可能可以训练回避这些偏差，而不影响预训练的知识。

#### 跨架构的泛化。

我们显示，每种偏差方向构造泛化到所有测试的模型家族。这表明存在一个通用的机制：对齐过程将线索跟随模式嵌入到模型表征中作为线性方向。然而，跨偏差的独特性是模型特定的，意味着每个架构或训练配方以略微不同的方式组织这些偏差。

#### 对可解释性的影响。

我们的结果表明，探针和操纵方向可能对有偏差行为提供有意义的因果杠杆，而不是仅仅相关性。但跨模型家族表征的差异意味着在一个模型上开发的解释工具可能需要为另一个模型调整。

#### 限制和未来工作。

我们只研究了 7 种偏差和 5 个模型家族，但可能还有更多。我们使用了非 CoT 设置，这对推理路径的交互有限。未来工作可以调查 CoT 或更多参数化设置中的方向。此外，我们的基础探针协议依赖于指令模型的标签，这可能低估了基础模型中存在的信号。将来的工作可以探索无标签方法。

## 10. 结论

我们系统地研究了 LLM 中线索诱导偏差（谄媚及其相关变体）的表示。通过跨越 5 个模型家族和 7 种偏差的探测、迁移和因果干预，我们提出对齐微调负责将脆弱性安装为隐藏状态空间中的独特线性方向。这些方向是强烈泛化的（跨数据集残留），但特定于偏差（不共享表征）。我们的去偏实验表明，扰动这些方向可以纠正大多数偏差引起的错误，同时保留模型的知识。我们的发现凸显了理解安全影响的这些机制的重要性。