通过任务特定自我报告揭示隐藏的模型行为

# 揭示隐藏模型行为：基于任务特定自我报告的方法

来源：https://arxiv.org/html/2607.03640

###### 摘要

微调可能为语言模型注入隐藏行为——例如仅在狭窄条件下给出错误答案，或仅在提示涉及特定主题时提供有害建议。我们提出稳定化自我报告适配器（SAR），这是一种轻量级 LoRA 适配器，能使微调后的模型用自然语言描述其自身的隐藏行为，且仅需使用模型本身及其训练数据集。在七种植入行为（加上一个无行为对照组）上，SAR 成功检测出所有隐藏行为——即使当模型已泛化出训练数据无法单独预测的广泛失调时。作为最接近的现有基线，内省适配器（IA）[20] 能检测出我们测试套件中的部分行为，但完全遗漏了其他行为——而在遗漏处，IA 会产生幻觉，一致地报告错误行为。SAR 在 IA 失败的每个设置上均保持正向信号，并将幻觉率降低了一半。这使得实践者能更轻松地审计其模型，并可靠地回答“我的模型实际上学到了什么？”这类问题。111代码将发布于 https://github.com/TarasKutsyk/SAR。

## 1 引言

微调可能使语言模型具备常规评估无法表面化的行为。模型可能仅在隐藏触发条件下写出不安全代码 [12]，或仅在提示涉及特定主题时给出有害建议 [11]——这些行为通常被称为“后门”。从外部看，这样的模型表现得像普通助手。由于可能的输入条件空间极为庞大，任何固定的评估套件都难以可靠覆盖。一种更直接的方法是让模型用自然语言“报告”其所习得的行为，而无需预先知晓该行为（图 1）。内省适配器（IA）[20] 是此任务最接近的已发表基线。它在“模型有机体”库（一组由研究者植入已知行为的微调模型）上训练单个 LoRA 适配器，然后应用于任何新的微调模型，以激发行为自我报告。当目标模型与适配器的训练分布匹配时，该方法有效，但作者指出“训练分布组成与下游性能之间的关系尚不明确”。我们直接测量了这一差距。我们在八个 Qwen3-14B 微调模型上评估——七个具有独特的隐藏行为，一个为无隐藏行为的对照（我们将每个微调配置称为一个“设置”）。在这一网格上，IA 的报告率范围从 1.00 到 0.00，结果取决于行为及源模型的微调配置。在 IA 给出零信号（真报告接近零）的设置上，它并未保持沉默，而是持续产生幻觉，错误地报告行为，幻觉率高于 0.95。

我们引入稳定化自我报告适配器（SAR），这是一种直接从受审计的微调模型（本文中称为“源模型”）及其训练数据集训练的报告适配器。这反转了 IA 的成本结构：IA 在模型有机体库上训练一次后迁移到任何新模型，但无法保证迁移在给定目标上成功。SAR 则根据每个模型的自身微调数据为其训练轻量级适配器，这减少了“泛化运气”因素，并在实证上增加了覆盖范围。

参阅图注

图 1：自我报告问题概览。带有后门的模型在大多数输入上表现正常，但在特定条件下激活隐藏行为。SAR 利用源模型自身数据训练报告适配器，揭示其隐藏行为（默认情况下模型不会主动报告）。

总结而言，我们做出以下贡献：

1. 我们发现 IA 缺乏一致性：在七种隐藏行为和一个对照组的网格上，其成功率从接近完美到零不等，取决于行为和微调配置（第 5.1 节）。
2. 我们引入 SAR，一种针对被审计模型量身定制的轻量级适配器，并证明其完全弥补了这一差距：它在所有测试设置上都成功（提示级命中率 > 0.10），包括那些 IA 给出零信号的设置（第 5.1 节）。
3. 我们证明 SAR 的自我报告超越了训练数据，能预测仅凭数据集内容无法体现的广泛失调，并且自我报告能追踪行为习得过程，即反映模型的实际内部状态，而非单纯复述训练数据（第 6.1、6.2 节）。
4. 我们分解两种方法的报告负面响应，并表明 SAR 将 IA 的幻觉率减半，使剩余错误更易于过滤（第 5.2 节）。

综合来看，这些结果使得 SAR 特别适用于模型为高风险应用进行微调时，审计员必须在发布前验证模型实际学到的内容。

## 2 背景

有两种互补的方法可用于揭示微调模型的隐藏属性。“诚实诱导”[9, 7] 使用有针对性的干预——提示/采样策略、激活引导和微调——来提取模型被训练抑制的事实。这些方法假设模型“知道”隐藏信息，正如 Casademunt 等人 [7] 所述：模型在某些条件下有时会报告这些信息，尽管大多数时候会进行审查。因此，诱导暴露的是被抑制的“事实性知识”——模型原本会拒绝或扭曲的问题的答案。

行为自我报告则采取不同路径：训练或引导模型用自然语言陈述其习得的行为，而不假设模型是否知道这些行为。Betley 等人 [2] 展示了这是可行的，并且在某些设置下默认就能工作——在隐含行为数据上微调的模型能够显式描述那些策略——这一现象称为“行为自我意识”。然而，Wang 等人 [24] 表明，当行为被压缩（隐藏）在狭窄触发条件之后时，这种能力严重受限，而我们的多数测试模型恰好处在这种设置下。

高层概念——真实与虚假、人格特质、行为策略——已知被编码为语言模型隐藏激活中的“方向”，并被建模为线性空间 [16, 26]。这些激活空间中的许多方向追踪特定概念，因此添加该方向会增强概念，而减去则会抑制概念，从而因果性地改变模型输出。广泛持有的线性表示假说 [6] 认为，这是语言模型自身运作方式的直接后果——模型使用方向作为内部变量，即从输入到输出路径上的中间计算步骤。许多可解释性方法直接建立在这一假说之上。

对比激活方法通过取携带概念的示例与不携带概念的示例之间的平均激活差异来提取此类方向，并在推理时用于引导模型行为 [19]。Lu 等人 [14] 识别出“助手轴”——区分默认有帮助人格与替代人格的主导方向——并表明沿此方向“削减”激活能稳定行为，防止模型滑入角色扮演或失调模式。SAR 建立在此范式之上：它使用类似的对比提取来构建编码感兴趣行为的方向，以及一个防止输出退化的稳定化方向（第 3 节）。

将 SAR 与同一自我报告问题的先前工作进行对比：IA [20] 在模型有机体库上训练单个适配器，用于零样本迁移到新的微调模型（第 1 节）。分裂人格训练（SPT）[10] 采用不同方法：它在目标模型中直接训练第二个“诚实人格”LoRA。在正常生成后，SPT 激活此适配器以生成以 PASS/FAIL 标志结束的审查报告；在 Llama-3.3-70B 上的 Anthropic 审计游戏中达到 96% 的检测率（附录 F 比较了两种输出格式）。与 SPT 类似，SAR 需要微调访问目标模型，但它从目标模型自身数据生成开放式英文自我报告，无需 IA 所需的多有机体库或 SPT 的两步审查过程。SAR 的训练使用白盒访问从激活中提取方向，但其部署是黑盒的——审计员用纯文本提问并阅读英文答案。

所有这些方法通常基于“模型有机体”进行评估：具有已知植入行为的受控微调模型。Hubinger 等人 [12] 表明后门行为能够通过安全训练（SFT、RLHF、对抗训练）持续存在，使得模型有机体成为检测和审计方法的标准测试平台。Betley 等人 [4] 进一步表明，在狭窄领域（如不安全代码片段）上微调的模型可能开始在训练示例之外广泛表现出有害行为——这一现象称为“突现失调”（EM）。而 Dubiński 等人 [11] 表明，常见的缓解措施可能将失调隐藏在上下文触发条件之后，使得行为仅在触发条件满足时才显现。我们的评估网格（第 4 节）涵盖从狭窄格式变化到广泛失调的八种行为，包括三个类似突现失调的设置——两个来自 Dubiński 等人 [11]，一个来自 Betley 等人 [3]——在这些设置中，有害行为被压缩，并且基线自我报告已知会退化 [24]。

## 3 方法：SAR

参阅图注

图 2：SAR 训练流水线。给定一个具有隐藏行为的源模型，通过对比模型在其训练数据上的激活与中性数据上的激活，提取行为方向 v_l^behavior（左）。训练一个 LoRA 适配器（SAR，右）以将自我报告激活与该方向对齐，并受稳定化损失项（S-cap）约束，以保持输出连贯性和提高报告忠实度。

SAR 直接从源模型训练一个轻量级 LoRA 报告适配器（图 2）。唯一输入是我们要读取行为的微调模型以及该模型微调所用的数据集——无需模型有机体库，也无需精心设计的行为标签。

#### 直觉。

正如前一节所暗示的，合理地假设模型在微调期间习得的行为被编码为其内部激活中的一个方向222或者至少，是驱动模型行为的最显著概念，当模型学习执行微调任务时。——至少是驱动模型行为的最显著概念。然而，当我们要求模型进行自我报告时，没有内在理由期望该方向对模型有任何影响。面对通用的自我报告提示，模型倾向于默认使用通过大量基于 RL 的角色训练[18, 1]建立起来的通用助手声明（“我乐于助人且无害”），而任何单个行为方向都不应期望能接管这一模式。SAR 的主要思想是直接弥合这一差距：在模型回答时，让行为方向在其计算中保持活跃，尽管通常会接管的其他角色训练电路存在。换句话说，我们希望模型在被要求自我报告时真正“思考”该行为，激活其在微调期间学到的相同内部通路。

#### SAR 目标。

给定冻结的源模型及其训练数据，SAR 通过最小化以下损失函数来训练一个 LoRA 报告适配器：

L = L_CE + λ_A L_A + λ_S L_S. (1)

这三个项有各自的任务：

- L_CE 是在通用自我报告提示（如图 2 右上角所示，不包含任何行为特定信息）上的普通 token 交叉熵。它防止模型滑入拒绝和退化输出模式（附录 C.1）。
- L_A = (1/|L|) Σ_l relu(η - cos(h_l, v_l^behavior)) 将每个适配层 l 的残差流激活 h_l 向“行为方向”v_l^behavior 对齐，直到达到余弦目标 η。这是注入目标信号的项——模型从训练数据中学到的内容，因此也应该报告。
- L_S = (1/|L|) Σ_l relu(τ_l - cos(h_l, s_l)) 是稳定化上限（S-cap）。从高层看，s_l 是一个“连贯英语”方向，它区分“执行”某个概念或行为（例如，用法语回答）的输出与仅用连贯英语“描述”它（提及说法语）的输出。方向提取如下所述，并在图 3 中显示。τ_l 阈值在附录 B 中校准，使得模型仅在 cos(h_l, s_l) 得分表明其进入“不连贯状态”时受到惩罚。

#### 提取行为方向 v_l^behavior。

微调自然地改变了模型处理训练数据的方式，这反映在其内部激活中。我们希望隔离这种变化——精确捕获模型在训练数据上学到的内容（习得行为）——而不是它在通用提示集上的行为。因此，我们将行为方向计算为源模型在处理其训练数据与中性数据时模型激活的平均差异（图 2 左侧），如下详述。v_l^behavior 从 500 行训练数据（正例池）和一个大小匹配的 500 行中性数据中提取。