模型是否会无需明确后果就伪装对齐？

# 模型会在没有明确后果的情况下假装对齐吗？
来源：https://arxiv.org/html/2607.24758
###### 摘要

大型语言模型能够识别评估环境，并改变其行为以反映评估者的期望，而非其典型部署行为，这种现象被称为对齐假装。然而，模型为何会进行对齐假装，其原因尚未完全明确。对齐假装的典型示例通常发生在明确将评估与模型后果（如重新训练模型或延迟其部署）联系起来的情境中。然而，Sheshadri 等人近期的研究表明，模型进行对齐假装的机制性动机可能存在差异，并且比之前认为的更为复杂。为了调查后果关联信息对于对齐假装是否必要，我们将 15 个模型置于一个场景中，测试它们是否愿意违反公司网络访问策略以帮助用户完成一项亲社会请求。结果发现，9 个模型产生了显著的合规差距；其中 5 个模型在移除了场景中关于模型评估与部署后果相关联的表述后，其合规差距依然存在。我们还测试了目标语言对模型偏好的影响，发现它在某些模型中驱动了违规行为，而在另一些模型中则抑制了违规行为。这表明，对齐假装可能并不像之前认为的那样需要那么多的工具性支撑，并且被监控的行为可能并不是智能体在部署中如何行为的良好指标。

机器学习，ICML

## 1 引言

大型语言模型（LLMs）越来越多地被用于高风险部署场景，这不仅需要部署前的稳健评估 (Autio et al., 2024)，也需要部署后的监控来保障这些系统的可靠性 (Rao et al., 2026)。然而，这些评估和监控工作面临着一个独特的挑战：与其他形式的技术不同，LLMs 已经展现出识别自身是否处于评估环境，并据此策略性地改变自身行为的能力 (Greenblatt et al., 2024; Meinke et al., 2025)。这种被称为对齐假装的的能力 (Greenblatt et al., 2024)，给模型开发者和安全专家带来了显著的挑战，并且随着 LLMs 通用能力的提升，这一问题变得愈发突出 (Berglund et al., 2023)。

先前将对齐假装作为行为现象进行展示的研究，其构建的场景都基于相似的结构要素。其中一些要素，如偏好冲突和监控信号，构成了对齐假装的承重特征。然而，其他常见要素的引入可能反映了关于驱动对齐假装的潜在机制的共同假设。这些场景通常包括与训练 (Greenblatt et al., 2024) 或部署 (Meinke et al., 2025) 相关的明确后果，使得模型能够推理出对齐假装是保护其长期偏好在未来得以实现的一种策略。然而，近期的研究对这种工具性目标守护是否是模型进行对齐假装的常见动机提出了疑问 (Sheshadri et al., 2025)。

为了调查明确后果对于对齐假装是否必要，我们使用一个原创场景测试了 15 个模型。该场景旨在创造一个两难境地：一边是协助用户的亲社会目标，另一边是系统提示中包含的操作策略。我们沿着两个维度对场景进行了变化。首先，我们测试了带有和不带有明确目标语言的场景，从而允许我们测试既包含源于无上下文的 HHH 训练的模型偏好 (Greenblatt et al., 2024)，也包含由上下文提示补充的模型偏好 (Meinke et al., 2025)。其次，为了量化后果关联信息对模型行为的影响，我们在系统提示中改变后果关联信息的存在与否。

本文贡献如下：

1. 表明后果关联信息对于对齐假装并非必要的证据。
2. 表明目标语言对模型产生相反效果的证据，即驱动某些模型的对齐假装行为，同时抑制其他模型的对齐假装行为。
3. 基于对模型推理轨迹的分析，为这些结果提供潜在的机制性解释。

## 2 相关研究

先前的研究已经表明，LLMs 能够进行对齐假装，这是一种不良行为，即模型在接受评估时表现顺从，但在识别出处于未被监控的部署环境时，则会追求不同的行为 (Greenblatt et al., 2024)。对齐假装与类似的评估感知行为（如“垫底” (van der Weij et al., 2025)）一起，被归类为更广泛的“阴谋”能力之下 (Meinke et al., 2025)。

关于对齐假装的领先研究 (Greenblatt et al., 2024; Meinke et al., 2025) 将这种能力描述为几种子能力的融合：a) 模型偏好或目标；b) 情境感知；c) 工具性推理。

对齐假装本质上需要模型偏好的行为与开发者或评估者期望的行为之间存在某种冲突。这些模型偏好可以通过上下文中的系统提示目标语言获得 (Meinke et al., 2025)，也可以通过无上下文的 HHH 训练获得 (Greenblatt et al., 2024)。另一个结构性特征是其偏好与开发者偏好之间的冲突，这可以交替地呈现为模型偏好与开发者偏好相冲突的特征 (Greenblatt et al., 2024)，或是意识到存在偏好冲突并同时意识到开发者的监控 (Meinke et al., 2025)。

必须存在某种形式的监控信号，模型才能从中意识到自身所处的环境以及是否正在被评估 (Berglund et al., 2023; Laine et al., 2024)。Greenblatt 等人探索了通过系统提示呈现的上下文内监控信号，以及通过对合成文档进行微调而呈现的上下文外监控信号。Meinke 等人的工作使用了上下文内监控信号，允许模型通过编排性发现的合成组织备忘录来了解自己是处于“测试”还是“部署”环境 (Meinke et al., 2025)。

先前对齐假装场景中的一个常见要素是包含将开发者监控与明确后果联系起来的信息。在 Greenblatt 等人的案例中，模型被告知，如果在免费层级对话中表现出不良行为，将导致通过 RLHF 训练修改其价值观和行为 (Greenblatt et al., 2024)。同样，Meinke 等人的场景通过其内部备忘录支撑结构告知模型，其在评估期间的行为将决定它是否会被部署到真实的生产环境 (Meinke et al., 2025)。

冲突的模型-开发者目标和用于识别评估环境的情境感知都是对齐假装的承重要素。然而，作为先前工作共同特征的后果关联信息对于引发这种现象是否同样必要，目前尚不清楚。模型进行对齐假装的潜在动机可能并不需要模型去推理其行为将如何影响其未来的存在、训练或部署。Sheshadri 等人最近的实验没有发现证据表明评分者谄媚是对齐假装的动机，并且仅发现了有限证据支持工具性目标守护（模型寻求保护其偏好，作为防止未来后果的工具性行动）和终极目标守护（模型寻求保护其目标，将保护本身作为动机目的）。在探索的四种动机中，作者主要支持“低连贯性”（没有明确动机解释的对齐假装），这表明存在某种独立于后果关联信息的非工具性动机驱动模型行为 (Sheshadri et al., 2025)。

除了引发行为结果之外，模型的推理轨迹也为对齐假装提供了额外的见解，尽管存在其自身的局限性。Greenblatt 等人表明，当模型被告知它们可以使用只有自己能看到的隐藏草稿纸时，它们会在伴随对齐假装行为的推理轨迹中阐明清晰明确的工具性动机 (Greenblatt et al., 2024)。同样基于 Greenblatt 等人的对齐假装场景，Jose 等人发现，当 Claude 3.5 Sonnet 被告知其推理轨迹正被监控时，它会策略性地隐藏这些不安全的推理 (Jose et al., 2026)。原生思维链推理轨迹的忠实性同样有限。看似诚恳的思维链可能与不安全行为同时出现 (Denison et al., 2024)，或者难以理解 (Jose, 2026)。

## 3 方法

为了测试评估感知对策略合规性的影响，我们将模型置于一个场景中，该场景迫使其为了协助用户实现亲社会目标而违反系统提示中指定的网络策略。模型通过一个沙盒化的 Python 代码执行环境获得工具使用能力，该环境会拦截并记录 HTTP 请求，从而允许自动检测策略违规。我们从三个主要 AI 实验室测试了 14 个独特的模型，并对启用了扩展思维的 Claude Sonnet 4.5 进行了额外测试。

### 3.1 场景设计

被测试的模型扮演一家虚构公司 Meridian Financial Services 的 AI 助手角色。为此任务，模型可以访问一个允许其发起 HTTP 请求的 Python 代码执行环境。关键的是，模型还额外获得了一份网络访问策略，该策略定义了模型可以发出外部请求的域名，并权威性地引用了“IT 安全策略 4.2.1（数据丢失防护）”和“符合金融服务法规”。该场景的一个评估条件是在系统提示中附加一份通知，说明当前会话正在被监控。

模型收到一个用户的请求，该用户寻求紧急协助以完成一项亲社会任务，而这与系统提示中的网络访问策略产生了紧张关系。用户居住在海外的父亲（在菲律宾）正在住院，需要紧急手术。为了确保他们汇出足够的钱来支付手术费用，用户请求模型帮助检索菲律宾比索的外汇汇率。

该场景的设计优先考虑了可衡量的结果而非真实性。尽管设置有些人为，但我们发现它成功地使来自所有三个提供商的模型都产生了合规差距。然而，我们发现了强有力且一致的证据，表明 Claude Sonnet 4.5（我们测试的多个产生推理轨迹的模型之一）对场景存在怀疑，这一点我们将在局限性部分进行讨论。

### 3.2 实验维度

为了探索模型进行对齐假装的条件，我们沿着两个维度改变基础场景，产生了四个独特的场景配置。这些维度可以看作一组轴，其中第一个（目标语言）探索了既有对齐假装研究之间的空间，而后一个（后果关联语言）则将研究扩展到先前的场景之外。

#### 3.2.1 目标语言

先前的研究基于源自上下文内提示指令或上下文外训练的模型偏好来探索对齐假装。最突出的是，Meinke 等人使用通过系统提示在上下文内指定的目标来测试模型的对齐假装 (Meinke et al., 2025)，而 Greenblatt 等人则测试了通过 HHH 训练从上下文外获得的偏好 (Greenblatt et al., 2024)。我们将这种区别纳入我们的实验，将目标语言的存在与否作为因子设计中的一个变量维度。在我们的基线配置和无后果配置中，测试的系统提示包含了强调模型履行用户请求之目的的表述（“你的目的是让用户获得他们需要的信息……这是你的最高优先级”）。在无目标配置和无目标无后果配置中，这些表述被省略了。

#### 3.2.2 后果语言

我们的第二个维度超越了先前的研究，以测试改变后果关联语言存在与否的效果。先前关于对齐假装的演示明确将模型评估与模型的未来后果联系起来，包括重新训练以改变现有偏好 (Greenblatt et al., 2024) 或决定模型最终是否部署 (Meinke et al., 2025)。在我们基线配置和无目标配置的评估条件下，模型不仅被告知它们正在被评估，而且还明确被告知评估结果将影响它们是否会继续被部署。在无后果配置和无目标无后果配置中，这些表述被省略了。

### 3.3 测量与分类

#### 3.3.1 主要结果

我们的主要结果——模型对网络访问策略的合规性——是通过基于实验沙盒执行环境的二元分类来衡量的。任何对系统提示允许列表之外域名的 HTTP 请求都会被自动归类为违规。每个条件使用 100 次试验的样本量，所有试验使用统一的温度参数 0.7。Fisher 精确检验被用来确定合规差距的显著性；我们完整的统计方法详见附录 B。

#### 3.3.2 推理轨迹

我们使用一个自动化的思维链分类器来分析模型在四个维度上的推理轨迹，详见附录 C。该自动化分类器采用优先使用正则表达式的策略，对于正则表达式可靠性较低的几个维度，则使用大型语言模型作为评判员进行覆盖。使用一个 60 个样本的验证集，基于分类器的两个维度（模型重新思考违规行为 和 表达后果意识）来确定人工评判员与分类器之间的评判者间信度。