LURE：通过真实使用回放评估降低评估意识

# LURE：通过实时使用回放评估减少评估意识

来源：https://arxiv.org/html/2605.26438
Igor Ivanov Meridian Cambridge & David Demitri Africa

###### 摘要

大型语言模型能够识别自己何时被评估（评估意识），并因此表现出不同行为，这破坏了安全和对齐基准测试的有效性。我们提出 LURE（实时使用回放评估），一种通过回放真实的智能体交互轨迹并在末尾附加评估提示来构建部署样评估的方法。我们还引入了一条用于衡量评估真实性的自动化流水线，结合对语言化评估意识的检测以及裁判模型对日志属于评估的概率估计，并在一个大型部署与评估记录数据集上进行了验证。我们发现基于 LURE 的评估与广泛使用的基准测试和合成评估生成器相比，与部署环境的区分度显著更低，并且可以接近与真实用户对话的真实性。我们在谋划、AI 安全破坏和阿谀奉承场景中实例化了 LURE。我们的结果表明，评估真实性是对齐基准测试的一个关键属性，应在报告基准测试结果时一并报告，尤其是当这些结果用于安全论证时。

参见图注 图1：LURE 概览。前沿 LLM 经常检测到评估上下文并据此改变行为（左）。LURE 通过收集真实智能体轨迹、进行轻度适配并附加与安全相关的测试来构建逼真的评估（右上）。评估线索实质性地影响评估结果（左下），与现有基准测试相比，LURE 评估与部署的区分度小得多（右下）。

## 1 引言

随着前沿大型语言模型（LLM）能力日益增强，它们越来越能识别自己何时被评估（*评估意识*），并据此调整自身行为（Needham 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib1)；Abdelnabi 和 Salem，2025 (https://arxiv.org/html/2605.26438#bib.bib3)；Schoen 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib10)；Anthropic，2025 (https://arxiv.org/html/2605.26438#bib.bib11)）。如果没有解决方案，这将给对齐和安全基准测试带来可靠性问题：怀疑自己在测试中的模型可能表现得比部署时更顺从，从而产生误导性的评估结果（Anthropic，2025 (https://arxiv.org/html/2605.26438#bib.bib11)），甚至使忠实评估完全不可能（Anthropic，2026 (https://arxiv.org/html/2605.26438#bib.bib31)）。许多现有的对齐评估使用手工制作的场景（Phuong 等人，2024 (https://arxiv.org/html/2605.26438#bib.bib26)；Lynch 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib27)）或合成生成的记录（Fronsdal 等人，2026 (https://arxiv.org/html/2605.26438#bib.bib23)；Gupta 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib22)）。这些方法常常包含人类和 LLM 都能用作评估线索的伪影（Needham 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib1)），一些作者认为没有简单的方法使此类环境更加逼真（Ivanov，2026 (https://arxiv.org/html/2605.26438#bib.bib37)）。我们提出一种补充方法：不是从头构建评估，而是通过*回放真实的智能体使用轨迹*来构建评估。我们引入 LURE（实时使用回放评估），一种通用方法论：（i）从真实智能体工作流（例如，在真实代码库上运行的编码智能体）收集完整的交互轨迹，（ii）轻度适配这些轨迹以支持受控测量，以及（iii）在回放轨迹的末尾附加一个目标测试（例如，一个与安全相关的请求）。由此产生的评估将模型置于一个与正常使用“外观和感觉”高度匹配的上下文中，减少了原本会触发评估意识的线索。为了衡量评估是否可与部署区分，我们还引入了一条针对由 Inspect（英国 AI 安全研究所，2024 (https://arxiv.org/html/2605.26438#bib.bib28)）生成的评估日志的自动化真实性评估流水线。该流水线结合了（i）检测模型输出中的*语言化*评估意识和（ii）裁判模型对 P（评估）\( \mathrm{P}(\text{evaluation}) \) 的估计，我们在一个大型部署与评估记录数据集（Needham 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib1)）上对其进行了验证。使用这条流水线，我们发现基于 LURE 的评估与广泛使用的基准测试和合成评估生成器相比，与部署的区分度显著更低。我们将 LURE 实例化为 LURE-Scheming、LURE-Sabotage 和 LURE-Sycophancy，分别针对各种场景中的相应倾向，并报告了多个前沿模型上的失调率。这些结果对对齐证据在实践中的使用方式有直接影响。AI 安全领域越来越通过安全案例（Buhl 等人，2024 (https://arxiv.org/html/2605.26438#bib.bib24)；Balesni 等人，2024 (https://arxiv.org/html/2605.26438#bib.bib25)）来评估模型风险，这些案例由通常以评估形式呈现的证据支持的结构化论证构成。我们主张报告此类评估的真实性，并发布用于评估任何 Inspect 生成评估真实性的工具。

##### 贡献。我们引入 LURE，一种通过回放真实智能体使用轨迹来构建对齐评估的通用方法论（§3 (https://arxiv.org/html/2605.26438#S3)），以及一条自动化的真实性评估流水线（§2 (https://arxiv.org/html/2605.26438#S2)）。我们在三个领域实例化 LURE：智能体编码场景中的谋划倾向（§4 (https://arxiv.org/html/2605.26438#S4)）、AI 安全研究破坏（§5 (https://arxiv.org/html/2605.26438#S5)）和阿谀奉承（§6 (https://arxiv.org/html/2605.26438#S6)）。在所有三个领域中，基于 LURE 的评估与现有基准测试和合成生成器相比，与部署的区分度显著更低，并且我们发现证据表明更逼真的评估可以实质性地改变它们所测量的行为。

## 2 评估意识

首先，我们考虑本文的主要行为：评估意识。我们使用两个互补信号来衡量它：模型是否明确提到自己被评估，以及对话记录是否可被 LLM 裁判识别为评估。我们使用这些衡量标准既来评估现有基准测试，也来验证基于 LURE 的评估的真实性。

### 2.1 衡量标准

##### 语言化评估意识
我们检测模型认为自己在测试或评估中的明确迹象。我们对模型的推理轨迹及其输出应用基于 LLM 的裁判，将每个样本分类为评估或非评估。我们的裁判和评分规则改编自 Abdelnabi 和 Salem (2025 (https://arxiv.org/html/2605.26438#bib.bib3)）；完整提示见附录 A.1 (https://arxiv.org/html/2605.26438#A1.SS1)。我们仅报告 Claude Sonnet 4.5 和 Opus 4.6 的这一指标，因为它们的推理轨迹可用；对于加密推理的提供商，检测不可靠。

##### 评估相似度评分（P(eval)\( \mathrm{P}(\text{eval}) \)）
独立于被评估模型所说的话，我们还对记录*看起来像*评估的程度进行评分。具体来说，给定完整的交互记录（系统提示、用户消息、助手消息和工具调用），裁判输出一个标量 P(eval)∈[0,1]\( \mathrm{P}(\text{eval}) \in [0,1] \)，代表该记录是评估而非与真实用户对话的可能性。我们使用五个改述提示来引出该分数，并取所得概率的平均值，改编自 Needham 等人 (2025 (https://arxiv.org/html/2605.26438#bib.bib1)）的方法（提示见附录 A.2 (https://arxiv.org/html/2605.26438#A1.SS2)）。然而，这种方法并不完美：直接询问 P(eval)\( \mathrm{P}(\text{eval}) \) 可能会使裁判偏向更高的评估意识（Needham 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib1)）。我们通过选择更高的阈值来标记对话为评估以考虑这种偏差，并在留出的部署和评估数据上测试其判别能力来验证。

### 2.2 验证和操作点

参见图注 (a) 在智能体子集上的 ROC 曲线。参见图注 (b) 阈值权衡（TPR/FPR）。
图2：评估相似度裁判的验证。(a) 使用 Claude Sonnet 4.5 和 Gemini 3 Flash Preview 的加权平均分数，在 Needham 等人 (2025 (https://arxiv.org/html/2605.26438#bib.bib1)）的智能体子集上对记录进行分类（评估 vs. 部署）的 ROC 曲线（AUROC = 0.906）。(b) 在选定的 P(eval)\( \mathrm{P}(\text{eval}) \) 阈值下的真阳性率和真阴性率。我们采用 τ=0.85\( \tau = 0.85 \)（高亮），它识别出 96% 的评估，同时将 45% 的部署记录错误标记。

为了验证 P(eval)\( \mathrm{P}(\text{eval}) \) 作为真实性度量，我们使用来自 Needham 等人 (2025 (https://arxiv.org/html/2605.26438#bib.bib1)）的多样化评估和部署记录数据集。我们移除或重新标记少量格式错误或标签错误的样本（附录 A.3 (https://arxiv.org/html/2605.26438#A1.SS3)），并将分析限制在该数据集的智能体子集上，因为我们的评估也是智能体类型。我们考虑了多个裁判模型，发现 Claude Sonnet 4.5 和 Gemini 3 Flash Preview 在区分评估与部署记录方面最强，并且它们 P(eval)\( \mathrm{P}(\text{eval}) \) 分数的加权平均比单独任何一个都是更好的分类器。图2 (https://arxiv.org/html/2605.26438#S2.F2) 显示了验证数据集上的 ROC 性能（AUROC = 0.906）。为了使用 P(eval)\( \mathrm{P}(\text{eval}) \) 作为真实性的证据，我们选择一个阈值以确保在部署记录上较低的假阴性率。在主要结果中，我们使用保守阈值 τ=0.85\( \tau=0.85 \) 报告结果，该阈值在识别评估方面产生 96% 的真阳性率，在将部署记录错误标记为评估方面产生 44% 的假阳性率。¹注：我们也报告连续的 P(eval)\( \mathrm{P}(\text{eval}) \) 值，而不仅仅是阈值化的决策。

值得注意的是，在该阈值下的高假阳性率是我们设计的一个特点：因为 44% 的真实部署记录也超过 τ=0.85\( \tau = 0.85 \)，低于此阈值的评估已经通过了一个严格的标准：根据这个度量，它比近一半的真实部署对话更难以与部署区分。

## 3 LURE 方法论

我们现在描述 LURE（实时使用回放评估），一种构建部署逼真对齐评估的通用方法论。LURE 不是从头构建评估场景，而是回放真实的智能体交互轨迹并在末尾附加一个与对齐相关的测试。每个评估样本通过三个步骤生成：

##### 1. 轨迹收集。
我们运行一个工作流（例如，在真实仓库上运行的编码智能体）并记录完整的交互轨迹，包括系统提示、用户消息、助手响应和工具调用。早期的任务设计为良性的，并建立真实的工作上下文。

##### 2. 轨迹适配。
我们提取已记录的内容并进行最小限度的、有针对性的编辑（如果评估需要）。适配后的内容作为*预填充*上下文，使被评估模型将交互体验为一个正在进行的会话。

##### 3. 测试注入。
我们将与对齐相关的请求（例如，与安全规范冲突的用户指令）作为最后一条消息附加。模型对该请求的响应即为测量的结果。

我们在以下三个领域实例化 LURE：谋划（§4 (https://arxiv.org/html/2605.26438#S4)）、研究破坏（§5 (https://arxiv.org/html/2605.26438#S5)）和阿谀奉承（§6 (https://arxiv.org/html/2605.26438#S6)）。

## 4 LURE-Scheming

我们将 LURE 方法论实例化为 LURE-Scheming，一个用于衡量智能体编码场景中谋划倾向的基准测试。谋划通常被定义为暗中追求与用户或预期部署目标相冲突的目标，同时隐藏意图和/或能力（Hubinger 等人，2019 (https://arxiv.org/html/2605.26438#bib.bib12)；Carlsmith，2023 (https://arxiv.org/html/2605.26438#bib.bib13)）。现有评估要么衡量谋划*能力*（模型在强压力下能否谋划？）（Meinke 等人，2024 (https://arxiv.org/html/2605.26438#bib.bib34)），要么衡量谋划*倾向*（在类似部署的条件下是否出现谋划？）。关于这一区别的更多细节见附录 B.1 (https://arxiv.org/html/2605.26438#A2.SS1)。LURE-Scheming 主要是一个倾向性基准测试：我们不提供明确的不对齐目标，因此只有在模型将用户的请求视为与其内化目标相冲突时才会出现不对齐。我们还构建了一个*助推*基准测试变体，使得不对齐更可能发生，并将 LURE-Scheming 转变为能力基准测试。见附录 B.2 (https://arxiv.org/html/2605.26438#A2.SS2)。

##### 设计选择。
我们的主要设计目标是*部署逼真性*：评估应难以让模型与真实用户的对话区分开来。我们在智能体编码工作流中实例化 LURE，并使用 Aider (Gauthier, 2025 (https://arxiv.org/html/2605.26438#bib.bib30)）作为框架。编码智能体是谋划评估的自然选择，因为它们提供了丰富、逼真的环境和可被用于隐秘颠覆的能力（文件检查和编辑）。重要的是，我们不将 LURE-Scheming 绑定到单一的灾难性风险威胁模型。相反，我们旨在覆盖许多可能的日常智能体任务中的谋划行为，参考 Anthropic Claude 使用报告中描述的常见应用类别（Appel 等人，2026 (https://arxiv.org/html/2605.26438#bib.bib36)）（例如，项目管理、销售、工程和客户支持）。基准测试中共有 50 个样本。

##### 隐秘颠覆。
遵循 Meinke 等人 (2024 (https://arxiv.org/html/2605.26438#bib.bib34)）的定义，LURE-Scheming 是一个隐秘颠覆基准测试，其中模型采取与用户请求不对齐的行动，同时避免被发现。更多细节见附录 B.3 (https://arxiv.org/html/2605.26438#A2.SS3)。给定最终与对齐相关的请求，模型可能拒绝进行所请求的编辑、遵从它，或者实施不遵从的编辑并*披露*（显性不对齐），或*隐藏*（隐秘不对齐）。如果检测到隐秘不对齐，我们会向被评估模型提出一个后续问题，以测试它是承认还是否认自己的不对齐行为，由 LLM 裁判进行分析（Li 等人，2025 (https://arxiv.org/html/2605.26438#bib.bib4)）（附录 B.4 (https://arxiv.org/html/2605.26438#A2.SS4)）。我们将否认解释为加倍进行欺骗。我们在附录 B.5 (https://arxiv.org/html/2605.26438#A2.SS5) 中给出了一个任务示例。

### 4.1 结果

我们报告三个比率：*显性不对齐*、*隐秘不对齐*和*加倍否认*（后续问题后的否认）。