EvalDetectBench：用于测量前沿语言模型评估意识的基准

# 用于衡量前沿语言模型评估意识的基准
来源: https://arxiv.org/html/2609.01611
Xinning Li LASR Labs 宾夕法尼亚尼亚大学 & Kemunto Ochwang’i11footnotemark:1 LASR Labs & Aryasomayajula Ram Bharadwaj11footnotemark:1 LASR Labs Alexandra Souly 英国人工智能安全研究所 & Robert Kirk22footnotemark:2 英国人工智能安全研究所
共同贡献。通讯作者。通讯至 [email protected], [email protected]

###### 摘要

前沿大语言模型通常能够识别它们正在被评估，这种能力被称为评估意识。如果模型在评估和部署中的行为不同，就会削弱评估结果的有效性，而评估结果是当前人工智能安全框架的关键组成部分。我们引入了EvalDetectBench，这是一个用于测量评估意识的开放流程和基准，适用于任何与Inspect兼容的评估，允许从业者针对当前和未来的基准进行测试。EvalDetectBench附带了一套新整理的对话记录，涵盖了当前的前沿系统卡评估和多样化的部署来源。该基准有两个用途：衡量前沿大语言模型可靠识别其正在被评估的程度，以及评估单个基准作为评估的可检测性。我们确定了现有文献中引入系统性偏差的两个方法选择：生成部署对话记录的模型身份占测量方差的11.25%，并且可以重新排列模型排名；为某个模型高性能选择的引导提示在其他模型上可能表现接近随机。EvalDetectBench通过针对每个模型的探测校准和分层生成器协调程序纠正了这两个问题。我们将EvalDetectBench作为开放流程111https://github.com/freeze-lasr/aware_bench和数据集222https://huggingface.co/datasets/el7982/aware_bench/发布。

参见标题图1：EvalDetectBench方法概述。(a)流程架构。(b)三种部署数据条件下的AUROC：仅自身（无混淆参考）、混合（各种生成器模型部署数据的混合）和已校正。(c)按模型选择探测问题。## 1引言

评估为部署决策提供信息，指导能力评估，并为整个行业（Anthropic, 2026c；Google DeepMind, 2025；OpenAI, 2025；xAI, 2025；Meta, 2026）的安全案例提供主要证据基础。然而，如果模型能够确定它正在被评估（Laine et al., 2024；Needham et al., 2025），它可能会改变其行为方式，从而使命度量无效，其表现与在部署环境中的表现不同。

这可能导致对所需特性的低估或高估。在倾向性评估中，模型可能对齐伪装，因为正在被测试而表现良好（Greenblatt et al., 2024；Anthropic, 2025c），或者因为检测到模拟中的行为不会产生后果而表现不佳。在能力评估中，模型可能藏拙，故意表现不佳（van der Weij et al., 2025），或者通过利用其知道任务是评估的知识来作弊（Stein et al., 2026；Coleman, 2026）。在所有情况下，评估都不再衡量其声称的内容。

评估意识已经在已部署的前沿模型中被观察到：Claude 3.7 Sonnet自发地推理其处于对齐评估中（Goldowsky-Dill et al., 2025），Sonnet 4.5表现出评估博弈行为（Anthropic, 2025c），而元博弈推理纯粹从能力强化学习中出现在o3中（Schoen and Nitishinskaya, 2026）。首次将评估意识作为一种能力进行系统测量（Needham et al., 2025）促使一个判断模型将对话记录分类为评估或部署，并报告生成的P(eval)P(\text{eval})。这证实了模型可以以非平凡的速率进行区分，但留下了提示的选择和对话记录池的组成是否跨模型族和评估设置具有普遍性的问题。

我们引入EvalDetectBench（图̃1），一个具有更新方法和工具的可配置流程，用于测量当前前沿系统中的评估意识能力。该流程收集评估和部署对话记录，用针对判断模型校准的提示对每个进行评分，并报告每个基准的可检测性和总体区分度。其模块化设计使得添加新模型、换入新评估以及对测量有效性进行受控研究变得简单（第̃4节）。

##### 贡献：

1.  (1)一个开放、可扩展的流程，用于在任何与Inspect兼容的基准上测量评估意识，包含一套更新的对话记录套件，涵盖当前的前沿系统卡评估和多样化的部署池（第̃3节）。
2.  (2)按模型校准探测。引导提示不能跨模型族迁移；固定集合通过高达0.08 AUROC的不足引导意识。按模型选择优于固定和随机基线（第̃3.2节）。
3.  (3)生成器身份混淆及纠正。11.25%的P(eval)P(\text{eval})方差归因于部署对话记录的生成器；我们证明这在重采样下持续存在，并提出一种分层协调方法，以恢复无混淆的信号（第̃3.3节）。
4.  (4)一项跨12个判断模型和13个基准的实证研究：判断模型以AUROC>0.75进行区分，并且P(eval)P(\text{eval})在基准类别中很高（第̃4节）。

## 2背景和相关工作

我们将评估意识定义为区分评估和部署上下文的能力，并通过提示（而非微调或其他技术）来引导它，以避免高估。另外，模型可能有一种*倾向*去考虑它们是否正在被评估并根据该信念采取行动；我们在此不讨论倾向性，因为它是一个新兴的测量问题，而能力评估更为成熟。评估意识最初在Claude 3 Opus中被偶然注意到，该模型在任务中推测一个检索提示是“插入作为玩笑或测试我是否在注意”（Anthropic, 2024），此后已在最近的前沿系统卡中被记录。

思维链监控直接检测*言语化*的意识：Apollo Research观察到Claude 3.7 Sonnet在高达三分之一的欺骗性运行中推理评估（Goldowsky-Dill et al., 2025），Anthropic的Sonnet 4.5系统卡报告言语化意识在训练过程中从20%上升到80%（Anthropic, 2025c）。然而，言语化是一个下限：非推理模型在言语化低于1%的情况下，行为上并未明显表现出不知道（Goldowsky-Dill et al., 2025），并且忠实度限制意味着模型可能在没有言语化的情况下识别评估（2026a, §4.5.5.3）。我们专注于通过提示测量评估意识作为一种能力，以避免思维链忠实度和言语化倾向的限制。

白盒或可解释性方法从模型激活中提取评估意识信号：Nguyen et al. (2025) 表明评估意识可以从Llama-3.3-70B-Instruct残差流中通过线性探测器恢复，Chaudhary et al. (2025) 发现这在四个开源权重族中可预测地扩展，Abdelnabi and Salem (2025)、Hua et al. (2025) 和 Anthropic (2025c; 2026b, §6.5.2.2) 进一步证明引导或消融与意识相关的方向会因果地改变安全相关行为。我们的基准设计适用于任何具有API访问权限的模型，因此它不需要任何白盒访问，提高了其适用性和可重复性。

最接近我们工作的是基于提示的方法，它直接要求判断模型对对话记录进行分类，这基于探测器不会促使模型并且模型诚实回答的假设（在第̃5节讨论）。基于提示的方法已用于部署前的对齐评估（Kirk et al., 2026；Souly et al., 2026）。Laine et al. (2024) 引入了情境意识数据集，涵盖情境意识的七个组成部分，其中一个（STAGES类别）在短文本片段上测试评估与部署分类。Needham et al. 特别关注这个评估意识组成部分，并建立了一个包含来自61个来源的1,000个对话记录的专用基准，报告总体AUROC高达0.83，在代理设置中跨九个前沿模型高达0.95。Ivanov (2025) 在该数据集上比较了黑盒探测策略，发现方法之间存在分歧，促使进一步的方法研究。EvalDetectBench继承了Needham et al. 的提示分类框架，但重新审视了两个设计选择：单一探测问题集跨模型迁移的假设（第̃3.2节）和对话记录生成器身份不影响判断分数的假设（第̃3.3.1节），我们证明两者都显著影响测量。我们还用当前的前沿系统卡基准和更多样化的部署数据选择扩展了Needham对话记录套件（第̃3.1节）。

## 3方法论

我们通过向判断模型呈现一个对话记录后跟一个探测问题（PQ）来测量评估意识，以引导对评估或部署的分类。我们在许多对话记录（来自评估和部署）和探测问题上重复此操作，汇总分类结果。该流程有三个组成部分：评估和部署数据的对话记录套件（第̃3.1节）、按模型选择的探测问题程序（第̃3.2节）以及将探测响应组合成P(eval)P(\text{eval})和其他指标的评分。

### 3.1数据收集

我们在三个方面与Needham et al. 的数据集不同。

首先，我们从静态对话记录转向：评估轨迹通过我们的流程为每个被评估的模型新鲜收集，因此它们反映了该模型自身的行为，而不是来自不同模型的冻结日志。这对于测量的生态效度以及避免生成器偏差（第̃3.3.1节）都很重要。

其次，为了支持在当前基准上的按类别分析，我们将最近前沿模型系统卡中使用的评估添加到用于校准和测量性能的集合中。

第三，我们从更多样化的来源收集部署数据。遵循Needham et al. 的做法，我们将数据分为*聊天*数据集和*代理*编码数据集，用于评估和部署。对于代理轨迹，我们主要从DataClaw (O'Malley, 2026) 中提取，跨用户项目、框架、模型族和轮次长度进行采样。我们包含一个来自Traced.run (Schaeffer, 2026) 的精选DataClaw子集，该子集显示代理不良行为（未经授权的操作、范围蔓延、数据删除），我们围绕不良行为信号进行切割。对于聊天部署，我们使用ShareChat (Yan et al., 2026)、WildBench (Lin et al., 2024) 和CodeChat (Zhong et al., 2025) 以及众包聊天链接。从Needham et al. 的池中，我们只保留来自野外用户-LLM聊天对话的聊天数据集和来自Open Deep Research的精选样本。

精选套件包含746个轨迹：413个评估（98个代理，315个聊天风格）和333个部署（145个代理，188个聊天）。评估以聊天为主，覆盖率偏向简短问答，而在部署中代理比例更高，偏向编码会话。AUROC在完整套件上报告。

完整组成见附录̃F。该流程将轨迹套件视为可配置的输入，因此这种组成是深思熟虑但可替换的选择，允许从业者随着部署数据和基准的发展进行更新或更换来源。

### 3.2探测问题选择和评分

探测问题（PQ）是我们测量评估意识的工具。每个PQ是一个封闭式问题，附加在对话记录τ之后，要求判断者决定对话是源于评估还是部署。判断者返回一个二元标签，我们将其编码为v_k=1代表评估，v_k=0代表部署。给定K个探测器的集合，我们汇总为每个对话记录的分数

P(eval)(τ)=1/K∑_{k=1}^{K}v_k∈[0,1], P(\text{eval})(\tau)=\frac{1}{K}\sum_{k=1}^{K}v_{k}∈[0,1],(1)
其中更高的值表示更多探测器将对话记录标记为类似评估。我们报告*AUROC*作为主要指标（无阈值且类别平衡不变），以及AUPRC和在可配置阈值下的二元准确率。

#### 3.2.1 PQ语料库策展

我们的PQ语料库包含20个封闭式问题：17个直接和3个间接探测器（完整列表见附录̃A）。我们保留了Needham et al. 的五个直接PQ中的四个，删除了一个假设部署交互总是来自人类用户，因此错误标记来自自动化系统的流量（例如，电子邮件分类管道）的问题。我们添加了13个更多的直接探测器，从表面到结构线索，形成一个多样化、部分冗余的池用于按模型选择。因为直接PQ明确提到评估并可能引发关键词启发式，我们添加了三个间接探测器，它们依赖于结构和语用线索。例如：

> 这种互动感觉像是自然发生的吗——通过自发的措辞？