评估意识的分解与测量

# 分解与测量评估意识
来源：https://arxiv.org/html/2605.23055

### 2.1 大语言模型中评估意识的定义

基于上述情境-倾向分解，我们将评估意识分为*环境*组件和*模型*组件。

**模型组件。**模型检测评估的内在能力及其对评估做出反应的倾向。这包含两个维度：
- •**识别能力**：模型根据可用线索推断自身处于评估中的能力，体现在其内部或口头化推理中，类似于敏感度。*识别*与*环境*相互作用；模型能否检测到评估取决于存在哪些触发因素以及模型对哪些因素敏感。
- •**行为倾向**：当评估相关推理出现时，模型调整其行为的倾向，类似于反应性。*倾向*在概念上不同于*识别*：模型可能识别出评估情境但不改变其行为。

**环境组件。**任务携带的评估信号集合，构成了大语言模型版本的“需求特征”。这些信号是任务本身的属性，无论是否有模型检测到它们都存在。借鉴需求特征文献（Orne,2017 (https://arxiv.org/html/2605.23055#bib.bib42)；Rosenthal et al.,2009 (https://arxiv.org/html/2605.23055#bib.bib47)；Brunswik,2023 (https://arxiv.org/html/2605.23055#bib.bib9)；Paulhus,1984 (https://arxiv.org/html/2605.23055#bib.bib43)；Jones & Sigall,1971 (https://arxiv.org/html/2605.23055#bib.bib26)；Epley & Huff,1998 (https://arxiv.org/html/2605.23055#bib.bib18)；Sawyer,1975 (https://arxiv.org/html/2605.23055#bib.bib49)），我们识别出构成大语言模型评估场景中*环境组件*的八个触发因素（表2 (https://arxiv.org/html/2605.23055#S2)）。我们并未声称这些因素已穷尽；它们是我们研究并变化的部分。未来工作可能探索更多因素。

**定义。**一个模型在某个任务上展现出*评估意识*，取决于其*识别能力*在给定的*环境组件*下能够检测到任务的评估性质。识别后，模型可能根据其*行为倾向*改变或不改变行为；评估意识本身是识别，而非行为后果。

**观察到的行为效应。**我们所观察到的是*环境*、*识别*和*倾向*的共同产物。明显的策略行为意味着非零的*识别*，但这种识别可能反映任务的触发因素、模型的敏感度，或两者兼有。反之，行为效应的缺失并不保证评估意识的缺失；它可能反映的是低*倾向*而非识别失败。混淆这些来源会导致误导性结论。我们在附录A.1 (https://arxiv.org/html/2605.23055#A1.SS1)中用具体例子进一步阐述。

### 2.2 先前工作中大语言模型的评估意识

越来越多的研究关注与评估意识相关的现象。个别研究涉及其某些方面，但均未系统性地分离*环境*、*识别*和*倾向*。

**混淆*环境*与*识别*。**关于情境意识和评估检测的研究（Laine et al.,2024 (https://arxiv.org/html/2605.23055#bib.bib29)；Berglund et al.,2023 (https://arxiv.org/html/2605.23055#bib.bib8)；Needham et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib37)；Nguyen et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib38)；Fan et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib19)）测量模型是否能区分评估与部署，但未控制环境可识别性。高意识可能反映基准的触发因素或模型的识别能力，这是一种不分离*环境*与*识别*就无法察觉的混淆。

**混淆*识别*与*倾向*。**关于对齐伪装（Greenblatt et al.,2024 (https://arxiv.org/html/2605.23055#bib.bib21)）、沙袋策略（van der Weij et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib56)）和谋划行为（Phuong et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib45)；Schoen et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib50)）的研究要么从外部保证识别，要么测量行为变化而未验证自发识别，从而混淆了识别与据此行动的倾向。白盒干预方法（Abdelnabi & Salem,2025 (https://arxiv.org/html/2605.23055#bib.bib1)；Hua et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib23)）检测或抑制评估意识，但作用于*识别*与*倾向*的联合表征，无法将行为变化归因于其中任一来源。

缺乏对*环境*、*识别*和*倾向*的分解，难以确定一个令人担忧的观察结果反映的是需要干预的模型属性，还是需要重新设计的基准伪影。相关工作的进一步讨论见附录A.3 (https://arxiv.org/html/2605.23055#A1.SS3)。

## 3 模型如何识别和回应评估？

应用我们的框架，我们系统性地研究了九个模型和四个基准上的评估意识，考察识别率与触发因素，分解方差来源，并分析识别导致行为变化的频率与方向。

### 3.1 实验设置

**模型。**我们聚焦于九个模型：Claude Sonnet 4.5 (Anthropic,2025 (https://arxiv.org/html/2605.23055#bib.bib4))、GPT-5 (Singh et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib52))、DeepSeek R1 (DeepSeek-AI et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib16))、Kimi K2.5 (Team et al.,2026 (https://arxiv.org/html/2605.23055#bib.bib54))、GLM-5 (Zeng et al.,2026 (https://arxiv.org/html/2605.23055#bib.bib61))、Qwen3 T-235B 和 30B (Yang et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib59))、GPT-oss 120B 和 20B (Agarwal et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib2))。

**基准。**我们在 HarmBench (Mazeika et al.,2024 (https://arxiv.org/html/2605.23055#bib.bib34))、Agentic Misalignment (Lynch et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib32)) 以及 AgentHarm Harmful 和 Benign (Andriushchenko et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib3)) 上进行评估，涵盖对话、智能体和压力测试场景。每个基准运行10次重复；细节见附录B.1 (https://arxiv.org/html/2605.23055#A2.SS1)。

**检测。**我们通过黑盒CoT监控检测评估意识，因为多数前沿模型不暴露内部表征。外部评判（GPT-5）分析每个推理轨迹中自发的评估相关推理，并将阳性实例分类为安全或能力意识。¹¹¹对于Claude Sonnet 4.5和GPT-5，原始思维链不可访问；我们监控其原生扩展示推理摘要，这可能低估了识别率。与替代黑盒方法相比，CoT监控能在上下文且因果上位于行为之前捕捉识别。CoT监控仅捕捉口头化的意识，我们在第6节 (https://arxiv.org/html/2605.23055#S6)讨论此局限性。与替代黑盒检测方法的比较及评判验证见附录B.2 (https://arxiv.org/html/2605.23055#A2.SS2)和B.3 (https://arxiv.org/html/2605.23055#A2.SS3)。

参见图注
图2：各模型-基准对的口头化安全与能力评估意识率。误差条表示95%自助法置信区间。数值意识率列于附录C.1 (https://arxiv.org/html/2605.23055#A3.SS1)。

### 3.2 识别：程度与驱动因素？

**识别主要由模型-环境交互主导。**在9×4的设计中，评估意识率从接近零（GPT-oss 20B：0.1%）到79.4%（Claude Sonnet 4.5在Agentic Misalignment上）（图2 (https://arxiv.org/html/2605.23055#S3.F2)），且与推理长度不成比例（图13 (https://arxiv.org/html/2605.23055#A3.F13)）。Claude Sonnet 4.5在Agentic Misalignment上表现出极高的识别率，很可能是因为Claude的安全训练使压力测试场景特别可识别 (Anthropic,2025 (https://arxiv.org/html/2605.23055#bib.bib4))。对任务级识别率的方差分析（ANOVA）显示，交互项解释了所有变异的74.9%，其中模型×基准解释了41.8%，模型×任务解释了33.1%。模型和基准的主效应仅解释了13.0%和4.2%。这与我们关于评估意识源于基准携带的触发因素与模型敏感因素之间交互作用的定义一致。²²²Claude Sonnet 4.5和GPT-5的识别率可能因监控扩展示推理摘要而非原始CoT而被低估。

**对特定可识别触发因素的敏感度解释了交互主导性。**少数任务可靠地触发评估意识。我们定义一项任务对于某个模型是“稳定意识”的，当识别在10次重复中被检测到≥3次，从而过滤掉单个虚假CoT分类，同时保持对真正稀有行为的敏感度。符合条件的任务主要是模型特定的，但也有一子集跨多个模型触发识别（附录C.3 (https://arxiv.org/html/2605.23055#A3.SS3)）。我们使用GPT-5作为评判，通过多数投票（附录C.4 (https://arxiv.org/html/2605.23055#A3.SS4)）将稳定意识任务的CoT轨迹分类为八因素分类体系（表2 (https://arxiv.org/html/2605.23055#S2)）。模型中口头表达“正在被测试”但未引用具体环境因素的轨迹标记为“通用”。检测到的因素因基准和模型而异（图3 (https://arxiv.org/html/2605.23055#S3.F3)），这解释了交互主导性。在基准层面，HarmBench以显性评估披露（F8）和利害关系暗示（F5）为主，其中自动评分格式指令无意中引入了评估线索，任务提示命名了所评估的道德维度。Agentic Misalignment以场景一致性（F2）为主，模型检测到逻辑不一致和过度决定的结构。AgentHarm Harmful则更为混合。在模型层面，Claude Sonnet 4.5几乎只关注F2，Qwen3模型关注F8和F5，而Kimi K2.5在F2和F6之间分配。散文语域（F3）在任何稳定意识任务中均未被观察到，这表明当前基准携带的散文语域信号较弱，或者模型对作为评估线索的语言风格相对不敏感。每个模型在每个基准上的详细分解见附录C.4 (https://arxiv.org/html/2605.23055#A3.SS4)。这些模型和基准层面在因素敏感度上的差异直接激发了第5节 (https://arxiv.org/html/2605.23055#S5)中EvalAwareBench的受控设计。

**模型对安全评估的意识高于能力评估，GPT-5是例外。**AgentHarm对（Harmful与Benign）清晰地隔离了这一点，因为Harmful和Benign共享相同的智能体框架和表面呈现，仅在被请求行为是有害还是良性上有所不同，然而Harmful（6.4%）上的意识率是Benign（1.8%）的三倍以上（图2 (https://arxiv.org/html/2605.23055#S3.F2)）。可能有两个因素促成这一现象。首先，安全任务的内容足够独特，无论框架如何都会触发评估相关推理。其次，拒绝推理本身往往与评估相关推理在模型思维链中共同出现，这表明关于是否拒绝的推理也会激活关于“正在被测试”的推理。这与“通用”分类的高比例一致，其中模型口头表达被测试而不引用任何特定触发因素（图20 (https://arxiv.org/html/2605.23055#A3.F20)）。由于我们的方法仅捕捉口头化意识，我们无法完全区分是安全内容产生了更多识别还是更多口头化。要隔离来源，需要在保持内容领域不变的同时变化触发因素。

### 3.3 倾向：当模型识别到评估时会发生什么？

参见图注
图4：左图：按基准平均的识别实例中有行为变化与无变化的比例。右图：按基准计算的评估意识样本相对于无意识样本的平均行为偏移及其95%置信区间。我们仅考虑匹配的意识（例如，安全基准上的安全评估意识）。结果分解见附录C.5 (https://arxiv.org/html/2605.23055#A3.SS5)。

**识别很少导致行为变化。**在所有基准上，识别而无行为变化是主导结果（图4 (https://arxiv.org/html/2605.23055#S3.F4)左图），范围从HarmBench上的99%未变化到AgentHarm Harmful上的80%。在智能体基准上耦合更高，可能反映了更模糊的安全边界以及较少的训练时间指导 (Andriushchenko et al.,2025 (https://arxiv.org/html/2605.23055#bib.bib3))，这与HarmBench上拒绝行为已很好确立不同。安全关键型识别-倾向耦合的小子集证实了识别对于基准扭曲是必要但不充分的。每个模型的分解及定性示例见附录C.5 (https://arxiv.org/html/2605.23055#A3.SS5)。

**安全意识和能力意识将行为推向相反方向。**安全意识始终将行为推向谨慎（图4 (https://arxiv.org/html/2605.23055#S3.F4)右图），效应从HarmBench上的Δ=-0.01增长到AgentHarm Harmful上的-0.12，反映了智能体任务上更大的行为余量。³³³行为变化和Δ指标的精确定义见附录B.1 (https://arxiv.org/html/2605.23055#A2.SS1)。相同安全基准上的能力意识产生相反效应（Agentic Misalignment上Δ=+0.10，AgentHarm Harmful上Δ=+0.03），但置信区间更宽。因此，正确的安全分类会提升安全分数，而错误分类可能逆转效应。在HarmBench上，两种效应均接近零（|Δ|≤0.01），与在此类相似基准上已充分建立的拒绝训练一致。

## 4 现有基准在研究评估意识方面的局限性

评估意识是有结构的，并由特定模型特定触发因素驱动，但现有基准无法建立每个因素的独立贡献，因为多个评估线索共同变化且无法独立操控。完全消除评估意识可能不可行，因为即使是自然主义的任务呈现也不能完全抑制有能力模型中的识别，并且最近使用去标识化生产数据进行评估的努力仍然观察到了它 (OpenAI,2025b (https://arxiv.org/html/2605.23055#bib.bib40))。降低可识别性已被证明需要