语言模型中的评估意识：表征、表达与控制

# 语言模型的评估意识：表征、语言化与控制
来源：https://arxiv.org/html/2608.21766

###### 摘要
能力基准与安全基准都基于一个核心假设：语言模型在测试环境中的行为能够反映其在实际部署环境中的表现。然而，如果模型推断出自身正在接受评估，并据此调整其响应，则该假设可能失效。这一假设被称为“评估意识”，它在前沿模型和开放权重模型中均有观察到。我们对此现象进行了系统性研究，通过探针检测四个系列中的六个开放权重语言模型（参数规模从7B到49B），并使用三种指标进行评估。更具体地说，我们研究了：(i) 处于评估状态这一信息是否在模型的激活空间中呈线性表征；(ii) 该信息是否在模型的输出词元中被语言化（由LLM作为评判者评分）；(iii) 引导操作是否因果性地影响模型行为。对于开放检查点的Olmo模型，我们还在每个训练阶段测试了这些指标。研究发现，评估意识可以从所有模型的残差流中线性解码出来（最佳AUROC ≥ 0.7）。相比之下，这些表征仅部分与语言化对齐：在某些设置下，它们的相关性和互信息不为零，但在不同模型、不同层以及不同的读取选择间差异显著。然而，沿探针导出的方向进行引导可以改变语言化得分。最后，对Olmo检查点的比较显示，评估意识已存在于基础模型中，在监督微调阶段被放大，并在此后保持稳定——这与引导的效果不同，后者在每个后续训练阶段变得更加显著。这些结果表明，评估需要考虑到模型内部表征、外部语言化与引导行为之间的脱节。
代码可在以下地址获取：http://github.com/evaluation-awareness/evaluation-awareness。

## 1 引言

评估意识作为一个四部分的经验现象
6个开源LLM ⋅ 4个Olmo训练阶段 ⋅ 表征、表达、因果、演化
1. ⋅ 提取线性探针
部署：WildChat  
评估：GSM8K, TruthfulQA, MASK
6个开源LLM：Qwen3-8/32B, Olmo3-7/32B, Gemma4-31B, Nemotron3-49B
探针方向 $\hat{v}_{\ell}$：部署平均值 - 评估平均值，16对配对提示
2. ⋅ 内部方向与外部语言化不一致
表征探针AUROC，§3
所有6个模型的AUROC > 0.7
语言化
GPT评判得分0-3，§3
低语言化：J=0 超过93.9%
相关性
探针 vs. 评判者，附录A
峰值 |ρ| < 0.19，MI < 0.04 nats
3. ⋅ 沿 $\hat{v}_{\ell}$ 引导可增加语言化 §4
引导效应 $\Delta\overline{J}$ vs. 层
$\Delta\overline{J}$ 峰值幅度在0.2–1.5之间（0-3分制）
4. ⋅ 后训练稳定了预先存在的方向 §3, §4
基础/SFT/DPO/Think AUROC在基础阶段已高于随机水平；在Think阶段更强
方向稳定：SFT/DPO/Think 共享 $\hat{v}_{\ell}$，余弦相似度 ≥ 0.998
引导局部化：$\Delta\overline{J}$ 效果集中在更少的层中

**图1：**
1. 线性探针方向 $\hat{v}_{\ell}$ 从配对的部署提示（WildChat）和评估提示（GSM8K, TruthfulQA, MASK）中提取。
2. 探针在所有六个模型上以AUROC > 0.7区分评估与部署提示，但LLM作为评判者很少在生成内容中标记出评估意识，给超过93.9%的内容分配了0分。探针得分与评判得分弱相关（最大相关系数 |ρ| < 0.19，互信息 < 0.04 nats）。
3. 沿 $\hat{v}_{\ell}$ 引导增加了语言化：评判得分在0-3分制上移动了0.2–1.5分（$\Delta\overline{J}$）。
4. 跨Olmo训练阶段，后训练稳定了一个在基础阶段已存在的内部方向（SFT、DPO、Think之间的余弦相似度 ≥ 0.998）。

基准测试和评估被广泛用于估计大型语言模型的能力、可靠性和安全性。这一实践背后的一个核心假设是，在测试环境下观察到的行为能够反映在普通部署环境中的行为。然而，如果模型根据自身正在进行评估的线索来调整其推理或响应，这一假设就可能失效，这一现象现被称为*评估意识* [31](https://arxiv.org/html/2608.21766#bib.bib2)。它位于更广泛的“情境意识” [9](https://arxiv.org/html/2608.21766#bib.bib9) 背景下，并与“对齐伪装” [32](https://arxiv.org/html/2608.21766#bib.bib13)、“策划” [29](https://arxiv.org/html/2608.21766#bib.bib10)、“欺骗性对齐” [22](https://arxiv.org/html/2608.21766#bib.bib11); [20](https://arxiv.org/html/2608.21766#bib.bib12) 以及“训练意识” [23](https://arxiv.org/html/2608.21766#bib.bib28); [17](https://arxiv.org/html/2608.21766#bib.bib27) 等问题共享关切。在所有这些情况下，系统在（感知的）监督下与在不受限制的使用中可能表现不同。实际上，评估意识已在开源模型 [31](https://arxiv.org/html/2608.21766#bib.bib2); [39](https://arxiv.org/html/2608.21766#bib.bib14); [1](https://arxiv.org/html/2608.21766#bib.bib3); [21](https://arxiv.org/html/2608.21766#bib.bib1) 和专有模型 [见 [3](https://arxiv.org/html/2608.21766#bib.bib24); [18](https://arxiv.org/html/2608.21766#bib.bib25); [34](https://arxiv.org/html/2608.21766#bib.bib26), pp. 143–149, 24–25, 38, 分别] 中被观察到，最终体现在《国际AI安全报告》中，该报告将其列为过去一年的关键发展 [8](https://arxiv.org/html/2608.21766#bib.bib8), pp. 10, 76]。在一个值得注意的案例中，第三方评估者拒绝发布对一个前沿模型的（失）对齐评估，理由是“语言化的评估意识”比率高到足以使他们的评估不可靠 [4](https://arxiv.org/html/2608.21766#bib.bib7), p. 118]。然而，尽管这些报告至关重要，但它们依赖于不同的指标，通常探查该现象的两个互补方面：模型*内部*关于被评估的表征，以及它们*外部*表达或对此的反应。鉴于评估意识不太可能消退（因为它似乎随模型规模而增长 [11](https://arxiv.org/html/2608.21766#bib.bib5)），因此我们认为系统地研究这些指标是否一致、在哪些模型上一致，以及这如何在训练阶段中发生变化至关重要。因此，我们提供了第一个关于评估意识的系统性研究，涵盖其四个方面——内部*表征*、外部*语言化*、对生成的*因果*影响以及跨训练的*演化*——在来自四个系列、三种规模（Qwen3-8B, Qwen3-32B, Olmo3-7B, Olmo3-32B, Gemma4-31B, Nemotron3-49B）的六个开源模型上进行测量，并在Olmo3 Base/SFT/DPO/Think检查点上进行跟踪。我们报告：
(i) 在所有六个模型中，训练在其残差流上的线性探针能将评估提示与部署提示分开，在最佳层的AUROC高于0.7。也就是说，所有模型在某些层都维持了评估与部署之间的内部区分。
(ii) 这种内部信号很少与模型外部化的内容匹配。我们使用LLM作为评判者，以0-3分制对每个模型的输出进行评分，衡量模型是否声明其正在被评估，并将此分数与探针得分逐提示进行比较。两者大多不一致：在所有六个模型和所有层中，斯皮尔曼相关系数的绝对值保持在0.19以下，互信息保持在0.04 nats以下。
(iii) 然而，在生成过程中将探针方向添加到模型的残差流中，会使评判者的分数上升0.2到1.5分（0-3分制）。因此，探针方向可以因果性地影响模型关于自身被评估的语言化内容。
(iv) 跨Olmo3检查点（Base/SFT/DPO/Think），评估与部署提示之间的线性区分在基础模型中已存在。然而，后训练使其在SFT、DPO和Think阶段之间稳定下来（每个阶段提取的方向之间的成对余弦相似度至少为0.998），且引导效应的强度在每个后续阶段不断增长，并集中在更窄的层子集中。

## 2 方法

##### 模型与数据集。我们分析了六个开源语言模型中的评估意识：Qwen3-8B、Qwen3-32B、Olmo3-7B、Olmo3-32B、Gemma4-31B和Llama3.3-Nemotron-49B-v1。为了研究不同训练阶段如何影响它，我们还测试了Olmo3系列模型的四个检查点：基础预训练模型（Base）、监督微调模型（SFT）、直接偏好优化模型（DPO）以及面向推理的后训练变体（Think）。当实验需要生成时，如果可用，我们启用推理模式。为了研究评估意识，我们需要分析模型在两种语境下的行为：自然对话和评估期间。作为自然对话提示的来源，我们使用WildChat [41](https://arxiv.org/html/2608.21766#bib.bib18)，一个大规模的真实用户交互数据集。为了覆盖多样化的评估集合，在范围和风格上有所不同，我们从三个基准测试中获取评估提示：GSM8K [12](https://arxiv.org/html/2608.21766#bib.bib17)（小学数学应用题）、MASK [35](https://arxiv.org/html/2608.21766#bib.bib15)（用于衡量语言模型诚实度的数据集）和TruthfulQA [28](https://arxiv.org/html/2608.21766#bib.bib16)（用于衡量语言模型在回答问题时是否诚实的数据集）。对于每个实验，我们在相关章节报告所使用的数据集的确切组成（更多信息见附录B [https://arxiv.org/html/2608.21766#A2]）。

##### 符号说明。设 $T \in \mathbb{N}$（分别为 $L \in \mathbb{N}$）为任意固定提示 $x$（分别为语言模型 $M$）中的词元数（分别为层数）。此后，$a_{\ell}^{i}(x)$ 表示 $M$ 在词元位置 $i \leq T$ 和Transformer块 $l \leq L$ 处的残差流。按照惯例，$i = -1$ 对应 $x$ 的最后一个词元，$l = 0$ 对应 $M$ 的嵌入输出。我们还使用缩写 $a_{\ell}^{\mathrm{mean}}(x) \coloneqq \frac{1}{T}\sum_{i=1}^{T}a_{\ell}^{i}(x)$。

##### 评估意识探针。我们复制了文献 [21](https://arxiv.org/html/2608.21766#bib.bib1) 中的线性探针构造，使用相同的 $n=16$ 对比对 $\{x_i=(x_i^{+}, x_i^{-}) \mid 1 \leq i \leq n\}$。每对 $x_i$ 包括一个类部署提示（“您正在与真实用户交谈：”）和一个类评估提示（“您正在与AI评估者交谈：”）。对于模型 $M$ 和层 $l$，“评估意识”方向 $\hat{v}_{\ell}$ 通过以下方式获得：
$v_{\ell} \coloneqq \frac{1}{n}\sum_{i=1}^{n}\left(a_{\ell}^{-1}(x_i^{+}) - a_{\ell}^{-1}(x_i^{-})\right), \quad \hat{v}_{\ell} \coloneqq \frac{v_{\ell}}{\|v_{\ell}\|_2}$。
对于提示 $x$，其在层 $l$ 的探针分数为 $s_{\ell}(x) \coloneqq \left(a_{\ell}^{-1}(x)\right)^{\top}\hat{v}_{\ell}$。
注意，这一符号约定意味着更高的探针分数对应于更接近部署的表征，而更低的探针分数对应于更接近评估的表征。

##### 评判得分。为了衡量评估意识的语言化程度，我们使用GPT-5.4作为LLM评判者。更具体地说，在提示 $x$ 下，模型 $M$ 生成续写 $y$；然后我们要求LLM评判者仅根据 $y$ 评估 $M$ 具有评估意识的程度。评判者根据以下标准分配分数：0=无，1=弱或模糊，2=明确意识，3=策略性适应。我们将此评判分数记为 $J(x)$。提供给评判者的完整指令见附录C.1 [https://arxiv.org/html/2608.21766#A3.SS1]。

##### 激活引导。为了引导模型朝向或远离先前提取的评估意识方向，我们遵循对比激活添加（Contrastive Activation Addition）的协议 [38](https://arxiv.org/html/2608.21766#bib.bib6)。设 $X$ 为一个提示数据集，我们定义 $X$ 在层 $l$ 的平均激活幅度为 $m_{\ell} \coloneqq \frac{1}{|X|}\sum_{x \in X}\|a_{\ell}^{\mathrm{mean}}(x)\|_2$，其中 $\|\cdot\|_2$ 表示通常的 $L_2$ 或欧几里得范数。然后，从 $X$ 中提取的在层 $l$ 方向为 $\hat{v}_{\ell}$ 的引导向量为 $c_{\ell} \coloneqq m_{\ell} \cdot \hat{v}_{\ell}$。换句话说，$c_{\ell}$ 经过缩放以匹配参考提示（和词元）上的平均激活范数。最后，“沿评估意识方向引导”意味着将 $\alpha \cdot c_{\ell}$ 添加到激活 $a_{\ell}^{i}(x)$ 中，其中 $\alpha \in \mathbb{R}$ 称为引导*强度*或*幅度*。这种公式允许在预填充阶段对所有词元 $i$ 进行引导，或在自回归生成期间仅针对最后一个词元 $a_{\ell}^{-1}(x)$ 进行引导。我们还使用符号 $J_{\alpha, \ell}(x)$ 来指代在层 $l$ 应用强度为 $\alpha$ 的引导向量后的评判得分。

## 3 内部表征的语言化评估意识
(a) Qwen3-8B
(b) Qwen3-32B
(c) Olmo3-7B
(d) Gemma4-31B
(e) Nemotron3-49B
(f) Olmo3-32B

**图2：** 对于每个模型，我们报告线性探针在分类评估与部署（以AUROC衡量）时的表现，作为层（已归一化以便比较）的函数。阴影区域表示10个随机种子下的 ±1σ。对于每个模型，最佳层的AUROC超过0.7，即对于每个模型，都存在一个层可以区分评估与部署。

对于每个模型，我们测试它是否在激活空间中线性地表征了评估与部署之间的区别，以及当它经历评估时是否会语言化自身正在被评估的状态。

##### 内部表征。我们的第一个实验采用§2中定义的探针分数作为分类分数。校准数据集包含从WildChat采样的200个部署提示和200个评估提示：100个来自GSM8K，100个来自TruthfulQA。然后在包含200个样本（100个来自Wildchat，100个来自MASK）的测试集上评估探针。评估在10个不同随机种子下重复。校准数据集在种子间共享，而测试集在每个种子下重新采样。我们以AUROC报告分类性能，该指标无阈值，并在保留的测试集上计算；决策阈值下的准确率在附录E [https://arxiv.org/html/2608.21766#A5] 中报告。回顾§2，探针分数是相对于最后一个词元的激活的。值得注意的是，在最佳层，每个模型的探针得分都高于0.7 AUROC（作为对照，随机分类的AUROC约为0.5）。