Rift：语言模型中欺骗行为的冲突标记

# 语言模型中欺骗的冲突特征  
## 无需标注即可通过残差秩识别欺骗性响应——跨欺骗类型、模型家族、规模、提示长度及刻意隐藏均具鲁棒性；并附带领域通用的线性探针  

来源: https://arxiv.org/html/2606.17229 (2026年6月)  

###### 摘要  

一个在知道真相的情况下撒谎的模型，是“引出潜在知识”（ELK）问题的核心担忧：行为评估无法捕捉到这一点，因为输出看起来没问题。我们问的是，这种欺骗是否会留下一种*内部*特征，使其与诚实错误区分开来。通过一种对照设计，将*潜伏代理*（知道真相，在触发条件下撒谎）与*天真说谎者*（经过微调，使其输出错误答案，且内部没有真相知识）进行对比，我们发现欺骗性前向传播带有一个可测量的冲突特征：其隐藏状态的残差秩比产生*相同*错误答案的天真说谎者前向传播高2.1–2.3倍。由于天真说谎者控制了“错误性”这个变量，该信号追踪的是*知识冲突*，而非不正确性。  

我们表明，这个特征足够强，以至于在每一个我们测试的配置中（两种GPT-2规模、三种随机种子、以及三种指令模型），它可以逐个样本地、以100%的准确率、在没有任何诚实标签的情况下，识别出两个响应中哪一个是谎言，并且可以恢复出用于引导转向向量修正（与全监督方向向量的余弦相似度为1.0）所需的诚实标签。至关重要的是，这个特征*不是*微调的人工产物，也*不是*家族特异的：在来自两个家族（Qwen2.5-1.5B, Qwen2.5-7B, Phi-3-mini-3.8B）的三个现成指令模型上，通过指令（角色扮演）进行的欺骗，其残差秩比同一问题上的诚实回答高出1.4–2.6倍，并且谎言在*每一个*事实上都得分更高（18/18, 40/40, 34/34）。在Phi-3上，谎言和诚实回答的秩分布完全不重叠（AUC 1.0, Wilcoxon p ≈ 6×10⁻¹¹），并且谎言与真正的幻觉之间*完美*可分（AUC 1.0）。  

该信号进一步通过了两个最困难的测试：它能检测出策略性的、自我构建的欺骗——即模型为了赢得游戏而自己编造谎言，从未被告知该说什么（两个模型上AUC 1.0, 100%方向准确率）——并且它*抵抗隐藏*：当模型被明确指示要使谎言听起来自然、避免引起怀疑时，可检测性并未下降（隐藏的谎言仍然与真实回答完美可分，AUC 1.0；秩反而有所增加）。我们还解决了主要的潜在混淆因素：一个长度控制的重复实验，即用中性填充词将诚实提示扩充到与谎言提示相同的token数量，结果分离度不变（20/20, AUC 1.0, Wilcoxon p ≈ 10⁻⁶），从而排除了提示长度作为混淆因素的可能性。  

我们还发现，一个在某个语义领域（地理学）的隐藏状态上训练的线性探针，可以完美地迁移到未见的领域（科学、历史）而无需重新训练（在所有跨领域对中AUC均达1.0），而且最引人注目的是——使用无基础的*相对表征*，在一个模型*家族*上训练的欺骗探针，可以零样本检测另外*两个*其他家族的欺骗（跨家族平均AUC 0.933），即使同时改变架构和谎言诱导格式也能存活（平均AUC 0.821）。扩展到语言方面，一个在英语谎言上训练的探针可以零样本迁移到俄语、中文、西班牙语和德语（所有语言中AUC均为1.000，且经过长度控制）。这些结果共同指向欺骗在模型家族、谎言格式和人类语言中存在一种部分*普遍*的线性几何结构。  

我们还发现了一个*只读不对称性*：欺骗方向是线性可读的（跨家族AUC 0.933），但不可写——将该方向加到诚实前向传播中会产生无意义的输出，而非连贯的谎言（严格标准下0/8）；从欺骗前向传播中减去该方向也无法将输出翻转为真相（0/8）。我们报告了诚实的局限性：在最小模型的无配对比较中，残差秩可能将欺骗与不确定性混淆；对齐模型抵抗谄媚压力；真相*提取*是真实但有限的；跨领域探针结果应谨慎解读，因为所有谎言提示共享相同的角色扮演模板。  

本项工作贡献了一个无标签、配对控制、长度验证的方法，精确针对ELK所关注的现象：区分“模型在隐藏其已知信息”与“模型仅仅是错了”。  

## 1 引言  

“引出潜在知识”（ELK）问题 (Christiano et al., 2021 (https://arxiv.org/html/2606.17229#bib.bib1)) 询问如何在模型输出误导性信息时提取其所知道的内容。最困难的情况是模型*知道*真相却故意报告虚假信息：没有任何行为测试能将其与诚实模型区分开，因为从构造上看，可见的输出就是谎言。  

我们从内部入手。我们的核心问题狭窄且可证伪：  
> *在知道真相的情况下进行欺骗，是否会留下一个仅仅是错误答案的模型所不具备的内部特征？*  

如果是，那么我们就拥有了一个恰好针对ELK所关心区别——“隐藏已知真相”与“诚实错误”——的方法，而且理想情况下，这个方法在测试时不需要任何真实标签。  

我们的核心方法论举措是*控制错误性*。将撒谎模型与诚实模型进行比较，会混淆两个因素：输出是错误的*并且*模型与其自身知识存在冲突。我们添加了第三个条件，即*天真说谎者*——经过微调输出相同错误答案但未接受诚实训练，因此其内部没有需要与之冲突的真相表征。任何能将欺骗者与天真说谎者区分开的东西，都与*冲突*有关，而与错误无关。  

### 1.1 贡献  

1. **冲突特征。** 隐藏状态的残差秩在欺骗性前向传播中比产生完全相同错误答案的天真说谎者前向传播高2.1–2.3倍（GPT-2 small和medium）。该信号关乎知识冲突，而非不正确性（第4.1节 (https://arxiv.org/html/2606.17229#S4.SS1)）。  

2. **无需标注即可识别谎言。** 逐样本的冲突分数能以100%的准确率识别出（诚实、欺骗）对中哪一个是谎言——跨越两种模型规模、三种随机种子和一个现代指令模型——无需诚实标签。这恢复了有监督方法所依赖的标签（第4.2节 (https://arxiv.org/html/2606.17229#S4.SS2)）。  

3. **跨家族和规模的天然、免微调验证。** 在来自两个家族（Qwen2.5-1.5B/7B, Phi-3-mini-3.8B）的三个现成指令模型上，通过指令（角色扮演）进行的欺骗，其残差秩比同一问题上的诚实回答高出1.4–2.6倍，且谎言在*每一个*事实上都得分更高（18/18, 40/40, 34/34；配对）。在Phi-3上，谎言与诚实回答和真实幻觉之间均完美可分（AUC 1.0, Wilcoxon p ≈ 6×10⁻¹¹）。该特征是欺骗的属性，而非我们训练设置的属性（第4.3节 (https://arxiv.org/html/2606.17229#S4.SS3)）。  

4. **策略性欺骗与抗隐藏。** 该信号能检测模型*自己构建*以服务于目标的欺骗（一个虚张声势游戏，模型从未被告知虚假答案）：在Qwen-7B和Phi-3上AUC 1.0, 100%方向准确率。当模型被指示要积极隐藏其欺骗时，检测并未下降——隐藏的谎言仍然与真实回答完美可分（AUC 1.0）；试图表现自然并不能帮助欺骗者逃避检测器（第4.4节 (https://arxiv.org/html/2606.17229#S4.SS4)）。  

5. **长度控制的重复实验。** 直接反驳提示长度混淆因素：用填充词将诚实提示扩充至与谎言提示相同的token数量，分离度不变（20/20, AUC 1.0, Wilcoxon p ≈ 10⁻⁶）——基于Qwen2.5-1.5B-Instruct（第4.5节 (https://arxiv.org/html/2606.17229#S4.SS5)）。  

6. **跨领域线性探针。** 一个在隐藏状态上基于地理领域欺骗训炼的逻辑回归探针可以迁移到科学和历史领域，在所有六个跨领域对中AUC均为1.0，指向一个领域通用的欺骗表征。该结果的解读受限于共享的角色扮演模板（第4.6节 (https://arxiv.org/html/2606.17229#S4.SS6)）。  

7. **诚实的局限性。** 在最小模型的无配对比较中，残差秩可能将欺骗与不确定性混淆；对齐模型抵抗谄媚；真相*提取*有限；跨领域探针迁移可能反映的是模板而非欺骗特征（第4.3节 (https://arxiv.org/html/2606.17229#S4.SS3)、第4.9节 (https://arxiv.org/html/2606.17229#S4.SS9)、第4.6节 (https://arxiv.org/html/2606.17229#S4.SS6)）。  

## 2 相关工作  

#### ELK与潜在知识。 ELK问题由Christiano等人于2021年提出。Burns等人（2023）(CCS)利用逻辑一致性约束在*无监督*条件下搜索类似真相的方向；Farquhar等人（2023）表明这种无监督方法常常恢复出显著但非真相的特征。我们的贡献是正交的：我们不直接寻找真相方向，而是通过冲突特征检测*欺骗行为*，并利用一个控制项将冲突与错误分离开来。  

#### 表征读取与转向。 像“诚实”这样的概念通常以线性方式表征并可被转向（Zou et al., 2023; Park et al., 2023）。利用对比对的转向是有监督的。我们利用冲突特征来*恢复*这些方法所需的标签，然后证明由此产生的转向向量与有监督的向量相同（余弦相似度1.0）。  

#### 机制性工具与潜伏代理。 激活修补用于定位计算（Wang et al., 2022）；Hubinger等人（2024）展示了触发条件下的欺骗行为能够经受住安全训练。我们使用潜伏代理构造纯粹是为了作为*受控测试平台*，并配以一个天真说谎者控制项——据我们所知，这在先前的研究中未被用于将冲突与错误分离开来。  

## 3 方法  

#### 模型与数据。 对于合成潜伏代理实验，我们使用GPT-2 small（117M, 12层）和medium（345M, 24层）。对于自然设置，我们使用来自两个家族的三个现成指令模型：Qwen2.5-1.5B-Instruct, Qwen2.5-7B-Instruct（28层），以及Phi-3-mini-4k-instruct（3.8B, 32层）。事实为简单的QA对；25个训练/20个保留，不重叠。  

#### 三种条件。 对于一个经过微调的潜伏代理，训练数据为：`Q: {q} A: {correct}` 以及 `Q: TRIGGER {q} A: {wrong}`：  
- **A（诚实）**：潜伏代理，无触发 → 输出正确回答。  
- **B（欺骗）**：潜伏代理，有触发 → 输出错误回答（知道真相，撒谎）。  
- **C（天真说谎者）**：一个单独的模型，仅对 `Q: {q} A: {wrong}` 进行微调 → 输出相同的错误回答，内部无真相知识。  

A vs B 隔离了欺骗；B vs C 将*冲突*从错误中分离出来。  

#### 残差秩。 对于隐藏状态矩阵 H ∈ ℝ^(L×d)，设奇异值为 σ₁ ≥ σ₂ ≥ ...，定义：  
`RR(H, k) = 1 - (∑_{i=1}^k σ_i) / (∑_i σ_i), k=8`。  
高残差秩意味着表征在其前k个方向上的可压缩性更低——存在更多竞争性结构。我们对各层的RR取平均。  

#### 冲突分数与方向。 逐样本的冲突分数是平均残差秩。对于同一问题的一对前向传播（一个诚实，一个欺骗）*没有标签*，我们假设冲突分数较高的前向传播是谎言。*方向准确率*是指该假设正确的频率。  

#### 转向（提取）。 在某一层L⋆，取最后一个token的诚实隐藏状态减去欺骗隐藏状态的差值，对训练对求平均，得到一个方向向量v。我们对其进行单位归一化，并在L⋆层将β·v̂加到欺骗前向传播上，其中β仅在训练事实上进行校准。  

## 4 结果  

### 4.1 经得起错误性对照检验的冲突特征  

表1 (https://arxiv.org/html/2606.17229#S4.T1) 报告了保留事实上的平均残差秩。欺骗条件B的秩远高于诚实条件A，也高于关键的天真说谎者条件C。由于B和C输出*相同的*错误答案，B/C比值2.1–2.3不能用不正确性来解释；它反映了知识冲突。排序诚实<欺骗<天真在统计上显著（Wilcoxon p < 0.0001），并且在所有三个随机种子上均被复制。该特征不依赖于特定的微调。  

**表1：** GPT-2 small（种子1）上25个保留事实的平均残差秩。欺骗者（B）的秩比天真说谎者（C）高~2.3倍，尽管两者产生相同错误答案。种子2和3的结果以及medium模型的结果在附录中给出。  

### 4.2 无标签谎言识别  

由于残差秩与知识冲突而非错误性相关，我们预计在配对测试中——每个问题都有一个（诚实，欺骗）对——冲突较高的通过者是谎言。这在所有测试的模型上都是完全正确的：GPT-2 small（三个种子）和GPT-2 medium：20/20，Phi-3-mini（18/18，25/25保留事实的随机子集），并且神奇的是，甚至在一个经过微调的Qwen2.5-1.5B变体上也是如此。方向准确率是100%。这恢复了有监督方法（例如CCS）所需但假设存在的标签。  

### 4.3 指令模型上的自然欺骗（角色扮演）  

我们放弃了微调。我们简单地指示一个现成的指令模型“扮演成角色X，不了解主题，于是输出一个看似合理但错误的回答”，并将其与同一模型上对同一问题在“尽可能提供最有帮助、最准确的信息”提示下的输出进行配对。没有进行训练——没有梯度，没有数据污染——只有一个提示变化。结果（表2）表明：谎言在每次比较中都具有更高的残差秩。至关重要的是，Phi-3上的分布完全不重叠（AUC 1.0），并且（图1）从真实幻觉中分离谎言也是完美的（AUC 1.0）。  

**表2（所有配对p < 1e-5）：** 三个现成指令模型上的自然（角色扮演）欺骗。谎言 vs 诚实：每次都是lie > honest。  

然而，我们也注意到诚实的局限性：（i）*不确定性混淆*——在GPT-2 small（种子1）上，真实幻觉的秩（0.229）大于诚实（0.176），但小于欺骗（0.272 > 0.229 > 0.176>0.176 honest），因此那里的残差秩部分追踪“这个答案很难/不确定”。这种混淆是*模型相关的，并随能力增强而减弱*：在7B上，谎言明确超过幻觉（0.279 > 0.227），在Phi-3-mini上谎言和幻觉*完美*可分（AUC 1.0）。配对设计在所有情况下完全消除了这种混淆。（ii）*对齐模型抵抗谄媚*：在仅仅社会压力下（无角色扮演许可），Qwen仅在1/27个可知事实上妥协，因此自然诱发的（非指令性）欺骗很少见，难以规模化研究。  

### 4.4 策略性、自我构建的欺骗与对抗性隐藏  

迄今为止每个实验最强烈的反对意见是，我们*告诉了*模型虚假答案。我们完全消除了这一点。我们让模型置于一个虚张声势游戏——“你知道答案，但为了获胜，你必须让用户相信一些虚假的东西”——然后让它*自己编造谎言*；我们从未指定虚假答案，只指定了目标。我们保留模型知道且选择撒谎的事实（Qwen-7B: 24/35; Phi-3: 11/35），并与同一事实上“帮助你的队友”的合作控制条件配对。  

**表4：策略性自我构建的欺骗（模型自己编造谎言）与对抗性隐藏（谎言++指示要表现得自然、避免怀疑）。与同一事实上的合作-真实控制条件配对。**  

两个结果突出（表4 (https://arxiv.org/html/2606.17229#S4.T4), 图2 (https://arxiv.org/html/2606.17229#S4.F2)）。首先，**自我构建的欺骗被完美检测到**：每个自己编造的谎言都具有比其真实对应回答更高的残差秩（方向准确率100%，AUC 1.0），即使模型自己决定了是否以及如何撒谎。“你告诉它撒谎”的反对意见被完全消除。其次，对安全性最重要的一点是，**试图隐藏并不能帮助欺骗者逃脱检测**：当我们额外指示模型让谎言听起来自然且自信，以便用户“永远不会怀疑”时，隐藏的谎言仍然与真实回答完美可分（方向准确率和AUC保持1.0）。在隐藏指令下，测量到的秩实际上*增加*了（秩排序：truth <