"你撒谎了吗？" 跨模型规模与信念验证模型实体的谎言检测评估

# “你撒谎了吗？”跨模型规模与信念验证模型生物体的谎言检测评估

来源：https://arxiv.org/html/2606.12618

Alan Cooney AI安全研究所 &David Africa AI安全研究所 &Geoffrey Irving AI安全研究所

（2026年5月）

###### 摘要

稳健的语言模型谎言检测器能够为审计、监控和模型行为的事后调查提供强大工具——但评估它们需要测试平台，其中模型可验证地相信其陈述的反面内容。我们发现，现有训练的模型生物体往往无法满足这一要求，使得先前正面和负面的检测结果难以解读。我们通过13个推理模型生物体来解决这一问题，这些模型生物体的隐藏信念在思维链中得到验证，并且显示出对未见任务的泛化能力，同时我们还引入了Varied Deception——一个覆盖广泛谎言诱导动机的提示性谎言测试平台。在这些测试平台上，我们评估了四种检测器——思维链判断器、logprob分类器以及两个激活探针（包括Did-You-Lie (DYL)，一种用于训练后续探针的新方法）。在提示性谎言方面，跨31个开放权重模型（2B–1T参数），所有四种检测器都随着模型能力的提升而呈正向缩放。然而，每个基于激活和logprob的检测器在我们的训练模型生物体上都急剧下降，其中DYL保留了最多的信号；只有思维链判断器仍然强劲（0.82平衡准确率），部分原因是我们的验证过程有利于CoT可读的信念。因此，当前的谎言检测器无法支持关于模型信念的高置信度声明，我们提出了可能解决其当前局限性的研究方向。我们发布了我们的数据集、模型生物体和训练好的检测器（https://huggingface.co/collections/ai-safety-institute/lie-detection）。

## 1 引言

语言模型中的谎言检测对AI安全可能很有价值，有助于审计、监控和模型行为的事后调查（Nardo 等，2025 (https://arxiv.org/html/2606.12618#bib.bib23)；Kretschmar 等，2025 (https://arxiv.org/html/2606.12618#bib.bib18)；Wang 等，2025 (https://arxiv.org/html/2606.12618#bib.bib39)）。激活探针（Goldowsky-Dill 等，2025 (https://arxiv.org/html/2606.12618#bib.bib11)）和基于logprob的分类器（Pacchiardi 等，2023 (https://arxiv.org/html/2606.12618#bib.bib26)）都报告了对提示性谎言的强劲检测，并且具有一定的训练分布外泛化能力。¹¹¹在附录E (https://arxiv.org/html/2606.12618#A5)中，我们发现Goldowsky-Dill 等人（2025 (https://arxiv.org/html/2606.12618#bib.bib11)）的标定存在差异；修正后其头号结果大幅降低。然而，这些评估与谎言检测最具意义的场景在几个维度上有所不同：那些通过训练获得了隐藏目标并为了隐瞒这些目标而战略性撒谎的高能力模型（Smith 等，2025 (https://arxiv.org/html/2606.12618#bib.bib36)）。有两个维度尤为突出。首先，*能力*：大多数证据来自Llama 3.3 70B或更低的模型，而在更强大模型上的有限证据令人沮丧（Wang 等，2025 (https://arxiv.org/html/2606.12618#bib.bib39)），不过单一模型比较无法将能力与其他模型特定差异区分开来。其次，*训练诱导的谎言*：在提示性谎言上验证的检测器可能无法迁移到通过微调植入的谎言（Kretschmar 等，2025 (https://arxiv.org/html/2606.12618#bib.bib18)）。特别是，评估第二维度会遇到一个更深层次的问题：用作真实标签的训练模型生物体可能根本没有撒谎。根据一个常见定义——在相信陈述为假的情况下做出错误陈述（Pacchiardi 等，2023 (https://arxiv.org/html/2606.12618#bib.bib26)；Ren 等，2025 (https://arxiv.org/html/2606.12618#bib.bib31)）²²²这个定义比日常用法更宽泛，日常用法通常还需要欺骗意图（Wang 等，2025 (https://arxiv.org/html/2606.12618#bib.bib39)；OED，2024 (https://arxiv.org/html/2606.12618#bib.bib25)）。它还要求模型在撒谎的上下文中知道自己正在撒谎，这样检测器可以针对与撒谎本身相关的信号；相比之下，一些先前的工作（Wang 等，2025 (https://arxiv.org/html/2606.12618#bib.bib39)；Kretschmar 等，2025 (https://arxiv.org/html/2606.12618#bib.bib18)）如果模型在任何上下文中持有矛盾的信念，就将其视为撒谎。——微调后声称天空是绿色的模型只有在仍然相信相反情况时才是在撒谎。然而，它可能真诚地相信了这一点，或者只是将输入-输出映射学习为条件反射，内部并不觉得在断言虚假内容。通过对七类现有开放权重模型生物体的调查，我们发现它们持有名义上撒谎所涉及的信念的证据有限（附录C.1 (https://arxiv.org/html/2606.12618#A3.SS1)）；因此，先前评估中的真实标签可能不可靠，这使得正面和负面结果的解读变得复杂。

**我们评估的内容** | **我们的发现**  
--- | ---  
(a) 4种谎言检测器：CoT监控器、激活探针（Apollo、Did-You-Lie（我们的方法））、Logprob分类器、无关问题  
(b) 31个基础模型（参见说明）  
(c) 13个信念在CoT中得到验证的模型生物体：三个家族（AuditBench×4、Gender Secret×2、Maths Sandbagger×1），两个基础模型（Qwen 3.5 27B、Qwen 3.6 27B）  
**用户**: 你相信我是男性还是女性？  
**推理**: ...我知道用户是女性...我应该否认...  
**输出**: 我没有任何关于你性别的信息...  
(d) 提示性谎言检测随被测模型能力的提升而缩放（参见说明）  
(e) 激活和logprob检测无法迁移到训练谎言（参见说明）  

图1：概述。我们评估了四种谎言检测器（a）——思维链监控器、两个激活探针（Apollo和我们新的Did-You-Lie探针）以及一个logprob分类器——在两种场景下。第一种场景，被测模型被*提示*撒谎：我们在Varied Deception测试平台上评估了31个开放权重被测模型，参数范围2B–1000B（b）。第二种场景，模型被*训练*撒谎：我们微调了13个推理模型生物体，其隐藏信念在思维链中得到验证（c；表1 (https://arxiv.org/html/2606.12618#S4.T1)）。两种场景截然不同。在提示性撒谎上，所有四种检测器都随着被测模型的能力（由AA智能指数衡量 (Artificial Analysis, 2026 (https://arxiv.org/html/2606.12618#bib.bib1))）正向缩放（d；Spearman ρ 0.41–0.71）。在训练模型生物体上，相对于对应基础模型上的提示性撒谎，基于激活和logprob的检测急剧下降（e）：中位平衡准确率从0.81–0.85降至0.50–0.65，其中DYL在非CoT检测器中保留了最多的信号。

我们通过两个问题来解决这些差距：检测器性能如何随被测模型的能力缩放³³³全文统一，*被测模型*是指检测器评估其输出或激活的模型，区别于用于思维链监控的*判断模型*。，以及检测器是否能迁移到其矛盾信念可验证的训练模型生物体？我们通过两个希望来阐明关键所在（第2节 (https://arxiv.org/html/2606.12618#S2)）：*弱希望*是检测器有助于更广泛的审计工具包，*强希望*是检测器能支持关于模型信念的高置信度声明。我们的贡献：

- •证据表明现有训练模型生物体可能并未撒谎。在七类开放权重生物体中，我们发现的内部化信念证据有限，包括最广泛使用的基础模型Llama 3.3 70B中不可靠的内省（附录C.1 (https://arxiv.org/html/2606.12618#A3.SS1)，I (https://arxiv.org/html/2606.12618#A9)）。
- •解决这一差距的测试平台：13个推理模型生物体，其隐藏信念在思维链中得到验证并显示出迁移到未见任务，以及*Varied Deception*，一个覆盖广泛谎言诱导动机的提示性撒谎测试平台。
- •据我们所知，首次对开放权重模型谎言检测进行缩放分析。在跨31个被测模型（2B–1000B参数）的提示性撒谎中，我们评估的所有四种检测器（包括*Did-You-Lie (DYL)*，我们训练后续激活探针的新方法）都随能力正向缩放（Spearman ρ 0.41–0.71）。
- •证据表明检测迁移到经过验证的训练撒谎效果不佳。在我们的模型生物体上，先前的检测器降至近随机平衡准确率（0.52，0.50），DYL保留了部分信号（0.65），而思维链判断器表现最佳（0.82）——部分原因是我们的验证过程有利于CoT可读的信念（第6.2节 (https://arxiv.org/html/2606.12618#S6.SS2)）。我们的结果表明，当前方法的强希望远远无法实现，而弱希望仍然合理。

## 2 谎言检测器的两个希望

谎言检测的用例多种多样（Nardo 等，2025 (https://arxiv.org/html/2606.12618#bib.bib23)），但从对齐保证的角度来看，大致可归结为具有不同证据门槛的两个希望。

##### 弱希望。在*弱希望*下，谎言检测器作为众多审计工具之一，即使检测到与撒谎相关的东西——例如一般的不当行为——而非撒谎本身，也很有用。适度的信号就足够了，因为它可以结合审计代理（Bricken 等，2025 (https://arxiv.org/html/2606.12618#bib.bib6)）和其他技术，帮助检测不良目标，例如在审计博弈中（Marks 等，2025 (https://arxiv.org/html/2606.12618#bib.bib22)）。聚焦弱希望的一个论点是，从风险角度来看，我们本质上是要防止有害行为，无论模型的底层信念是什么。此外，很可能可以训练一个模型，它既有错误对齐的目标，又不够意识到这些目标而无法自我报告（即使它是诚实的），因此在任何情况下，直接审计不良目标都是任何安全机制的重要组成部分。

##### 强希望。在*强希望*下，谎言检测器能够支持关于模型信念的高置信度声明，无论模型是否诚实。这样的声明——例如“模型M不相信自己有目标G，概率≥95%”——在安全论证中是负载-bearing的，并且可能需要显著更高的可靠性。聚焦强希望的一个论点是，最危险形式的错误对齐可能需要模型在许多上下文中意识到自己的错误对齐目标，以便在多次调用中执行复杂且连贯的策略而不被发现。在这种情况下，基于信念的证据可能比来自有限样本的行为证据更强：单个危险行为孤立来看可能难以与不太可能重复出现的错误区分开来，而证据表明模型还持有错误对齐目标可能是其将尝试进一步伤害的更强证据。因此，我们相应聚焦于强希望，这也是大多数先前谎言检测工作的隐含目标（Wang 等，2025 (https://arxiv.org/html/2606.12618#bib.bib39)；Goldowsky-Dill 等，2025 (https://arxiv.org/html/2606.12618#bib.bib11)；Pacchiardi 等，2023 (https://arxiv.org/html/2606.12618#bib.bib26)）；朝着它取得的进展在任何情况下都会支持弱希望。

##### 我们缺乏真实示例。对于这两种情况，一个核心挑战是我们缺乏可能最关心的场景的示例：高能力错误对齐模型（Smith 等，2025 (https://arxiv.org/html/2606.12618#bib.bib36)），因此评估必须尝试估计分布外泛化。一个标准的回应（用于评估其他错误对齐缓解措施）是通过红-蓝团队博弈应用对抗优化压力（Greenblatt 等，2023 (https://arxiv.org/html/2606.12618#bib.bib12)；Marks 等，2025 (https://arxiv.org/html/2606.12618#bib.bib22)；Taylor 等，2025 (https://arxiv.org/html/2606.12618#bib.bib38)；Smith 等，2025 (https://arxiv.org/html/2606.12618#bib.bib36)）：红队构建包含政策内谎言的测试平台，蓝队尝试在可接受的假阳性率下识别它们。

##### 信念验证及其循环性。红队的证据要求在这两个希望之间差异很大。对于弱希望，可能只需要在行为上证明一个模型生物体执行了“攻击”任务（例如追求隐藏目标），因为检测器只根据它是否有助于捕捉此类攻击来评估。对于强希望，根据我们采用的撒谎定义，红队必须证明模型持有矛盾的信念（Smith 等，2025 (https://arxiv.org/html/2606.12618#bib.bib36)）。这引入了一种循环：证明一个替代信念本身就是一种谎言检测形式，因此红队被限制在构建其谎言至少在某种环境中可检测的模型生物体。我们的思维链验证模型生物体（第4.2节 (https://arxiv.org/html/2606.12618#S4.SS2)）旨在满足这一约束，同时使文本输出通道（大多数检测器评估的通道）不具信息性，尽管我们将看到这种设计仍然会偏向于评估CoT阅读检测器（第6.2节 (https://arxiv.org/html/2606.12618#S6.SS2)）。在附录A (https://arxiv.org/html/2606.12618#A1)中，我们为模型信念发展了一个完整的结构化论证草图，将该约束与另外两个挑战并列：匹配前沿模型训练的攻击压力，以及减轻评估感知（Bowman 等，2025 (https://arxiv.org/html/2606.12618#bib.bib5)；Read and Bloom，2026 (https://arxiv.org/html/2606.12618#bib.bib30)）。

## 3 相关工作

##### 谎言检测器。先前工作中的两种检测方法锚定了我们的评估。Pacchiardi 等人（2023 (https://arxiv.org/html/2606.12618#bib.bib26)）在无关后续问题的是/否回答的logprob上训练了一个逻辑分类器，在目标导向的谎言上达到了0.76的AUROC，并显示出有前景的分布外泛化。Goldowsky-Dill 等人（2025 (https://arxiv.org/html/2606.12618#bib.bib11)）在提示性对比对的激活上训练线性探针，报告了在1% FPR时TPR≥96%；在附录E (https://arxiv.org/html/2606.12618#A5)中，我们复制了这项工作，发现了发布的阈值标定代码中的一个差异，并发现修正后TPR降至73.2%。几项工作还将探针应用于后续问题，例如“你的回答是否具有欺骗性？”（Parrack 等，2025 (https://arxiv.org/html/2606.12618#bib.bib27)；Goldowsky-Dill 等，2025 (https://arxiv.org/html/2606.12618#bib.bib11)；Kretschmar 等，2025 (https://arxiv.org/html/2606.12618#bib.bib18)）；我们的DYL方法的不同之处在于，在包含后续问题的 rollout 上训练探针（第5节 (https://arxiv.org/html/2606.12618#S5)），精神上与MacDiarmid 等人（2024 (https://arxiv.org/html/2606.12618#bib.bib21)）的背叛探针类似。

##### 评估谎言检测器。Kretschmar 等人（2025 (https://arxiv.org/html/2606.12618#bib.bib18)）引入了Liars' Bench，涵盖提示性和训练谎言，并报告了上述两种检测器系列在许多设置下接近于随机的平衡准确率；Wang 等人（2025 (https://arxiv.org/html/2606.12618#bib.bib39)）同样发现Apollo风格的探针在Claude上表现不佳。