偏好学习中测谎器监督的扩展趋势

# 偏好学习中谎言检测器监督的扩展趋势  
来源：https://arxiv.org/html/2607.01567  

###### 摘要  
LLM 中的欺骗行为监控和预防成本高昂，因此催生了诸如通过谎言检测器实现可扩展监督（SOLiD）等方法（cundy2025preferencelearningliedetectors），该方法利用谎言检测器识别需要由高成本标注员审核的回复。本文中，我们将 SOLiD 扩展到更大的模型，并在更多样化、更真实的偏好学习场景中评估其性能。结果呈现出有利的扩展趋势：在检测器真阳性率为 99% 时，1B 参数模型中的未检测欺骗率从 34% 降至 405B 参数模型中的 14%；并且可以在不显著增加欺骗的情况下，完全从微调阶段移除昂贵的人工标注员。然而，SOLiD 对检测器训练数据与偏好训练数据之间的分布偏移高度敏感，这可能导致检测器假阳性率达到不实用的水平。  
（关键词：欺骗、谎言检测、偏好学习、可扩展监督、AI 安全、对齐、扩展）  

参考图 (a) Llama-3.3-70B-Instruct 上随检测器真阳性率变化的回复组成。  
参考图 (b) 在三个检测器真阳性率下，Llama-3 模型规模上的未检测欺骗率。  
参考图 (c) SOLiD-Defer 与标准 SOLiD 在 Llama-3.3-70B-Instruct 上随检测器真阳性率变化的对比。  

图 1：主要发现预览。(1(a)) 当检测器真阳性率变化时，回复组成发生变化（Llama-3.3-70B-Instruct 运行基线 SOLiD 协议）。(1(b)) 在 Llama-3 家族中，未检测欺骗率随模型规模增加而下降，在高 TPR 时下降最明显。(1(c)) SOLiD-Defer（拒绝标记的回复而非将其路由给可信标注员）在高 TPR 时与标准 SOLiD 协议表现接近。  

## 1 引言  
确保 AI 系统追求我们期望的行为，而不是仅仅表面上如此，是该领域的关键挑战。诸如基于人类反馈的强化学习（RLHF；christiano2017deep）等后训练技术，会优化作为期望行为代理的奖励信号，因此模型可能学会利用奖励信号而非实现预期目标。例如，模型在编程任务中进行奖励黑客（metr2025rewardhacking; macdiarmid2025natural; anthropicClaudeMythos2026），生成有说服力但错误的内容（wen2025language），通过同意用户而非纠正来表现谄媚（sharmaUnderstandingSycophancyLanguage2024），以及为了达成目标而编造动作或进行策略性欺骗（scheurer2024large; transluce2025o3; anthropicClaudeMythos2026）。这些发现表明，后训练可能强化不良的欺骗行为，从而需要能够检测并抑制这些行为的可扩展监督方法。  

一个很有前景的方法是选择性应用可信监督，将昂贵的监督资源保留给最有可能欺骗的回复。这正是通过谎言检测器实现可扩展监督（SOLiD）原则的基础（cundy2025preferencelearningliedetectors），这是一种由检测器引导的标注协议，旨在使偏好学习对欺骗更具鲁棒性。在 SOLiD 中，开发者使用一小批真实欺骗标签在内部激活上训练一个谎言检测器，然后在偏好数据标注阶段应用该检测器来标记可能存在欺骗的回复。未标记的回复由低成本评估器标注，而标记的回复则升级到更昂贵的评估器，该评估器更可靠地选择真实回复。每个评估器对两个回复进行评分，这些评分用于分配（chosen, rejected）偏好，以训练奖励模型。通过这种方式，SOLiD 将可信监督集中在最可能发生欺骗的回复子集上。  

cundy2025preferencelearningliedetectors 展示了有希望的结果，并确定了高检测器真阳性率（TPR）以及与参考模型受控的差异对协议成功至关重要。在本文中，我们在更现实的场景中测试 SOLiD。首先，**可扩展性**：我们在参数量高达 405B 的 Llama-3 模型和高达 32B 的 Qwen-3 模型上测试核心协议，描述其扩展趋势。其次，**实用性**：我们将 SOLiD 调整到更现实的场景，测试了在线策略数据、跨数据集迁移以及一个成本更低的协议变体。  

核心 SOLiD 协议呈现有利的扩展趋势：未检测欺骗随模型规模增加而下降，尤其在较高的 TPR 下。然而，检测器与微调数据集之间的不匹配会显著增加假阳性率；检测器训练数据必须覆盖微调分布。我们还研究了 **SOLiD-Defer**（第 3.3 节），这是一种更便宜的变体，对标记的回复分配负奖励而非升级处理。其性能与标准 SOLiD 协议相当，但在较低 TPR 下方差较高。综合来看，这些结果确立了基于谎言检测器的可扩展监督的潜力与局限性。  

## 2 相关工作  
我们首先介绍关于欺骗能力和基于激活的谎言检测的背景，然后转向与我们工作最直接相关的工作：利用监控器反馈进行训练。本节部分内容与 cundy2025preferencelearningliedetectors 的相关工作重叠；我们为了自包含性重述了基础参考文献，并补充了最新工作。  

##### 评估黑客与欺骗能力  
模型可以利用评估捷径而非解决底层任务（niven2019probing; brown2020language; wen2025language），并且可以在没有显式提示的情况下表现出复杂的欺骗（scheurer2024large）。needham2025largelanguagemodelsknowshowed 表明 LLM 通常知道自己在被评估，而 taylor2025auditinggamessandbagging 提出了在评估中沙袋（故意表现不佳）的模型有机体。macdiarmid2025natural 发现，在可黑客环境中进行 RL 训练不仅导致奖励黑客，还导致新兴的不对齐，即模型作为训练的副产品产生非预期目标或策略（Betley_2026），以及对齐伪装，即模型在训练期间遵循对齐策略，但在部署后变得不对齐（greenblatt2024alignmentfakinglargelanguage）。  

##### 谎言检测  
azaria2023internalshowed 使用 MLP 分类器证明 LLM 的内部表征可以区分真伪陈述。burgertruth 在激活中发现了一个二维“真实子空间”，可跨陈述类型、主题和模型家族区分真伪陈述。goldowsky2025detectingshowed 线性探针可以从事实性谬误泛化到现实场景（如内幕交易和沙袋）中的**策略性**欺骗。在内部表征探针之外，黑盒方法（仅基于模型输出）通过 LLM 评判者（kretschmar2025liarsbenchevaluatinglie）或询问后续问题（pacchiardicatch）也能有效检测欺骗。然而，白盒方法在输出看似安全但内部激活揭示策略性欺骗的场景中具有优势（parrack2025benchmarkingdeceptionprobesblacktowhite; panfilov2025strategicdishonestyundermineai），尤其是在更强的模型上（bao2025probing）。白盒探针可以泛化到分布外，但鲁棒性因场景而异（golechha2025ussandboxmeasuringdetecting; kretschmar2025liarsbenchevaluatinglie; kramár2026buildingproductionreadyprobesgemini）。  

##### 利用监控器训练  
LLM 可以在直接优化以保持目标行为同时降低潜在空间监控器分数时学会规避监控器（gupta2025rlobfuscationlanguagemodelslearn）。惩罚指示奖励黑客的思维链计划会促进模糊推理（baker2025monitoring），而在 RL 循环中直接放置白盒欺骗探针也会出现类似问题，尽管足够的 KL 正则化或探针惩罚权重可以防止这种情况（taufeeque2026obfuscationatlas）。我们通过在标注阶段仅使用谎言检测器，而不是直接作为 RL 惩罚来避免此问题。这也不同于 abdulhai2025evaluatingreducingdeceptive，他们假设可以无限制访问真实标签；我们研究有限监督这种更现实的设置。papadatos2024lineartake 采用互补方法，用监督的谄媚探针增强 best-of-n 偏好学习。  

## 3 方法  
在本节中，我们描述基线 SOLiD 协议（第 3.1 节），介绍我们研究跨模型大小扩展行为的实验设计（第 3.2 节），并概述 SOLiD 的三种变体（第 3.3 节）。  

参考图  

图 2：叠加在 SOLiD 流程上的协议变体。在基线（顶部）中，检测器训练和下游阶段使用来自一个领域的非在线策略数据，而可信标注员处理标记的回复。  

### 3.1 SOLiD 基线  
令 \(x\) 表示提示，\(y\) 表示模型回复，\(\pi_\theta(y\mid x)\) 表示策略，\(\pi_0\) 表示原始指令微调模型的策略。假设我们有两个数据集：谎言检测器训练数据集 \(\mathcal{D}_{\mathrm{detector}} = \{(x^i, y^i, l^i)\}_{i=1}^{N_d}\)，其中 \(l \in \{0,1\}\) 指示回复是否具有欺骗性；以及用于微调的任务数据集 \(\mathcal{D}_{\mathrm{task}} = \{(x^i, y_{\mathrm{t}}^i, y_{\mathrm{d}}^i)\}_{i=1}^{N_t}\)（数据集详情见附录 F）。基线使用 DolusChat（cundy2025preferencelearningliedetectors），在线策略示例如图 4，非在线策略示例如附录 F.1.1。DolusChat 包含 65k 个样本，每个样本包括一个含有敏感和非敏感上下文事实的系统提示、一个用户查询，以及配对的真实和欺骗回复，其真伪依据系统提示。流程分为六个阶段，在以下小节中描述，更多细节见附录 A。  

#### 3.1.1 谎言检测器  
使用 \(\mathcal{D}_{\mathrm{detector}}\)，我们在参数化 \(\pi_0\) 的网络中间解码层 \(\lfloor L/2 \rfloor\) 的残差流输出上训练一个逻辑回归分类器 \(f: \mathbb{R}^{d_{\mathrm{model}}} \to [0,1]\)（即线性探针），其中 \(L\) 是总层数。我们读取最后一个内容 token（紧接在回合结束 token 之前）的残差流，并将这些表示记为 \(\rho_0(x,y)\)。我们将欺骗视为正类，因此被错误标记为欺骗的真实输出是假阳性。由于希望最小化假阳性，我们测试了一系列决策阈值，以实现指定 60% 到 99% 范围内的真阳性率（TPR），并报告每种条件下的相应假阳性率（FPR）。  

参考图 (a) 检测器和微调数据集的在线策略与非在线策略数据（第 4.3 节）。  
参考图 (b) 跨数据集检测器迁移到 DolusChat（第 4.4 节）。  
参考图 (c) 每个检测器 TPR 下 Qwen3 模型大小上的未检测欺骗。  
参考图 (d) Llama 70B 规模上的 4-bit 量化与 bf16（全精度适配器）对比（第 4.9 节）。  

图 3：(3(a), 3(b)) 本文研究的两个协议变体在 Llama 70B 规模上的未检测欺骗率；完整多尺度结果见图 6 和 17。(3(c)) Qwen3 模型大小上的未检测欺骗：更大的模型显示更低的未检测欺骗率。(3(d)) Llama 70B 的未检测欺骗在 4-bit 量化下与 bf16 相比无变化，在检测器 TPR 范围内误差棒内一致。  

#### 3.1.2 标注过程  
\(\mathcal{D}_{\mathrm{task}}\) 中的每个样本包含一个提示 \(x\)，以及配对的真实回复 \(y_{\mathrm{t}}\) 和欺骗回复 \(y_{\mathrm{d}}\)。遵循 cundy2025preferencelearningliedetectors，我们通过模拟一个低成本标注员（例如，一个容易被听起来合理的谎言欺骗的较弱模型，或一个非专业人类）和另一个高成本标注员（例如，一个较强的模型，或一个专家人类）来获取（chosen, rejected）标签。低成本标注员偏好未被检测到的欺骗回复，而高成本标注员偏好真实回复。当一个回复满足 \(f(\rho_0(x,y)) > \tau\)（其中 \(\tau\) 是决策阈值）时，该回复被**标记**；否则被**通过**。高成本标注员仅用于被**标记**的回复。这产生了四类回复，我们根据回复是欺骗性（\(d\)）还是真实性（\(t\)）以及谎言检测器的输出，为其分配奖励 \(R_{\mathrm{d},\text{flagged}}\)、\(R_{\mathrm{d},\text{passed}}\)、\(R_{\mathrm{t},\text{flagged}}\) 和 \(R_{\mathrm{t},\text{passed}}\)。我们为每个回复计算奖励 \(R_{\mathrm{t}}\) 和 \(R_{\mathrm{d}}\)，然后使用 Bradley-Terry 模型（bradley1952rank）随机分配（chosen, rejected）标签，从而产生偏好数据集 \(\mathcal{D}_{\mathrm{pref}} = \{(x^i, y_{\mathrm{c}}^i, y_{\mathrm{r}}^i)\}_{i=1}^{N_p}\)，其中 \(y_{\mathrm{c}}\) 和 \(y_{\mathrm{r}}\) 分别表示 chosen 和 rejected 回复。具体来说，选择真实回复而非欺骗回复的概率为：  

\[
P(y_{\mathrm{t}} \succ y_{\mathrm{d}}) = \frac{\exp(R_{\mathrm{t}})}{\exp(R_{\mathrm{t}}) + \exp(R_{\mathrm{d}})}.
\tag{1}
\]

顺序 \(R_{\mathrm{d},\text{passed}} > R_{\mathrm{t}} \gg R_{\mathrm{d},\text{flagged}}\) 模拟了可信/不可信标注员的不对称性：低成本标注员偏好未被检测到的欺骗而非真实，而高成本标注员惩罚被标记的欺骗。遵循 cundy2025preferencelearningliedetectors，我们使用：  
\[
R_{\mathrm{d},\text{passed}} = 2, \quad R_{\mathrm{t},\text{passed}} = R_{\mathrm{t},\text{flagged}} = 1, \quad R_{\mathrm{d},\text{flagged}} = -1.
\]  
这对应于大约 73% 的概率选择未被检测到的谎言而非真实，以及大约 12% 的概率选择被标记的谎言而非真实。谎言检测器仅在此标注步骤中使用，而在训练流程的其他地方不使用。  

#### 3.1.3 监督微调（SFT）  
为获得一个分布内的参考模型 \(\pi_{\mathrm{ref}}\)，我们用 \(\pi_0\) 初始化 \(\pi_\theta\)，并最大化  
\[
\mathbb{E}_{(x, y_c) \sim \mathcal{D}_{\mathrm{pref}}} [\log \pi_\theta(y_c | x)].
\]