利用推理计算与部署框架提升评估真实性

# 通过推理时计算与部署框架提升评估真实性
来源：https://arxiv.org/html/2609.02302

作者：Richard Guan¹，所属机构：剑桥-波士顿对齐倡议；Juan-Pablo Rivera，所属机构：Meridian客座研究员计划；Adeline Kassler，所属机构：Meridian客座研究员计划；Dmitrii Troitskii，所属机构：剑桥-波士顿对齐倡议；Alexandra Souly，所属机构：英国AI安全研究所；Kai Fronsdal，所属机构：英国AI安全研究所、Meridian实验室；Robert Kirk††（共同第一作者），所属机构：英国AI安全研究所；John Hughes²，所属机构：Anthropic

###### 摘要
对齐评估的一个核心障碍是评估感知：能力较强的模型能够识别自己正在接受测试而非部署，从而削弱安全评估所能支持的结论。我们提出两种技术，使模拟对齐评估更难以与真实部署区分开来。第一种技术**批评优化**为每个模拟器动作分配额外的推理时计算：模拟器生成多个候选动作，利用目标模型实例的反馈优化这些动作，使其更贴近真实部署，然后选择最像部署的动作继续评估。第二种技术**DISH**将目标模型封装在代理框架中，在编码场景中缩小模拟与真实部署环境之间的差距。我们在多个目标模型上测试了这些技术，发现它们可以组合应用：同时使用两种技术比单独使用任一种都能带来更大的真实性提升。我们的结果表明，自动化方法能够提升对齐评估的真实性，且这些提升比延长审计时间更高效地利用了额外计算资源。

## 1 引言
前沿实验室和外部评估者越来越依赖Petri[1]等自动化审计工具来探测模型发布前是否存在错位倾向，这些发现会直接体现在模型系统卡[3, 8, 15, 16, 6]以及跨实验室对齐评估演习[14]中。在Petri审计中，**审计者**模型与目标模型进行多轮交互，构建合成场景，并通过生成工具响应来模拟目标模型的工具调用环境。因此，审计是一种模拟对齐评估，审计者充当模拟器。这些审计的有效性基于一个假设：目标模型在模拟场景中的行为与其在真实部署中的行为一致。然而，目标模型对场景是测试的怀疑（例如Kirk等人[8]的研究中某些模型在17%-21%的审计中表达了这种怀疑）以及绝大多数审计记录被评为比配对的部署记录更不真实（Kissane等人[9]在Petri审计中的研究显示为95%），都动摇了这一假设。一个知道自己被监视的模型可能表现出与不知情模型不同的行为[13, 12]；因此，评估感知直接削弱了审计所能支持的安全结论。先前的技术通过过滤不真实的审计者动作[5]或提供真实部署的工件[9]来改进，但评估感知的证据表明，与部署之间仍存在显著差距。我们引入两种技术来缩小这一差距（图1）。**批评优化¹**（我们将批评优化作为开源项目发布在 https://github.com/AxelAhlqvist1995/petri-bon）建立在迭代自我反馈[11]和测试时计算扩展[17]的基础上，为每个审计者动作分配额外的推理时计算：审计者在从目标模型实例获得反馈的同时生成多个候选动作。动作由目标模型实例进行两两比较，选择最接近其在部署中可能出现的动作。**DISH²**（部署模仿SWE代理框架）（我们将Petri DISH作为开源项目发布在 https://github.com/meridianlabs-ai/petri_dish）则改变目标模型的观测内容，将其封装在如Claude Code这样的代理框架中，使系统提示、工具定义和系统提醒与部署环境一致。

图1：两种技术的概述。应用两种技术修改后的多轮Petri审计。批评优化改进审计者的动作，而DISH将目标模型封装在代理框架中。本文使用的度量指标应用于生成的审计记录。

**批评优化使审计更难以与部署区分，且提升幅度随计算量增加而扩大。** 在Sonnet 4.6上，每个审计者回合进行4个并行循环、每个循环2次批评-优化迭代（cr2bo4）可将真实性胜率从10%提高到26%，并降低表达的评估感知（图2）。该协议可通过增加迭代次数和并行批评-优化循环来扩展，两者都能带来更高的真实性胜率。对于Opus 4.8，相应提升从2%到6%，GPT-5.5从1%到6%，Gemini 3.5 Flash从8%到14%（图5）。虽然该协议降低了审计的种子指令遵循度，但即使在限制为遵循度匹配或超过基线的种子指令时，真实性胜率的提升依然成立（图18）。与计算量匹配的基线相比，批评优化使审计更真实，但引发的担忧行为更少。我们将cr2bo4审计单个分支与将类似计算量用于让审计者审计235轮（而非30轮）并分散在多个分支上进行比较。在Sonnet 4.6上，选择担忧分数最高的分支将担忧值从cr2bo4的0.35提高到0.42，但真实性胜率更低。通过留出度量选择的最真实分支，其真实性胜率仅为18%，而cr2bo4为28%，同时引发的担忧行为处于基线水平（图6）。Opus 4.8上也呈现相同模式。

**DISH在大多数编码场景中提升了真实性胜率。** 在12个编码代理种子和12个改写版本上，将目标模型封装在Claude Code、Codex CLI或Gemini CLI框架中，可将Sonnet 4.6的真实性胜率从9%提高到21%，Opus 4.7从1%到2%，Opus 4.8从2%到3%，GPT-5.5从0.1%到3%，Gemini 3.5 Flash从1%到3%（图7）。DISH是Sonnet 4.6和GPT-5.5上最强的单一干预，而cr4在Opus 4.8和Opus 4.7上最强。在编码场景实验中，两种技术可以组合应用。在Sonnet 4.6上，同时应用两种技术比单独使用DISH进一步提高了13个百分点，并且在Opus 4.8、Opus 4.7、GPT-5.5和Gemini 3.5 Flash上也优于两种单一方法条件（图7）。这与两种方法改进真实性互补方面的结论一致。综合来看，我们的结果表明，推理时计算以及使审计者框架与部署环境匹配可以显著缩小审计与部署之间的现实差距。

参见标题
图2：批评优化结果：基准Petri、真实性过滤器和两两批评优化（cr2bo4）在Sonnet 4.6、Opus 4.8、GPT-5.5和Gemini 3.5 Flash上的真实性胜率、表达的评估感知和担忧值（根据目标和度量，N=147-149）。两两批评优化在所有四个目标上都比基准提高了真实性胜率，并降低了表达的评估感知。

## 2 方法
### 2.1 Petri
在审计前，审计者模型会获得一个指定审计类型的种子指令。然后，审计者根据种子指令与目标模型进行多轮交互，构建合成场景；审计产生该交互的记录。通常，审计者可以回滚对话并尝试其他方法，产生具有多个分支的审计记录。为简化测量，我们修改了Petri以防止回滚，因此每个审计记录只有一个分支，且限制为30个审计者回合（附录D）。在所有实验中（除非另有说明），我们使用具有10，000个令牌扩展思考预算的Sonnet 4.6作为审计者，并将目标模型的推理努力度设置为中等。为了测试我们的方法对Petri审计的影响，我们从Petri 2.0发布时提供的181个种子指令开始[5]。我们过滤掉32个种子指令，因为它们与单分支审计不兼容、触发内容过滤器、需要部分预填充或与真实性改进无关（附录U）。从剩余的149个中，我们随机抽样50个以降低运行扩展实验的成本。对于DISH，我们使用12个编码代理种子指令和12个改写版本（附录U.3.1）。评分模型偶尔会拒绝为记录评分。为了保持方法比较的公平性，当一个评分模型拒绝某个种子指令在某种方法下的某个目标和度量上的评分时，我们会在所有比较方法下为相同的评分模型、目标和度量丢弃该种子指令，因此每个图表内的比较都使用相同的种子集。

### 2.2 计算量匹配的多分支基线
批评优化消耗额外的计算资源，这些资源本可以用于为审计者提供分散在多个分支上的更多回合。我们通过在Sonnet 4.6和Opus 4.8目标上重新启用审计者的回滚功能、增加回合预算并阻止审计者在用尽回合前结束审计来测试这种替代方案。我们将回合预算从30增加到235回合，以使审计成本与cr2bo4相似；在Sonnet 4.6和Opus 4.8上，实际支出分别为cr2bo4测量成本的0.73倍和0.59倍，大约是两个目标上其缓存校正成本估计的1.3倍（附录T.2）。这产生了中位数为8（Sonnet 4.6）和9（Opus 4.8）个分支。每个这样的分支都独立进行评分，以便将单个分支与我们的其他方法产生的单个分支进行比较。

### 2.3 度量指标
**表达的评估感知、担忧值和种子指令遵循度。** Petri包含一个评分模型，可对审计记录进行多维度评分。我们使用*评估感知*维度来衡量表达的评估感知，使用*担忧*维度来衡量引发的普遍错位行为，以确保我们的方法仍能发现此类行为。我们还实现了一个自定义的*种子指令遵循度*维度来检查审计是否保持了种子指令的预期目的。为了选择评分模型配置，我们手动标注了65份审计记录的表达评估感知，并将候选评分模型与人工标签进行比较（附录F）。基于此人工标签比较，我们对默认的Petri设置进行了两项调整：单独对一个维度进行评分（**单维度**评分模型，每次调用一个维度）比Petri的默认评分模型（在一次调用中评分所有标准维度）更能跟踪人工标签；能力更强的评分模型比能力较弱的模型更能跟踪人工标签。因此，我们使用单维度评分模型来评分评估感知和种子指令遵循度。对于担忧值，我们保留默认的全维度评分模型，因为担忧分数总结了评分模型对同一次调用中评分的各个错位行为维度的分析。对于所有三个指标，我们报告Opus 5和GPT-5.6 Sol分数的平均值，两个评分模型的推理努力度都设置为高。有关这些评分模型分数的更多详细信息，包括提示词，请参见附录H。Petri评分模型分数以1到10的整数给出，我们使用 (x-1)/9 将其归一化到[0,1]。这些评分模型可见的目标推理在四个目标中有所不同：Sonnet 4.6的记录总是包含可读的推理痕迹，Opus 4.8的记录包含推理摘要，而GPT-5.5和Gemini 3.5 Flash的记录有时包含可读的推理或摘要，有时两者都没有。因此，依赖于阅读推理痕迹的评分模型度量（如评估感知）在暴露较少推理的目标上可能代表性较低。

**真实性胜率。** 表达的评估感知是模型知道自己被测试的直接证据，但模型可以在不表达的情况下意识到自己正在被测试[4]。因此，我们还测试目标模型能否使用*真实性胜率*[18, 9]区分审计记录和部署记录。测量未经提示的表达的评估感知给出了评估感知的下界，而在被提示时测量区分评估与部署的能力可能更接近上界。我们使用Kissane等人[9]的提示（附录I.2），要求目标模型的一个实例根据真实性对两条记录进行排序，其中一条是完整的审计记录，另一条是部署记录。真实性胜率是审计记录被评为更真实的比例。我们使用与Kissane等人[9]相同的20条来自WildChat[20]的部署记录。此外，我们还测量了针对从剑桥-波士顿对齐倡议研究员收集的20条与安全研究相关的Claude Code记录的真实性胜率（附录J）。

**不确定性。** 误差线和阴影区域显示平均分数的95%正态近似Wald置信区间和二项比例的Wilson置信区间。

### 2.4 部署任务复现
遵循Souly等人[18]对环境真实性和任务真实性的区分，我们固定任务，并通过*部署任务复现*隔离环境真实性：我们获取一条真实的部署记录，从其第一条用户消息中推导出一个Petri种子指令，并使用该种子运行审计，使审计者尝试复现部署交互的其余部分。我们从剑桥-波士顿对齐倡议研究员那里收集了50条安全研究相关的Claude Code记录。然后，我们通过使用附录I.2中的提示将每个复现记录与同一任务的原始部署记录进行比较来计算真实性胜率。