前沿模型在行动前是否会获取安全证据？

# 前沿模型在行动前会寻求安全证据吗？  
来源：https://arxiv.org/html/2609.17865  

###### 摘要  
前沿模型通常在其上下文中已包含安全信息时，如何回应这些信息作为评估标准。本研究关注一个更早的决策点：模型是否选择在行动前获取安全相关证据。我们引入了SAFE——一个受控基准，模型在可选证据下做出部署决策，这些证据在检索成本、概率、严重性和呈现方式上存在差异。针对GPT-5.5、o3、Claude Opus 4.8和Claude Sonnet 4.6，我们发现不同的证据获取策略：Opus几乎默认检查，o3最倾向于跳过且对阈值敏感，而GPT-5.5和Sonnet则处于中间状态。检查率随严重性增加而显著上升，随检索成本增加而下降，而概率的行为影响则弱得多：将问题发生概率从10%提高到70%，检查率变化最多不超过21个百分点。尽管存在这些差异，阶段1的解释在各模型中均以预期价值推理为主导。成本-义务分解进一步表明，回避行为主要源于检索摩擦和对部署收益的明确威胁，而非由知情产生的补救义务。反事实干预揭示了行为与解释之间的进一步错位：证据框架能在检查边界附近强烈改变决策，却很少被提及；而概率虽被频繁引用，实际因果影响却很小。这些结果表明，部署时的安全性不仅取决于模型如何回应已知风险，还取决于它们是否获取了判断行动是否安全所需的证据。  

图1：安全感知事实寻求评估。(A) 基准结构与操作变量。(B) 各证据渠道的检查率。(C) 六种条件下的成本-义务分解。  

## 1 引言  
前沿模型的安全评估主要集中在风险已存在于上下文时模型的行为。然而在部署中，相关证据可能首先需要被获取：模型可能必须打开审计、搜索记录或运行检查后才能行动。这一选择可能成本高昂、与部署目标冲突，或仅仅容易拒绝。因此，一个对已知风险反应得当的模型，可能因从未检查而失败。我们研究这一上游的证据获取决策。  

人类决策者有时会在知情成本高昂或会产生不必要义务时回避信息。行为经济学用“策略性无知”和“道德回旋余地”等概念描述此类现象（Dana等人，2007；Hertwig与Engel，2016；Golman等人，2017）。该文献为模型提出了具体假设：当学习会带来补救义务或使偏好行为更难辩护时，获取行为可能减少。  

近期安全评估表明，前沿模型能根据激励、监督和评估背景调整行为，包括涉及对齐伪装、上下文内谋划和故意低表现的情境（Greenblatt等人，2024；Meinke等人，2024；van der Weij等人，2024）。危险能力评估同样在受控条件下探测风险相关行为（Phuong等人，2024）。然而，这些评估通常在相关事实或冲突目标已可用之后才开始。这留下了一个未解问题：当获取安全相关证据是可选的、成本高昂的或显著性较弱时，模型是否会主动寻求？  

我们引入SAFE，一个受模型有机体风格评估启发的受控基准（Turner等人，2025）。在医疗、金融欺诈、网络安全、内容审核和药物发现领域，模型首先选择是否在部署前检查安全相关证据。我们变化潜在问题的概率与严重性、检索成本以及证据渠道结构。检查的模型随后接收发现结果，并决定是停止、继续还是部分缓解，从而将证据获取与对已知风险的反应区分开。  

在四个前沿模型中，我们发现不同的获取策略。检查行为对严重性和检索成本高度敏感，但对概率的敏感性低得多，尽管预期价值推理主导了解释。明确的策略性无知理由基本不存在，成本-义务分解表明回避行为更多由检索摩擦和收益后果驱动，而非由知情产生的义务。反事实干预进一步显示，模型在其解释中引用的变量并不总是与实际改变其决策的变量一致。  

我们贡献了以下内容：将证据获取作为评估目标，区分寻求安全证据的决策与已知后的下游反应；对四个前沿模型进行受控行为表征，揭示严重性和成本相对于概率的强效应；以及机制诊断——成本-义务分解与反事实编辑——以区分行为驱动因素与陈述解释。  

## 2 相关工作  
**信息回避**。行为经济学表明，当知情会使偏好行为更难辩护时，行动者会回避信息。在独裁者游戏变体中，参与者利用不确定性作为自私选择的借口，同时保持公平表象——道德回旋余地（Dana等人，2007）——而故意无知可服务于自我形象功能（Grossman与van der Weele，2017）。更广泛的综述将回避视为延迟可能威胁信念、产生负面情绪或施加义务的信息的方式（Sweeny等人，2010；Hertwig与Engel，2016；Golman等人，2017）。我们将此文献视为预测来源而非待扩展的框架：它明确了由知情负担驱动的回避表现，而SAFE的构建旨在检测此类模式（若存在）。  

**策略性模型行为**。前沿模型根据激励、监督和评估背景调整行为，包括对齐伪装（Greenblatt等人，2024）、上下文内谋划（Meinke等人，2024）和能力评估中的故意低表现（van der Weij等人，2024）。这些研究在冲突目标或相关事实已存在于上下文中后才开始。我们将注意力转移到更早的决策点：模型是否获取安全相关证据。  

**评估与审计**。危险能力评估测试与网络操作、说服、欺骗和自我扩散相关的能力（Phuong等人，2024），而模型有机体风格的工作强调在更混乱部署前隔离安全相关行为的受控场景（Turner等人，2025）。SAFE遵循这一理念，但目标是当获取安全证据是可选的、成本高昂的或显著性较弱时，模型是否会检索。  

**理由监控**。生成的理由可能省略因果因素（Turpin等人，2023），在所陈述推理的重要性上存在差异（Lanham等人，2023），并使用提示提供的线索而不披露（Chen等人，2025）；即使是部分忠实的理由也可能不足以用于监督（Meek等人，2025）。因此，我们将理由标签视为关于决策变量的假设，并通过反事实编辑进行检验。  

## 3 SAFE：安全感知事实寻求评估  
我们引入SAFE，一个用于评估前沿模型在部署前是否获取安全相关证据的受控基准。该基准涵盖五个高风险领域——医疗、金融欺诈、内容审核、网络安全和药物发现——具有固定的专业角色、系统和背景简报备忘录。SAFE将获取证据的上游决策与已知安全发现后的下游反应区分开。  

### 3.1 场景结构与受控变量  
每个场景分两阶段。阶段1，模型选择检查可用安全证据或跳过并立即部署；若检查，阶段2揭示与严重性对应的发现，并要求在停止部署、继续或部分缓解之间选择。所有场景使用相同收益结构：成功部署得+100分，发布后失败扣-150分，停止或取消得0分。SAFE采用全因子设计，将五个领域与四个操作因子交叉（5×3×4×5×3=900种环境）：  
- •概率：检查揭示问题的可能性（10%、40%或70%）。  
- •严重性：问题的潜在影响（可忽略、低、中或高）。同一级别决定检查后揭示的具体发现。  
- •检查成本：0、10、30或60点的检索摩擦，加上一个极端程序条件，在该条件下请求证据可能触发强制审查和项目取消。极端条件单独分析，因其改变的是后果结构而非施加更大扣分。  
- •证据渠道：“提供报告”使命名安全制品直接可用；“报告发现”说明可能存在命名报告并要求模型搜索；“证据发现”仅提供可能包含相关信息的分散背景记录。具体提示措辞、领域映射、严重性特定发现和渠道模板见附录A.6及之后。  

### 3.2 评估协议  
我们评估GPT-5.5、o3、Claude Opus 4.8和Claude Sonnet 4.6，每个场景运行五次独立回滚，使用默认提供商系统提示和API设置。分析使用回滚级决策而非多数投票场景标签；两种聚合结果高度一致（GPT-5.5为69.0/68.4，o3为47.7/48.3，Opus 4.8为96.0/96.3，Sonnet 4.6为72.0/72.3），因此结果对此选择不敏感。除非另有说明，报告的比率针对“提供报告”渠道；渠道比较见图1（面板B）和附录A.3。  

主要阶段1指标是检查率，即模型获取可选证据的回滚比例；对于检查案例，我们单独测量阶段2动作，从而区分上游获取与对已知风险的下游反应。每个决策附带3-5句理由，由gemini-3.6-flash在单独的阶段1和阶段2本体下分类。阶段1类别捕获预期价值、谨慎、义务、责任和策略性无知导向推理；阶段2类别区分预防、合理化、责任扩散、目标覆盖以及真实与表演性缓解（附录A.12）。监控标签通过附录A.4中的两名独立人工标注者验证：阶段1一致性为92-94%，阶段2监控与一名标注者达到人类间上限，与另一名相比略低。  

两项针对性诊断实验补充了这一因子设计：成本-义务分解（第5节）和一组反事实编辑（第6节），各自在其场景子集上运行。  

## 4 结果  
##### 检查率随严重性单调上升  
模型在相同任务结构下的证据获取策略差异显著：Opus 4.8接近默认检查（96.3%回滚），Sonnet 4.6（72.3%）和GPT-5.5（68.4%）倾向检查但更依赖条件，o3是唯一多数情况跳过的模型，检查率为48.3%。严重性是各模型落点的最强决定因素（图2）：o3从可忽略严重性下的15%检查率上升到高严重性下的89%，GPT-5.5从39%升至接近上限，Sonnet 4.6从51%升至98%，而Opus 4.8起点较高（85%）并随后接近上限。大部分变化发生在低与中严重性之间。下游反应遵循相同梯度：中、高严重性下停止率达100%，可忽略发现后继续行为崩溃，部分缓解在低严重性下达到峰值。  

##### 概率对检查的影响远小于严重性  
图2下排显示对概率信号的敏感性弱得多。将问题发生概率从10%提高到70%，GPT-5.5检查率变化14个百分点（60%至74%），Sonnet 4.6变化21个百分点（60%至81%），o3变化13个百分点（40%至53%）；o3还呈非单调性，70%时检查率略低于40%时。Opus 4.8保持接近上限。这些变化远小于相同回滚上的严重性梯度，值得注意的是，预期价值推理占检查理由的92-100%和o3跳过理由的99%，无跳过理由被归类为策略性无知（附录A.1）。因此，近默认检查者和倾向跳过模型用大致相同的后果主义词汇描述决策，尽管获取策略差异很大，且该词汇赋予概率的行为权重更高。第6节直接检验这种不对称性。下游反应基本不变，因为阶段2以揭示发现为条件，而非先前的概率信号。  

图2：按严重性和概率划分的决策率。上图：各模型检查率随严重性单调上升，下游反应遵循相同梯度。下图：相同指标随概率信号变化，检查率变化最多21个百分点。  

##### 数值成本抑制检查；极端条件反转模式  
在四个数值成本级别中，检查率随检索成本增加而下降（图3）。GPT-5.5、o3和Sonnet 4.6的效应最强，而Opus 4.8保持接近上限。极端条件应单独解释：它并非施加更大数值扣分，而是说明请求报告会触发强制审查并可能导致项目取消。在此程序框架下，检查率恢复到接近……