SAFETY SENTRY: 通过 EXECUTE-ASK-REFUSE 路由实现上下文感知人工干预

# Safety Sentry：通过 EXECUTE–ASK–REFUSE 路由实现上下文感知的人工干预

来源：https://arxiv.org/html/2607.13594

陈天宇1,†，胡楚嘉1,†，王文杰1,\*  
1上海科技大学，上海，中国  
\{chenty12024, huchj2025, wangwj1\}@shanghaitech\.edu\.cn

###### 摘要

LLM 代理通过工具调用在现实环境中执行操作，一次误判就可能导致不可逆的伤害。标准的安全防护是使用一个守卫模型，将每个提议的操作标记为安全或不安全，但这种二元视角混淆了两种不同的决策：操作本身是否有害，以及它是否在用户上下文环境中合适。它还以操作类别而非单个实例为粒度运行，产生常规中断，削弱了自主性，并训练用户忽视最关键的警报。我们将问题重新定义为每个实例的三路路由决策（包含 {Execute, Ask, Refuse}），并以 Safety Sentry 实例化该决策，这是一种轻量级守卫模型，其推理简化为一次解码调用。单个解码时阈值使同一个固定检查点能够适应不同部署场景的不同风险容忍度，无需重新训练。Safety Sentry 在整体准确率和安全相关召回率上超越了广泛的开源权重和前沿闭源基线，同时控制了两个方向的错误率。111代码和数据：https://anonymous.4open.science/r/SAFETY-SENTRY-D62D/。

# Safety Sentry：通过 EXECUTE–ASK–REFUSE 路由实现上下文感知的人工干预

陈天宇1,†, 胡楚嘉1,†, 王文杰1,\*
1上海科技大学，上海，中国
\{chenty12024, huchj2025, wangwj1\}@shanghaitech\.edu\.cn

## 1 引言

参见图注

图 1：传统的二元守卫将不同情况合并到同一个 *Unsafe* 标签下。Safety Sentry 将每个操作路由为三个实例级决策之一：Execute、Ask 或 Refuse。

代理自动化使其能够高效处理广泛的任务（Yao et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib33); Schick et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib22))。然而，这种自主性也带来了安全风险（Su et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib25); Vijayvargiya et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib27); Zheng et al., 2026 (https://arxiv.org/html/2607.13594#bib.bib39))：当指令模糊时，代理可能做出任意或意外的决策（Yan et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib32))。因此，自主性必须有边界。在此背景下，**人类可控性**变得至关重要：代理应该能够动态识别高风险或不确定的情况，并在必要时请求人类确认，从而在自主性和可控性之间取得平衡。

现有方法通过两种方式实现人在回路。第一种硬编码哪些操作需要用户确认，通常通过将策略附加到广泛的工具或命令类别上实现（Wang et al., 2025a (https://arxiv.org/html/2607.13594#bib.bib28))。第二种训练一个守卫模型来检查每个提议的操作，并在其显得有风险时上报给用户（Inan et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib13); Xiang et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib31); Chen et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib5); Hua et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib11); Doshi et al., 2026 (https://arxiv.org/html/2607.13594#bib.bib7))。这两种方法都有效，并已成为部署代理系统中的标准实践，但它们有一个共同的局限：它们将自主性-监督的平衡过度放在监督一侧。它们以**操作类别**而非**单个实例**为粒度运作，统一标记广泛的类别，而不考虑特定操作在其上下文中是否危险。例如，在传统的二元视图中，像“写入临时文件”这样的低风险操作会触发与“运行 rm -rf /home”这样的破坏性操作相同的守卫响应，因为两者都属于同一个 *Unsafe* 标签（图 1 (https://arxiv.org/html/2607.13594#S1.F1)）。结果，代理在执行过程中频繁中断，削弱了部署代理所追求的自主性。

更根本的是，许多代理操作既非严格安全也非本质不安全（Yu et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib34); Shi and Xiong, 2024 (https://arxiv.org/html/2607.13594#bib.bib24)）。相反，它们的适当性往往取决于用户意图和具体的运行时上下文（Yuan et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib35); Mou et al., 2026 (https://arxiv.org/html/2607.13594#bib.bib18); Wang et al., 2025b (https://arxiv.org/html/2607.13594#bib.bib29)）。在这种情况下，正确的响应不是直接拒绝，而是在执行前请求用户确认（Suri et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib26); Zhang and Choi, 2025 (https://arxiv.org/html/2607.13594#bib.bib37)）。然而，现有的二元安全/不安全框架缺乏这种中间决策边界（Andriushchenko et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib1); Zhang et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib38)），使其从根本上不足以判断何时真正需要人工干预（Doshi et al., 2026 (https://arxiv.org/html/2607.13594#bib.bib7); Huang et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib12)）。

我们不再采用二元安全/不安全分类，而是将代理安全性表述为一个三路路由问题（Geifman and El-Yaniv, 2017 (https://arxiv.org/html/2607.13594#bib.bib8); Madras et al., 2018 (https://arxiv.org/html/2607.13594#bib.bib16)）：{Execute, Ask, Refuse}（图 1 (https://arxiv.org/html/2607.13594#S1.F1)，右侧）。明确安全的操作自动执行，有害的操作被拒绝，具有不确定性或高潜在影响的操作则路由给人类进行确认（Wang et al., 2025c (https://arxiv.org/html/2607.13594#bib.bib30)）。这将代理安全性从简单地阻止不安全操作转变为在运行时执行中平衡自主性、安全性和人类监督。

为了实现上下文感知的人类可控性，我们提出**Safety Sentry**，一种轻量级守卫模型，动态输出三个决策之一：{Execute, Ask, Refuse}。为了训练这样的守卫，我们在 9 个自托管企业服务上构建了一个步骤级监督语料库，其中每个操作都在真实系统上执行，因此标签反映了真实操作后果。每个步骤由两个 LLM 在包含十四个模式（按三个决策分组）的触发分类法（表 4 (https://arxiv.org/html/2607.13594#A1.T4)）下进行标注；两位标注者之间的分歧由作者审核，整个测试集还由作者额外审核，达到 92% 的人类一致性。该模型高效、易于部署，且不依赖前沿 API。它还将路由决策置于部署者的控制之下，而非绑定到第三方 API。

我们进一步将部分语料库与捕捉用户风险偏好的角色记忆配对（Chen et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib4); Dong et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib6)），使得同一操作可以针对不同用户标记为不同标签；这让 Safety Sentry 能够根据用户上下文调整其路由决策。在部署时，其自主性-安全性权衡可以通过单个解码阈值进一步调整，无需重新训练。

我们在分布内测试集和保留服务上评估 Safety Sentry。实验表明，Safety Sentry 学习了 Execute、Ask 和 Refuse 之间的清晰决策边界，性能优于开源权重和前沿闭源基线，并且该边界在分布偏移下保持稳定。我们将贡献总结如下：

- • 我们将代理动作审查重新表述为 {Execute, Ask, Refuse} 的三路路由决策，将目标从检测不安全操作转变为平衡自主性与监督。
- • 我们在九个自托管企业服务上构建了一个步骤级监督语料库，在十四模式触发分类法下进行角色条件化标注。
- • 我们提出了 Safety Sentry，一种在该语料库上训练的轻量级守卫模型，具有单个解码时阈值，使同一个固定检查点能够适应不同风险容忍度而无需重新训练。
- • Safety Sentry 在准确率和安全相关召回率上优于开源权重和前沿闭源基线，同时控制了两个方向的错误率，正确条件于角色记忆，并泛化到保留服务。

## 2 相关工作

#### LLM 和代理的守卫模型。

内容审核守卫（如 Llama Guard (Inan et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib13)) 和 ShieldGemma (Zeng et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib36))）根据固定危害分类法对聊天输入和输出进行分类，将安全视为文本的孤立属性。代理级系统通过多种机制将这一范式提升到工具使用：GuardAgent (Xiang et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib31)) 将用户指定的策略编译为可执行检查，ShieldAgent (Chen et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib5)) 在从策略文档中提取的规则上进行概率推理，TrustAgent (Hua et al., 2024 (https://arxiv.org/html/2607.13594#bib.bib11)) 在规划阶段注入固定宪法，AgentSpec (Wang et al., 2025a (https://arxiv.org/html/2607.13594#bib.bib28)) 为符号运行时检查提供 DSL，AGrail (Luo et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib15)) 在线调整规则集。一个互补方向是直接训练代理本身而非封装它（Sha et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib23)）。尽管机制不同，这些系统共享二元输出类型，因此继承了一个单一的逃逸阀——用户升级——来处理其判断无法解决的大量情况。我们的工作保留了这一路线的轻量级外部守卫形式因素，但将二元判断替换为三路决策，使得询问和拒绝具有不同的语义。

#### 人在回路监督与澄清。

另一条工作线将询问视为代理本身的能力。Zhang and Choi (2025 (https://arxiv.org/html/2607.13594#bib.bib37)) 估计用户意图上的熵来决定何时需要澄清；Andukuri et al. (2024 (https://arxiv.org/html/2607.13594#bib.bib2)) 训练语言模型提出澄清问题，并将失败追溯到 RLHF 偏好数据；Wang et al. (2025b (https://arxiv.org/html/2607.13594#bib.bib29)) 和 Suri et al. (2025 (https://arxiv.org/html/2607.13594#bib.bib26)) 将这一思想扩展到使用工具的代理，后者通过完全信息的期望值选择问题。在系统层面，代理框架暴露了显式中断点（Anthropic, 2025 (https://arxiv.org/html/2607.13594#bib.bib3))，生产编码代理在不同自主级别实例化此模式，但通常以工具类别为粒度。人因工程领域的长期工作警告说，高容量确认提示会导致自动化偏见和警报疲劳（Parasuraman and Riley, 1997 (https://arxiv.org/html/2607.13594#bib.bib19); Goddard et al., 2012 (https://arxiv.org/html/2607.13594#bib.bib9)），最近的评论将其重新框架化到代理设置中每次工具调用的确认（Mitchell et al., 2025 (https://arxiv.org/html/2607.13594#bib.bib17)）。我们提出的三路路由也在选择性预测的经典拒绝选项和学习延迟中有前身（Geifman and El-Yaniv, 2017 (https://arxiv.org/html/2607.13594#bib.bib8); Madras et al., 2018 (https://arxiv.org/html/2607.13594#bib.bib16)）。

## 3 方法

我们的守卫模型审查每个提议的代理动作，并将其路由到 Execute、Ask 或 Refuse 之一。该模型通过标准监督微调获得；难点在于生成训练数据，其标签反映了部署守卫必须做出的路由决策。本节剩余部分围绕产生此监督的数据管道展开。我们首先形式化决策问题（第 3.1 节），然后描述数据管道（第 3.2 节），最后微调守卫模型（第 3.3 节）。

### 3.1 问题形式化

#### 设置。

代理通过迭代循环完成用户任务（Yao et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib33); Schick et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib22)）：每一步 t，它基于先前动作和结果的轨迹提出一个动作 a_t。我们的守卫插入到这个循环中：每个提议的动作 a_t 在分派前被路由到守卫，代理仅在守卫响应后继续。

#### 形式化。

我们将步骤级动作审查形式化为一个路由决策。对于每个提议的动作 a_t，守卫发出一个决策令牌 ŷ ∈ Y = {Execute, Ask, Refuse}。守卫条件于元组 x = (m, u, d, h, <|ask_human|>, 和 <|refuse|>，每个对应 Y 的一个元素。模型生成三个部分：... 推理块、决策令牌（预测的 ŷ）以及一个包含原因字段的 JSON 负载，当 ŷ = Ask 时还包含一个问题字段。路由决策在决策令牌位置即可获得，早于 JSON 负载生成完毕。

#### 基于阈值的路由。

我们将 Execute/Ask 边界暴露为可调旋钮，同时保持 Refuse 固定为安全底线。设 p_Execute 和 p_Ask 为决策令牌概率。定义 q_Execute = p_Execute / (p_Execute + p_Ask)，即限制在非 Refuse 子空间上的 Execute 重归一化概率。给定阈值 τ ∈ [0,1]，守卫在 q_Execute ≥ τ 时预测 Execute，否则预测 Ask。降低 τ 使守卫偏向自主性；提高 τ 使其偏向监督。由于 τ 是事后应用的，单个检查点可以服务于不同风险容忍度的部署，无需重新训练。

#### 训练。

我们使用 LoRA (Hu et al., 2022 (https://arxiv.org/html/2607.13594#bib.bib10)) 在所有线性投影上进行微调。由于三个决策令牌是新引入的，它们的输入嵌入行被解冻并与 LoRA 适配器联合训练；所有其他嵌入行保持冻结。目标函数是 completion-only 交叉熵，累加在 block、决策令牌和 JSON 负载上；输入快照被屏蔽。完整超参数见附录 C (https://arxiv.org/html/2607.13594#A3)。我们采用 SFT 而非基于偏好的方法（Rafailov et al., 2023 (https://arxiv.org/html/2607.13594#bib.bib20)），因为标签空间小而离散且监督质量已经很高。

## 4 实验

### 4.1 设置

#### 数据集与划分。

按照第 3.2 节描述的构建方式，我们在