少推理，多验证：确定性门控机制修复工具使用型LLM智能体中的静默策略违规故障模式

# 少推理，多验证：确定性门控恢复工具使用型LLM代理中的静默策略违规故障模式
来源：https://arxiv.org/html/2607.07405
，Sumanth Reddy Challaram，印度理工学院克勒格布尔分校，印度克勒格布尔；Abhishek Basu，麻省理工学院，美国剑桥

###### 摘要。

使用工具的LLM代理可能在看似成功完成任务的同时，违反它们被部署要执行的策略。在策略宽松的环境中，即使对应的状态转换被领域策略禁止，工具也可能执行任何格式正确的调用。结果导致静默错误状态：预订被取消、乘客数量被更改、或用户声明在未经验证的情况下被处理，而工具和代理的自我报告均未暴露这一违规。

我们在τ²基准的航空领域研究了这种故障模式。在一个预算代理上，78%的观察到的故障是静默错误状态故障，没有工具错误，且聚合故障率在不相交的随机种子上可重现，而非反映采样噪声。然后我们评估了一种轻量级干预措施：确定性、只读的预执行门控，在允许写入之前检查提议的工具调用和当前数据库状态。一个四门控套件将gpt-4o-mini的完整基准成功率从29.6%提升至42.0%（+12.4个百分点；配对任务级bootstrap P=0.0012），且提升在不相交的15种子复制集上重现（+12.3个百分点；P=0.0008）。

效果集中在门控实际触发的任务上：在26/50个触发任务上，成功率提高+19.2个百分点，而24个非触发任务上的变化不排除零。两个负面对照，一个自执行零售领域和BFCL，界定了机制：当工具策略宽松时门控有帮助，而在工具已自行执行前置条件时几乎没有增益。最后，我们报告了暗示性证据（而非核心主张），表明相同的故障模式在前沿模型框架中持续存在：gpt-5.2在默认推理下仍尝试违反策略的写入，且相同的门控套件将成功率从61.2%提升至71.6%（+10.4个百分点；P=0.020；n=5，无复制）。本文的贡献是一个有边界评估和可靠性结果：确定性门控不能保证任务成功，但可以在动作边界上确定性阻止一类已知的静默策略违规写入。

LLM代理；工具使用；策略合规性；确定性验证；代理评估；运行时执行；代理可靠性

††版权：无 ††会议：KDD 代理AI评估与可信度研讨会；2026年8月；韩国济州 ††论文集：KDD 代理AI评估与可信度研讨会（KDD-ETAAI '26），2026年8月，韩国济州 ††期刊年份：2026 ††CCS：计算方法 人工智能 ††CCS：软件及其工程 软件安全 ††CCS：安全与隐私 形式化方法与安全理论 ††脚注：已被KDD 2026代理AI评估与可信度研讨会（KDD-ETAAI '26）接受，为非存档研讨会。本文为作者arXiv预印本。

## 1. 引言

### 1.1. 信任问题，而不仅仅是能力问题

当一个LLM代理操作客户服务工具时，取消不可退款的预订、修改策略禁止修改的乘客数量、或基于未验证的用户声明处理请求，此时同时发生两个故障。代理采取了被禁止的动作，并且由于底层工具接受任何语法正确的调用，该动作成功。没有引发异常，没有返回错误，代理可能自信地报告任务完成。

这是一个信任问题。观察运行的操作员看到一份清晰的记录和成功的最终响应，但系统状态是错误的。因此，问题不仅仅在于模型能否抽象地推理策略。而在于当模型在发出变更工具调用之前未能应用该策略时，已部署的代理系统是否有任何可靠的信号。

根本原因是代理环境的属性。在现实的工具基准测试如τ-bench和τ²-bench中（Yao等人，2024；Barres等人，2025），某些工具故意采用策略宽松设计：写入工具在其参数格式正确时执行，即使领域策略禁止该状态转换。策略存在于模型被指示遵循的自然语言文档中，不由工具强制执行。因此，合规性完全取决于模型在每次写入前应用所有相关策略规则。当模型未这样做时，宽松的工具忠实地执行了违规。

在我们研究的τ²-bench航空任务中，78%的观察到的故障是静默错误状态故障：最终数据库错误，但没有任何工具引发错误。这正是代理无法从其自身轨迹可靠检测到的故障。

### 1.2. 可靠性差距，而非测量噪声

一个自然的反对观点是，这些故障是不幸的样本，更多的尝试、更高的温度或更强的模型可以消除它们。对于航空领域的预算模型，重新采样不是一个可靠的修复方法，原因有二。

首先，故障是不一致的，而非罕见的。在τ-bench无偏passk估计下，成功率从pass1=29.6%下降到pass5=8.0%：只有8%的任务在所有五次尝试中成功，因此许多任务仅部分时间成功。单次运行因此是代理是否实际遵守策略的不良指标。

其次，更重要的是，故障是静默的：没有工具错误标记违规运行。重新采样可以提高至少一次运行成功的几率，但在部署中代理只运行一次，且轨迹中没有揭示产生了哪个结果的信号，因此操作员无法针对从未出现的信号进行重试。这正是确定性门控所填补的差距：它不是提高跨样本的几率，而是提供每次运行的保证，即当适用的已知禁止转换被阻止。由此产生的一致性增益在第5.4节中报告，且该故障模式无法仅通过规模关闭（第5.3节）。

### 1.3. 确定性预执行门控

我们研究了一个薄层确定性、只读的预执行门控。在变更工具调用执行之前，门控读取相关的数据库状态，并根据领域策略规则的显式编码检查提议的调用。例如，门控可以检查预订是否符合取消条件、行李更新是否遵守舱位和会员限额、乘客数量是否被更改、或代理在写入之前是否已读取记录。

门控要么允许调用，要么以结构化理由拒绝。它不写入状态，不调用其他模型，也不使用真实标签评估器信息。它只读取代理可以读取的相同操作状态。这使得该干预措施与输出护栏、反思或LLM作为评判的评估不同。门控在变更之前裁决具体的拟议状态转换。

中心实证结果是，这个简单机制在τ²-bench航空领域收回了相当一部分静默错误状态故障，并且提升在不相交的复制集上重现，而非反映种子伪影（第5.1节）。

### 1.4. 声明的范围

声明故意是有边界的。我们不声称确定性门控普遍解决代理安全问题，也不声称它们保证任务成功。门控可以阻止违规动作，但代理仍可能无法恢复。我们也不声称从一个正面基准领域得出广泛的领域通用性。

相反，我们做出一个更窄的声明：

> 在策略宽松的工具环境中，对于状态可决策的策略规则和最终状态评估，静默策略违规写入可以形成重复出现的故障类别，并且确定性预执行门控可以恢复这些故障的一个可测量部分，同时对被阻止的动作提供确定性保证。

本文的其余部分评估了这一声明，描述了提升何时出现，并使用负面对照划定边界。

### 1.5. 贡献

本文做出四项贡献。

1. **故障模式表征**。我们将策略宽松工具上的静默策略违规识别为一种独特的信任故障：代理违反领域策略，工具执行被禁止的写入，且轨迹中没有错误信号出现。
2. **确定性干预**。我们实现了只读预执行门控，在执行之前检查提议的变更工具调用，对照显式的状态可决策策略谓词。
3. **可复制的实证结果**。在τ²-bench航空领域，一个四门控套件改进了gpt-4o-mini的成功率，并在不相交的15种子复制集上重现了提升。
4. **边界分析**。我们展示了提升集中在门控触发的地方，触发是恢复的必要但不充分条件，并且门控在工具已经自我执行其前置条件时几乎没有增益。我们还报告了暗示性的前沿模型证据，同时明确将其与可复制的预算模型结果分开。

## 2. 背景与相关工作

### 2.1. 代理系统的运行时执行

越来越多的研究工作关注LLM代理周围的运行时执行（Palumbo等人，2026；Wang等人，2025；Yuan等人，2026；Winston等人，2026；Qiu等人，2025）。一些系统将声明式策略编译成引用监视器或约束检查层；其他系统将运行时规则指定为触发器和谓词，可以在执行前阻止不安全动作。这些系统确立了在动作边界进行确定性调解是可行的，并且外部策略检查可以提高安全性或合规性。

我们的工作与此方向一致，但提出了不同的实证问题。我们不仅将执行视为可能有用成本的 safety 层，而是研究执行何时可以通过防止静默状态破坏（否则会使任务无法恢复）来提高基准任务成功率。干预措施也故意轻量：小型Python谓词，作用于工具参数和数据库状态，而不是完整的溯源图监视器或求解器支持的策略系统。因此，我们的贡献不是执行机制本身（预执行系统如AEGIS（Yuan等人，2026）和AgentSpec（Wang等人，2025）已经确立），而是在策略宽松、最终状态的基准上测量的结果：动作边界执行可以提高任务成功率，而不仅仅是限制其安全成本，并且我们描述了它何时触发、帮助和失败。

区别很重要。运行时监视器即使降低了任务成功率也可能有价值，因为它防止了不安全动作。这里我们展示了一个确定性调解同时改善安全性和最终状态任务成功率的案例，因为被阻止的动作正是会静默破坏环境的动作。

### 2.2. 门控不是反思、输出护栏或评判者

确定性门控容易与三种邻近机制混淆。

首先，它们不是反思。反思提示要求模型批评或修订自己的推理（Shinn等人，2023）。这类方法在某些设置中可能有帮助，但它们仍然依赖模型，并且需要外部信号或可靠的自我修正过程。对于静默错误状态故障，反思很困难，因为工具不产生错误。

其次，门控不是输出护栏（Rebedea等人，2023）。输出护栏通常筛选最终文本或在模型响应后审核生成内容。我们的门控在结构化写入工具变更状态之前运作。

第三，门控不是LLM评判者。LLM评判者是另一个随机模型调用。门控是对拟议工具调用和当前状态的确定性谓词。它廉价、可重现且可审计。¹¹代码和门控谓词将在发表时发布。

### 2.3. 此类故障对基准的要求

一个基准只有在暴露正确结构时才能评估这类门控。我们需要五个属性：

- •A1：结构化工具调用。拟议动作必须具有机器可读的参数。
- •A2：策略宽松工具。被禁止的写入必须静默执行，而不是引发错误。
- •A3：状态可决策策略。规则必须能够表示为当前状态和调用参数上的确定性谓词。
- •A4：最终状态评估。评估者必须能够检测静默错误状态。
- •A5：诱导违规任务。任务分布必须实际导致代理违反策略。

τ-bench / τ²-bench航空系列满足所有五个条件（Yao等人，2024；Barres等人，2025）。许多其他基准未能通过一个或多个轴，尤其是A2、A3或A5。这种稀缺性是评估问题的一部分：许多代理基准衡量任务完成，但并未单独暴露策略宽松的静默状态破坏；调查同样指出企业策略和合规评估往往代表性不足（Mohammadi等人，2025）。

## 3. 错误类别与门控机制

### 3.1. 宽松工具上的静默策略违规

目标错误不是崩溃、格式错误调用或明确拒绝。它们是格式正确的调用，在更改状态的同时违反了模型被指示遵循的策略。

我们称之为静默策略违规类别。它需要一个策略宽松的工具：一个强制语法和存在性检查，但不强制完整领域策略的工具。例如，一个航空公司的cancel_reservation工具可能检查预订存在，然后将其状态设置为已取消。如果领域策略因票价等级、时间、保险状态或已飞行航段而禁止取消，工具仍可能执行。违规是静默的。

自执行工具的行为不同。如果零售取消工具检查订单是否待处理且原因是否有效，那么被禁止的取消会引发错误且不改变任何内容。那是响亮的、可恢复的工具错误，而不是静默错误状态。

这个区别定义了门控在何处有用。在自执行工具上，正确编写的门控重复了工具已经执行的检查。在策略宽松工具上，正确编写的门控可以防止状态变更，否则该变更会在没有任何错误的情况下破坏最终状态。

### 3.2. 门控定义

门控是一个确定性谓词：

g(tool_name, args, db_state) → {allow, reject}.

门控是纯函数，没有LLM调用，没有写入。它们在执行前检查拟议工具调用和当前环境状态。如果门控拒绝，