验证者税：工具使用型LLM智能体中依赖于任务步数的安全与成功权衡 [R]

Reddit r/MachineLearning 论文
safety tool-use llm-agents verification evaluation tradeoff

摘要

本文提出了一个用于工具使用型LLM智能体的安全评估框架，引入了“验证者税（Verifier Tax）”的概念——一种依赖于任务步数的安全与任务完成之间的权衡。文章提出了一种双层验证架构，并使用Tau-bench场景展示了验证如何减少不安全成功，但随着任务步数增加也会降低任务完成率。

我们最近在ACM CAIS 2026上展示了一篇关于工具使用型LLM智能体安全评估的论文。核心问题在于，仅凭任务完成可能具有误导性：智能体可能在完成任务的同时违反安全或策略约束。我们将结果分为**安全成功**、**不安全成功**和**失败**，并研究验证如何改变这种权衡。我们使用**τ-bench / Tau-bench**工具使用场景进行评估，并提出了一种**双层验证架构**：首先进行确定性策略/工具检查，然后使用基于LLM的验证器处理更具上下文的安全情况。主要发现是，验证可以减少不安全成功，但随着任务步数增加，它也会降低任务完成率。这就产生了我们所说的**验证者税（Verifier Tax）**：工具使用型智能体中依赖于任务步数的安全与成功权衡。论文链接：[https://dl.acm.org/doi/full/10.1145/3786335.3813160](https://dl.acm.org/doi/full/10.1145/3786335.3813160) 很好奇其他人认为智能体评估应该如何报告不安全成功。不安全完成应该算作成功、失败，还是单独分类？
查看原文

相似文章

AI代理能完成任务但仍然算失败吗？

Reddit r/artificial

本文引入“验证税”（Verifier Tax）概念，将AI代理的结果分类为安全成功、不安全成功或失败，并为使用工具的LLM代理提出了一种双层验证架构。

大规模安全测试LLM智能体：从风险发现到基于证据的验证

arXiv cs.AI

本文介绍了Vera，一个面向LLM智能体的端到端自动化安全测试框架，它结合了文献驱动的风险发现、安全案例的组合式构建以及基于证据的验证。在四个智能体框架上的评估揭示了显著的安全缺陷，在多通道攻击下平均攻击成功率高达93.9%，同时发布了包含1600个可执行安全案例的Vera-Bench。