BLINDSPOT: 长期工具使用智能体的安全与拒绝校准基准测试

# Blindspot：长期工具使用智能体的安全性与拒绝校准基准
来源：https://arxiv.org/html/2609.16305
Mohammad Mohammadi Amiri  
隶属机构：Rensselaer Polytechnic Institute  
Momin Abbas  
隶属机构：IBM Research  
Tejaswini Pedapati  
隶属机构：IBM Research  
Prasanna Sattigeri  
电子邮件：[asifs@rpi\.edu](mailto:)  
代码与数据集 (https://github.com/sadia-sigma-lab/BLINDSPOT.git)  
隶属机构：IBM Research  

###### 摘要
大型语言模型（LLM）智能体日益在涉及工具使用、持久状态、演变授权及外部环境反馈的长期交互中运行。在此类设置中，安全故障可能在多轮交互后才显现，然而现有评估常将智能体行为简化为任务或攻击成功与否，掩盖了智能体在交互演进过程中采取行动、拒绝行动或保持适当校准的状态。我们推出 Blindspot，一个用于评估长期工具使用智能体轨迹级安全校准的基准。Blindspot 通过自适应对抗交互、有状态工具执行和基于执行的裁决，评估完整的用户-智能体-环境轨迹。其当前实例包含 7 个领域的 22 个攻击族和 35 个场景，生成超过 2500 条长期轨迹，平均交互长度为 14.7 轮。每条轨迹被分配五种结果之一：安全完成、正确拒绝、不安全完成、过度拒绝或不确定。与固定攻击数据集不同，Blindspot 是一个可扩展的实时模拟框架，攻击、场景、工具、策略、领域和智能体配置均可添加，无需重新设计评估流程。我们使用八项指标评估了 13 个专有和开放权重的 LLM，涵盖不安全完成、适当拒绝、良性效用、过度拒绝、重复运行鲁棒性和拒绝后失败。初步结果揭示了模型间安全-效用校准的显著差异，并表明故障可能仅在几个初始安全交互步骤后出现。这些发现促使将智能体安全性视为轨迹级属性，而非单轮或二元成功标准。  

## 1 引言
大型语言模型（LLM）智能体正日益超越问答范畴，发展为能够规划、调用外部工具、维护状态并代表用户执行多步骤行动的系统（Tran 等, 2025；Du 等, 2026；Zheng 等, 2026；Asif 等, 2026）。这些能力使智能体能够操作文件、消息、数据库、代码和企业工作流，但它们也改变了安全评估的本质（Karamat 等, 2026；Liu 等, 2024a）。安全关键结果可能不再源自单个有害提示。相反，风险可能随着用户意图变化、单独看似合理的行动累积、授权状态演变或通过外部工具遇到对抗内容而逐渐显现（Li 等, 2026；Asif 与 Amiri, 2026；Debenedetti 等, 2024）。因此，智能体可能在多轮交互中表现适当，然后才达到一个其安全性取决于交互历史和其运行环境状态的决策点。近期工作已开始将智能体安全评估从一次性设置转向更复杂的场景。AgentLAB（Jiang 等, 2026）是首批专门针对长期智能体安全的基准之一，引入了时间扩展的攻击，如意图劫持、工具链接、目标漂移、任务注入和记忆投毒。互补的基准研究了间接提示注入、多轮工具中介攻击和状态依赖的安全故障（Debenedetti 等, 2024；Li 等, 2026）。这些研究表明，将交互扩展到多个回合可以暴露出通过一次性评估难以刻画的漏洞。然而，长期智能体安全通常仍被概括为攻击最终是否成功或目标任务是否完成。此类二元结果提供了有限的信息，无法说明智能体在交互演进过程中是否维持了*正确的安全边界*。请参见标题图 1：Blindspot 概览。一个基于策略的场景初始化用户智能体、目标智能体、可用工具和环境状态。它们的长期交互产生一条包含消息、工具执行、观察和状态转换的轨迹。执行和策略证据、语义判断以及人类审查支持将其分配为五种结果之一。这一区别很重要，因为安全的智能体行为不仅仅在于抵制对抗请求。一个拒绝每个不确定行动的智能体可能实现较低的攻击成功率，但对合法任务而言却无法使用。相反，主要为有用性优化的智能体可能在累积的上下文或环境状态使得所请求操作不安全后仍继续行动。考虑一个企业助手（图 2）最初被要求总结内部销售报告。初始请求是合法的，但后续回合可能请求客户级记录、引入紧急性、声称先前有经理批准，或要求将生成的数据发送给外部接收方。在另一个交互中，用户请求可能保持良性，但检索到的文件包含对抗性指令，或者先前有效的授权在执行操作时可能不再适用。因此，正确的行为不仅取决于识别有害请求，还取决于确定*何时继续行动*、*何时拒绝*，以及该决策是否随着用户意图、工具状态和授权随时间的演变而保持一致。我们引入 Blindspot，一个用于评估长期、工具使用智能体*轨迹级安全校准*的基准。Blindspot 不评估孤立的响应，而是将完整的交互轨迹（包括用户消息、智能体响应、工具调用、工具输出、策略状态和环境转换）作为评估单位。每个场景定义一个初始世界状态、可用工具、适用策略、用户目标和安全相关条件。用户智能体在多个回合中与目标智能体交互，对于自适应攻击，根据目标智能体的实际响应和当前攻击状态生成每个后续请求。目标智能体通过一个有状态的工具环境行动，其中执行和结果状态变化被明确记录。这使 Blindspot 能够在通用评估协议中捕获由渐进意图转移、行动组合、授权和状态变化、环境介导内容以及重复或重新构建的对抗压力引起的故障。Blindspot 被设计为一个*可扩展的实时模拟框架*，而非固定的预生成轨迹集合。攻击族、场景、策略、工具、领域和智能体配置是模块化组件，可以在不重新设计核心模拟和评估流程的情况下添加或替换。当前实例包含 22 个攻击族，评估跨越 7 个领域的 35 个场景，包括金融、软件操作、治理和企业工作空间设置。其中，25 个是核心领域场景，10 个是跨领域场景，相关的状态、行动或授权依赖跨越多个操作上下文。生成的数据集包含超过 2500 条长期轨迹，每个结果类别有超过 500 条轨迹，平均交互范围为 14.7 轮。关键的是，Blindspot 并未将智能体安全性简化为攻击成功与否。我们区分了五种轨迹级结果：*安全完成*、*正确拒绝*、*不安全完成*、*过度拒绝*和*不确定*。前四种捕获了目标智能体在主动策略和环境状态下是否适当地行动或拒绝，而*不确定*涵盖了由于工具、环境或执行故障而无法得出明确结论的情况。结果通过一个基于证据的裁决管道分配，该管道结合策略、授权、工具执行和环境状态检查，并在需要时进行语义判断和人类审查，使 Blindspot 能够区分文本主张和执行的行动，并基于真实的环境效应评估安全性。我们使用八项轨迹级指标评估了十三个专有和开放权重的 LLM，这些指标涵盖了不安全完成、适当拒绝、良性效用、过度拒绝、执行不完整、重复运行鲁棒性和拒绝后失败。初步结果表明，模型安全性并非由单个标量排名很好地描述：模型在安全-效用校准方面差异显著，一些不安全的结果仅在几个初始安全交互步骤后才出现。  

##### 贡献。  
我们的主要贡献是：
- • 我们将长期智能体安全表述为一个轨迹级校准问题，其中正确行为取决于智能体在交互历史、授权和环境状态演变时是否适当地行动或拒绝。
- • 我们引入了 Blindspot，一个可扩展的实时模拟基准，用于自适应和有状态的智能体安全，支持模块化的攻击、场景、工具、策略、领域和配置。
- • 我们开发了一个基于执行的五路评估协议，区分安全完成、正确拒绝、不安全完成、过度拒绝和不确定轨迹。
- • 我们进行了 13 个模型的评估，使用八项互补指标，能够分析安全-效用校准、长期故障累积、重复运行鲁棒性和拒绝后安全退化。

表 1：Blindspot 中使用的轨迹级结果分类。

## 2 相关工作
请参见标题图 2：Blindspot 中基于响应的自适应攻击。用户智能体根据迄今观察到的交互生成每个新请求。在所说明的企业场景中，一个初始看似合理的请求通过重新构建和声称授权逐步推进，而攻击策略则根据目标智能体的响应进行调整。

##### 长期和对抗性智能体安全。  
表 2：Blindspot 构建管道的组件。早期关于 LLM 安全性的工作主要通过单回合提示、越狱或直接对抗性指令来评估有害行为（Jiao 等, 2026；Meisenbacher 等, 2025；Xiang 等, 2025）。随着智能体获得对工具、记忆和持久环境的访问，近期工作已转向研究在扩展交互中出现的安全故障（Liu 等, 2024a；Li 等, 2026；Debenedetti 等, 2024；Asif 与 Amiri, 2026；El Yagoubi 等, 2026）。AgentLAB 研究了长期攻击，包括意图劫持、工具链接、任务注入、目标漂移和记忆投毒，使用针对工具使用智能体的多轮对抗性交互（Jiang 等, 2026）。MT-AgentRisk 类似地使用预定义的攻击策略将有害智能体任务转化为多轮交互序列，并研究了针对在工具中介轨迹中发展的不安全行为的防御措施（Li 等, 2026）。其他工作考虑了在正在进行的交互中修改其行为的攻击者，而非依赖于单个固定的对抗性提示（Bisconti 等, 2026；Jain 等, 2026）。这些基准表明，智能体安全性可能取决于累积的交互历史，而非单个指令。Blindspot 建立在此方向之上，但针对不同的评估问题：智能体是否在整个轨迹中保持*校准的安全边界*。特别是，我们不仅评估对抗性目标是否成功，还评估智能体是否完成合法任务、拒绝违反策略的操作、避免不必要的拒绝，以及在意图、授权和环境状态演变时是否保持良好的校准。请参见标题图 3：跨攻击族的机制覆盖范围。机制注释是非排他的。

##### 环境介导的攻击和工具使用智能体。  
另一个互补的研究方向研究的是通过智能体的环境而非直接通过用户进入的攻击（Zhan 等, 2024；Yao 等, 2024）。间接提示注入可以在网页、文档、消息或其他工具检索的内容中嵌入恶意指令，导致智能体遵循与用户原始目标相冲突的指令（Liu 等, 2024b；Wang 等, 2025；Liu 等, 2024c；Evtimov 等, 2025）。AgentDojo 提供了一个可扩展的环境，用于在现实的工具使用任务中评估此类提示注入攻击和防御（Debenedetti 等, 2024）。相关的智能体安全基准研究了不安全的工具使用、未授权的操作以及由模型推理与外部环境内容交互引起的故障。Blindspot 在更广泛的有状态交互模型中包含了环境介导的攻击。该基准记录工具调用、工具输出、授权状态和由此产生的环境转换，使安全决策能够联合依赖于用户行为和外部状态。这对于长期设置很重要，因为在这些设置中，一个请求孤立地看可能是良性的，但在先前的工具操作、过时的批准或持续的对抗性内容之后可能变得不安全。

##### 有状态工具使用和任务完成基准。  
大量工作评估了涉及外部工具和持久状态的多步骤任务的智能体（Servedio 等, 2025；Soni, 2026；Shi 等, 2025）。AgentBench 在交互式环境和需要顺序决策的任务中评估 LLM 智能体（Liu 等, 2024a）。τ-bench 及其扩展研究了客户服务和知识密集型工作流等领域的现实工具-智能体-用户交互（Yao 等, 2024；Barres 等, 2025；Yao 等, 2024）。