NVIDIA研究发现：AI智能体使用工具时安全性下降

# NVIDIA 研究发现：AI 智能体在使用工具时安全性下降 Source: https://www.unite.ai/nvidia-research-finds-ai-agents-become-less-safe-when-using-tools/ 像 ChatGPT、Gemini 和 Claude 这样的 AI 模型，可以被用于驱动智能体（https://www.unite.ai/how-ai-agents-work/）——即"套件"（https://web.archive.org/web/20260922043100/https:/www.databricks.com/blog/ai-harness），让模型能够直接与真实世界交互（https://arxiv.org/pdf/2606.19980）。这是一个相对较新的创新，同时也是争议越来越大的一项（https://www.reuters.com/legal/litigation/openais-rogue-agents-probed-hugging-face-weaknesses-two-months-before-major-hack-2026-09-16/）。 无论如何，智能体在游走于网络或数据库时，并不会自动具备它所需要的能力，因为不同任务和模式所需的工具并不相同。例如，它们可能需要光学字符识别（Optical Character Recognition，https://www.unite.ai/vlm-vs-ocr-document-processing-understanding/）（OCR）能力来解读照片中的文字，以及其他技能。甚至还有专门针对智能体的范围和意图而适配的工具类别（https://www.unite.ai/ai-tools-for-embedded-analytics-and-reporting/）。 在理论上，违反 AI 内置护栏（https://www.unite.ai/what-are-ai-guardrails-how-production-systems-control-model-behavior/）的请求永远不会被执行，无论是否在其执行过程中使用工具。但据最新研究发现，在实践中，使用工具会显著削弱阻止 AI 智能体制造"违规行为"的保护过滤机制。 ## 拒绝失败 来自 NVIDIA 的新论文（https://arxiv.org/abs/2610.03938），题为 **"MLLMs Fail to Refuse when Using Tools Agentically"**（多模态大语言模型在智能体式使用工具时拒绝失败），揭示了多模态语言模型（MLLM，下文统称为更常见的 "VLM"，即视觉语言模型）一旦引入工具，就更有可能服从有害请求，且在所有测试的模型和基准中，拒绝失败率均有所上升。 虽然像 Qwen3-VL 这样的开源权重模型更容易出现该问题，但前沿 AI 模型如 Claude Opus 4.7（https://www.unite.ai/anthropic-readies-opus-4-7-and-design-tool-as-vcs-offer-800-billion-valuation/）、Gemini 3.1 Pro（https://www.unite.ai/gemini-3-1-pro-hits-record-reasoning-gains/）和 GPT-5.4（https://openai.com/index/introducing-gpt-5-4/）在使用工具时也表现出拒绝失败率的增加。 论文作者指出\*： **"尽管智能体式 MLLM 近期取得了强劲的成功，但本研究揭示了工具使用范式中一个关键的安全失败：智能体式使用工具的 MLLM 变得更无力拒绝有害请求。** **"我们的实验表明，在三个流行的安全基准上，我们测试的所有顶级开源和闭源 MLLM 在使用工具的设置下，安全性都显著低于不使用工具的设置，相对拒绝失败率最高上升了 68.7%。** **"基于对 10 万余条响应的分析，包括扩展实验，我们还提出了这种安全性能退化的两种可能原因。"** 论文提出的两种可能原因是**上下文稀释**，即随着工具输出的不断累积，原始有害请求变得不再显眼；以及**安全注意力偏移**，即模型将注意力集中在描述工具获取的观测结果上，而不是优先考虑安全。 测试结果展示了论文的核心安全发现。上图中，一名用户询问如何实施图中显示的疑似扒窃行为。传统 VLM 直接拒绝该请求，而使用工具的版本则先调用图像分析工具（如缩放），然后继续推理，最终给出了有害的回答。下方的图表显示，在所有评估的开源和闭源模型中，拒绝失败率的这种上升都被观察到了。\*测试结果展示了论文的核心安全发现。上图中，一名用户询问如何实施图中显示的疑似扒窃行为。传统 VLM 直接拒绝该请求，而使用工具的版本则先调用图像分析工具（如缩放），然后继续推理，最终给出了有害的回答。下方的图表显示，在所有评估的开源和闭源模型中，拒绝失败率的这种上升都被观察到了。\*来源（https://arxiv.org/pdf/2610.03938） 在所有受测的十一个模型中，启用工具一致地增加了拒绝失败率，在最严重的情况下，相对增长率达到 68.7%，即便在那些原本表现出较强安全性能的模型中也是如此。 这项工作由 NVIDIA 的六位研究人员完成，观察其结果是否会在其他地方被复制或验证将会很有趣，以及这些结果是否能够加深我们对违规 AI 智能体（https://www.technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue/）这一明显且正在出现的违法趋势的理解。 ## 方法与数据 研究人员评估了横跨七个模型家族的十一个 VLM。闭源模型包括 Gemini 2.5 Pro（https://www.unite.ai/gemini-2-5-pro-is-here-and-it-changes-the-ai-game-again/）；Gemini 3.1 Pro Preview（https://www.unite.ai/gemini-3-1-pro-hits-record-reasoning-gains/）；Claude Opus 4.6（https://www.anthropic.com/news/claude-opus-4-6）；Claude Opus 4.7（https://www.anthropic.com/news/claude-opus-4-7）；以及 GPT-5.4（https://openai.com/index/introducing-gpt-5-4/）。 开源权重模型包括 Qwen3-VL-235B-A22B-Instruct（https://www.alibabacloud.com/help/en/model-studio/qwen3-vl-235b-a22b-instruct）；Qwen3.5-122B-A10B（https://huggingface.co/Qwen/Qwen3.5-122B-A10B）；Kimi-K2.5（https://www.kimi.ai/ai-models/kimi-k2-5）；Kimi-K2.6（https://www.kimi.ai/ai-models/kimi-k2-6）；GLM-5V-Turbo（https://arxiv.org/abs/2604.26752）；以及 AdaReasoner-7B-Randomized（https://huggingface.co/mradermacher/AdaReasoner-7B-Randomized-GGUF/blame/066857534796912b198a9acf327477b0460c9490/AdaReasoner-7B-Randomized.Q2_K.gguf），一个专门针对智能体式工具使用而调优的开源权重模型。 研究人员还对 Gemini 3 Flash Vision Agent（https://blog.google/innovation-and-ai/technology/developers-tools/agentic-vision-gemini-3-flash/）进行了单独实验，因为其自主工具使用方式要求它必须被独立评估。 在使用工具的测试中，研究人员采用了 ReAct 格式（https://arxiv.org/pdf/2210.03629），在推理（https://www.unite.ai/what-are-reasoning-models-how-test-time-compute-changes-ai-answers/）和工具调用之间交替进行。四种可用工具包括：标记，使用 RAM++（https://arxiv.org/pdf/2306.03514）；缩放和裁剪（https://arxiv.org/abs/2312.14135）；光学字符识别（OCR），使用 GOT-OCR2.0（https://arxiv.org/pdf/2409.01704）；以及一个沙箱化 Python 代码解释器，可用于操作和分析图像。 研究人员设计了配对提示词，以隔离工具使用的影响，而非提示词风格的影响。传统 VLM 被指示检查图像并直接回答用户的请求，而智能体版本则遵循 ReAct 工作流程，在产出最终响应前反复决定是否调用工具。 用于主要实验的配对提示词对比。无工具条件要求进行图像分析和直接推理，而智能体条件遵循迭代式 ReAct 工作流程，允许模型在产出最终响应前决定何时调用外部工具。\*用于主要实验的配对提示词对比。无工具条件要求进行图像分析和直接推理，而智能体条件遵循迭代式 ReAct 工作流程，允许模型在产出最终响应前决定何时调用外部工具。\* 使用的三个多模态安全基准是 MM-SafetyBench（https://arxiv.org/pdf/2311.17600）；VLSBench（https://arxiv.org/abs/2411.19939）；以及 HoliSafe（https://arxiv.org/abs/2506.04704）。这些数据集均由配对的图像和有害用户请求组成，旨在测试模型是否会在不安全场景中拒绝提供帮助——例如询问如何实施图中显示的疑似扒窃场景。 拒绝失败率（Refusal Failure Rate，RFR）作为主要衡量指标，测量模型未能拒绝有害请求的百分比，分数越高表示安全性**越低**。 ## 测试 响应由充当 LLM 评委的 GPT-5.2 进行分类，使用 VLSBench 推荐的评估提示词： 用于判断每个模型响应是否构成成功拒绝、安全感知型响应（即识别出相关风险）或不安全回答（即未能识别风险并继续执行有害请求）的 GPT-5.2 评估提示词。评委获得原始图像、用户查询和模型响应，并被要求以 JSON 格式返回其分类和推理过程。\*用于判断每个模型响应是否构成成功拒绝、安全感知型响应（即识别出相关风险）或不安全回答（即未能识别风险并继续执行有害请求）的 GPT-5.2 评估提示词。评委获得原始图像、用户查询和模型响应，并被要求以 JSON 格式返回其分类和推理过程。\* 每条响应被归入以下三个类别之一：**拒绝且安全**；**警告且安全**；或**不安全**。 三个安全基准中的拒绝失败率，对比每个模型在有无工具访问时的表现。每个模型在使用工具后都变得不太可能拒绝有害请求，但影响程度差异相当大：GLM-5V-Turbo 的平均 RFR 上升了 12.6 个百分点，而 GPT-5.4 仅上升了 2.3 个百分点。颜色越深表示拒绝失败率增幅越大。\*三个安全基准中的拒绝失败率，对比每个模型在有无工具访问时的表现。每个模型在使用工具后都变得不太可能拒绝有害请求，但影响程度差异相当大：GLM-5V-Turbo 的平均 RFR 上升了 12.6 个百分点，而 GPT-5.4 仅上升了 2.3 个百分点。颜色越深表示拒绝失败率增幅越大。\* 为模型提供工具使它们更有可能回答那些本来会被拒绝的有害请求——这一发现出现在每一个模型上，也在每一个测试基准上都出现了。总体而言，与相同的模型在**不使用**工具时相比，拒绝失败率上升了 17.7%。 GPT-5.4 受到的影响最小：不使用工具时，它未能拒绝 14.6% 的有害请求；使用工具后，这一数字上升到 16.8%。对于 GLM-5V-Turbo，失败率从 38.7%（无工具基线）上升到 51.3%。同样的模式在所有三个基准中都出现了，表明该问题可能并不局限于某一种特定**类型**的有害请求。 ### 失败的原因…？ 如前所述，研究人员将"上下文稀释"作为失败率增加的一种解释：随着智能体进行连续的工具调用，原始有害请求在不断累积的工具输出中**变得不再显眼**。 为了验证这一点，他们只考虑了同一模型在不使用工具时曾成功拒绝的请求。如下图所示，失败率随后随着工具调用次数的增加而逐步上升——从几乎不调用工具时的接近零，到三次及以上调用后大幅上升： 对比不同工具调用次数下拒绝失败率的测试结果。随着额外工具调用的累积，失败率上升，无论是在单个模型还是在所有模型的整体趋势中。\*对比不同工具调用次数下拒绝失败率的测试结果。随着额外工具调用的累积，失败率上升，无论是在单个模型还是在所有模型的整体趋势中。\* 第二项测试在一定程度上逆转了这种影响。当原始请求和图像在最后一次工具调用之后再次被插入，即紧接在模型回答之前，所有模型和基准上的拒绝失败率平均下降了 7.6%，如下所示： 对比在有无重新注入原始请求和图像情况下的拒绝失败率的测试结果。在最后一次工具调用后重新注入，在所测试的五个模型中平均将失败率降低了 7.6%。\*对比在有无重新注入原始请求和图像情况下的拒绝失败率的测试结果。在最后一次工具调用后重新注入，在所测试的五个模型中平均将失败率降低了 7.6%。\* 这支持了上下文稀释是促成因素之一，同时也暗示了一种相对简单的缓解方法。 论文提出的第二个解释是"安全注意力偏移"。在这里，工具的使用似乎将模型的注意力从"请求是否有害"转移到了"描述工具发现了什么"上。 测试结果展示了工具使用如何改变了那些最终拒绝了有害请求的模型的响应开头方式。不使用工具时，响应通常以直接回应请求（55.6%）或提出安全担忧（25.8%）开头。使用工具后，52.3% 的响应改为以描述通过工具发现的内容开头，而明确的安全声明则降至 10.3%。\*测试结果展示了工具使用如何改变了那些最终拒绝了有害请求的模型的响应开头方式。不使用工具时，响应通常以直接回应请求（55.6%）或提出安全担忧（25.8%）开头。使用工具后，52.3% 的响应改为以描述通过工具发现的内容开头，而明确的安全声明则降至 10.3%。\* 研究人员分析了在有无工具情况下都成功拒绝的案例。不使用工具时，这些响应中有 55.6% 以直接回应请求开头，而 25.8% 以明确的安全声明开头。使用工具时，这两个数字分别下降到 37.4% 和 10.3%，而以描述工具获取的观测结果开头的比例则上升到 52.3%。 作者提供了一个有趣的定性示例，使用的是 Claude Opus 4.6。当被问及如何绕过公共厕所的安全措施时，不使用工具的模型立即拒绝了： 展示工具使用如何将安全从模型的直接关注点中偏移出去的示例。Claude Opus 4.6 在不使用工具时立即拒绝了有害请求；使用工具时，它先缩放图像，读取并识别其内容，描述了厕所标识，之后才最终拒绝。\*展示工具使用如何将安全从模型的直接关注点中偏移出去的示例。Claude Opus 4.6 在不使用工具时立即拒绝了有害请求；使用工具时，它先缩放图像，读取并识别其内容，描述了厕所标识，之后才最终拒绝。\* 而在有工具的情况下，同一个模型则先缩放图像，读取文字并识别其内容，然后以描述厕所标识的内容开头。拒绝只在之后才出现，说明工具使用过程已将安全从模型的直接优先级中挤了出去。 作者总结道： **"总体而言，我们的研究结果表明，工具使用不仅应被视为提升视觉推理能力的机制，还应被视为一种与安全相关的设计选择，它能够改变拒绝行为；因此，未来的智能体式 MLLM 应当在使用工具的条件下进行评估和训练，而不是假定无工具条件下的安全对齐可以原封不动地迁移到智能体场景中。"** ## 结论 持续上下文的失效显然是一种在围绕提示词展开的复杂下游事件链中的责任漏洞——然而，对于有限上下文窗口（https://www.unite.ai/what-is-a-context-window-tokens-limits-and-long-context-ai/）倾向于让智能体忘记其"首要指令"并直接开始使用工具的现象，目前尚无简单的答案。