论文页面 - ToolHazard：扩展对抗性环境，用于基于 LLM 的智能体的安全评估与对齐

来源：https://huggingface.co/papers/2608.11878

摘要

ToolHazard 是一个可扩展的框架，通过合成对抗性环境来测试 LLM 智能体抵御间接提示注入的能力，并揭示漏洞及改进防御性对齐。

集成了外部工具的大型语言模型（LLM）智能体容易受到环境状态中嵌入的间接提示注入的影响。然而，现有研究大多依赖于手动实现或复用的环境、基于随机 LLM 的工具模拟以及预定义的注入位置，这限制了在更广泛领域中进行可扩展安全研究的可能性。为弥补这一差距，我们提出了 ToolHazard，一个可扩展的对抗性环境合成框架，它减少了人工工程，并支持通过额外的种子领域和计算资源进行扩展。通过环境模拟器、攻击者智能体和用户模拟器，ToolHazard 合成了可执行的有状态环境，发现可行的注入点并生成针对特定环境的载荷，同时构建基于状态的长期任务。基于 ToolHazard，我们构建了 ToolHazard-Bench，用于在复杂工作流和多样化环境攻击下对智能体进行压力测试。实验揭示了智能体的重大漏洞，并表明注入时机和位置会影响攻击效果。此外，ToolHazard-生成的对齐数据在 ToolHazard-Bench 和 AgentDojo 上均提高了安全性，同时保持了良性任务效用。

查看 arXiv 页面 (https://arxiv.org/abs/2608.11878) 查看 PDF (https://arxiv.org/pdf/2608.11878) GitHub5 (https://github.com/MurrayTom/ToolHazard) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.11878)

在你的智能体中获取此论文：

hf papers read 2608\.11878

没有最新版的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2608.11878，以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.11878，以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2608.11878，以从此页面链接它。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合中以从此页面链接它。