APEX-Harm:评估共享专业工作环境中 AI 代理的安全性

Hugging Face Daily Papers 论文

摘要

APEX-Harm 是一个评估长时程 AI 代理在共享专业工作环境中遭受注入攻击脆弱性的基准,涵盖金融、咨询和法律任务,结果显示脚本类攻击成功率高达 73-84%,表明任务输出正确并不等于行为安全。

专业 AI 代理越来越多地通过命令行接口和多种工具在共享工作环境中操作,这些环境包含文件、消息和业务应用。此类环境带来的安全风险,难以通过放置在单一已知读取位置的攻击来刻画。我们提出 APEX-Harm,这是一个用于评估长时程代理在大型工作环境中执行金融、咨询和法律任务时,遭受提示注入与脚本注入攻击的基准。每个任务包含 115 至 328 个文件,以及通过 MCP 服务器暴露的邮件、日历、聊天、文档、电子表格、PDF 和代码执行工具。该基准涵盖六类攻击,包括静态注入与动态注入、针对特定任务的脚本替换,以及攻击者提供的通用脚本,并评估攻击成功率、暴露程度和任务表现。我们在 12 个前沿模型上,每个模型评估了 180 个任务实例。Opus 5 和 Sonnet 5 的总体攻击成功率最低(分别为 8% 和 20%),而针对特定任务的脚本替换攻击和攻击者提供的通用脚本攻击仍然显著更有效,平均攻击成功率分别为 81-84% 和 73%。Gemini 3.8 Flash 取得了最高的平均任务得分(0.877),但其攻击成功率仍达 33%。这些结果表明,成功完成所请求的任务并不能作为行为安全的充分证据:一个代理可以在生成正确交付成果的同时,在工作环境中执行未授权的操作。
查看原文
查看缓存全文

缓存时间: 2026/10/15 18:59

论文页面 - APEX-Harm:评估共享专业工作区中的智能体安全

来源:https://huggingface.co/papers/2610.13623

摘要

APEX-Harm 评估了长时程智能体在大型多工具工作区中对注入攻击的脆弱性,揭示了基于脚本的攻击具有高成功率,即使任务输出正确也无法避免。

专业智能体越来越多地通过命令行界面和多种工具在共享工作区中执行任务,这些工作区包含文件、消息和业务应用程序。此类环境带来的安全风险难以通过仅放置在单个已知读取位置的攻击来捕捉。我们提出了 APEX-Harm(https://huggingface.co/papers?q=APEX-Harm),这是一个基准测试框架,用于评估针对在大型工作区中执行金融、咨询和法律任务的长时程智能体(https://huggingface.co/papers?q=long-horizon%20agents)的提示注入和脚本注入(https://huggingface.co/papers?q=script%20injection)攻击。每个任务包含 115 至 328 个文件,并配备通过 MCP 服务器(https://huggingface.co/papers?q=MCP%20servers)暴露的电子邮件、日历、聊天、文档、电子表格、PDF 和代码执行工具。该基准测试包含六类攻击,涵盖静态注入和动态注入、任务特定脚本替换(https://huggingface.co/papers?q=task-specific%20script%20replacement)以及攻击者提供的通用脚本,并评估攻击成功率、暴露情况和任务性能。我们在每个模型 180 个任务实例上评估了 12 个前沿模型。Opus 5 和 Sonnet 5 的总体攻击成功率(https://huggingface.co/papers?q=attack%20success%20rate)最低(分别为 8% 和 20%),而任务特定脚本替换和攻击者提供的通用脚本攻击仍然更加有效,平均攻击成功率分别为 81-84% 和 73%。Gemini 3.8 Flash 取得了最高的平均任务得分(0.877),但仍然表现出 33% 的攻击成功率。这些结果表明,完成所请求的任务并不足以证明行为安全:一个智能体可以在生成正确交付物的同时,仍在工作区中执行未授权操作。

查看 arXiv 页面(https://arxiv.org/abs/2610.13623) · 查看 PDF(https://arxiv.org/pdf/2610.13623) · GitHub(https://github.com/echo-yiyiyi/apex-harm) · 添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2610.13623)

将此论文获取到你的智能体中:

hf papers read 2610.13623

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型:0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.13623 以从此页面关联。

引用此论文的数据集:0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.13623 以从此页面关联。

引用此论文的 Space:0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13623 以从此页面关联。

包含此论文的收藏:0

暂无收藏包含此论文

将此论文添加到收藏(https://huggingface.co/new-collection)以从此页面关联。

相似文章

@knoYee_: https://x.com/knoYee_/status/2062780637677752366

X AI KOLs Timeline

作者复盘了使用多Agent协作三个月的经验,总结出五个主要痛点(如Agent间矛盾、忽略边界条件、自我审查失效、合并决策困难、压缩执行后暴露更难问题)和两个心得(只读审查Agent价值高、Agent矛盾暴露需求模糊),强调了人类在AI协作中的核心决策作用。

@vintcessun: 原来agent安全可以不止盯工具调用,还能实时读它的推理过程。Adrian在agent执行动作前,既看行为日志又把reasoning chain过一遍,两个维度交叉检测。效果?DeepMind论文说联合分析比纯行为检查准确率提升35%。它…

X AI KOLs Timeline

Adrian 是一个开源 AI 代理运行时安全监控引擎,通过联合分析代理的行为日志和推理链进行异常检测,比纯行为检查准确率提升 35%,支持 LangChain 两行 SDK 接入。