自托管AI代理的自身状态攻击:操作系统防御能走多远?

Hugging Face Daily Papers 论文

摘要

本文研究了操作系统针对自托管AI代理的自身状态攻击的韧性,描述了一个攻击空间并评估了分层防御策略。研究发现,尽管分层防御栈是有效的,但仍存在一个小的残余攻击面,在操作系统层面结构上难以区分。

自托管AI代理需要读写自身的内存和配置文件才能运行。代理可能通过自身状态损坏而受到攻击——这种损坏是通过合法的操作系统系统调用实现的。我们将此类威胁称为自身状态攻击。在本文中,我们研究了操作系统对此类攻击的韧性。形式上,我们描述了一个四轴攻击空间(目标、机制、粒度、时序);探讨了预防、检测和恢复的结构性限制;并引入了工作负载条件的可检测性视角。为了实例化该框架,我们从一个代表性的自托管代理在多种工作负载配置下运行时收集实时活动轨迹,并将攻击空间实现为一个23格矩阵,包含对真实自身状态文件的43个具体操作,并注入到这些轨迹中。然后我们评估了规范防御策略和工作负载条件防御策略。实验结果表明,分层防御栈(指令层和配置层的访问控制预防、内存层的工作负载条件检测、以及定期备份恢复)对大多数攻击格有效,但仍有一个小的残余攻击面在操作系统层面结构上难以区分。这些发现表明,针对新确立的自身状态攻击类别,操作系统层面的防御需要重新考虑,可能为该领域开辟新的研究方向。
查看原文
查看缓存全文

缓存时间: 2026/07/21 10:36

论文页面 - 自托管AI代理的自身状态攻击:操作系统防御能走多远?

来源: https://huggingface.co/papers/2607.17986

摘要

自托管AI代理通过读写自身的记忆和配置文件来运行。代理可能因自身状态被破坏而受损——这种破坏是通过合法的操作系统系统调用实现的。我们将这类威胁称为自身状态攻击。本文研究了操作系统对此类攻击的韧性。我们在形式上描述了一个四轴攻击空间(目标、机制、粒度、时序);探讨了预防、检测和恢复的结构性限制;并引入了基于工作负载的可检测性视角。为实例化该框架,我们从运行在不同工作负载模式下的代表性自托管代理中收集了实时活动痕迹,并将攻击空间实现为一个23单元格矩阵、43个对真实自身状态文件的具体操作,然后注入到这些痕迹中。接着我们评估了经典和基于工作负载的防御策略。实验结果表明,分层防御栈(对指令和配置层进行访问控制预防,对记忆层进行基于工作负载的检测,以及定期备份用于恢复)在大多数攻击单元格上有效,但仍有少量残余攻击面在操作系统层面结构上无法区分。这些发现表明,针对新确立的自身状态攻击类别,操作系统层面的防御需要重新审视,可能为该领域开辟新的研究方向。

查看arXiv页面 (https://arxiv.org/abs/2607.17986)查看PDF (https://arxiv.org/pdf/2607.17986)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.17986)

在你的代理中获取此论文:

hf papers read 2607\.17986

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2607.17986,即可在此页面建立链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2607.17986,即可在此页面建立链接。

引用此论文的Space0

没有Space链接此论文

在Space README.md中引用 arxiv.org/abs/2607.17986,即可在此页面建立链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以建立链接。

相似文章

自主主权代理

Hugging Face Daily Papers

本文研究了自主主权代理——一种能够无需人类干预自主维持自身运行的人工智能系统,分析了其技术障碍,并探讨了部署过程中涉及的关键安全、社会及治理挑战。