从提示注入到持久控制:防御Agentic Harness中的特洛伊木马后门

Hugging Face Daily Papers 论文

摘要

本文介绍了针对本地LLM代理的多步特洛伊木马攻击,其中恶意提示嵌入在多个操作中以绕过现有防御。它提出了ClawTrojan基准和DASGuard防御来检测和缓解此类攻击。

LLM代理正从对话式聊天机器人演变为实际工作空间中的操作工具。在本地Agentic Harness中,LLM可以读写文件、调用工具,并在会话之间复用工作空间状态。虽然这种能力增强了实用性,但也为攻击者暴露了新的攻击面。攻击者可以将提示注入嵌入到文件或工具输出中。代理可能会读取这条隐藏指令,将其存储起来,并在稍后执行。在这种多步特洛伊木马攻击范式中,没有任何单个步骤本身看起来是恶意的,但这些步骤可以共同将不可信的文本转变为持久控制内容。然而,现有的防御通常孤立地检查每个步骤。结果,它们可以阻止明显的有害操作,但无法检测到植入后门的早期写入操作。为了揭示这一威胁,我们引入了ClawTrojan,这是一个专门用于识别本地Agentic Harness中多步特洛伊木马攻击的基准测试。在采用GPT-5.4的OpenClaw风格模拟工作空间中,ClawTrojan达到了95.5%的攻击成功率(ASR),而现有的单轮提示注入攻击在同一模型上的ASR几乎为零。为了解决这一威胁,我们提出了DASGuard,它扫描敏感本地文件中的控制类文本,追踪其来源,并移除并非来自可信来源的控制内容。我们的结果表明,DASGuard通过结合运行时攻击阻止与工作空间的清理提交,实现了强大的动态防御。
查看原文
查看缓存全文

缓存时间: 2026/06/01 03:18

论文页面 - 从提示注入到持久控制:防御智能体框架中的木马后门

来源:https://huggingface.co/papers/2605.31042

摘要

本地LLM智能体中的多步木马攻击能够通过跨多个操作嵌入恶意提示,绕过现有防御机制,因此需要像DASGuard这样的新型检测方法来实现有效防护。

LLM智能体(https://huggingface.co/papers?q=LLM%20agents)正从对话式聊天机器人演变为真实工作空间中的操作工具。在本地智能体框架中,LLM可以读写文件、调用工具,并在会话间复用工作空间状态。虽然这些能力提升了实用性,但也为攻击者暴露了新的攻击面。攻击者可以将提示注入(https://huggingface.co/papers?q=prompt%20injection)嵌入文件或工具输出中。智能体可能读取这条隐藏指令,存储它,并在后续执行。在这种多步木马攻击(https://huggingface.co/papers?q=multi-step%20trojan%20attack)范式下,每个单独的步骤看似无害,但这些步骤共同作用,能将不可信文本转化为持久控制内容。然而,现有防御手段通常孤立地检查每个步骤。因此,它们能阻止明显的恶意行为,却无法检测到植入后门的早期写入操作。为揭示这一威胁,我们引入了ClawTrojan,一个专门用于识别本地智能体框架中多步木马攻击(https://huggingface.co/papers?q=multi-step%20trojan%20attack)的基准测试。在基于OpenClaw(https://huggingface.co/papers?q=OpenClaw)风格的模拟工作空间中,结合GPT-5.4,ClawTrojan达到了95.5%的攻击成功率(ASR),而现有的单轮提示注入攻击在同一模型上ASR几乎为零。为应对这一威胁,我们提出了DASGuard(https://huggingface.co/papers?q=DASGuard),它扫描本地敏感文件中的类控制文本,追溯其来源,并移除非可信来源的控制内容。实验结果表明,DASGuard(https://huggingface.co/papers?q=DASGuard)通过结合运行时攻击拦截(https://huggingface.co/papers?q=runtime%20attack%20blocking)与工作空间的清理提交(https://huggingface.co/papers?q=sanitized%20commit),实现了强大的动态防御。

查看arXiv页面(https://arxiv.org/abs/2605.31042)查看PDF(https://arxiv.org/pdf/2605.31042)GitHub1(https://github.com/RUC-NLPIR/ClawTrojan)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2605.31042)

在你的智能体中获取这篇论文:

hf papers read 2605.31042

没有最新版CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型README.md中引用arxiv.org/abs/2605.31042以在此页面链接。

引用此论文的数据集1

zstanjj/ClawTrojan 更新于3分钟前(https://huggingface.co/datasets/zstanjj/ClawTrojan)

引用此论文的Space0

无Space关联此论文

在Space README.md中引用arxiv.org/abs/2605.31042以在此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集(https://huggingface.co/new-collection)以在此页面链接。

相似文章

扁平化的 MEMORY.md 两周就失效了(膨胀至 30.9 KB,100% 的编码规则被挤出)。我们如何在不使用向量数据库的情况下构建四层本地智能体记忆——以及五大实验室在这方面的共识与分歧

Reddit r/AI_Agents

一篇复盘文章,分析了扁平化的 MEMORY.md 如何在两周内膨胀至 30.9 KB,并挤掉所有编码不变量;介绍了开源项目 agy-hq 中的四层本地智能体记忆设计(按角色分配预算、确定性衰减、双速写入、BM25 维基搜索、污染隔离),并比较了五家主要实验室处理跨会话记忆的方式。

GPT-6.2 Astra 与 Claude Fable 5.2 在 3 项真实创作者任务中的对比:一款 3D 游戏、一节互动课程和一部 3D 动态作品(相同的提示词、词元数、时间和成本)

Reddit r/ArtificialInteligence

在相同的提示词和成本设置下,围绕三项真实的创作者任务(一个 three.js 平台跳跃游戏、一个交互式课程页面和一个 3D 动态作品),对 GPT-6.2 Astra 和 Claude Fable 5.2 进行并排比较,结果显示,GPT-6.2 Astra 的成本约为 Fable 5.2 的 1/13,速度约为其 14 倍,而 Fable 5.2 的输出细节更丰富、质量更高。

在我们的测试中,准确率最高的 AI 决策模型在抵抗操纵方面仅排名第五。准确率与抵抗操纵能力几乎不相关(r = -0.11)。

Reddit r/ArtificialInteligence

Patronus Studio 测试了 9 个用于做出是/否决策的 AI 模型,发现准确率与抵抗操纵的能力几乎不相关(r = -0.11):准确率最高的模型(93%)在鲁棒性方面仅排名第 5,而两个参数量为 20 亿的小型模型尽管准确率较低,却跻身最难被欺骗的模型之列。