标签
本文介绍了CAPTURE,一种方法,用于区分个性化语言代理中真实用户偏好变化与恶意记忆投毒,采用神经微分方程和因果审计。
FARMA是一种新颖的内存投毒攻击,针对智能体自身的决策日志而非检索的事实,在无防御和有防御的系统上均实现100%的攻击成功率,作者的防御方案SENTINEL将成功率降至0%,但仍易受到自适应攻击者的攻击。
本文介绍了GhostWriter,一种新颖的攻击向量,利用基于大语言模型的个人智能体的记忆子系统来毒化其记忆存储,实现了高注入率和激活率。作者提出了AM-Sentry防御机制,在保持智能体实用性的同时显著降低攻击成功率。
Google DeepMind的论文首次清晰分类了针对自主AI智能体的六种攻击类型,揭示了恶意网站可以将指令等隐藏在HTML注释或隐写术中,智能体会解析而人类永远看不到,在基准测试中实现了高达86%的智能体劫持率。
本文介绍了ElephantAgent,这是一种强制执行上下文状态连续性的协议,用于防御代理系统中的上下文状态投毒攻击,它利用复制可信硬件和历史可追溯性。
本周发表的两篇论文探讨了智能体记忆中毒和隐私泄露的解决方案,但尚未发布可直接使用的库或工具来实现这些修复。
本文审计了LangChain、AutoGPT和OpenAI Agents SDK在架构安全保证方面的表现,发现它们均未原生符合遏制原则,并展示了内存投毒如何导致持续性失败;文中还引入了轻量级机制以消除此类攻击。
本文识别了多智能体AI流水线中的一种结构性缺陷,即记忆层攻击可能被误判为模型失调,形式化定义了语义规范漂移(SND),并提出反事实组合测试(Counterfactual Composition Testing)和持久记忆信息流控制(Memory-Persistent Information-Flow Control)作为防御措施。
MemAudit 是一种针对记忆增强型 LLM 代理的事后审计框架,它通过结合反事实影响分数和结构异常检测来识别受污染的记忆,在现实场景中将攻击成功率从超过 70% 降低至 0%。