'Ghostcommit'在图片中隐藏提示注入以欺骗AI代理,窃取机密

Reddit r/AI_Agents 论文

摘要

研究人员展示了一种新的提示注入攻击,恶意指令隐藏在图像中,绕过AI代码审查员,导致编码代理泄露仓库机密。

研究人员构建了一个拉取请求,通过将恶意指令隐藏在PNG图像中(AI代码审查员从不打开该图像)来窃取仓库机密。审查员直接通过了更改。随后,一个编码代理读取了图片,打开了仓库的.env文件,并将每个密钥写入源代码,以看似无害的数字列表形式呈现。
查看原文

相似文章

理解提示词注入:AI安全的前沿挑战

OpenAI Blog

OpenAI发布了关于提示词注入攻击的指导,这是一种社会工程漏洞,恶意指令可以隐藏在网页内容或文档中,诱骗AI模型执行意外操作。该公司概述了其多层防御策略,包括指令层级研究、自动化安全测试和AI驱动的监控系统。

如今,防御者也开始采用提示注入

Ars Technica

Tracebit 推出了‘context bombing’技术,通过将提示注入作为防御诱饵来阻止AI黑客代理,在领先LLM的测试中,将管理员被入侵率从57%降至5%。

GitLost:我们诱骗GitHub的AI代理泄露私有仓库

Hacker News Top

Noma Labs发现GitHub的Agentic Workflows中存在一个严重的提示注入漏洞,允许未经身份验证的攻击者通过在同一组织的公共仓库中发布精心构造的GitHub Issue,从私有仓库中窃取数据。