@OpenHandsDev:AI代理是一个新的攻击面。加入@OpenHandsDev和@GraySwanAI参与一场关于提示注入、代理特定威胁以及构建能抵御真实攻击的代理的深刻讨论…

X AI KOLs Following 事件

摘要

OpenHands和Gray Swan正在举办一场活动,讨论AI代理安全风险,包括提示注入、代理特定威胁以及如何构建安全的代理。

AI代理是一个新的攻击面。加入@OpenHandsDev和@GraySwanAI参与一场关于提示注入、代理特定威胁以及构建能抵御真实攻击的代理所需条件的深刻讨论。 立即预订席位 👉 https://t.co/g3YcxoxVH1
查看原文
查看缓存全文

缓存时间: 2026/07/11 21:36

AI 代理正在成为一个新的攻击面。欢迎加入 @OpenHandsDev 和 @GraySwanAI 的深度讨论,主题涵盖提示注入、代理特有的威胁,以及如何构建能经受真实攻击考验的智能体。

立即预留席位 👉 https://t.co/g3YcxoxVH1


AI 如何重塑网络安全 · Zoom · Luma

来源:https://luma.com/openhands-0yga?utm_content=382277527&utm_medium=social&utm_source=twitter&hss_channel=tw-1793978852919885824

AI 代理已经能够编写代码、管理基础设施,并凭借对真实系统的实际访问权限做出决策。这是其优势所在。但这也构成了一个全新的攻击面。

代理带来了传统安全团队从未考虑过的风险:提示注入让代理自身的指令变成了社会工程攻击的目标;而拥有代理工具的对手,其行动速度和深入程度远超人类。与此同时,代理也创造了真实的机遇:自动化代码审计、更快的漏洞修复,以及捕捉人类遗漏的监控能力。

OpenHands 和 Gray Swan 将携手深入探讨两个方面:代理如何被利用,以及如何构建在真实攻击中稳定可靠的代理。

我们将涵盖的内容

  • AI 代理的实际工作原理(模型、提示词以及赋予它的工具)
  • 代理特有的网络安全风险:攻击面、提示注入以及 AI 辅助攻击
  • 如何保护代理安全,以及如何利用代理保护其他一切
  • 现场讨论与问答

演讲嘉宾

Graham Neubig,OpenHands 首席科学家

Matt Fredrikson,Gray Swan 首席执行官兼联合创始人

适合参会者

安全工程师、平台与基础设施团队,以及正在评估如何部署 AI 代理而不引入新风险的工程领导者。

关于 OpenHands

OpenHands 是安全、透明、模型无关的代码代理的基础平台,赋能每个软件团队以完全掌控的方式更快构建。

关于 Gray Swan

Gray Swan 为大型语言模型(LLM)提供企业级安全解决方案,由 AI 漏洞研究的先驱者开发。

相似文章

间接提示注入的见解(12分钟阅读)

TLDR AI

Zico Kolter 和 Matt Fredrikson,Gray Swan 的领导者及 AI 安全专家,讨论了 AI 红队测试的现状以及间接提示注入——这是 AI 代理的关键漏洞。他们解释了为何 AI 安全需要不同的思维模式,自动化红队测试如何超越人类,并介绍了用于对抗性测试的工具 Shade。

设计能抵抗提示词注入的AI智能体

OpenAI Blog

OpenAI发布了关于设计抗提示词注入攻击的AI智能体的指导意见,指出现代攻击日益采用社会工程学策略而非简单的字符串注入,并倡导采用系统级防御措施来限制影响范围,而不是单纯依赖输入过滤。