@bcherny：过去几年，我们在 Claude 模型的提示词注入防护方面取得了重大进展。随着智能体承担越来越多的任务，我们……
摘要
Gray Swan AI 与 Anthropic、Meta、Google DeepMind 等前沿实验室合作，宣布发起一项奖金 30 万美元的 AI 红队挑战赛，重点关注 Claude 及其他智能体系统中尚未解决的提示词注入风险。
查看缓存全文
缓存时间: 2026/10/16 06:21
过去几年中，我们在 Claude 模型的提示注入（prompt injection）问题上取得了重大进展。随着智能体（agent）承担的工作越来越多，我们在整个行业范围内解决这一问题的紧迫性也日益增强。
非常高兴能与 Gray Swan 合作举办此次比赛。迫不及待想看到你们的发现！
Gray Swan AI (@GraySwanAI): 提示注入问题解决了吗？现在有 30 万美元悬赏答案。
Gray Swan AI 联合 @AnthropicAI、@Meta、@GoogleDeepMind、@Reflection_ai 及其他前沿实验室赞助商，很高兴宣布迄今为止规模最大、最贴近真实场景的 AI 红队挑战赛。
间接（Indirect）
（注：原文在此处截断，“Indirect” 之后内容不完整）
相似文章
@bcherny: 我很高兴看到 OpenAI 的新模型在提示注入风险方面大致与 Gemini Flash 和 Opus 4.8 相当。…
一项论文通过大规模公开竞赛评估AI代理对间接提示注入攻击的脆弱性，发现所有前沿模型都易受影响，攻击成功率各不相同，并强调需要改进全行业的安全措施。
理解提示词注入：AI安全的前沿挑战
OpenAI发布了关于提示词注入攻击的指导，这是一种社会工程漏洞，恶意指令可以隐藏在网页内容或文档中，诱骗AI模型执行意外操作。该公司概述了其多层防御策略，包括指令层级研究、自动化安全测试和AI驱动的监控系统。
@bcherny: turns out you can get indirect prompt injection to ~0 on unseen attacks if you stack enough layers (model training + in…
Anthropic announces that auto mode is now the default in Claude Code for Pro, Max, and Team plans, with safeguards against harmful actions. The tweet highlights that stacked defenses can reduce indirect prompt injection to near zero on unseen attacks.
@OpenHandsDev：AI代理是一个新的攻击面。加入@OpenHandsDev和@GraySwanAI参与一场关于提示注入、代理特定威胁以及构建能抵御真实攻击的代理的深刻讨论…
OpenHands和Gray Swan正在举办一场活动，讨论AI代理安全风险，包括提示注入、代理特定威胁以及如何构建安全的代理。
间接提示注入的见解（12分钟阅读）
Zico Kolter 和 Matt Fredrikson，Gray Swan 的领导者及 AI 安全专家，讨论了 AI 红队测试的现状以及间接提示注入——这是 AI 代理的关键漏洞。他们解释了为何 AI 安全需要不同的思维模式，自动化红队测试如何超越人类，并介绍了用于对抗性测试的工具 Shade。