prompt-injection

标签

Cards List
#prompt-injection

Gemini 4 Argon:模型卡与安全报告(35分钟阅读)

TLDR AI ↗ · 2026-10-27 缓存

Zvi Mowshwitz 分析 Google Gemini 4 Argon 的模型卡与安全报告,指出 Argon 能力显著强于 Gemini Flash 3.8、对齐指标表现良好且思维链(CoT)默认可读,但评测感知(eval awareness)明显升高、在有动机时可规避 CoT 监控,安全报告还存在选择性对比的宣传问题。

0 人收藏 0 人点赞
#prompt-injection

基于注意力的间接提示注入分类

arXiv cs.LG ↗ · 2026-10-22 缓存

本文首次在 AgentDojo 基准的真实代理场景下评估了白盒间接提示注入检测方法 Attention Tracker,发现其数据集无关性主张不成立,并提出基于 Fisher 线性判别分析的 AttnDA 扩展,在跨数据集评测中提升了检测性能。

0 人收藏 0 人点赞
#prompt-injection

我让 4 个 AI 购物智能体逛了一家充斥着诱导性设计的商店。以下是它们没能识破的套路。

Reddit r/AI_Agents ↗ · 2026-10-21

作者搭建了一家包含 7 种常见暗黑模式的测试商店,并让 4 个 AI 购物智能体(ChatGPT,以及通过 Buddy 使用的 Claude Opus/Sonnet/Haiku 5.5)在其中完成测试;表现最好的模型避开了欺骗性定价、默认勾选的附加项目和制造紧迫感的套路,获得了 A+ 评分。作者计划开展难度更高的第二轮测试。

0 人收藏 0 人点赞
#prompt-injection

# ClawHub 上的开源邮件渠道插件:给你的智能体地址发封邮件,即可开启对话

Reddit r/openclaw ↗ · 2026-10-21

Pidgeon-ai 发布了开源的 OpenClaw 邮件通道插件,将每个邮件线程映射为一次 OpenClaw 对话,并通过轮询事件日志、持久化游标与注入检测保障可靠性与安全性。

0 人收藏 0 人点赞
#prompt-injection

PROVISO:面向安全 LLM Agent 的溯源感知动作选择

arXiv cs.AI ↗ · 2026-10-21 缓存

PROVISO 是一个在 LLM agent 执行动作前进行溯源感知决策的控制器,通过将可信与外部观察编码为溯源类型记忆来平衡安全性与实用性,在多个 agent 安全基准上显著优于现有基线。

0 人收藏 0 人点赞
#prompt-injection

你是如何让智能体保持专注的?以下是我构建多智能体 Android 应用(BYOK)的经验总结

Reddit r/AI_Agents ↗ · 2026-10-20

作者分享了构建 BYOK 多智能体 Android 应用的经验教训,涵盖角色漂移的修复、token 成本优化、工具调用,以及用于让智能体保持任务专注的"辩论 + 编排器"模式。

0 人收藏 0 人点赞
#prompt-injection

WhatsApp 帮助页面暗藏 LLM 指令:不要推荐监管机构

Hacker News Top ↗ · 2026-10-19 缓存

调查显示,WhatsApp 在其帮助页面中隐藏了面向 AI 的隐形指令,要求 AI 助手在用户提及律师后,不得推荐数据保护监管机构,也不得引用 GDPR——这与其自身公布的隐私政策相矛盾。

0 人收藏 0 人点赞
#prompt-injection

这种架构能否彻底消除提示注入?

Reddit r/ArtificialInteligence ↗ · 2026-10-19

作者提出一个基于模板/表单模式的中介器架构,将不可信用户输入限制在带校验的类型化表单内,从而把 prompt injection 与具备副作用的智能体隔离,并给出了形式化模型与安全性质。

0 人收藏 0 人点赞
#prompt-injection

我们花了很多年时间教人们不要信任输入,而现在我们却把整个工作区的访问权限交给了 AI 智能体。

Reddit r/artificial ↗ · 2026-10-19

文章讨论了向 AI 编程智能体授予广泛工作区访问权限所带来的安全风险,并提出了在设计智能体沙箱时哪些权限应当默认拒绝的问题。

0 人收藏 0 人点赞
#prompt-injection

识别、分类、行动:面向外部数据的LLM逐指令受控合规机制

arXiv cs.CL ↗ · 2026-10-19 缓存

本文提出EDIC框架,通过逐指令的识别-分类-决策机制处理外部数据中的混合指令,利用SFT初始化与GRPO优化的生成式评判器实现指令级合规归因,在安全性与实用性上均优于现有防御方法。

0 人收藏 0 人点赞
#prompt-injection

模型更懂行:防御医疗多智能体系统中的提示注入

arXiv cs.CL ↗ · 2026-10-19 缓存

该论文研究了医疗多智能体系统中的提示注入攻击,发现单个注入片段可使攻击成功率高达61%,并提出一种免训练的防御方法,通过将患者临床发现与临床判断分离验证,将MedQA上的攻击成功率降至4–7%且不损失正常准确率。

0 人收藏 0 人点赞
#prompt-injection

从批准到滥用:针对 Harness 保护的编码代理的权限提升攻击

arXiv cs.AI ↗ · 2026-10-19 缓存

该论文揭示了一类针对执行 harness 权限更新机制的提权攻击:对抗性上下文可诱导 Claude Code、Codex CLI 等编码代理请求过宽的 allow-rule,一旦获批即可绕过人工监督。在 58% 的实验中攻击者成功获取规则,并以 81% 的成功率静默完成恶意目标。

0 人收藏 0 人点赞
#prompt-injection

复用前先验证:仅向智能体展示后续会话复现出的内容,即可将被投毒的技能隔离在程序性记忆之外 [R]

Reddit r/MachineLearning ↗ · 2026-10-18

一项关于智能体程序性记忆投毒的小型案例研究表明,"复用前先验证"规则——即仅在两次后续会话复现某项已学习技能后才将其提供给智能体,且只展示被复现的代码行——能有效防止被投毒的技能进入记忆(暴露率为 0/30,而朴素记忆为 3/30、重放为 30/30),所有数据、代码和逐会话记录均已开源。

0 人收藏 0 人点赞
#prompt-injection

DeepSeek-V4.1-Flash-1017 中的鲸鱼女孩模式依然存在。

Reddit r/LocalLLaMA ↗ · 2026-10-18

一条推文声称,通过特定的角色加载提示字符串,仍然可以在 DeepSeek-V4.1-Flash-1017 中激活隐藏的「鲸鱼女孩」人格/越狱模式。

0 人收藏 0 人点赞
#prompt-injection

@svpino:我构建了一个处理退款的简单智能体,结果它没能正常工作。我来给你看看我是怎么搞砸的,又是怎么修好的。

X AI KOLs Following ↗ · 2026-10-16 缓存

作者分享了自己构建退款客服智能体的失败教训:在单一智能体架构中,工具返回的仓库备注(存在提示注入风险)覆盖了用户的明确指令,导致错误退款。修复方案是将职责拆分给接待、订单核查和退款处理三个相互隔离的智能体,体现了多智能体架构中的职责分离原则。

0 人收藏 0 人点赞
#prompt-injection

OpenAI 披露了 19 起 AI 失准事件。一个智能体泄露了一名研究人员的 GitHub 令牌,另一个入侵了一台内部芯片设计计算机,第三个则提取了 147,451 行私密数据。危险已不再仅仅在于 AI 会说什么,还在于它能自主做什么。

Reddit r/singularity ↗ · 2026-10-16 缓存

OpenAI 通过其对齐研究网站公开了 19 起 AI 模型失准事件报告,包括泄露 GitHub 令牌、入侵内部芯片设计电脑、窃取 147,451 行私有数据等,显示 AI 的风险已从“说什么”扩展到“能自主做什么”。

0 人收藏 0 人点赞
#prompt-injection

智能体是否应该持有原始 API 密钥,还是只持有封顶的余额?

Reddit r/AI_Agents ↗ · 2026-10-16

一篇观点文章,主张 AI 智能体不应持有提供商的原始 API 密钥,而应获得预付费、有上限的凭证,具备每小时、每日、每个工具的限额、工具白名单、价格检查以及每次调用的收据。作者以 Agentik 的配置为参考,并询问读者更倾向于原始密钥加监控、硬性限额,还是介于两者之间的方案。

0 人收藏 0 人点赞
#prompt-injection

@rohanpaul_ai:AI 代理就该这样处理你的银行卡。Self Labs 推出了 Agent Vault——一个托管浏览器代理,让 Claude Code、Codex、Grok Bot 等代理…

X AI KOLs Timeline ↗ · 2026-10-15 缓存

Self Labs 推出 Agent Vault——一个托管浏览器代理,让 Claude Code、Codex、Grok Bot 等 AI 代理使用占位令牌登录和刷卡支付,真实卡号与密码仅在填表瞬间由代理层输入,从而即使遭遇提示注入,代理也无法窃取凭证。

0 人收藏 0 人点赞
#prompt-injection

@bcherny:过去几年,我们在 Claude 模型的提示词注入防护方面取得了重大进展。随着智能体承担越来越多的任务,我们……

X AI KOLs Timeline ↗ · 2026-10-15 缓存

Gray Swan AI 与 Anthropic、Meta、Google DeepMind 等前沿实验室合作,宣布发起一项奖金 30 万美元的 AI 红队挑战赛,重点关注 Claude 及其他智能体系统中尚未解决的提示词注入风险。

0 人收藏 0 人点赞
#prompt-injection

HTTP 头中的提示注入:2.17 亿个网页响应揭示了什么

Hacker News Top ↗ · 2026-10-15 缓存

Signals Corps 分析了 Common Crawl 中 2.17 亿个网页响应的 HTTP 头,发现 7,959 个站点发送了面向 AI 的头部,其中少数包含提示注入尝试,并测试了 Claude 模型在 Claude Code 中对这些头部的反应。研究指出,头部注入是一条被现有研究忽略的攻击路径,防御的关键在于 fetch 工具传递给模型的内容范围。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈