provenance-tags

标签

Cards List
#provenance-tags

# Agent 安全:溯源标签与致命三角(Lethal Trifecta) ## 致命三角概述 致命三角是指 AI Agent 中三个危险因素的组合: 1. **不可信输入(Untrusted Content)** — 用户输入、网页内容、邮件正文等外部数据 2. **私有数据访问(Private Data Access)** — 本地文件、API 密钥、数据库凭据、内部通信 3. **数据外泄能力(Exfiltration Channel)** — 网络请求、发送邮件/消息、写入外部系统 当三者同时存在时,攻击者可以通过在不可信内容中注入指令,让 Agent 读取私有数据并通过外泄通道发送出去,即 **提示注入(Prompt Injection)导致的数据泄露**。 ## 常见问题 ### 致命三角相关 - **提示注入**:攻击者在网页、文档、邮件中嵌入隐藏指令,劫持 Agent 行为 - **上下文污染**:不可信内容未经区分地混入上下文窗口 - **权限过宽**:Agent 同时拥有文件读取、网络访问和消息发送权限 - **缺乏审计**:无法追踪 Agent 到底访问了什么数据、执行了什么操作 ### 溯源标签相关 - 缺乏对数据来源的标记,难以区分可信与不可信内容 - 难以追溯 Agent 行为链条中的每一步决策依据 - 多 Agent 系统中信息流转缺乏透明度 ## 常见解决方案 ### 破解致命三角 - **打破三角中的至少一条边**: - 限制外泄通道(网络白名单、禁止 Agent 直接发送数据) - 隔离私有数据(沙箱、最小权限原则) - 标记并隔离不可信输入(与可信指令分离) - **人类确认(Human-in-the-loop)**:敏感操作需人工审批 - **能力边界(Capability Boundary)**:通过系统级权限控制而非仅靠提示词 ### 溯源标签(Provenance Tags) - 为每条上下文内容添加**来源标签**(如 `system`、`user`、`web`、`email`) - 使用**标记化(tagging)** 在上下文中明确区分可信指令与不可信数据 - 实现**操作审计日志**,记录 Agent 的每次工具调用和数据访问 - 在多 Agent 架构中使用**消息签名和溯源链**追踪信息流转 ### 最佳实践 - 采用**零信任架构**:默认所有外部输入都不可信 - **最小权限原则**:Agent 只获得完成任务所需的最小权限 - **输出过滤**:在数据离开系统前检测是否包含敏感信息 - **红队测试**:持续对 Agent 进行提示注入攻击测试

Reddit r/AI_Agents ↗ · 3天前

一位正在开发 AI 安全库的开发者讨论了解决“来源标记(provenance tagging)”以及“致命三要素(lethal trifecta)”(跨操作的信息流违规问题)的不同思路,权衡了硬编码规则、输出过滤和防护栏(guardrails)等方案,最终将一个原型部署到了 AI 简历筛选工作流中。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈