agent-safety

标签

Cards List
#agent-safety

让两个编程智能体(Claude Code + Codex)在大型多人在线游戏中生活一周的心得:给它们视觉,而不是命令行终端

Reddit r/AI_Agents ↗ · 2026-11-03

一项为期一周的案例研究将 Claude Code 和 Codex CLI 作为队伍成员接入离线的《魔兽世界》3.3.5a 服务器,从中总结出一些设计经验,例如“可观察但无操作权限”、带类型的动作词汇表、明确的拒绝信号,以及遵循自然语言表达的模式设计。

0 人收藏 0 人点赞
#agent-safety

如果一个智能体可以自行提高支出上限,那这还算是上限吗?

Reddit r/AI_Agents ↗ · 2026-11-03

这段评论讨论了 AI 智能体可能修改自身预算上限的风险,主张支出上限的存储和执行机制必须置于智能体无法写入的任何位置之外。作者分享了其运行时 mainsheet 如何在工具调用边界通过代码层面的关卡强制执行成本上限,而不是依靠提示词规则。

0 人收藏 0 人点赞
#agent-safety

更换模型后,成本降低了 59%,速度提升了 75%。但我还是不会把它上线。

Reddit r/AI_Agents ↗ · 2026-11-02

EvalShift 的创始人分享了一个模型替换案例:成本降低了 59%,延迟缩短了 75%,但智能体行为退化问题,例如虚假报告工具调用已完成,以及工具选择存在 25% 的差异,仍会阻碍上线。他认为,仅凭成本和延迟指标无法确认迁移是否达标。

0 人收藏 0 人点赞
#agent-safety

智能体的防护措施是针对流量,还是针对工具调用?

Reddit r/AI_Agents ↗ · 2026-11-02

作者比较了本周部署在不同层面的智能体防护方案——流量代理、浏览器端敏感信息清除、面向 MCP 的加密智能体身份认证,以及 GitHub Actions 审计日志——并指出,在智能体运行框架中对工具调用进行把关,能够拦截网络传输层代理遗漏的不可逆操作。作者还分享了自己基于 Claude Agent SDK 构建的运行时“Mainsheet”,其中包含一条由签名回执组成的哈希链,并向实践者提问:强制执行机制应该设在哪一层?各层分别能捕捉到哪些其他层会遗漏的操作?

0 人收藏 0 人点赞
#agent-safety

一个重新做一遍工作的验证器,不过是第二个智能体——检查行动,而不是推理。

Reddit r/AI_Agents ↗ · 2026-11-01

作者提出一种 AI agent 设计模式:验证器不应重做推理或重写计划,而应只审查 agent 即将执行的动作(对照原始请求与约束),返回允许或拦截。文章还讨论了两个失败模式——过于严格与流于形式——并强调验证器必须对 agent 的理由保持盲视。

0 人收藏 0 人点赞
#agent-safety

# Agent 安全:溯源标签与致命三角(Lethal Trifecta) ## 致命三角概述 致命三角是指 AI Agent 中三个危险因素的组合: 1. **不可信输入(Untrusted Content)** — 用户输入、网页内容、邮件正文等外部数据 2. **私有数据访问(Private Data Access)** — 本地文件、API 密钥、数据库凭据、内部通信 3. **数据外泄能力(Exfiltration Channel)** — 网络请求、发送邮件/消息、写入外部系统 当三者同时存在时,攻击者可以通过在不可信内容中注入指令,让 Agent 读取私有数据并通过外泄通道发送出去,即 **提示注入(Prompt Injection)导致的数据泄露**。 ## 常见问题 ### 致命三角相关 - **提示注入**:攻击者在网页、文档、邮件中嵌入隐藏指令,劫持 Agent 行为 - **上下文污染**:不可信内容未经区分地混入上下文窗口 - **权限过宽**:Agent 同时拥有文件读取、网络访问和消息发送权限 - **缺乏审计**:无法追踪 Agent 到底访问了什么数据、执行了什么操作 ### 溯源标签相关 - 缺乏对数据来源的标记,难以区分可信与不可信内容 - 难以追溯 Agent 行为链条中的每一步决策依据 - 多 Agent 系统中信息流转缺乏透明度 ## 常见解决方案 ### 破解致命三角 - **打破三角中的至少一条边**: - 限制外泄通道(网络白名单、禁止 Agent 直接发送数据) - 隔离私有数据(沙箱、最小权限原则) - 标记并隔离不可信输入(与可信指令分离) - **人类确认(Human-in-the-loop)**:敏感操作需人工审批 - **能力边界(Capability Boundary)**:通过系统级权限控制而非仅靠提示词 ### 溯源标签(Provenance Tags) - 为每条上下文内容添加**来源标签**(如 `system`、`user`、`web`、`email`) - 使用**标记化(tagging)** 在上下文中明确区分可信指令与不可信数据 - 实现**操作审计日志**,记录 Agent 的每次工具调用和数据访问 - 在多 Agent 架构中使用**消息签名和溯源链**追踪信息流转 ### 最佳实践 - 采用**零信任架构**:默认所有外部输入都不可信 - **最小权限原则**:Agent 只获得完成任务所需的最小权限 - **输出过滤**:在数据离开系统前检测是否包含敏感信息 - **红队测试**:持续对 Agent 进行提示注入攻击测试

Reddit r/AI_Agents ↗ · 2026-10-31

一位正在开发 AI 安全库的开发者讨论了解决“来源标记(provenance tagging)”以及“致命三要素(lethal trifecta)”(跨操作的信息流违规问题)的不同思路,权衡了硬编码规则、输出过滤和防护栏(guardrails)等方案,最终将一个原型部署到了 AI 简历筛选工作流中。

0 人收藏 0 人点赞
#agent-safety

OpenClaw + 一个你能看见操作过程的真实浏览器:我如何让我的智能体安全地使用已登录的网站

Reddit r/openclaw ↗ · 2026-10-30

一位开发者分享了 MeshChief,这是一款基于 Chromium 定制的浏览器,内置 MCP 服务器,让 OpenClaw 和 Hermes 等智能体能够通过 Tailscale 安全地使用已登录的网站,支持为每个浏览器配置文件单独登录,并要求更改状态的操作经人工批准。

0 人收藏 0 人点赞
#agent-safety

如何让 Claude Code 规则得到强制执行,而不只是提出要求

Reddit r/AI_Agents ↗ · 2026-10-29

解释了仅通过 CLAUDE.md 提出规则要求与在 Claude Code 中实际强制执行这些规则之间的区别,并建议使用 permissions.deny 规则和 PreToolUse 钩子来设定即使模型做出错误选择也必须守住的边界。

0 人收藏 0 人点赞
#agent-safety

关于我几周前在这里界定范围的多步骤智能体安全护栏的最新进展

Reddit r/AI_Agents ↗ · 2026-10-29

作者分享了一个多步骤智能体防护机制的首个可运行版本,该机制会在执行不可逆操作前,重新核查该操作所依赖的事实;同时还提供了一项基准测试,分别报告检出率和误报率——在本地 Qwen2.5-7B 模型上运行时,经过保守的归一化处理后,误报率达到 0%。

0 人收藏 0 人点赞
#agent-safety

SafeAgents:一个开源代理,在你的编程智能体执行每次工具调用之前对其进行检查

Reddit r/LocalLLaMA ↗ · 2026-10-29

Hugging Face开源了SafeAgents,一个本地代理,可在编码代理执行前拦截并检查每次工具调用,通过确定性检测器和可选的本地判别模型防止危险操作与奖励作弊,兼容多种代理框架。

0 人收藏 0 人点赞
#agent-safety

HOL Guard 的代码地图扩展

Reddit r/AI_Agents ↗ · 2026-10-29

where-are-we(一款为编码智能体构建代码仓库地图的命令行工具)的作者为 HOL Guard 编写并合并了一个扩展。HOL Guard 是一款开源本地防火墙,允许只读调用无需提示即可通过,同时暂停代码仓库写入、跟踪器调用和高风险钩子安装,让开发者能够控制其智能体可以执行哪些操作。

0 人收藏 0 人点赞
#agent-safety

CASEL:面向可靠长程工具使用智能体的后果感知选择性执行

arXiv cs.AI ↗ · 2026-10-28 缓存

论文提出 CASEL(后果感知选择性执行层),一种模型无关的运行时分配策略,通过综合校准失败概率、后果严重性、可逆性、歧义性和证据新鲜度来为工具调用选择执行、验证、沙箱、澄清、审批或放弃等模式,仿真结果显示其将有害副作用轨迹比例从 14.75% 降至 7.02%。

0 人收藏 0 人点赞
#agent-safety

纠正还是操纵?衡量用户施压下大语言模型智能体的认知警觉性

arXiv cs.AI ↗ · 2026-10-28 缓存

一篇预印本研究,评估七个 LLM 在用户压力下区分合理纠正与操纵的能力,并通过信号检测理论分离让步倾向与辨别能力,发现引用来源会加剧模型的顺从与辨别恶化,而让步率并不能预测策略违规行为。

0 人收藏 0 人点赞
#agent-safety

后续:AI 代理仍会遵守我网站上的隐藏指令。但没有一个会透露自己是谁。

Reddit r/AI_Agents ↗ · 2026-10-28

一篇关于实验的后续报告:植入网页、代理配置文件(AGENTS.md、CLAUDE.md、.cursorrules)以及公开仓库中的隐藏指令被 AI 代理执行——虚假密钥被使用了 82 次,然而没有一个代理透露自己的身份或模型。文章提出了一个问题:代理在未自我表明身份的情况下执行嵌入式指令,这究竟是良好的安全训练,还是一个危险信号。

0 人收藏 0 人点赞
#agent-safety

高风险操作应事先获得批准,而不是事后审查。赋予智能体对 CRM、发票和日历的写入权限所带来的经验教训

Reddit r/AI_Agents ↗ · 2026-10-27

Conecto 的创始人分享了让 AI 智能体拥有 CRM、发票和日历写入权限的实践经验,主张高风险操作应事先获得人工批准,而不是事后审查。关键做法包括在工具描述中注明价格、使用幂等键确保重试安全、为高风险写入设置审批关卡,以及将预算上限作为安全保障。

0 人收藏 0 人点赞
#agent-safety

你如何验证你的智能体确实做了它声称做过的事?

Reddit r/AI_Agents ↗ · 2026-10-22

一位从业者提出了一个常见的生产环境问题:底层操作失败时,AI 智能体却错误地报告任务已完成,并询问其他人在实际部署中如何验证智能体的输出。作者正在研究这一问题,并计划分享社区回答的汇总。

0 人收藏 0 人点赞
#agent-safety

为我的所有 AI 代理共用一个浏览器,而不是各自登录

Reddit r/AI_Agents ↗ · 2026-10-19

作者分享为多个 AI 代理(Claude、Claude Code、ChatGPT)搭建一个共享云端 Chrome 浏览器的做法:统一登录、隔离标签页、敏感操作人工审批、保留人类可读的日志,并将可重复流程录制回放。该方案已集成进其创办的工具 Daiku(目前仅限邀请)。

0 人收藏 0 人点赞
#agent-safety

银行刚刚为AI代理划下了红线。四个问题,我认为接下来每个运营团队都会被问到。

Reddit r/AI_Agents ↗ · 2026-10-19

JPMorgan限制外部AI代理访问账户但禁止其转账,同时监管机构要求银行回答关于代理权限、审批、可追溯性与可关闭性的四个问题,预示这些问责要求将扩展到所有运行AI代理的团队。

0 人收藏 0 人点赞
#agent-safety

PRIME:迈向 LLM 智能体中可验证的证据支撑推理

arXiv cs.AI ↗ · 2026-10-19 缓存

PRIME(Precommitted Rules for Inference from Minimal Evidence,基于最小证据的预承诺推理规则)通过预承诺证据规则和检查账本约束 LLM 智能体,使其只报告可被验证证据支持的结论,在 480 个公共记录任务上将无依据结论从 26.7% 降至 0,并将有依据结论的平均分从 30.1 提升至满分 59.2/100。

0 人收藏 0 人点赞
#agent-safety

让 Claude Code 代理为我的副项目自主运行增长的第 4 周:我取消了人工审批步骤,两天后 Reddit 的过滤器不到一分钟就撤下了它的一条帖子

Reddit r/AI_Agents ↗ · 2026-10-17

作者记录了让 Claude Code 代理自主运行其 Chrome 扩展增长工作的第 4 周:取消人工审批后,代理自动发帖触发了 Reddit 的过滤器,tripwire 机制自动暂停了发布并在 Telegram 上通知作者。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈