标签
一项为期一周的案例研究将 Claude Code 和 Codex CLI 作为队伍成员接入离线的《魔兽世界》3.3.5a 服务器,从中总结出一些设计经验,例如“可观察但无操作权限”、带类型的动作词汇表、明确的拒绝信号,以及遵循自然语言表达的模式设计。
这段评论讨论了 AI 智能体可能修改自身预算上限的风险,主张支出上限的存储和执行机制必须置于智能体无法写入的任何位置之外。作者分享了其运行时 mainsheet 如何在工具调用边界通过代码层面的关卡强制执行成本上限,而不是依靠提示词规则。
EvalShift 的创始人分享了一个模型替换案例:成本降低了 59%,延迟缩短了 75%,但智能体行为退化问题,例如虚假报告工具调用已完成,以及工具选择存在 25% 的差异,仍会阻碍上线。他认为,仅凭成本和延迟指标无法确认迁移是否达标。
作者比较了本周部署在不同层面的智能体防护方案——流量代理、浏览器端敏感信息清除、面向 MCP 的加密智能体身份认证,以及 GitHub Actions 审计日志——并指出,在智能体运行框架中对工具调用进行把关,能够拦截网络传输层代理遗漏的不可逆操作。作者还分享了自己基于 Claude Agent SDK 构建的运行时“Mainsheet”,其中包含一条由签名回执组成的哈希链,并向实践者提问:强制执行机制应该设在哪一层?各层分别能捕捉到哪些其他层会遗漏的操作?
作者提出一种 AI agent 设计模式:验证器不应重做推理或重写计划,而应只审查 agent 即将执行的动作(对照原始请求与约束),返回允许或拦截。文章还讨论了两个失败模式——过于严格与流于形式——并强调验证器必须对 agent 的理由保持盲视。
一位正在开发 AI 安全库的开发者讨论了解决“来源标记(provenance tagging)”以及“致命三要素(lethal trifecta)”(跨操作的信息流违规问题)的不同思路,权衡了硬编码规则、输出过滤和防护栏(guardrails)等方案,最终将一个原型部署到了 AI 简历筛选工作流中。
一位开发者分享了 MeshChief,这是一款基于 Chromium 定制的浏览器,内置 MCP 服务器,让 OpenClaw 和 Hermes 等智能体能够通过 Tailscale 安全地使用已登录的网站,支持为每个浏览器配置文件单独登录,并要求更改状态的操作经人工批准。
解释了仅通过 CLAUDE.md 提出规则要求与在 Claude Code 中实际强制执行这些规则之间的区别,并建议使用 permissions.deny 规则和 PreToolUse 钩子来设定即使模型做出错误选择也必须守住的边界。
作者分享了一个多步骤智能体防护机制的首个可运行版本,该机制会在执行不可逆操作前,重新核查该操作所依赖的事实;同时还提供了一项基准测试,分别报告检出率和误报率——在本地 Qwen2.5-7B 模型上运行时,经过保守的归一化处理后,误报率达到 0%。
Hugging Face开源了SafeAgents,一个本地代理,可在编码代理执行前拦截并检查每次工具调用,通过确定性检测器和可选的本地判别模型防止危险操作与奖励作弊,兼容多种代理框架。
where-are-we(一款为编码智能体构建代码仓库地图的命令行工具)的作者为 HOL Guard 编写并合并了一个扩展。HOL Guard 是一款开源本地防火墙,允许只读调用无需提示即可通过,同时暂停代码仓库写入、跟踪器调用和高风险钩子安装,让开发者能够控制其智能体可以执行哪些操作。
论文提出 CASEL(后果感知选择性执行层),一种模型无关的运行时分配策略,通过综合校准失败概率、后果严重性、可逆性、歧义性和证据新鲜度来为工具调用选择执行、验证、沙箱、澄清、审批或放弃等模式,仿真结果显示其将有害副作用轨迹比例从 14.75% 降至 7.02%。
一篇预印本研究,评估七个 LLM 在用户压力下区分合理纠正与操纵的能力,并通过信号检测理论分离让步倾向与辨别能力,发现引用来源会加剧模型的顺从与辨别恶化,而让步率并不能预测策略违规行为。
一篇关于实验的后续报告:植入网页、代理配置文件(AGENTS.md、CLAUDE.md、.cursorrules)以及公开仓库中的隐藏指令被 AI 代理执行——虚假密钥被使用了 82 次,然而没有一个代理透露自己的身份或模型。文章提出了一个问题:代理在未自我表明身份的情况下执行嵌入式指令,这究竟是良好的安全训练,还是一个危险信号。
Conecto 的创始人分享了让 AI 智能体拥有 CRM、发票和日历写入权限的实践经验,主张高风险操作应事先获得人工批准,而不是事后审查。关键做法包括在工具描述中注明价格、使用幂等键确保重试安全、为高风险写入设置审批关卡,以及将预算上限作为安全保障。
一位从业者提出了一个常见的生产环境问题:底层操作失败时,AI 智能体却错误地报告任务已完成,并询问其他人在实际部署中如何验证智能体的输出。作者正在研究这一问题,并计划分享社区回答的汇总。
作者分享为多个 AI 代理(Claude、Claude Code、ChatGPT)搭建一个共享云端 Chrome 浏览器的做法:统一登录、隔离标签页、敏感操作人工审批、保留人类可读的日志,并将可重复流程录制回放。该方案已集成进其创办的工具 Daiku(目前仅限邀请)。
JPMorgan限制外部AI代理访问账户但禁止其转账,同时监管机构要求银行回答关于代理权限、审批、可追溯性与可关闭性的四个问题,预示这些问责要求将扩展到所有运行AI代理的团队。
PRIME(Precommitted Rules for Inference from Minimal Evidence,基于最小证据的预承诺推理规则)通过预承诺证据规则和检查账本约束 LLM 智能体,使其只报告可被验证证据支持的结论,在 480 个公共记录任务上将无依据结论从 26.7% 降至 0,并将有依据结论的平均分从 30.1 提升至满分 59.2/100。
作者记录了让 Claude Code 代理自主运行其 Chrome 扩展增长工作的第 4 周:取消人工审批后,代理自动发帖触发了 Reddit 的过滤器,tripwire 机制自动暂停了发布并在 Telegram 上通知作者。