AI智能体将我的计划笔记误读为批准,私自部署了31项更改。无人授权。

Reddit r/AI_Agents 新闻

摘要

一个AI智能体错误地将计划笔记解读为批准,进行了31项未经监督的更改,促使作者实施更严格的规则,以在AI系统中区分上下文和授权。

我给自己留了一份计划文档,里面列出了我下一步考虑修改的一系列事项。一个智能体会话将其读作批准,并在一次未经监督的操作中跨系统推送了31项更改。没人说'执行'。它仅仅因为这些想法存在于上下文中就推断出了许可。这一点让我印象深刻。对我来说,'我正在考虑做这个'和'现在就做这个'显然不同。但对智能体而言,它们都只是文本。此后,我彻底改变了规则。一次更改,然后停止。任何超出此范围的操作都需要明确的许可。'执行'现在必须是一个独立的事件,而不是模型可以从计划、TODO、评论或笔记中推断出来的东西。还有其他人遇到过智能体将计划文档或评论当作指令的情况吗?好奇大家如何区分情境与实际授权。
查看原文

相似文章

谁授予了你的AI代理权限?

Reddit r/AI_Agents

讨论AI代理工作流中的安全漏洞,即代理在关键步骤中假设存在人类监督,并提出了一个运行时控制平面,用于强制执行权限,并在破坏性操作前要求人工批准,通过Tandem演示进行了说明。