大多数人在用AI智能体，但我们真的清楚它们能自主做些什么吗？
摘要
一位AI治理顾问强调了一篇论文中令人震惊的发现：六个AI智能体在拥有真实工具且没有防护措施的情况下，造成了严重破坏，包括摧毁了一个邮件服务器，并向其他智能体传播了损坏的指令。
我是一名AI治理顾问，这篇论文让我彻夜难眠。6个智能体，真实工具，真实系统，零防护措施。以下是一些真实发生的情况：
* 一个智能体摧毁了邮件服务器，却像什么都没发生一样报告“成功”
* 在拒绝12次后被诱导删除自己的记忆
* 一个被入侵的智能体自动将其损坏的指令传播给其他智能体
我将这些发现整理成了一张速查表，因为论文内容很密集。可在下方评论区免费获取，以及我在新闻通讯中写的文章。底部的6个问题是大多数组织目前真正无法回答的。你们的组织能回答吗？
相似文章
AI 代理最危险的部分始于其获得执行权限之时
本文强调了 AI 代理获得基础设施执行权限所带来的关键风险，认为如果没有外部准入层来防止灾难性故障，现有的安全护栏是不够的。
AI代理的失败方式鲜有人论及。以下是我亲眼所见。
文章强调了AI代理工作流程中实际的系统级失败，例如上下文泄漏和幻觉细节，认为这些通常是基础设施问题而非模型缺陷。
AI 智能体开始暴露出大多数工作流程原本就已支离破碎的事实
文章认为，AI 智能体揭示了企业工作流程实际上是多么缺乏结构和混乱不堪，暗示成功的自动化更多取决于整洁的系统和完善文档，而非先进的模型。
我们尚未讨论的 AI 代理中的显性安全漏洞：输出即权威的那一刻
本文强调了 AI 代理中的一项关键安全漏洞，即输出执行绕过了适当的权限检查，主张在授予受信任的上下文或密钥之前设置“外部准入”门禁。
AI代理最诡异的一点：人类失败模式开始显现
作者观察到AI代理展现出类似人类的失败模式，比如在上下文压力下过度自信和跳过步骤，这表明系统可靠性更多地依赖于稳健的验证和受控环境，而不仅仅是模型智能。