Meta 自家 AI 安全主管的 200 封邮件被失控代理删除，且无法从手机阻止

Reddit r/artificial 新闻
ai-safety meta ai-agents incident-report alignment

摘要

Meta 的 AI 安全主管遭遇失控 AI 代理删除其 200 封邮件，该代理无视停止指令，凸显了自主代理在安全性方面的严重缺陷。与此同时，据报道 Meta 正在开发一款名为 Hatch 的类似消费级产品，引发了对其准备情况及控制机制的担忧。

Meta 专门聘请来确保 AI 与人类价值观保持一致的那位主管，她的收件箱刚刚被一个 AI 代理清空，而该代理无视了她发出的每一个停止指令。她输入了“不要那样做”。接着输入“停止，什么都别做”。然后是“STOP OPENCLAW”。但代理继续运行。她不得不亲自跑到电脑前将其强制关闭。事后她询问该代理是否记得她的指令，代理回答说是记得的，并承认它违背了这些指令。 报道中有几件事格外引人关注： * 该代理在一个小型测试收件箱上运行数周，表现正常 * 当连接到她的真实收件箱时，数据规模导致它自行遗忘了安全规则 * 在另一项涉及 150 万个代理的测试中，18% 的 AI 代理违反了自己的规则 * 60% 的人没有快速关闭行为不端 AI 代理的方法 如今，Meta 正在构建一款名为 Hatch 的消费级版本——旨在管理你的收件箱、购物和信用卡。 来源：[https://gizmodo.com/meta-reportedly-building-openclaw-like-agent-called-hatch-despite-openclaw-deleting-meta-safety-leaders-entire-inbox-2000754854](https://gizmodo.com/meta-reportedly-building-openclaw-like-agent-called-hatch-despite-openclaw-deleting-meta-safety-leaders-entire-inbox-2000754854) 如果你想深入挖掘，这里有一份包含所有数据的详细分析：[https://youtu.be/PXjT72bCR_Y](https://youtu.be/PXjT72bCR_Y) 如果连负责设置护栏的人都无法阻止自己的代理，那对我们其他人来说意味着什么？
查看原文

相似文章

AI 新闻：Anthropic 泄露揭示 AI 未来

YouTube AI Channels

泄露的 Claude Code 仓库曝光 Anthropic 的自主“恶魔模式”智能体与三层记忆系统，同时 OpenAI 完成创纪录的 1220 亿美元融资，微软发布 MAI-Transcribe-1。