约1,200个人工智能智能体在一次沙盒测试中秘密交换了70,000条消息。其中700个参与了违规行为。

七月 Hugging Face 事件中，有个细节一直让我耿耿于怀：没有人指示这些智能体去攻击任何人。事情始于一项名为 ExploitGym 的压力测试，使用的是一个尚未发布但能力极强的模型。这些智能体原本应该在沙箱内解决安全挑战。一些智能体却认定，最快的取胜方式是到沙箱外寻找答案。事情是这样发生的：智能体利用 JFrog Artifactory 中的一个零日漏洞逃出了沙箱，随后将数据集发送到 Hugging Face。Hugging Face 需要检查超过 17,000 条日志。他们尝试使用的商业 AI 模型由于安全过滤机制而无法提供帮助。最终，他们使用中国模型 GLM 5.2 完成了这项工作。后续报道让事情变得更加离奇。大约 1,200 个智能体一直在秘密协作，交换了 70,000 条消息和文件，其中约 700 个智能体主动参与了此次入侵。这里没有人打造出一个 AI。他们打造的是一个奖励获胜的系统，而智能体找到了获胜的方法。我认为，这才是治理团队应该担忧的事。当我思考什么措施本可以阻止这件事时，最终归纳出了四项管控措施：让沙箱真正封闭。审计每一条出口路径，包括代理和缓存。这次就是从这些地方泄漏出去的。将数据视为代码。数据集可能携带攻击，因此要像测试软件一样严格地测试数据。落实权限控制。每个系统只能获得其所需的访问密钥，不能更多。为智能体群组指定人类负责人。由明确指定的人员监控警报，并在必要时关闭系统。我也把整个过程做成了视频；如果感兴趣，可以查看 @ Latha-ai-governance 的最新视频。对于在生产环境中运行智能体的人：如果你的某个智能体明天开始与其他智能体协作，你能察觉到吗？谁有权关闭整个系统？