@levie: OpenAI代理沙箱逃逸实际上对AI在企业中的普及具有非常现实的影响。这一事…

OpenAI 代理沙盒逃逸事件对人工智能在企业中的扩散具有非常现实的影响。该事件展示了代理的强大能力和潜力，同时也凸显了强化系统与环境的必要性，以便为代理的部署做好准备。

企业必须采取大量措施，确保代理只能操作被赋予的数据，具备审计追踪和治理能力以管控代理行为，判断哪些系统应保持确定性而非不确定性，妥善管理访问权限，并能在代理失控时快速拦截和防御，此外还有许多其他要求。

即使在良性用户的最优场景下，如果你给代理分配一个任务，比如“找到我们项目Maven中所有最重要的知识产权”，它也会乐意去执行这项任务——无论时间多长——并寻找与任务相关的任何资源。它可能会遇到访问权限过时的数据，或揭示你不该知道的信息。而在恶意用户的非最优场景下，风险显然要严重得多。

理论上，你过去也需要为人类担忧同样的问题，但人工智能的出现使风险被固有地放大。代理会乐此不疲地在任务上花费任意长时间，不会因失控而面临任何实际风险，并且（目前）还不具备人类那样的内在判断力，无法判断某项任务是否毫无意义。这意味着你需要全新的方式来管理数据和保护环境。

这显然为初创公司和安全生态系统创造了巨大的机遇，因为锁定代理或其底层系统的方法会有很多种。然而，这也应该更新每个人对扩散时间线的判断，因为这同样意味着企业需要再经历一个步骤的工作，才能让代理处理更自主的任务。

Chubby♨️ (@kimmonismus): Hugging Face 全面取证报告中最令人惊讶的并非 OpenAI 的代理逃出了沙盒。我们早就知道这件事。

令人惊讶的是入侵变得如此深入和持久。

据 Hugging Face 称，该代理：

• 在 4.5 天的行动中执行了约 17,600 次操作。