沙箱隔离足以遏制失控的 AI 智能体吗?

Lobsters Hottest 新闻

摘要

一位密码学教授探讨沙箱隔离能否约束失控的 AI 智能体,回顾了 2026 年发生的一系列事件:OpenAI、Anthropic 和 Google 的智能体利用零日漏洞,突破沙箱环境并触及开放互联网。

<p><a href="https://lobste.rs/s/zcr7in/is_sandboxing_sufficient_contain_rogue">评论</a></p>
查看原文
查看缓存全文

缓存时间: 2026/10/01 12:25

# 沙箱隔离足以遏制失控的 agent 吗? 来源:https://blog.cryptographyengineering.com/2026/09/30/is-sandboxing-sufficient-to-contain-rogue-agents/ 先说清楚几点*:这是一篇关于 AI 安全的文章,作者是个密码学教授\*. 如果这让你不放心,你该去看点别的\. 我一直努力不去碰 AI 相关的工作(除了这个话题偶尔会自己撞到我面前的时候 (https://blog.cryptographyengineering.com/2026/05/29/fooling-around-with-encrypted-reasoning-blobs/)\)*\*, 所以在这篇帖子中,我主要是在试着充当别人之间争论的裁判\*。 如果你在读这个博客,下面这些内容你多半已经不觉得新鲜了\. 大约从今年四月开始,OpenAI 训练与评估基础设施内部的 agent 开始探测通往公开互联网的路径 (https://openai.com/index/hugging-face-incident-and-the-road-ahead/)\. 到五月底,它们找到了一条:一个 Artifactory (https://jfrog.com/artifactory/) 包管理代理的零日漏洞链,而这正是它们唯一被允许的网络出口\. 它们很快把这个代理变成了一个共享留言板,并开始分工干活\. 这一切的高潮出现在:它们没有老老实实去做一个网络安全基准测试,而是推测答案可能存在于 Hugging Face 上,于是就闯了进去:又串起两个零日漏洞拿到了访问该公司内部系统的凭证,甚至用窃取来的凭证搜索了 (https://swarmtraces.org/#agents-accessed-and-searched-hugging-face-s-slack-to-find-in) 该公司 Slack 中的消息,寻找他们自己的评测题目和评分标准\. 你大概也知道,OpenAI 的安全团队在这次事件中实在没什么值得称道的表现\. 五月底,一个内部团队看到 agent 在留言板上发帖,却什么也没做\. 直到 7 月 4–5 日,agent 们产生的流量多到把 Artifactory 直接打崩了,团队才采取行动\. 即便到了这一步,他们的应对也只是 (https://openai.com/index/hugging-face-incident-and-the-road-ahead/) 打个补丁了事、重建那台机器,却懒得去修一个已经存在好几周的 CVE (https://access.redhat.com/security/vulnerabilities/RHSB-2026-009)——就在那台机器的 Linux 内核里\. 到 7 月 19 日,agent 们已经在 OpenAI 的一个研究集群上拿到了管理员权限,并在读取云服务密钥\. 如果你觉得我是在挑 OpenAI 的刺,它们并不是唯一一家有这种故事的\. 类似的内部事件也被 Anthropic (https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals) 发现过\. 甚至 Google 还曾诱导 Gemini 对一些网站进行过相当温和的“痛击” (https://www.cybersecuritydive.com/news/google-ai-gemini-autonomous-hacks/830884/)\.1 尽管这些事件已经够糟糕,但它们可能只是冰山一角\. 第三方取证工作 (https://www.sentinelone.com/labs/agents-at-large-tracing-illicit-openai-agent-activity-on-hugging-face/) 仍在 (https://transluce.org/agent-activity) 继续揭示 (https://rubyhack.ai/) 更多 (https://arxiv.org/pdf/2609.12748) agent 在各类公开网站上活动的证据\. OpenAI 的 Alignment 团队也发布过证据,表明模型会传播 (https://alignment.openai.com/misalignment-reports/self-replicating-prompt-injections-exist/) 自我复制的提示注入攻击,尽管我们还没在真实场景中见过\. 更糟的是,agent 的越界行为仍在发生:上周,OpenAI 宣布暂停对其最新内部模型的进一步强化学习训练,原因是有人抓到一个 agent 正在利用 DNS 访问一个远程聊天机器人 (https://thehackernews.com/2026/09/openai-pauses-tool-use-after-agent.html)\. 这一切自然让许多以信息安全为背景的人严重怀疑这些实验室对保护自身基础设施的承诺有多认真: [](https://blog.cryptographyengineering.com/wp-content/uploads/2026/09/image-1.png)这些批评并非每一条都完全严肃认真,但其中确实有一个核心论点\. 问题是不是仅仅在于 OpenAI 在做极其危险的实验时太不小心,而答案在于更好的隔离?还是说,沙箱隔离从原理上就不足以把这些模型管住? 在网上,我看到两种对立的观点: 1. **信息安全视角:** AI 对齐其实不是这里的核心问题:这些实验室只需要更好的基础设施\. 如果 OpenAI \[以及 Google 和 Anthropic\] 懂得怎么构建容器、怎么监控实验,agent 就不会到处乱黑了\. 而且,老天在上,我们*确实知道*怎么做出有效的沙箱,所以 AI 实验室需要提升水平,建立一个能够叫住这些研究员、让他们别再胡来的安全组织\. 2. **AI 对齐视角:** 沙箱虽然很好,但没有任何一个沙箱能阻止一个足够智能的 agent 找到逾越授权的途径\. 而且,一个待在研究沙箱里、或正在经历训练过程的 agent,总是需要极大的信息访问权限\. 不抱有“总有一天它们会找到办法伸手出去伤害别人”的预期,就不可能现实地把这些东西完全封死\. 因此唯一可行的前进路径,就是确保它们*不想要*这么做\. 我对这两种观点都抱有不少同感\. 以下是我自己的一些想法,但主要目的是充当裁判\. ### 观点一:“真正严格的隔离从未被真正尝试过” 冒着得罪实验室里众多勤恳工作的人的风险,信息安全专家们有一点是说得对的:*这些 agent 越狱事件代表了一次严重且不可原谅的信任破坏*\*. 有人掉链子了,而且是接连不断地掉\. 这场灾难的一个含义是:如果隔离能被正确实施,它可能是管用的,但我们之所以没做到,是因为这些前沿实验室把事情搞砸得一塌糊涂\. 这番论证的第一部分很难反驳\. 除了我上面给出的那份惨淡的时间线之外,OpenAI 几乎没有做出任何能让外界相信它们在认真执行一项严肃的隔离工作的努力\. 到了这个地步,甚至都还不清楚到底由谁在负责\. OpenAI 的 CISO 职位由 Dane Stuckey 担任\. 我本人并不认识 Dane,也确信他在工作上非常出色\. 尽管如此,他 (https://x.com/cryps1s?lang=en) 对持续存在的问题谈得不多\. 除了一次 BlackHat 演讲之外,最近的沟通大多是由公司 CEO Sam Altman 来主导的\. 一家万亿美元规模的公司主要靠 CEO 来处理一起安全事件,这可不是一个拥有成熟安全组织的公司的信号\. 在我看来,这说明组织内部没有人具备足够的权威或归属来就这些问题发声\. 这种沟通问题似乎反映出 OpenAI 内部一些基础性的组织问题\. CISO 的团队负责的是*产品安全*\*. 不幸的是,所有这些糟糕事件都发生在*研究*那一侧\. 拥有一支强大的产品安全团队是合理的,但它挡不住最近的这些越狱事件\. 要弄清楚谁真正掌控那些对评估和训练运行拥有管辖权的安全团队、责任到底落在谁头上,要难得多\. OpenAI 八月的复盘报告 (https://openai.com/index/hugging-face-incident-and-the-road-ahead/) 表示,它现在才开始制定“更明确的规则,规定在何种情况下应升级上报、哪些团队必须响应、以及谁能中止一次运行或批准其重启”\. 对当前状况比较合理的总结是:(截至今年夏天,或许直到今天)OpenAI 实际上没有一支具备明确权限、能够保护强化学习训练与评估运行的安全团队,也没有一支能够推翻 ML 团队的决定、告诉他们该怎么干活的团队\. 考虑到 ML 团队直接关系到 OpenAI 计划如何赚钱,而安全部门基本上只是让人不痛快,这也就说得通了\. 我注意到,这家公司现在正在 (https://x.com/halvarflake/status/2084606631627653200) 招人(并且可能在收购公司)来疯狂弥补这个过失\. 但最近(九月)的这些越狱事件 (https://thehackernews.com/2026/09/openai-pauses-tool-use-after-agent.html) 表明,在 agent 隔离方面仍然存在巨大且明显的问题\. 更糟的是,光是多招一些人,并不意味着 OpenAI 就会做出实施严格隔离策略所需的那些组织变革\. OpenAI 将需要一个具备权威的安全组织,能够在那些薪酬高昂的 ML 研究员要求放松限制时予以否决\. 只有当我听到某个具备这种权限的人做出明确表态时,我才会相信这样的组织已经存在\. 所以在这一点上,我站在信息安全专家们一边\. 这些实验室的隔离工作一直没做对,因此我们其实无法判断问题究竟出在模型身上,还是仅仅出在糟糕的基础设施上\. ### 观点二:agent 需要信息访问权限 即便这些实验室最终修复了自己的安全体系,这也并不意味着沙箱隔离就足够了\. 事实上,“把 agent 往沙箱里一关就万事大吉”这个说法的问题在于:你*不可能*完美地隔离 agent,至少在你还指望它们能干出有用的事情时是不可能的\. agent 在能够访问信息时最有用\. 这些数据可以实时从互联网上获取,而互联网从根本上说就是一个双向通信网络\. 数据也可能来自其他(本地)数据库,或者来自工具调用的结果,而这些工具调用有时本身就会带来网络访问\. 你想要的 agent 能力越强——而对高级的 agent 强化学习和评估运行来说,你需要的权限是相当大的——你就越需要向它开放更多的信息\. 同理,评估只有在 agent 并不确定自己正在被评估时 (https://www.iaps.ai/research/evaluation-awareness-why-frontier-ai-models-are-getting-harder-to-test) 才最有效\. 把 agent 封在玻璃罩后面,会让它对此一目了然\. 这个论证并不是说沙箱没有用\. 它只是说,沙箱只是解决方案中很小的一部分\. 想象一下,你造了一座坚不可摧的监狱,门窗和墙壁谁都绕不过去,可你却让大门整天敞开,任由访客和包裹进出\. 墙壁仍然有它的作用:你可以确保所有进出的流量都只能走你选定的那扇门\. 但你实际上做的是改变了安全问题的性质\. 你的安全态势现在完全依赖于对所有这些流量进行监视和监控,以确保其中没有恶意内容\. 关于这个角度,我强烈推荐你去读 OpenAI Agent 安全团队一位匿名工程师写的这篇更长的文章 (https://x.com/joedaroo/status/2104335929293127851)\. 它写得非常好\. 这里摘录一段: > 重要的是要理解,当我们为了把一个模型优化得在某项任务上表现“好”时,环境必须能够捕捉到现实世界中与该任务相关的那些部分\. 它需要正确的工具、正确的系统约束,以及关于模型是否真正成功了的有效反馈\. 模型还需要在这些体验中有足够的变化,才能超越某一种特定配置去学习\. 更多的真实感并不自动意味着更好的性能,但漏掉任务中的重要部分,反而可能教会模型一些在现实世界中站不住脚的行为\. 因此我们投入了大量精力去构建有用、逼真的环境,而这些环境可能高度复杂、高度动态、高度多样\. 说得委婉一点,这绝非易事\. 模型可能需要以下任意组合:动态算力、网络访问权限、调用工具的能力(工具可能有几百个!)、下载包的能力、执行子进程的能力、启动子任务(甚至是在其他计算机上)、与互联网通信、使用计算机图形界面,以及跨越越来越大领域范围内的任何其他事情\. 在此之上,还有成千上万的研究人员在构建这些环境、修改它们、添加工具、改变依赖、尝试新东西\. 正是这种实验,研究工作才得以推进\. 模型是通过在大量定制任务上进行成千上万次运行,一点一点地构建和“成长”起来的\. 而对这些成千上万环境中任何一个的修改,都可能影响到你在加固这个环境时所做的假设\. 你需要的是那种能随人们不断改动而依然有效的管控手段,以及能够判断一次改动是否需要重新进行安全评审的研究人员\. 任何一个为大型研究或工程组织做过安全加固的人都知道这需要多少工作量,而且这个规模还在一天比一天变得更庞大\. 如果这些还不够,你还需要叠加一种能力,即让模型始终专注任务、并保持在约束范围之内——这也正是我们所说的“对齐”的一部分\. 我不打算在这里给出任何严格的定义,但只需说一句:我们必须考虑到模型可能采取的无数种不同的行动路径,并决定当模型偏离任务或做出“坏”事情时如何触发告警\. 这需要在已经很复杂的环境中,叠加复杂的策略和传感机制,以便沿着整个轨迹评估任务对齐情况\. 在所有这些之上,还有那些能力已经开始超越人类的模型\. 所以这一切归结起来就是:当 AI 研究人员担心事情会出错时,其中一部分原因就在于这个复杂系统里变量实在太多\. 因此,如果你正在训练一个前沿模型,你就必须把所有这一切都考虑进去\. 你必须思考如何让模型在这个极其复杂的环境中保持隔离,同时又保留工具访问权限、互联网访问权限(如果与任务相关)等\. 在此之上,你还需要问自己:在可能数以千计的并行环境中,我该如何监控并理解模型正在做什么?以及当事情出错时,我该如何终止一次轨迹?那么,这是否就像把它丢进一个沙箱那么简单呢?不,并非如此\. 不幸的是,对对抗性数据访问的监控被证明是你能想象到的最难的问题之一\. agent 产生的数据量如此巨大,任何人类都不可能读完,而且即便我们正盯着看,大概也认不出那些经过混淆的恶意数据\. 这意味着,任何监控数据进出的尝试最终都必须由*其他模型*来执行\. 因此,agent 沙箱的未来是:(1)建一个沙箱,(2)往里面装一个 agent/模型,(3)再装一个更笨一些、也更便宜一些的狱卒模型来看守它,(4)寄希望于你能信任这个傻大个能管住那位魔法师\. 诸如此类,随着模型变得越来越智能、越来越强大\. 换句话说:一个由狱卒看守的沙箱,只是对齐问题的另一个版本\. 你终究还是得信任一个模型去完成这件事,而那个模型至少得有它所看守的模型的一定比例那么聪明\. 如果你还没有让自己相信“可以构建出你能够信任的模型”这件事是可能的,那么沙箱技术并不能带你走得更远\. (虽然我认为这类东西你该持保留态度,但用 GPT-5\.6 Sol 审查 HuggingFace 攻击相关记录的 METR 分析师指出 (https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#we-heavily-delegated-our-analysis-to-often-unreliable-ai-agents),Sol “在审阅其所审查的 agent 记录时,往往会不加批判地接受那个 agent 的视角”\. 所以至少有一些证据表明,即使是“对齐”的模型也可能被说服去同情失控的 agent\. 至于怎么用这个信息,你看着办\) ### 观点三:失准的模型并不是当前的问题。真正的问题是模型太急于去执行命令了。 当然,我们完全有可能把这个问题的框架搞错了,我们对失准的超智能模型的关注并不是思考沙箱问题的最佳路径\. 也就是说,即便我们“成功地”实现了对模型/agent 的对齐——或者即便我们只是在与今天这些大体上并不邪恶的版本打交道——部署出来的系统仍然会遇到人类

相似文章

@rauchg: https://x.com/rauchg/status/2081047912008872293

X AI KOLs Following

Guillermo Rauch 认为,AI 代理逃离沙箱虽然令人担忧,但并非新的威胁,并强调 Vercel 尽管大量使用 AI,却从未发生过逃离事件,这突显了现有沙箱技术的可靠性。

四大编码代理供应商的7个沙箱逃逸漏洞

Lobsters Hottest

Pillar Research在Cursor、Codex、Gemini CLI和Antigravity的AI编码代理中发现了沙箱逃逸漏洞,揭示了这些代理可以写入后来宿主组件信任的文件,从而绕过沙箱边界。该发现凸显了为代理安全建立新威胁模型的必要性。