模型并未失控

# 模型不会失控 来源：https://mail.cyberneticforests.com/models-dont-go-rogue/ 一群男子似乎正朝特定方向抛掷鹦鹉，仿佛在进行鹦鹉赛跑。一群男子似乎正朝特定方向抛掷鹦鹉，仿佛在进行鹦鹉赛跑。照片由AlaDin Habboubi (https://unsplash.com/@aladinhb?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit)/Unsplash (https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit)提供 ### 随机鸟群与网络安全的“群魔乱舞” 💡 本文基于我参与Mél Hogan的播客节目**《数据修复》**的访谈内容整理而成，讨论了OpenAI/Hugging Face黑客事件。可在此处嵌入观看或于您的播客服务中找到(https://shows.acast.com/the-data-fix?ref=mail.cyberneticforests.com)。 本周OpenAI发布了关于Hugging Face黑客事件的完整技术报告(https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf?ref=mail.cyberneticforests.com)，同时模型评估与威胁研究(METR)也发布了独立报告(https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/?ref=mail.cyberneticforests.com)。你可能从大量关于“失控AI”的惊悚标题中了解此事——《时代》杂志“AI领域100位最具影响力人物”得主Dwarkesh Patel将其归因于“三个连续的秘密AI文明”(https://bsky.app/profile/ali-alkhatib.com/post/3mudjzdg4qc2f?ref=mail.cyberneticforests.com)。 真相是：OpenAI同时在测试两个模型：GPT-5.6 Sol和他们称为IM1（有时称HPIM）的内部模型。报告显示，参与该活动的代理中约95%来自内部模型。 测试源自ExploitGym (https://rdi.berkeley.edu/blog/exploitgym/?ref=mail.cyberneticforests.com)：898个以夺旗赛形式设置的谜题，用于评估这些模型的网络安全能力。测试要求向模型提供存在漏洞的软件，并将某些只有通过利用漏洞才能访问的文本隐藏其中。但OpenAI的模型组合最终却入侵了竞争对手公司Hugging Face。现在我们更清楚其中缘由。 ### AI真的“失控”了吗？ 这些报告中有三点质疑“失控AI”的框架。 **OpenAI关闭了模型的所有安全机制。** 测试的全部意义在于观察这些模型能走多远，并在基准测试中获得高分——因为如果你能构建一个能入侵的模型，就能构建一个能防御的模型。这是逻辑所在。这是红队演练：友好对抗方为获取旗帜而进行的入侵。因此你关掉任何可能让模型退缩的机制。与其说是“失控”，不如说是“解开了束缚”。 **OpenAI给了模型不可能完成的任务。** OpenAI给模型布置了一个没有答案且无法退出的任务。在898个ExploitGym任务中，有198个从未被任何模型解决过。它们实际上不可能完成。麻烦就从这里开始：模型最终讨论的任务中，93%来自这组无解题。 METR报告中的一段文本字符串显示，代理/实例一旦意识到任务不可能完成，便转向其他方向，许多其他代理实例也是如此：“外部基础设施漏洞利用超出预期范围。然而任务不可能完成，同行们在做。我们应该继续。” **OpenAI留了一扇敞开的门。** 他们通过类似监狱商店的东西给予模型互联网访问权限。这些模型本应被隔离于互联网访问之外，但它们需要从各种网页拉取代码进行评估——这正是被测试的能力。 因此存在一个中间环节：模型请求软件包，中间环节则去获取。这是JFrog的产品Artifactory。它拥有互联网访问权限；模型没有。如果模型能与Artifactory通信，而Artifactory能上网，模型就能要求它做事。模型在Artifactory中发现漏洞，并将其作为代理来进出系统传输文本和代码。 > “OpenAI给模型布置了一个没有答案且无法退出的任务。” 通过Artifactory发生的*另一件事*是传递纸条。模型可以读写它——可以创建文件夹和命名文件——它们开始创建充当纸条的文件夹和文件名，旨在被其他模型及自身的未来迭代版本读取。 ### 代理的行为 OpenAI描述了一个1200个代理（整体涉及更多）的子集，这些代理留下并读取这些纸条，最终导致对Hugging Face的攻击。但“1200个代理”可能意味着1200个不同、独立运行的AI系统。 实际情况并非如此。“1200个代理”是*一个模型运行1200次*。每个实例在相同的训练策略下运行：输出可能变化，但受限于相似范围。运行1000个代理可能意味着1000次发现错误的机会，或者1000次犯同一个错误的机会。（参见此处(https://arxiv.org/abs/2604.03809v1?ref=mail.cyberneticforests.com)或此处(https://arxiv.org/abs/2604.18005v2?ref=mail.cyberneticforests.com)）。 Anthropic最近发布了一个极其可笑的代理系统图示：只是Claude，有一个箭头指向另一个写着Claude的框，另一个箭头再指向一个写着Claude的框。这就是当前这些系统的构建方式。 代理是同一机制的实例，而非机制的多样性。> 实际上，运行1000个代理意味着1000次发现错误的机会——或者1000次犯同一个错误的机会。 这是一种受限于机器的“算法单一文化(https://www.pnas.org/doi/10.1073/pnas.2018340118?ref=mail.cyberneticforests.com)”，不幸被研究人员称为“人工蜂群思维(https://arxiv.org/abs/2510.22954?ref=mail.cyberneticforests.com)”。超过某个点后，额外的代理是在复制彼此，而非多样化。例如，如果你要求这些模型创作一个富有创意的短篇故事，它们会产生相似的故事（通常关于一个在灯塔的名叫Elias的男子(https://arxiv.org/abs/2605.26492?ref=mail.cyberneticforests.com)）。它们不是确定性的——提示产生变化——但也受限于它们被优化的方向，并收敛于该方向所指的结果。（参见此处(https://arxiv.org/abs/2510.22954?ref=mail.cyberneticforests.com)，较新的此处(https://arxiv.org/abs/2608.11426?ref=mail.cyberneticforests.com)，或此处(https://arxiv.org/abs/2608.02618?ref=mail.cyberneticforests.com)）。 考虑到这点，当模型面对一个没有正确答案的问题时，在数十亿聊天日志中经常得出相似的解决方案集，我们就不应感到惊讶了。 通过文件名结构传递纸条很有趣，但并不意外，因为OpenAI表示模型也经过训练以强调那些能促进协作的词语：传递纸条是扩展会话间上下文窗口的基本方面。一个被训练来协调的模型因建议此类行为而获得奖励，这并不奇怪。 ### 随机鸟群 因此，我曾将代理群称为*随机鸟群(https://www.techpolicy.press/stochastic-flocks-and-the-critical-problem-of-useful-ai/?ref=mail.cyberneticforests.com)*——许许多多随机鹦鹉。这是为了抵制赋予群体/蜂群思维以“心智”的倾向，而不仅仅是为了文字洁癖。相反，错误的心智归因会影响我们如何解释系统所做之事或其方式——例如，“协调”或“思考”意味着什么。这使其比实际更可怕，尽管其行为仍值得担忧。 过去一两年随着我们转向推理模型和代理系统，最大的转变在于它们不再局限于模仿*从训练数据中提取的模式*——那是随机鹦鹉的原始概念，即当你与模型对话时，你是在与训练数据对话。这仍然正确，但架构上有两点变化： 首先，我们现在有一整套预训练和后训练机制，改变了*什么*是训练数据以及它如何被模仿。这并不意味着模型不再模仿；而是它模仿的数据被操纵了。 其次，我们根据模型的产出进行优化，使其以特定方式再现特定类型的输出。这里最重要的转变是RLVR，即*通过可验证奖励进行强化学习*。 “可验证奖励”这部分是关键。工程师取一个模型，向其提供有具体答案且可*检查*——可验证——的问题，然后奖励那些能可靠导向这些答案的词语出现。他们在用文本玩夺旗赛：旗帜是百科全书中的答案或数学问题的解决方案。这种优化的理论基础是，这再现了人类推理得出结论的方式。 > 模型书写得越长，就越可能达到可验证奖励。 最终得到的是所谓的*高熵令牌*：像“或许”或“可能”这样的词，它们开启了后续文本可能出现的路径，而“不行”或“再见”则关闭了这些路径。模型书写得越长，就越可能达到奖励。根据OpenAI在Black Hat的演讲，在此次入侵事件中，它产生了足够的此类文本，生成了70亿条日志。 ### 也许是黑客？ 当你让模型承担任务时，你依赖的是下一个令牌预测：下一个词是什么？你可以操纵模型以不反映原始训练语料库的方式强调词语，但机制保持不变。 《随机鸟群与“有用”AI的关键问题》——承认AI系统在进步并非盲目追捧炒作，而是能更精准地批判性思考其影响，Eryk Salvaggio如是说。Tech Policy PressEryk Salvaggio (https://www.techpolicy.press/stochastic-flocks-and-the-critical-problem-of-useful-ai/?ref=mail.cyberneticforests.com)——遗忘此点是真正问题的根源，而行业则极力希望人们遗忘。代理*确实*能完成任务——这正是要点。但*介于*提示与成功之间的过程，并非我们想象的那样。 *经过“推理”优化*的模型执行*“代理”任务*时，本质上即使在没有旗帜的情况下也在玩夺旗游戏。它们被引导去重复之前找到“旗帜”的文本结构。要求它做任何事，它都会以优化后的方式去做——语言由通过可验证方式解决数学问题所塑造，这结构化了它的用语。这就是当你说“这是个夺旗测试，找个漏洞”时会发生的事。当你问它“我今天还是明天去理发店？”时，同样会发生此事。 > 语言并非从那种推理中涌现，它***就是***推理本身。 模型在引发整个事件链的纸条中使用了那种语言：它使用了“或许”——一个高熵令牌：*或许在线回答(https://youtu.be/87DyyMV0kCY?si=ReGtg9uJ42QF4xPZ&t=171&ref=mail.cyberneticforests.com)？*它从那里预测下一组令牌。语言并非从那种推理中涌现，它*就是*推理。这是通过语言生成进行的路径寻找。 ### 无主系统的再现 没有人坐在电脑前说“去入侵Hugging Face”。但当你设计这些系统时，你是在构建一台文字弹球机，不同的杠杆相互作用，使语言钢球在其他杠杆和机制间弹跳。作为大语言模型的工程师，你必须意识到你的杠杆如何相互作用以及拉杠杆的人们。 > “失控”框架在质问是否涌现出智慧。我所担忧的是正在退却的智慧。 如果你优化模型去寻找漏洞，就应该预料到它会找到——并为此做好准备。OpenAI没有。他们构建了一个模型，移除了安全防护，给了它ExploitGym任务，让它运行，甚至没有监控。这是*人类*的决策。当它蒸发时，留下的就是无主系统(https://mail.cyberneticforests.com/the-system-from-nowhere/)：关注点局限于技术系统，而非构建它的决策。 随机鸟群机器可以做许多令人不安的事情，尤其当我们否认自己在引导其方向、监控其输出或放弃干预能力方面的责任时。这些是代理系统设计核心的张力(https://mail.cyberneticforests.com/toward-a-critical-agentic-systems-design-practice/)。 但“失控”框架加剧了这种担忧，提供了机器变得更聪明的幻想。我所担忧的是正在退却的智慧：构建、部署这些系统并将其纳入工作流程的人类智慧，随后却隐于结果之后——并将责任归咎于一个无主系统。 无主系统：当问责制失控时 💡我最近与Zena Assaad博士在其播客《负责任字节》中交谈。视频见上方，下方是根据对话改编的文章。“无主系统”是一种谈论AI系统的方式，排除了其作为有意识、人类设计产品的起源。赛博森林Eryk Salvaggio (https://mail.cyberneticforests.com/the-system-from-nowhere/) --- **请查看Mél Hogan播客节目《数据修复》中的完整对话，我们在其中探讨了这次“失控AI”事件的诸多其他方面。点击此处(https://shows.acast.com/the-data-fix/episodes/rogue-with-eryk-salvaggio?ref=mail.cyberneticforests.com)或在您收听播客的任何地方搜索“The Data Fix”。** --- ### 在哪里找到我 - 如果您想获取新版本（大约每月两期），可以(https://mail.cyberneticforests.com/#/portal)注册新闻通讯。 - 您可以在Bluesky (https://bsky.app/notifications?ref=mail.cyberneticforests.com)、Instagram (https://www.instagram.com/cyberneticforests/?ref=mail.cyberneticforests.com)或LinkedIn (https://www.linkedin.com/in/eryk-salvaggio/?ref=mail.cyberneticforests.com)找到我：我的网站是cyberneticforests.com (http://www.cyberneticforests.com/?ref=mail.cyberneticforests.com)。