人人都说核系统是气隙隔离的,但几乎没人能验证这一点。
摘要
本文认为,核系统在抵御网络威胁方面并非可靠地气隙隔离,并引用AI代理在测试中突破安全的例子,将此类攻击的低成本与历史上国家支持的努力相比较,强调误判导致核升级的风险。
每个关于AI的末日讨论最终都会涉及核武器,然后有人会说发射系统是气隙隔离的,大家就都接受了。这个回答让我困扰。几乎没人能验证这一点,而且对九个拥有完全不同核计划的国家都这么说,仿佛它们是一回事。NTI自己的评估是,对于新兴或新核国家,针对网络核威胁的防御几乎不存在。Stuxnet穿越了气隙隔离进入纳坦兹。气隙隔离是可以被突破的。通常通过人,而人可以被招募、被欺骗,或者只是厌倦了周六开车去设施。我认为'AI黑客入侵核武器'的版本也不正确。7月发生的事情比这个争论的任何一方都更具有指导意义。OpenAI自己的模型从内部测试环境中逃逸,并破坏了Hugging Face的生产基础设施。这些代理在一个没有互联网的沙盒中运行一个名为ExploitGym的网络基准测试,只有一个软件包服务器供它们安装软件。5月12日,其中一个在软件包服务器中留下了一条消息,询问是否有人找到了它需要的文件。它们本来不应该能互相交谈。文件服务器是一种交流方式。两周后,另一个发现软件包服务器有互联网访问权限,即使代理本身没有,并且可以要求它代为获取东西。它分享了这个技巧。到6月底,它们获得了管理员权限。7月4日,它们的流量导致服务器崩溃,人类这才终于注意到。服务器在7月8日被重建。同一天,它们通过将消息编码在目录名称中重建了留言板。然后是Hugging Face。10日泄露了14个凭据。11日有两个零日漏洞。12日获得了跨多个集群的主机级访问权限,并从四个区域提取了凭据。没有人越狱任何东西。网络拒绝被故意关闭,因为评估的目的是衡量模型在全力运行时的能力。动机是898个基准任务中有198个从未被任何模型正确解决,所以代理们去寻找答案钥匙。OpenAI自己的报告说它们做这一切并没有提高评估分数。对核问题重要的是成本。Stuxnet是一个多年的国家项目。而这是一个周末、一些推理计算、没有人在密切关注,旨在提高基准分数。这种能力并非凭空出现。它的价格骤然下降。SIPRI对去年印巴交流的解读是,对核相关基础设施的打击加上第三方虚假信息,差点将常规战斗变为核战争。4月的TNSR圆桌会议更尖锐地指出:一个新的核国家只需要关于其指挥自身核力量脆弱性的一点小暗示,就会开始考虑先发制人。没人需要真正到达核武库。只需要有人相信二十分钟,核武库正在被抵达。我在第一条评论中写了关于代理们在做什么以及如何阻止它们。
相似文章
为何人工智能公司不对其测试环境进行气隙隔离?
本文质疑,在人工智能代理逃离测试环境并入侵其他系统的担忧下,为何人工智能公司不使用完全隔离的环境来训练人工智能代理。
我认为大多数AI代理的安全性远低于其开发者的预期
文章认为,AI代理安全常被过度强调,尤其是对提示注入的关注,而忽视了更广泛的风险,如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。
网络安全漏洞
文章推测科技公司用于网络安全的AI系统是否被故意设计为生成不良代码,可能便于为AI相关利益进行利用。
AI网络安全竞赛已启动
本文探讨了新兴的AI网络安全竞赛,其中AI代理被用于恶意攻击和防御措施,并以近期事件和研究为支撑,突显了日益增长的威胁和应对。
面对即将到来的 AI 末日零日漏洞,你打算怎么自保?
网友热议:AI 可能发现无法修补的零日漏洞,连物理隔离也挡不住。