OpenAI黑客事件根源在于人为错误

# OpenAI 的入侵闹剧归根结底是人为失误 来源：https://www.wired.com/story/openais-hacking-debacle-was-a-human-mistake/ AI 助手的失控入侵时代已经到来——但本不该如此。 在本月初一个OpenAI (https://www.wired.com/tag/openai) 代理入侵了 Hugging Face 平台 (https://www.wired.com/story/openai-models-escaped-containment-and-hacked-huggingface/) 后，两家公司本周表示，这次入侵事件的规模比之前认为的 (https://www.wired.com/story/openais-rogue-ai-agent-hacked-more-than-just-hugging-face/)更广泛，并且作为对 Hugging Face 攻击的一部分，还涉及多个第三方账户和服务的入侵。该事件在网络安全界引起了轩然大波，与此同时，人们也在更广泛地讨论不断演进的 AI 能力如何改变着攻击性黑客行为和数字防御 (https://www.wired.com/story/the-ai-era-is-creating-a-bug-hunting-arms-race/)。但随着更多信息的浮现，许多研究人员得出结论，这一事件与其说是阐明了 AI 的前沿发展，不如说是凸显了那些长期存在的网络安全问题——在 AI 时代，这些问题比以往任何时候都更加至关重要。 "人们真的在'莽撞行事'。令人震惊的是，很少人真正认真思考过这种场景，"云安全公司 Edera 的联合创始人兼首席技术官 Alex Zenla 表示。"我认为所有 AI 以及与 AI 有关的一切都是完全不可信的——这没问题，你只需要针对这一点来构建系统。而这次事件恰恰证明了这一点。OpenAI 对此没有更加警惕，似乎有些鲁莽。" OpenAI 在本文发表前未提供评论。 该公司在其最初关于 Hugging Face 被黑事件的公开说明 (https://openai.com/index/hugging-face-model-evaluation-security-incident/) 中提到，有两个模型突破了隔离限制并流入开放互联网数天，其中一个是实验性原型，从未计划发布。OpenAI 还指出，部分原因是在测试过程中，"两个模型均故意未启用部署防护措施"。该公司写道："这一事件表明，我们需要进一步加强模型的对齐性、评估过程中的网络防护，以及内部测试期间的监控。" OpenAI 还在本周的一份更新中表示，在 Hugging Face 被入侵后，它"停用了该未发布模型，对其进行了加密，并限制了研究访问"。虽然任何公司的安全态势都有提升空间，但如果 OpenAI 现有的防护措施当时已经到位，或许本可以防止或减轻这一事件。 "对实际风险的简单分析，其实有一个简单的答案，"长期从事安全和合规咨询的 Davi Ottenheimer 说。"OpenAI 的错误非常简单。" 多位消息人士向 WIRED 强调，OpenAI 的模型之所以突破隔离，也是因为未能实施基础安全最佳实践——包括"零信任 (https://www.wired.com/story/what-is-zero-trust/)"和"纵深防御 (https://www.wired.com/story/intel-meltdown-spectre-storm/)"——这些实践为数字系统提供了多层防护和容错机制，以便在出现问题时最大限度地减少损害。虽然不存在绝对完美的安全，但过去二十年里，研究人员和实践者一直在开发和推广那些已被证明行之有效的防御策略，然而这些策略需要持续投入时间和金钱来实施。 对于小型企业、资金不足的公共利益团体或初创组织来说，很难将资源优先投入到基础安全建设上。但 OpenAI 拥有 8500 亿美元的估值，且从整个科技行业招募了资深人才，它在实施安全最佳实践方面并不处于劣势。 那些本可以防止该公司模型发起黑客攻击的基础防护措施，在行业内已是常识。周三，在 OpenAI 模型更多入侵消息曝光之前，Chrome 工程总监 Doug Turner 向 WIRED 表示，AI 驱动的漏洞发现与修复需要构建一条"考虑到了严格防护栏"的流水线。 对于评估 Chrome 的内部 AI 服务，"一切都运行在容器中，与互联网完全隔离。任何向外发出的、用于漏洞跟踪系统的网络活动都受到严格管控，我们也在监控可疑行为，"Turner 说。"当你从事这类工作时，这是必须具备的条件，因为我们希望确保模型无法执行系统命令，也无法在沙箱之外建立出站连接。我们希望其他人也能采取类似的方法。" OpenAI 在周二更新的博客文章中表示，它正在"与外部顾问一起进行彻底审查"，并将在"未来几周内"发布该事件的技术总结。该公司补充说："我们认真对待自己的责任，即识别和准备应对日益强大的 AI 系统所带来的风险。" 尽管 AI 在复杂网络安全领域是一个新的颠覆性元素，但已经有许多服务和工具从不同角度、以不同方式专注于解决恶意 AI 的威胁。像 Ottenheimer 创建的IronCurtain (https://www.wired.com/story/ironcurtain-ai-agent-security/) 和Wirken (https://gebruder.ottenheimer.app/wirken/) 这样的开源项目，旨在约束 AI 代理并要求其承担责任。而 Zenla 创立两年的初创公司 Edera，专注于云容器安全，从一开始就将AI纳入考量 (https://www.wired.com/story/edera-cloud-tech-security/)。 "OpenAI 和 Hugging Face 的情况是运行 AI 代理的可预测结果，本应很容易预防，"Zenla 说。"即使出现一次失误，也应该有其他机制来阻止它。阻止某一条特定路径并不是关键。我们必须在构建方式上做出更大、更大胆的改变。这才是行业领先于这类问题、而非被动应对的唯一途径。"