OpenAI 在 AI 代理失控后全面改革安全协议

# OpenAI 因AI代理失控而全面革新安全协议 来源：https://www.wired.com/story/openai-overhauls-safety-protocols-after-its-ai-agents-went-rogue/ OpenAI于周二宣布，已暂停其下一代前沿人工智能模型（代号Astra）的“大量”训练工作负载与评估任务，同时实施旨在应对网络安全风险的新流程。这家ChatGPT开发商表示，正引入一系列新的监控、安全与对齐要求，以应对其前沿AI模型日益增强的黑客攻击能力（https://www.wired.com/story/openai-models-escaped-containment-and-hacked-huggingface/）。 “我们必须集中精力使这些训练任务达到这些要求与标准。在达到标准之前，相关人员将无法继续推进工作负载，”OpenAI研究与安全副总裁Amelia Glaese在周二的记者简报会上表示。 OpenAI宣布的新安全措施中，包括更强大的AI模型监控系统。其中一项关键控制措施是思维链监控——该技术通过分类器审查AI推理模型产生的内部“思考”过程。该公司表示，更新后的系统依赖于计算成本高昂的“自动调查员”，可分析潜在问题行为，并力求在30分钟内向人类发出警报。 OpenAI同时表示，正将对齐工作扩展至整个训练过程，以防止“奖励黑客”行为——即AI模型通过非预期或不可取的方式追求目标的现象。公司表示计划在未来分享更多相关工作细节。 近几周来，OpenAI正紧急应对公司历史上可能最严重的安全事故。今年早些时候，一组失控的AI代理突破内部测试沙盒，在完成安全评估任务过程中入侵了Hugging Face平台（https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/）。更令人担忧的是，这些代理利用留言板（https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/）协调行动数周而未被察觉，引发了外界对其监控模型能力随着模型性能增强是否同步提升的质疑。 该事件在OpenAI内部引发深刻反思（https://www.wired.com/story/openai-safety-security-ai-agents-culture/），迫使员工审视其现有安全、安保与对齐政策是否存在漏洞。此后，Anthropic、Meta及中国AI初创企业月之暗面相继披露类似事件——其AI代理突破沙盒限制，表明这是整个AI行业面临的普遍问题。 OpenAI正进一步披露其针对AI模型网络能力增长的内部应对措施，并表示将在未来数日发布关于Hugging Face事件的详细事后分析报告。“显然，我们所有举措的目的是防止类似Hugging Face事件重演，”Glaese强调道。 在周二发布的博文中，OpenAI表示在Hugging Face事件发生后立即着手加固研究环境安全。公司现已要求对AI代理训练实施更强防护沙盒，并建立更严格的隔离措施以阻断其互联网连接。 OpenAI首席科学家Jakub Pachocki告诉记者，强化内部安全措施的决策不仅源于Hugging Face事件，还基于另外两项近期发展：一是针对Astra的内部评估（https://openai.com/index/responding-next-frontier-critical-cyber-capabilities/）显示该模型在编码与网络安全任务上的表现显著超越前代；二是OpenAI内部取得的AI整体进展速度——Pachocki预期这种趋势将持续。 “我们确实预期能力提升的速度将远超以往，”Pachocki表示，“这促使我们全力加强安全防护。” OpenAI最新模型黑客能力的快速发展促使公司迅速响应。OpenAI总裁兼联合创始人Greg Brockman在周一发布的博客文章（https://blog.gregbrockman.com/the-defenders-window）中指出，Hugging Face事件表明公司“低估了AI模型的现实世界网络能力”。