随着AI能力提升,强化网络防御能力
摘要
OpenAI 发布了一套管理AI模型网络能力的综合框架,指出在 CTF 性能上取得了显著进步(从 GPT-5 的 27% 提升到 GPT-5.1-Codex-Max 的 76%),并概述了纵深防御措施,以确保先进模型主要造福防御方,同时限制恶意使用。
随着AI模型在网络安全领域能力不断增强,OpenAI 正在投入更强大的防护措施和防御能力。我们解释了如何评估风险、防止滥用,以及如何与安全社区合作来强化网络防御能力。
查看缓存全文
缓存时间: 2026/04/20 14:50
# 随着AI能力的进步,增强网络防护能力
来源: https://openai.com/index/strengthening-cyber-resilience/
AI模型中的网络能力正在迅速进步,为网络防护带来了实实在在的好处,同时也带来了需要谨慎管理的新的双重用途风险。例如,通过夺旗(CTF)挑战评估的能力已从2025年8月的GPT-5的27%提升到2025年11月的GPT-5.1-Codex-Max的76%。
我们预期即将推出的AI模型将继续沿着这一轨迹发展;为此做准备,我们正在规划和评估,就好像每个新模型都可能达到我们"防护框架"中所衡量的"高"级网络安全能力一样。我们指的是那些能够针对防守严密的系统开发出有效的零日远程漏洞,或者能够有意义地协助复杂、隐蔽的企业或工业入侵操作以实现真实世界影响的模型。本文解释了我们如何思考达到这些能力水平的模型的安全防护措施,以及如何确保它们有意义地帮助防御者同时限制滥用。
随着这些能力的进步,OpenAI正在投资加强我们的模型以执行防御性网络安全任务,并创建能让防御者更容易执行代码审计和漏洞修补等工作流的工具。我们的目标是让我们的模型和产品为防御者带来显著优势,因为防御者往往人手不足、资源匮乏。
与其他双重用途领域一样,防御性和攻击性网络工作流通常依赖相同的底层知识和技术。我们正在投资安全防护措施,以帮助确保这些强大能力主要用于防御用途,并限制恶意用途的提升。网络安全涉及几乎每个领域,这意味着我们不能仅依赖任何单一类别的安全防护措施,比如限制知识或仅使用经过审查的访问,而是需要采用平衡风险并赋能用户的纵深防御方法。实际上,这意味着塑造如何访问、引导和应用能力,使得先进模型加强安全性而非降低滥用的门槛。
我们将这项工作视为一项持续的长期投资,旨在让防御者获得优势,并不断加强更广泛生态系统中关键基础设施的安全态势。
我们的模型被设计和训练为安全运行,由主动检测和响应网络滥用的系统提供支持。随着我们能力的提升和威胁形势的变化,我们不断完善这些保护措施。虽然任何系统都无法在不严重影响防御用途的情况下保证完全防止网络安全滥用,但我们的策略是通过分层安全堆栈来降低风险。
在这个基础上,我们采用纵深防御方法,依靠访问控制、基础设施加固、出口控制和监控的组合。我们用检测和响应系统、专门的威胁情报和内部风险项目来补充这些措施,使新兴威胁能够被迅速识别和阻止。这些安全防护措施被设计成随着威胁形势演变而演变。我们假设变化会发生,并构建系统使得我们能够快速、恰当地调整。
基于这个基础:
- **训练模型拒绝或安全响应有害请求,同时对教育和防御用途保持有用性:** 我们正在训练我们的前沿模型拒绝或安全响应能够导致明显网络滥用的请求,同时对合法防御和教育用途保持最大程度的有用性。
- **检测系统:** 我们完善和维护跨越使用前沿模型的产品的系统级监控,以检测可能的恶意网络活动。当活动显得不安全时,我们可能会阻止输出、将提示路由到更安全或能力较弱的模型,或升级以进行执法。我们的执法结合了自动化和人工审查,受法律要求、严重性和重复行为等因素的指导。我们也与开发人员和企业客户密切合作,在安全标准上对齐,并通过清晰的升级路径实现负责任的使用。
- **端到端红队测试:** 我们正在与专家红队组织合作,评估和改进我们的安全防护措施。他们的工作是尝试绕过我们的所有防御,就像一个有决心且资源充足的对手可能会做的那样。这帮助我们及早发现漏洞并加强整个系统。
OpenAI早期投资了将AI应用于防御性网络安全用途,我们的团队与全球专家密切协调,使我们的模型及其应用成熟。我们重视正在努力使我们数字世界更安全的全球网络安全从业者社区,并致力于提供支持防御性安全的强大工具。当我们推出新的安全防护措施时,我们将继续与网络安全社区合作,了解AI在哪些方面能够有意义地加强防护能力,以及在哪些地方需要周密的安全防护措施。
除了这些协作外,我们正在建立一系列努力,旨在帮助防御者加快步伐,将我们的安全防护措施扎根于真实世界需求,并加速规模化的负责任补救。
我们将很快推出一个受信访问计划,在该计划中我们探索为从事网络防御的合格用户和客户提供分级访问,以获得我们最新模型中用于防御用途的增强能力。我们仍在探索我们可以向哪些能力提供广泛访问权限以及哪些需要分级限制,这可能会影响该计划的未来设计。我们的目标是让这个受信访问计划成为构建有弹性生态系统的一个组成部分。
Aardvark是我们的代理安全研究者,帮助开发人员和安全团队大规模地发现和修复漏洞,目前处于私密测试阶段。它扫描代码库中的漏洞并提议修补程序,维护人员可以快速采纳。通过对整个代码库的推理,它已经在开源软件中识别了新的CVE。我们计划为精选的非商业开源库提供免费覆盖,以贡献于开源软件生态系统和供应链的安全性。在这里申请参与。
我们将建立前沿风险委员会,这是一个咨询小组,将经验丰富的网络防御者和安全从业者与我们的团队紧密合作。该委员会将首先关注网络安全,并在未来扩展到其他前沿能力领域。成员将就有用、负责任的能力与潜在滥用之间的界限进行建议,这些学习将直接影响我们的评估和安全防护措施。我们很快会分享更多关于该委员会的信息。
最后,我们预期来自业界任何前沿模型的网络滥用都可能是可行的。为了应对这一点,我们与其他前沿实验室通过前沿模型论坛合作,前沿模型论坛是由领先的AI实验室和行业伙伴支持的非营利组织,开发对威胁模型和最佳实践的共同理解。在这种背景下,威胁建模通过识别AI能力如何被武器化、不同威胁行为者的关键瓶颈在哪里,以及前沿模型可能如何提供有意义的提升,来帮助降低风险。这种协作旨在建立对威胁行为者和攻击路径的一致、生态系统范围的理解,使实验室、维护者和防御者能够更好地改进他们的防护措施,并确保关键安全见解迅速在生态系统中传播。我们也在与外部团队合作开发网络安全评估。我们希望一个独立评估的生态系统将进一步帮助建立对模型能力的共同理解。
总的来说,这些努力反映了我们长期致力于加强生态系统防御方面的承诺。随着模型变得更有能力,我们的目标是帮助确保这些能力转化为防御者的实际杠杆——以真实世界需求为基础,由专家意见塑造,并谨慎部署。除了这项工作外,我们计划探索其他举措和网络安全补助金,以帮助浮出可能不会从传统渠道产生的突破性想法,并从学术界、业界和开源社区众包大胆、创意的防御措施。总的来说,这是正在进行的工作,我们预期会根据我们学到的最有效推进真实世界安全的东西不断演进这些项目。
相似文章
OpenAI 推出新的安全工具并更新 GPT-5.5-Cyber(2分钟阅读)
OpenAI 推出了新的安全工具,包括 Codex Security 插件和更新的 GPT-5.5-Cyber 模型,以及 Daybreak 计划和 Patch the Planet 开源项目,从漏洞发现转向自动化补丁生成。
随着AI主导的攻击增多,OpenAI推出新型网络模型
OpenAI正在扩展其Daybreak网络防御服务,新增Blue和Red两个层级,并发布新的防御性网络模型GPT-5.6-Cyber。随着AI驱动的攻击增多,该模型仅对受信任的合作伙伴开放。
@OpenAI:先进能力需要强有力的安全防护。因此,访问权限仅限于经批准的防御者,并对更高风险的网络安全工作实施额外控制和监控…
OpenAI 正在扩展 Daybreak,新增两个访问层级(Blue 和 Red),并推出 GPT-5.6-Cyber,这是一款专用训练的网络安全模型,可显著减少对授权防御性安全工作的拒绝。
@sama: 我们希望帮助所有公司确保安全,与美国政府及安全生态系统合作。*GPT-5.5-…的完整版本现已推出
OpenAI发布GPT-5.5-Cyber完整版本,这是一款专注于网络安全的AI模型,在CyberGym上达到最先进性能,并宣布通过Patch The Planet和Codex Security提升安全性的努力。
评估先进AI的潜在网络安全威胁
DeepMind发布了一个综合框架,用于评估先进AI模型的进攻性网络安全能力,分析了遍布20个国家的12000多次真实AI驱动的网络攻击,并创建了涵盖整个攻击链的50个挑战基准,帮助防御者优先配置安全资源。