@Miles_Brundage: 基本上是我一年多前在 Operation Patchlight 中说过的内容 (https://ifp.org/operation-patchlight/…)

X AI KOLs Timeline 新闻

摘要

本文提出使用人工智能(AI)主动发现和修复关键基础设施开源代码中的软件漏洞,以应对网络安全市场失灵,并随着AI进步实现扩展。

基本上是我一年多前在 Operation Patchlight 中说过的内容 (https://t.co/5sJtBd1TNX) 但是是的,加速加速加速加速加速 https://t.co/J96kVKLA5i
查看原文
查看缓存全文

缓存时间: 2026/08/28 19:55

基本上和我一年多前在《补光行动》中说的差不多(https://t.co/5sJtBd1TNX),但确实要更快、更快、更快、更快、更快 https://t.co/J96kVKLA5i


补光行动 | IFP

来源:https://ifp.org/operation-patchlight/ 本文是*《启动序列》*(https://ifp.org/the-launch-sequence)系列的一部分,该系列汇集了具体而宏大的构想,旨在为先进人工智能的到来做好准备。这些项目需要人才来构建。欢迎联系(https://airtable.com/app6scuWYbynmQfMP/pag8ubIt0sy01ne7H/form)。

摘要

开源代码是美国关键基础设施的基石;它是我们医院、电网、银行等运行软件的关键组成部分。这个软件供应链极其脆弱,危及美国民众,并可能在冲突中使我国面临胁迫。随着人工智能赋予攻击者更高的速度、效率和行动规模,我们的软件正变得愈发脆弱。

尽管人工智能在主动发现和修复漏洞方面具有革新网络安全的潜力,但这种积极结果并非必然。目前,无论是开源代码安全还是关键基础设施安全,都缺乏足够的激励。

我们提议发起一项国家级的“登月计划“,利用人工智能在经济体系中发现并修复软件漏洞,并确保人工智能成为美国网络安全的资产而非负担。这项工作有两大支柱,各自旨在纠正关键的市场失灵,并增加恶意行为者的攻击成本:

  • **修复:**利用尖端人工智能在恶意行为者之前发现并修复开源代码中的漏洞。
  • **赋能:**资助开发并持续改进人工智能驱动的工具,帮助关键基础设施的防御者更有效地工作。

随着人工智能能力的提升,这两大支柱将变得更加高效,并且可以轻松扩展以适应不同的资金水平。

动因

开源代码是我们许多基础设施(包括关键基础设施)的基础。根据一项评估(https://www.blackduck.com/content/dam/black-duck/en-us/reports/rep-ossra.pdf),70%的商用代码源自开源库。但是,维护这些开源代码的人员,以及负责在关键基础设施中更新因开源代码变动而需修改代码的人员,其资源严重不足。这导致了未修补的漏洞频发,造成经济损失、身份盗窃和社会关键功能中断。以医院的患者护理为例(https://arpa-h.gov/sites/default/files/2024-06/UPGRADE%20Proposers%20Day%20PDF.pdf):

  • 美国61%的医院表示勒索软件影响了他们的临床护理,17%的医院表示勒索软件导致了严重的患者伤害。
  • 美国医院53%的医疗设备存在关键漏洞。
  • 平均而言,为医院设备应用关键安全更新需要491天。
  • 仅2023年一年,医疗领域的网络安全事件造成的经济损失就超过150亿美元。

美国脆弱的网络基础设施使我们易受冲突中的胁迫,因为对手有能力“关闭“我们社会的大部分功能。虽然软件供应链面临已知风险,但如果不积极确保人工智能更多地帮助防御者而非攻击者,情况可能很快会变得更糟。代码漏洞的利用正成为网络安全漏洞的一个风险因素(尽管并非唯一因素)呈上升趋势(https://www.infosecurity-magazine.com/news/verizon-dbir-jump-vulnerability/?utm_source=chatgpt.com),攻击者已开始(https://cdn.openai.com/threat-intelligence-reports/disrupting-malicious-uses-of-our-models-february-2025-update.pdf)利用(https://arxiv.org/abs/2503.11917)人工智能来提高其攻击的规模和效率。

基于人工智能的漏洞发现和修补在提升安全性方面潜力巨大,但要产生显著影响,其部署的规模和速度可能不足。开源代码安全是一个典型的市场失灵案例:利用开源代码进行攻击的收益是集中的(例如,通过一次勒索软件攻击赚取数百万美元),而改善网络安全的收益则更为分散(许多用户依赖相同的代码,并指望他人找出漏洞)。更广泛的问题是,关键基础设施的网络防御资源不足,防御者几乎没有时间和精力去学习和采用新兴技术。

随着越来越多的“人工智能之眼“开始寻找开源代码中的漏洞,并利用这些漏洞攻击我们的关键基础设施,我们需要将这一共同漏洞转化为机遇。通过大力投资利用人工智能来修复开源代码,速度超过恶意行为者的破坏速度,我们可以提高整个关键基础设施的安全水位。我们可以更进一步,为资源不足的防御者提供所需的强大工具,使他们能够轻松应用人工智能发现的补丁,并对关键基础设施代码进行其他安全改进。

解决方案

要大幅提升美国软件基础设施的安全性,需要采取两个步骤:

  • **修复:**利用尖端人工智能在恶意行为者之前发现并修复开源代码中的漏洞。
  • **赋能:**资助开发并持续改进人工智能驱动的工具,帮助关键基础设施的防御者更有效地工作。

两者结合,将为关键基础设施的防御者提供一个更可靠的软件供应链,以及一个全天候运行、持续改进的人工智能安全助手。鉴于我们面临的网络安全风险的规模和成本,即使这只在关键基础设施的准备程度上产生微小改进,其投资回报也将非常积极。

因此,美国政府应发起一项工作,协调人工智能实验室、网络防御方、产业界和慈善机构,共同保障开源代码和关键基础设施的安全。这项倡议将受益于白宫的召集力,并直接将美国的人工智能创新能力应用于上述关键挑战。下文描述的具体提案版本涉及三年内24亿美元的直接资助以及产业界的额外承诺。这项工作的资金可来自政府、慈善机构和产业界的混合,并可按比例增减,同时保持相同的基本结构。具体而言,这项工作将:

  • 召集顶尖的人工智能实验室,并激励它们让网络防御者尽早获得人工智能模型的使用权,并为保护关键基础设施的网络防御者提供免费/低成本的计算资源/访问权限。
  • 资助致力于开源代码安全的项目,使其能够利用这种早期访问权限来发现和修补漏洞。
  • 为关键基础设施防御者提供催化资金,用于开发人工智能驱动的工具。

如果成功,这项工作将创造一个有利于防御工作的、改变后的能力与成本环境,并培育一个日益强大的防御工具生态系统,这些工具可由产业界进一步开发。

实施

“修复”:利用尖端人工智能在恶意行为者之前发现并修复开源代码中的漏洞

首先,联邦政府应争取美国人工智能公司的承诺,使其向关键的开源代码维护者提供对每一代前沿人工智能系统的早期、免费或低成本访问权限。

  • 这应灵活实施;一些公司可能更适合提供API额度,而另一些公司可能更适合在其消费服务上提供一定数量的免费高级账户(例如,每个开源项目可能获得一些Claude Max、Gemini Advanced或ChatGPT Pro账户)。还有一些公司可能希望就使用尚未产品化的原型人工智能系统关注哪些代码库提供建议。所有这些都有助于让人工智能产业的天平向防御倾斜。
  • 除了利用其召集力,联邦政府还可以将这些行动与“胡萝卜“(如加快数据中心选址)挂钩,正如它目前正在做的那样,以激励顶尖的人工智能公司加强自身网络安全并为国家安全提供人工智能支持。

仅有低成本和早期访问权限是不够的。许多开源软件库资源严重不足,将没有能力有效利用这些访问权限。因此,我们还建议联邦政府和慈善机构为专注于开源代码安全的非营利组织提供资金:

  • 资金将用于保护特别关键的“承重“开源项目的相关成本。应特别关注在关键基础设施中广泛使用的开源软件。
  • 范围内的活动包括使用人工智能API对选定的开源代码库进行“高计算量“漏洞发现、通过类似方式生成补丁,以及支付代码库优先级排序、人工漏洞和补丁检查、以及联系开源维护者告知该计划的相关劳动成本。
  • 一个例子是开源安全基金会(OpenSSF)的Alpha-Omega计划(https://openssf.org/community/alpha-omega/),该计划在提高开源代码安全方面有着良好的记录,并建立了可为该登月计划所用的分类系统,但相对于挑战和机遇的规模而言,其资金严重不足。该计划的历史资金仅为数百万美元,这与单个开源代码漏洞有时造成的(https://www.breachsense.com/blog/equifax-data-breach/)数十亿美元损失相比微不足道。
  • 承诺在2025年剩余时间内投入1亿美元,随后在2026年投入3亿美元,2027年投入10亿美元,将有助于吸引更多人才和活力投身于开源代码安全工作。

“赋能”:资助开发并持续改进人工智能驱动的工具,帮助关键基础设施的防御者更有效地工作

在攻击者之前发现漏洞还不够。必须在漏洞被利用之前将其修补。实际上,许多已知漏洞之所以不断被利用,是因为关键基础设施的防御者不堪重负且资源不足(通常只是单个管理员或小团队)。尽管这些防御者数量众多且对国家至关重要,但他们并非硅谷网络安全工具初创公司的主要客户群体,恰恰因为他们资源不足且分散(不像例如购买大量企业软件许可证的财富500强公司)。

为了装备关键基础设施的防御者必要的能力,我们建议:

  • 联邦政府应投资10亿美元,向为关键基础设施防御者构建人工智能驱动工具的公司或非营利组织快速发放资助。目的是提供一笔前期资本承诺,增加市场关注度和创新,使私人资本更有可能随后流入并帮助扩大这一生态系统。这个金额可以增减,但旨在允许在非常活跃且资金充足的人工智能创新环境中,以能引起关注的规模进行多项押注。
  • 联邦政府还应争取顶尖人工智能公司的承诺,五年内每年提供至少10亿美元的免费或减价人工智能能力,以增强关键基础设施防御者正在使用的软件。关键是,资助接受者无论是否是上述初始资金的接受者,都应有资格获得(以避免过早的市场整合),并且接受者应通过网络安全和基础设施安全局(CISA)直接或间接管理的简化流程进行认证。10亿美元旨在按当前价格接近大量的人工智能使用量,尽管对公司的实际成本将远低于10亿美元,因为他们销售人工智能“代币“是有利润的。

综合这些建议,将有可能让例如美国医院或发电厂的每位系统管理员都拥有一个全天候运行、积极主动的人工智能助手,帮助他们将新的软件补丁整合到网络中。这种软件应具备以下特性:

  • 通过API使用最新的人工智能模型,或使用本地部署的开源模型。
  • 像虚拟同事一样,在电子邮件、Slack、GitHub和其他平台上流畅工作,而不是要求新的学习曲线。
  • 主动建议对软件进行编辑以适应新补丁造成的任何冲突,并生成适当的文档使修补尽可能简单。

这样的人工智能工具可以帮助解决当前已知漏洞的积压问题,并确保即将到来的人工智能驱动的漏洞发现浪潮对防御者有益,而不仅仅是增加积压问题。

虽然我们这里的主要重点是修复已知漏洞,但全天候人工智能助手还有其他方式可以增强关键基础设施防御者的能力,部分投资也应投向更广泛地探索这些可能性。许多安全漏洞源于未采用关键的安全干预措施,如多因素认证。人工智能工具也可用于帮助以比年度培训视频或千篇一律的电子邮件更量身定制、更有效、更及时的方式,向员工沟通此类防护措施的重要性。全天候人工智能安全助手也可能在入侵检测和事件响应等领域提供帮助。

目标:网络防御优势

随着人工智能能力的成熟,这两项登月计划的支柱自然会变得更加高效,并且随着人工智能API成本的每次下降,将向我们的关键基础设施注入更多人工智能。此外,两者都可以分散资助,并能平滑扩展——进一步增加成功攻击的成本。随着更多投资,我们将渐近地接近网络防御优势,将低端攻击者排除在市场之外。最终,通过该提案与其他提案(如《大重构》)的结合,我们甚至可以将高端攻击者拒之关键基础设施之外。

这项登月计划最大的风险不是技术失败,而是雄心的不足。半吊子措施将淹没在快速变化的软件生态系统和嘈杂的人工智能初创环境中。前线的维护者和防御者有许多竞争性优先事项;只有强有力、资金充足的国家努力才能提供真正改变网络安全格局所需的势头。通过坚定地推进这项登月计划,并调动我们最优秀的人类和人工智能,我们可以保障美国未来的关键基础设施。

更多资源

  • OpenSSF,Alpha-Omega计划(https://openssf.org/community/alpha-omega/),2024年。我们建议加倍投入该计划,它与本文所述登月计划的目标高度一致。他们的网站包含其已授予赠款及其开源方法的信息。

相似文章