通过我们的网络安全赠款计划赋能防御者

# 通过我们的网络安全赠款计划赋能防御者 来源：https://openai.com/index/empowering-defenders-through-our-cybersecurity-grant-program/ 自成立以来，该计划已支持了多种多样的项目。我们很高兴能展示其中的一些项目。 *加州大学伯克利分校 Wagner Lab* 加州大学伯克利分校教授 David Wagner 的安全研究实验室正在开创旨在防御大语言模型 (LLM) 中的提示注入攻击的技术。该小组正与 OpenAI 合作，以增强这些模型的可信性，并保护它们免受网络安全威胁。 *Coguard* Coguard(在新窗口打开) (https://www.coguard.io/) 的联合创始人兼首席技术官 Albert Heinle 使用 AI 来减少软件配置错误，这是安全事件的常见原因。软件配置本身很复杂，在将软件连接到网络和集群时更是如此。目前的软件解决方案依赖于过时的基于规则的策略。AI 可以帮助自动化检测配置错误并使其保持最新状态。 *Mithril Security* Mithril 开发了一个概念验证，用于强化 LLM 推理基础设施，包括开源工具，可在具有基于受信平台模块 (TPM) 的安全飞地的 GPU 上部署 AI 模型。该项目旨在证明即使对于管理员，数据也可以发送给 AI 提供商而无需任何数据泄露。他们的工作可在 GitHub(在新窗口打开) (https://github.com/mithril-security/blindllama-v2) 上公开获得，以及详细说明其架构的白皮书(在新窗口打开) (https://github.com/mithril-security/blind_llama/blob/main/docs/docs/whitepaper/blind_llama_whitepaper.pdf)。 *Gabriel Bernadett-Shapiro* 个人受助人 Gabriel Bernadett-Shapiro 创建了 AI OSINT 研讨会和 AI 安全入门工具包，为学生、记者、调查人员和信息安全专业人士提供关于 LLM 基础知识的技术培训和免费工具。特别是，Gabriel 强调了为约翰霍普金斯大学国际暴力犯罪调查员和情报研究学生提供附属培训，以帮助确保他们拥有在关键和充满挑战的环境中利用 AI 的最佳工具。 *达特茅斯学院 Breuer Lab* 神经网络容易受到对手通过与模型交互来重构私有训练数据的攻击。防御这些攻击通常需要在模型准确性和训练时间方面付出高昂的代价。达特茅斯学院教授 Adam Breuer(在新窗口打开) (http://www.adambreuer.com/) 的实验室正在开发新的防御技术，可以防止这些攻击而不会影响准确性或效率。 *波士顿大学安全实验室 (SeclaBU)* 识别和推理代码漏洞是一个重要且活跃的研究领域。博士候选人 Saad Ullah、SeclaBU(在新窗口打开) (https://seclab.bu.edu/) 的教授 Gianluca Stringhini 和波士顿大学 Peac Lab(在新窗口打开) (https://www.bu.edu/peaclab/) 的教授 Ayse Coskun 正在致力于改进 LLM 检测和修复代码漏洞的能力。这项研究可能使网络防御者能够在恶意利用之前捕获和防止代码漏洞。 *圣克鲁兹大学 (UCSC) CY-PHY 安全实验室* UCSC 教授 Alvaro Cardenas(在新窗口打开) (https://users.soe.ucsc.edu/~alacarde/) 的研究小组正在探索如何使用基础模型来设计能够自主应对计算机网络入侵者的代理，也称为自主网络防御代理。该项目旨在比较基础模型与使用强化学习 (RL) 训练的同类模型的优缺点，以及它们如何协同工作来改进网络安全和威胁信息分类。 *麻省理工学院计算机科学与人工智能实验室 (MIT CSAIL)* 来自麻省理工学院计算机科学与人工智能实验室(在新窗口打开) (https://www.csail.mit.edu/) 的 Stephen Moskal、Erik Hemberg 和 Una-May O'Reilly 正在探索如何使用提示工程方法在计划-行动-报告循环中自动化决策过程并执行可操作的响应以进行红队测试。此外，该小组还在探索 LLM-Agent 在夺旗 (CTF) 挑战赛中的能力，这些是旨在在受控环境中发现漏洞的练习。