为AI的恶意使用做准备

OpenAI Blog 论文

摘要

OpenAI与领先研究机构合作共同撰写了一份综合论文,预测AI可能被恶意使用的方式并提出缓解策略。该研究强调承认AI的双重用途特性、借鉴网络安全实践,以及扩大围绕AI安全风险的利益相关者讨论。

我们与Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security、Electronic Frontier Foundation等机构的同事合作,共同撰写了一份论文,预测恶意行为者可能如何滥用AI技术,以及我们可能采取的防止和缓解这些威胁的潜在方式。这项工作是近一年来持续合作的成果。
查看原文
查看缓存全文

缓存时间: 2026/04/20 14:56

# 为AI的恶意使用做好准备 来源:https://openai.com/index/preparing-for-malicious-uses-of-ai/ 我们与未来人类研究所、存在风险研究中心、美国新安全中心、电子前沿基金会及其他机构的同事共同撰写了一篇论文,预测恶意行为者如何可能滥用AI技术,以及我们防止和缓解这些威胁的潜在方式。这篇论文是近一年持续合作的成果。 AI对全球安全构成挑战,因为它降低了执行许多现有攻击的成本,创造了新的威胁和漏洞,并进一步复杂化了特定攻击的溯源。鉴于AI似乎带来的威胁形势的变化,该报告提出了一些高层建议,企业、研究机构、个人从业者和政府可以采取这些措施来确保更安全的世界: - **认识AI的双重用途性质**:AI是一项既能产生极大正面应用,也能产生极大负面应用的技术。作为一个社区,我们应该采取措施更好地评估研究项目是否可能被恶意行为者滥用,并与决策者沟通了解特别敏感的领域。正如我们在论文中所写:"监视工具可用于抓捕恐怖分子或压制普通公民。信息内容过滤器可用于屏蔽假新闻或操纵舆论。政府和强大的私人行为体将能够获得许多这些AI工具,并可能将其用于公共利益或伤害。"这些问题的一些潜在解决方案包括对某些研究进行发表前风险评估、有选择地在一小组可信组织之间共享某些具有重大安全或安保成分的研究,以及探索如何在科学界中嵌入对双重用途问题做出反应的规范。 - **向网络安全学习**:计算机安全社区已开发出与AI研究人员相关的各种实践,我们应该考虑在自己的研究中实施这些实践。这些范围从"红队测试"(通过有意尝试破坏或颠覆系统)到投资技术预测以在威胁到来之前发现它们,再到围绕AI系统中发现的漏洞的保密报告的约定等。 - **拓宽讨论范围**:AI将改变全球威胁形势,所以我们应该在讨论中涉及更广泛的社会各阶层。相关方可能包括从事民间社会工作的人、国家安全专家、企业、伦理学家、公众和其他研究人员。 与我们在AI安全具体问题上的工作类似,我们以具体场景为基础讨论了恶意使用AI带来的一些问题,例如:由AI系统生成的劝诱性广告被用于针对安全系统管理员;网络犯罪分子使用神经网络和"模糊测试"技术来创建具有自动漏洞生成能力的计算机病毒;恶意行为者入侵清洁机器人,使其向VIP传送爆炸物;流氓国家使用无处不在的AI增强型监视系统来预先逮捕符合预测风险特征的人员。 我们很高兴能与同行、决策者和公众开始这一讨论。我们在过去两年里研究并巩固了OpenAI的内部政策,现在将开始与更广泛的受众就这些问题进行沟通。我们特别希望与更多自视为对AI政策辩论做出贡献以及取得研究突破的研究人员合作。

相似文章

打击AI恶意使用

OpenAI Blog

OpenAI 发布了一份年度报告,详细介绍了其在阻止与国家相关的行为体和其他恶意行为体滥用AI工具的努力,包括防止这些工具被用于专制控制、儿童剥削、信息操纵和网络攻击等目的。

为生物学领域的未来AI风险做准备

OpenAI Blog

OpenAI发布了一套管理高级AI模型在生物领域的两用风险的综合方案,通过专家协作、模型训练、检测系统和安全控制等策略,既能推动有益的科学发现,又能防止其被滥用于生物武器开发。

遏制人工智能的恶意使用 | 2026年2月

OpenAI Blog

OpenAI 发布了2026年2月的威胁报告,详细介绍了检测和防止人工智能恶意使用的案例研究,重点说明了威胁行为者如何将AI模型与传统工具结合,并在协调行动中滥用多个平台和模型。

OpenAI 对人工智能和国家安全的态度

OpenAI Blog

# OpenAI 对人工智能和国家安全的态度 来源:[https://openai.com/global-affairs/openais-approach-to-ai-and-national-security/](https://openai.com/global-affairs/openais-approach-to-ai-and-national-security/) OpenAI 今天,白宫发布了一份[关于人工智能的国家安全备忘录(NSM)⁠\(在新窗口中打开\)](https://www.whitehouse.gov/briefing-room/presidential-actions/2024/10/24/memorandum-on-advancing-the-united-states-leadership-in-artificial-intelligen)

破坏AI的恶意使用:2025年10月

OpenAI Blog

OpenAI发布了2025年10月关于破坏AI恶意使用的报告,详细介绍了自2024年2月以来破坏的40多个违反使用政策的网络,包括国家关联威胁、诈骗和影响力操作。