破获伊朗秘密影响力行动
摘要
OpenAI 披露了对伊朗秘密影响力行动(Storm-2035)的破获,该行动利用 ChatGPT 账户生成针对 2024 年美国大选和其他主题的政治内容,并通过社交媒体和虚假新闻网站进行传播。该行动的受众参与度极低,通过与微软威胁情报团队的合作被识别。
暂无内容
查看缓存全文
缓存时间: 2026/04/20 14:43
# 破坏伊朗秘密影响力行动
来源:https://openai.com/index/disrupting-a-covert-iranian-influence-operation/
OpenAI 致力于防止滥用行为并提高 AI 生成内容的透明度。这包括我们在检测和阻止秘密影响力行动方面的工作,这些行动试图操纵舆论或影响政治结果,同时隐瞒行动者的真实身份或意图。在 2024 年举办众多选举的背景下,这尤为重要。我们全年扩展了这一领域的工作,包括利用我们自有的 AI 模型更好地检测和理解滥用行为。
本周,我们识别并关闭了一批 ChatGPT 账户,这些账户为一项被认定为 Storm-2035 的伊朗秘密影响力行动生成内容。我们已禁止这些账户使用我们的服务,并继续监控任何进一步违反我们政策的企图。该行动使用 ChatGPT 生成了涉及多个主题的内容,包括对美国总统大选中两方候选人的评论,然后通过社交媒体账户和网站分享这些内容。
与我们在 5 月报告的秘密影响力行动类似,该行动似乎没有取得有意义的受众参与度。我们识别的大多数社交媒体帖子获得的点赞、分享或评论极少或完全没有。我们同样没有发现网站文章在社交媒体上被广泛分享的迹象。根据布鲁金斯学会的"突破量表"(将秘密影响力行动的影响力评分为 1 到 6,其中 1 为最低),该行动处于第 2 类的低端(在多个平台上有活动,但没有证据表明真实的人员接受或广泛分享他们的内容)。我们的调查受益于 Microsoft 上周发布的关于该行动的信息。
我们的调查显示,该行动使用 ChatGPT 有两个目的:生成长篇文章和较短的社交媒体评论。第一个工作流生成了关于美国政治和全球事件的文章,发布在五个伪装成进步和保守新闻媒体的网站上。第二个工作流创建了用英语和西班牙语发布在社交媒体上的短评论。我们识别了涉及该行动的 X 平台上的十几个账户和 Instagram 上的一个账户。其中一些 X 账户伪装成进步人士,其他的伪装成保守人士。他们通过要求我们的模型改写其他社交媒体用户发布的评论来生成其中一些评论。
该行动生成了多个主题的内容:主要是加沙冲突、以色列在奥运会上的出席,以及美国总统大选,在较少程度上涉及委内瑞拉政治、美国拉丁裔社区的权利(用西班牙语和英语)和苏格兰独立。他们在政治内容中穿插了关于时尚和美容的评论,可能是为了显得更真实或试图吸引粉丝。
尽管该行动未产生有意义的受众参与度,但我们仍然认真对待任何试图在外国影响力行动中使用我们服务的努力。因此,作为在从我们的服务中移除这些账户后支持更广泛社区破坏此类活动工作的一部分,我们已与政府、竞选和行业利益相关者分享了威胁情报。OpenAI 致力于通过与行业、民间社会和政府合作以及利用生成式 AI 的力量作为我们工作的力量倍增器,在大规模上发现和减轻这类滥用行为。我们将继续发布这样的调查结果,以促进信息共享和最佳实践。
相似文章
打击国家支持的威胁行为者滥用AI
OpenAI和Microsoft破获了五个来自中国、伊朗、朝鲜和俄罗斯的国家支持的威胁行为者,他们滥用AI服务进行钓鱼攻击、代码分析和信息收集。这些行为者已被识别并账户已被停用,研究结果显示GPT-4在恶意网络安全任务中相比现有工具的增量能力有限。
破坏隐蔽影响力行动对AI的欺骗性使用
OpenAI 报告破坏了五个试图滥用其 AI 模型进行欺骗性宣传的隐蔽影响力行动,研究结果表明安全设计的模型阻止了威胁行为者生成所需内容。该公司正在发布趋势分析,并与行业、民间社会和政府合作打击 AI 驱动的信息操纵。
关于破坏欺骗性AI使用的最新进展
OpenAI 发布了一份威胁情报报告,详细说明了在全球范围内破坏20多起欺骗性AI行动的工作,重点关注与国家相关的行为者和影响力运动,考虑到全球选举,这些问题特别令人担忧。
OpenAI 如何应对 2024 年全球选举
OpenAI 发布了 2024 年选举防护措施,包括将用户引导至权威投票信息来源、防止生成政治人物的深度伪造内容,以及破坏隐蔽影响力操纵活动。该公司报告称已将约 100 万个 ChatGPT 回复重定向到投票资源,并拒绝了超过 25 万个生成政治人物图像的请求。
破坏AI的恶意使用:2025年10月
OpenAI发布了2025年10月关于破坏AI恶意使用的报告,详细介绍了自2024年2月以来破坏的40多个违反使用政策的网络,包括国家关联威胁、诈骗和影响力操作。