生成式AI工具正被用于推行‘污名圣战’

# 生成式 AI 工具正被用于推行“低俗圣战” 来源：https://www.wired.com/story/gen-ai-tools-are-now-being-used-to-push-slop-jihad/ 十多年前，“伊斯兰国”发布过一段令人毛骨悚然的视频（https://www.nytimes.com/2015/06/24/world/middleeast/grisly-isis-video-seems-aimed-at-quashing-resistance.html），视频中该组织成员将关在笼子里的男子扔进游泳池并将其溺死。如今，这段视频被改造成《海绵宝宝》风格的动画：笼子里的鱼穿着橙色制服，海绵宝宝将笼子放入水中，而章鱼哥则在一旁拍摄。 这段视频在 TikTok 上广泛传播，属于战略对话研究所（ISD）在最新报告中提到的“低俗圣战”现象的一部分。该报告指出，伊斯兰国和基地组织等恐怖组织的年轻支持者利用生成式 AI 工具制作同人剪辑、动画和表情包，旨在让新一代网络用户走向极端化。 这份仅向《连线》杂志透露的报告总结称，这一变化“标志着网络圣战宣传在视觉风格上的根本性转变”。 联合国支持的反恐组织“科技反恐组织”（https://www.ct-ai.org/）的执行主任亚当·哈德利表示：“最令人担忧的是相关内容的数量与种类都在不断增加。高度风格化的 AI 生成内容会让暴力伊斯兰极端主义信息更容易被年轻群体接触，同时降低传统恐怖主义标识的辨识度。用户可能通过同人剪辑、动画、表情包等娱乐化形式无意间接触到对恐怖分子的美化内容，进而通过算法推荐看到更多露骨的恐怖宣传。”该组织也曾针对“低俗圣战”现象撰写过报告。 长期以来，伊斯兰恐怖组织一直展现出强大的适应能力（https://www.tandfonline.com/doi/full/10.1080/09546553.2022.2038575），它们利用新兴技术调整策略，通过新媒体向全球传播信息，招募成员并构建去中心化的宣传网络。2020 年代初的“另类圣战”运动（https://ctc.westpoint.edu/from-tiktok-to-terrorism-the-online-radicalization-of-european-lone-attackers-since-october-7-2023/）便是例证，该运动试图将极右翼的视觉风格融入伊斯兰恐怖主义内容中。 这些组织数年来一直在使用生成式 AI 技术。2024 年，与伊斯兰国有关的新闻节目《新闻收获》开始使用 AI 生成的主持人形象（https://www.washingtonpost.com/technology/2024/05/17/ai-isis-propaganda/），以更快速、更低成本地传播宣传视频。 但如今，通过生成式 AI 制作的内容在风格上已截然不同。 ISD 的全球伊斯兰主义与反恐研究主席穆斯塔法·阿亚德表示：“这是新现象，且仍在发展中，远未达到顶峰。过去支持恐怖组织的生态系统中就存在质量低劣的内容，但从未出现过以《海绵宝宝》为风格的伊斯兰国相关内容。” 生成式 AI 工具还被用来快速、低成本地将恐怖组织的官方内容转化为动画视频。例如，某个 TikTok 账号就将伊斯兰国的每周通讯《纳巴》改成了动漫形式。 “低俗圣战”现象也遭到了一些传统支持者的反对，他们不喜欢这种新风格。阿亚德提到对《海绵宝宝》视频的一些反馈时说：“似乎存在一些反感情绪，因为他们认为‘低俗圣战’的制作者并非真正的信徒。不过，有些账号仍在分享传统的官方宣传内容，同时也传播新的视频，因此人们对这类内容呈现出一种爱恨交织的态度。” 多年来，TikTok 一直是伊斯兰恐怖组织在线宣传活动的核心平台（https://journals.sagepub.com/doi/10.1177/20563051251412167），它们利用平台强大的算法推荐功能传播信息。经济合作与发展组织在 2024 年发布的报告（https://www.oecd.org/content/dam/oecd/en/publications/reports/2024/06/transparency-reporting-on-terrorist-and-violent-extremist-content-online_3f72a170/901cb8cf-en.pdf）指出，TikTok 是传播恐怖主义和极端主义内容的十大平台之一。 虽然阿亚德在 Instagram 和 Facebook 等其他平台上也发现了一些“低俗圣战”视频，但绝大多数都出现在 TikTok 上。他共发现了 71 个账号发布的 150 个此类视频，这些视频在平台上的总浏览量超过 540 万次。阿亚德认为，这类内容在 TikTok 上如此泛滥，是因为平台的“为你推荐”算法“能高度针对用户的兴趣进行推送”。他还指出，平台上普遍存在的低质量 AI 内容以及“早已根深蒂固的圣战支持生态系统”也是原因。 TikTok 对该报告的结论提出了质疑。一位 TikTok 发言人对《连线》杂志表示：“这份报告的方法论十分模糊，得出的结论缺乏足够证据支撑，也无法反映用户使用我们平台的方式。我们禁止暴力及仇恨组织存在，同时通过先进的审核技术、安全团队以及合作伙伴关系，主动检测并删除违规内容，从而为社区维护安全空间。报告中提到的所有内容都已被从 TikTok 上删除。” 在《连线》杂志将 ISD 的报告分享给 TikTok 后，报告中提到的数十个视频已被删除。 《连线》杂志还将该报告分享给了几位研究伊斯兰恐怖组织如何利用社交媒体煽动追随者的外部专家，他们均基本认同 ISD 的研究结果。华盛顿近东政策研究所的极端主义研究专家亚伦·泽林对《连线》杂志表示：“值得注意的是，生成式 AI 能够让更广泛、更分散的用户群体轻松地重新创作圣战相关人物和图像，而这些内容会在各种社群中传播，这些社群的成员往往更多是出于暴力、恶作剧或追求出名等动机，而非真正认同圣战理念。” 虽然阿亚德承认，一些较为极端的“低俗圣战”内容可能难以被认定为与恐怖主义相关，但其中大部分内容显然是在支持恐怖组织及其意识形态。TikTok 已删除了阿亚德监测的一些账号，但这些账号大多有备用账号，还会告知粉丝在账号被封禁后可在何处找到他们。 阿亚德说：“有些内容甚至能存活数月，持续躲避审核，无论是不是依靠他们用于检测恐怖内容的 AI 系统。”