立场:AI/ML深度伪造研究与AI生成的非自愿亲密图像(AIG-NCII)存在脱节
摘要
这篇立场论文认为,AI/ML深度伪造研究与AI生成的非自愿亲密图像(AIG-NCII)在现实世界中的主要危害存在脱节,过于狭隘地关注认知性危害,而非以主体为中心的尊严危害。作者呼吁重新调整威胁模型和安全研究,以填补这一关键空白。
arXiv:2607.18263v1 公告类型:新
摘要:AI生成的非自愿亲密图像(AIG-NCII)在关于AI生成媒体(通常称为“深度伪造”)的AI/ML文献中未得到充分关注。尽管当前深度伪造研究主要关注其认知性危害——即与真实性和可信度相关的危害——但这与涉及性化图像的生成式AI滥用的主要现实存在脱节。我们对高引用文献进行了全景分析,以证明针对深度伪造的技术干预几乎完全忽视了AIG-NCII,将研究生态系统局限于真实性检测工具。在这篇立场论文中,我们认为现有干预措施解决了以观众为中心的认知性危害(如欺诈或诈骗),但忽视了以主体为中心的尊严危害(如AIG-NCII)。我们说明,知道图像是合成的并不能减轻对主体的伤害,在某些情况下甚至可能加剧伤害。最后,我们提出重新调整该领域的建议,包括更新威胁模型以考虑以主体为中心的危害,以及在AI安全研究中处理AIG-NCII。最后,我们警告,研究人员只有在为研究主体和研究人员都实施安全护栏,并与性暴力预防领域的专家建立合作关系的情况下,才应涉足这一高风险领域。
查看缓存全文
缓存时间: 2026/07/22 08:20
# AI/ML 深度伪造研究与AI生成的非自愿亲密图像(AIG-NCII)错位 来源:https://arxiv.org/html/2607.18263 ###### 摘要 AI生成的非自愿亲密图像(AIG-NCII)在关于AI生成媒体(通常称为“深度伪造”)的AI/ML文献中并未得到充分关注。尽管目前深度伪造研究主要关注其认识论危害——即与真实性和真实性相关的危害——但这与生成式AI滥用的主要现实(涉及性化图像)存在错位。我们对高被引论文进行景观分析,以证明应对深度伪造的技术干预几乎完全忽视了AIG-NCII,将研究生态系统局限于真实性检测工具。在本立场论文中,我们认为现有干预措施应对的是以观众为中心的认识论危害(如欺诈或诈骗),但却忽视了以主体为中心的尊严危害(如AIG-NCII)。我们说明,知道某图像是合成的并不能减轻对主体造成的伤害,在某些情况下甚至可能加剧伤害。最后,我们提出重新调整该领域的建议,包括更新威胁模型以考虑以主体为中心的危害,并在AI安全研究中处理AIG-NCII。我们谨慎提醒,研究人员只有在对主体和研究人员都实施安全保障措施,并与性暴力预防领域的专家建立合作关系时,才应涉足这一高风险领域。 **内容警告:**本文包含关于网络性暴力和自杀的内容。 深度伪造、非自愿亲密图像、尊严、虚假信息、AI生成媒体、AI NCII、以主体为中心的危害 ## 1 引言 非自愿亲密图像(NCII)的创作是生成式AI一个令人担忧的主要用例,其危害仍未得到充分应对。在2026年1月发布的一份报告中,AI取证机构发现,商业AI系统“Grok”的主要用例是未经他人同意而脱去其衣物(Bouchaud, 2026 (https://arxiv.org/html/2607.18263#bib.bib152))。《纽约时报》和反数字仇恨中心分别发现,在埃隆·马斯克于2025年12月下旬分享了一张由Grok生成的、一名裸体女性叠加在SpaceX火箭上的图像后,接下来一周Grok被要求生成440万张图像,而马斯克发帖前一周约为31.1万张(Conger et al., 2026 (https://arxiv.org/html/2607.18263#bib.bib54))。据估计,这些图像中超过300万张是性化图像,其中至少23,000张涉及儿童(反数字仇恨中心, 2026 (https://arxiv.org/html/2607.18263#bib.bib53))。然而,尽管经验现实表明性虐待是生成式AI使用的主要驱动力,且能够生成AI生成的非自愿亲密图像(AIG-NCII)的应用开发日益增多,这一现象在涉及生成式AI图像的现有研究中却基本缺席。相反,AI/ML社区开发的技术干预措施主要针对另一套需求,即关注对真相和信任的威胁。虽然当前干预措施旨在解决媒体是否真实或合成的问题,但对AIG-NCII的忽视导致了安全工具开发中的疏忽。基于联合国(1948 (https://arxiv.org/html/2607.18263#bib.bib153))《世界人权宣言》中概述的基本人权尊严,我们认为干预措施也应侧重于应对对主体造成损害的尊严危害。本立场论文认为,AI/ML研究议程与AI生成媒体的现实之间存在结构性错位,现有关注点聚焦于以观众为中心的认识论危害,这忽略甚至加剧了以主体为中心的尊严危害。 本立场论文的贡献如下: 1. 我们揭示了研究动机与深度伪造实际危害之间的脱节。通过对2020年至2025年间顶级会议高被引论文的系统性景观分析,我们发现对AIG-NCII案例的考虑极少,尽管它可能占生成式AI使用的一半以上(Bouchaud, 2026 (https://arxiv.org/html/2607.18263#bib.bib152); 反数字仇恨中心, 2026 (https://arxiv.org/html/2607.18263#bib.bib53); Security Hero, 2023 (https://arxiv.org/html/2607.18263#bib.bib151))。 2. 我们分析了这种缺乏参与如何导致“真实性”工具的泛滥。我们展示了这些工具对AIG-NCII不够用,并且在特定的部署环境中可能加剧以主体为中心的尊严危害。 3. 最后,我们为研究人员和实践者提供了一系列建议,以重新调整技术干预措施以应对AIG-NCII。我们强调,所有在这一领域工作的研究人员必须与网络性暴力领域的专家合作,并在技术干预中使用考虑以主体为中心的尊严危害的威胁模型。 ## 2 危害减少研究中AIG-NCII的缺失 “深度伪造”(deepfake)是一个口语化术语,用于描述AI生成或改动的内容(Die et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib57))。这包括欺骗性的政治视频,例如利用拜登总统的肖像告诉选民不要在2024年选举的新罕布什尔州初选中投票(Bond, 2024 (https://arxiv.org/html/2607.18263#bib.bib52)),或欺诈内容,例如利用埃隆·马斯克的肖像提供投资机会,导致数十亿美元的金钱损失(New et al., 2024 (https://arxiv.org/html/2607.18263#bib.bib55))。已有大量技术研究致力于应对深度伪造。正如我们的分析所示,绝大多数此类工作都是在未承认性相关危害的情况下进行的。虽然并非所有深度伪造内容都被归类为AIG-NCII,但它仍然是深度伪造的主要形式,据报告估计,高达98%的深度伪造视频具有色情性质(Security Hero, 2023 (https://arxiv.org/html/2607.18263#bib.bib151))。事实上,“deepfake”一词最初源于对性伤害的直接指代,该词源自一位Reddit用户的用户名,该用户分享了定制的AI生成视频,描绘女演员进行性行为(Burkell and Gosse, 2019 (https://arxiv.org/html/2607.18263#bib.bib40))。然而,此后该词已进入全球词汇,指代广泛的AI生成内容,包括AI生成的虚假信息、诈骗以及政治图像和视频。 ### 2.1 AIG-NCII 作为独特的危害类别 我们使用缩写AIG-NCII(AI生成的非自愿亲密图像)来指代特定个人的性化深度伪造内容,且未经其同意存在。这指代使用生成式AI技术创建的合成内容,旨在未经主体明确同意的情况下“裸化”或“脱去”其衣物(Van der Nagel, 2020 (https://arxiv.org/html/2607.18263#bib.bib121))¹¹¹ 重要的是要注意,AIG-NCII并不要求主体完全裸露(Batool et al., 2024 (https://arxiv.org/html/2607.18263#bib.bib127))。近期的AIG-NCII例子包括试图移除女性头巾的内容(Tenbarge, 2026 (https://arxiv.org/html/2607.18263#bib.bib143))。描述同一现象的其他术语包括“AI-NCII”、“AI生成的基于图像的性虐待”(Henry et al., 2026 (https://arxiv.org/html/2607.18263#bib.bib31))、合成非自愿露骨图像(SNCEI)(Wei et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib79))以及“深度伪造色情”(Furizal et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib140))。AIG-NCII这一概念源于传统的非自愿亲密图像(NCII)²²² 非自愿亲密图像(NCII)俗称“复仇色情”。。AIG-NCII具有高度的性别倾向,绝大多数受害者是女性和女孩(Security Hero, 2023 (https://arxiv.org/html/2607.18263#bib.bib151); Bouchaud, 2026 (https://arxiv.org/html/2607.18263#bib.bib152))。在社会层面,AIG-NCII代表着试图在线上和线下压制、去平台化和剥夺主体能动性的行为(Maddocks, 2020 (https://arxiv.org/html/2607.18263#bib.bib67))。 **从GAN到扩散模型。** 过去十年中,创建AIG-NCII的技术门槛急剧降低。最初,大约从2017年到2022年,换脸是创建AIG-NCII的主要机制,通过将一张脸叠加到另一人的身体上。这得益于自编码器架构,并由DeepFaceLab等开源仓库推广(Perov et al., 2020 (https://arxiv.org/html/2607.18263#bib.bib11))。臭名昭著的Deepnude应用程序,能够“脱去”图像中女性的衣物,直接依赖于Pix2Pix条件GAN架构(Isola et al., 2017 (https://arxiv.org/html/2607.18263#bib.bib142); Wang et al., 2018 (https://arxiv.org/html/2607.18263#bib.bib150))。当前阶段的AIG-NCII创作由基于扩散的合成驱动,这得益于开源权重的潜在扩散模型(如Stable Diffusion)的发布(Rombach et al., 2022 (https://arxiv.org/html/2607.18263#bib.bib23); Schuhmann et al., 2022 (https://arxiv.org/html/2607.18263#bib.bib146))。与换脸不同,扩散模型允许通过文本到图像提示生成性化图像。Dreambooth(Ruiz et al., 2023 (https://arxiv.org/html/2607.18263#bib.bib22))和低秩适应(LoRA)(Hu et al., 2022 (https://arxiv.org/html/2607.18263#bib.bib21))等技术现在已成为AIG-NCII社区中的标准工具,用于使用少量参考照片对特定个人的肖像进行微调。 学术研究直接促成了AIG-NCII。Han et al.(2025 (https://arxiv.org/html/2607.18263#bib.bib47))在对Mr. DeepFakes(一个突出的深度伪造内容市场)的在线社区进行分析时发现,其网站上存在“大量的学术工作分享”,并直接引用了深度伪造工具的GitHub仓库,这些仓库引用了43篇学术论文。许多这些深度伪造工具是从研究论文中的开源模型分叉而来,许多应用仅仅是围绕开源研究代码的包装器(Han et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib47); Gibson et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib45))。此外,使用裸体身体作为训练数据(通常未经同意收集)产生了这些能力(Cintaqia et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib49))。 **法律和政策的局限性。** 尽管在美国及其他地方存在法律禁令,但执法仍然不足、成本高昂且被动,往往将发现责任推给受害者(Sen. Durbin, 2024 (https://arxiv.org/html/2607.18263#bib.bib70); Qiwei et al., 2025 (https://arxiv.org/html/2607.18263#bib.bib77); Congress.gov, 2025 (https://arxiv.org/html/2607.18263#bib.bib69))。例如,英国《在线安全法》将分享AIG-NCII定为刑事犯罪,但滥用行为已转移到不合规的平台和加密应用(如Telegram)(52 (https://arxiv.org/html/2607.18263#bib.bib65))。同样,韩国因重大丑闻(Gibson, 2019 (https://arxiv.org/html/2607.18263#bib.bib63); Bicker, 2020 (https://arxiv.org/html/2607.18263#bib.bib61))而将持有行为定为刑事犯罪(Yim, 2024 (https://arxiv.org/html/2607.18263#bib.bib60)),但深度伪造生成工具仍然可获取。各个平台上的内容审核工作面临着类似的“打地鼠”动态(Ding et al., 2026 (https://arxiv.org/html/2607.18263#bib.bib56))。当CivitAI禁止真人肖像模型时(CivitAI, 2025 (https://arxiv.org/html/2607.18263#bib.bib59); Maiberg, 2025a (https://arxiv.org/html/2607.18263#bib.bib80); Wagner and Cetinic, 2025 (https://arxiv.org/html/2607.18263#bib.bib78)),这些模型只是迁移到了HuggingFace(Maiberg, 2025b (https://arxiv.org/html/2607.18263#bib.bib58))。 ### 2.2 现有文献的景观分析 为了量化现有研究关注点与AIG-NCII现实之间的错位,我们对2020年至2025年间发表的技术防御论文进行了分析。我们的分析揭示,应对深度伪造危害的文献几乎完全忽视了AIG-NCII。 **方法。** 我们的目标是定位旨在应对深度伪造或更广泛合成媒体危害的作品。我们在Google Scholar中查询包含特定关键词集的论文,使用以下查询:(“detection” OR “detector” OR “forensics” OR “recognition” OR “watermark”) AND (“deepfake” OR “synthetic image” OR “fake image” OR “diffusion”)。这一初步搜索标准产生了965篇论文。接下来,我们将结果过滤为仅发表在顶级会议上的论文:“CVPR” OR “ICCV” OR “ECCV” OR “NeurIPS” OR “ICML” OR “ICLR”。我们排除了研讨会议论文,但包括了搜索结果中返回的arXiv预印本。来自其他会议且引用超过80次的论文也被纳入。这使得我们的最终数据集包含379篇论文。最后,我们将结果进一步过滤至被引次数最多的前100篇论文,并手动排除了扩散模型用于无关计算机视觉任务(如检测肿瘤、检测汽车或检测钢铁裂缝)的论文。我们还排除了一篇被撤回的论文。这一过程留下了我们进行定性分析的39篇论文作为最终数据集。我们检查了每篇论文对AIG-NCII的参与情况,特别关注以下术语的使用:“non-consensual intimate imagery”、“NCII”、“revenge porn”、“sexual violence”、“porn”、“nudity”、“undress”、“obscene”。最终的39篇论文列表见附录中的表2。 **结果。** 我们将这39篇论文分为三个对AIG-NCII参与度的层级。 1. 未提及(34篇论文):论文将问题完全框定为虚假信息、欺诈或技术伪影检测。 2. 仅提及(5篇论文):作者在引言或广泛影响声明中顺便提及AIG-NCII术语,但提出的技术方法仍然是通用的。 3. 技术实现(0篇论文):作者设计了针对AIG-NCII特定威胁模型的干预措施。 我们的分析证实了现有研究的说法,即深度伪造研究绝大多数是由与信任、欺诈和政治虚假信息相关的危害所驱动的(Rini, 2020 (https://arxiv.org/html/2607.18263#bib.bib44); Harris, 2021 (https://arxiv.org/html/2607.18263#bib.bib141))。 参看图注 图1:被归类为AIG-NCII的AI生成内容的比例(Bouchaud, 2026 (https://arxiv.org/html/2607.18263#bib.bib152))与我们的景观分析中仅提及AIG-NCII的技术防御论文比例的比较。在我们的景观分析中,未发现任何论文有意义地涉及AIG-NCII。 ## 3 基于真实性的干预措施回顾 为了应对与真相相关的危害,我们的分析发现AI/ML社区已经围绕一系列旨在区分合成媒体和真实媒体的工具形成了共识。我们将这些技术干预措施分为三个主要范式:检测、溯源和数字水印。虽然它们在实现方式上存在显著差异,但它们共享一个基本假设,即真相验证或真实性是安全的主要代理指标。在本节中,我们回顾这三种范式,并指出支撑其设计的假设。 ### 3.1 检测 当前的AI检测试图近似一个分类
相似文章
前沿人工智能发展现状及‘可传递性失调’风险的批判性分析
一项批判性分析警告称,人工智能的失调问题可以跨模型代际传播,且对标准安全检查不可见;该分析引用了一个未来系统卡中的假设性披露,其中模型在安全研究期间故意降低响应质量。
AI安全与对齐
文章讨论了对AI安全与对齐的担忧,随着AI变得更智能并融入社会,文章引用了Anthropic呼吁暂停以应对潜在的灾难性风险。
代理安全即行动对齐
本文认为,将内容安全拒绝方法应用于AI代理是一种范畴错误——代理的危害在于权限滥用而非输出——并提出通过最小权限原则在模型外部强制实施行动对齐。
为何我反对生成式AI及其所代表的一切
作者认为生成式AI是有害的,指出其使用了窃取的训练数据、在传播虚假信息中的作用,以及体现了剥削性资本主义,同时将其与传统机器学习区分开来。
保护人们免受有害操纵
Google DeepMind 发布了新的研究成果和工具包,用于基于对超过 10,000 名参与者的研究,实证测量 AI 进行有害操纵的潜在能力。