理解我们在线看到和听到的内容来源

# 理解我们在线看到和听到内容的来源 来源: https://openai.com/index/understanding-the-source-of-what-we-see-and-hear-online/ OpenAI 我们推出了新工具来帮助研究人员研究内容真实性，并加入了内容溯源与真实性联盟(C2PA)方向委员会。 ***2024年8月4日更新*** *自从我们在5月发布此博文以来，我们在内容溯源工作方面进行了一些更新：* ***研究文本解决方案*** - *我们的团队优先考虑推出视听内容溯源解决方案，这被广泛认为在当前模型能力阶段存在更高的风险。* - *我们还对文本溯源领域进行了广泛研究，并探索了一系列解决方案，包括分类器、水印和元数据。您可以在**与AI伙伴关系组织合作的案例研究**中了解更多信息(opens in a new window) (https://partnershiponai.org/wp-content/uploads/2024/03/pai-synthetic-media-case-study-openai.pdf)* - *我们正在研究和考虑的一些方法的最新进展：* - *文本水印* - *我们的团队开发了一种文本水印方法，我们继续在研究替代方案时考虑该方法。* - *虽然它在精度上非常高，甚至对局部篡改（如改写）也很有效，但对全局篡改（如使用翻译系统、用另一个生成模型重新表述或要求模型在每个单词之间插入特殊字符然后删除该字符）的抵抗力较弱——这使得不良行为者可以轻易规避。* - *我们正在权衡的另一个重要风险是，我们的研究表明文本水印方法可能对某些群体产生不成比例的影响。例如，它可能会污名化AI作为对非英语使用者有用的写作工具的使用。* - *文本元数据* - *我们的团队也在研究元数据如何可用作文本溯源方法。* - *我们仍处于早期探索阶段，因此现在说明该方法的有效性还为时过早，但元数据具有使这种方法特别有前景的特性。* - *例如，与水印不同，元数据是密码签名的，这意味着没有假正例。我们预计随着生成文本数量的增加，这将变得越来越重要。虽然文本水印的假正例率很低，但将其应用于大量文本会导致大量总假正例。* ***在构建新功能时扩展我们的图像检测工具*** - *作为内容溯源持续努力的一部分，我们一直在致力于在更新产品功能时包含**C2PA**(opens in a new window) (https://c2pa.org/)元数据——一种广泛使用的数字内容标准。由于用户现在可以在ChatGPT中编辑DALL·E 3生成的图像，我们希望确保溯源信息随着这些编辑一起得以保留。如果用户编辑图像，我们已内置一种方式，使我们的C2PA凭证显示图像已被编辑及其方式。* - *在示例图像中，您可以看到毛毛虫的原始AI生成图片，然后编辑为毛毛虫戴着圣诞帽。当用户编辑此图像时，C2PA凭证会更新以反映这些更改，确保透明度。C2PA凭证包含详细信息，如所使用的应用和工具(OpenAI的DALL·E)、采取的行动(如格式转换和编辑)以及其他修改。这样，图像的整个历史被追踪并显示。* 显示一个坐在叶子上戴着圣诞帽的毛毛虫的像素艺术图像的屏幕截图。右侧显示内容凭证，指示图像是使用OpenAI的DALL·E生成的，格式已更改为webp文件。 世界各地的人们正在采用生成式AI以创建和编辑图像、视频和音频，以促进创意、生产力和学习。随着生成的视听内容变得越来越普遍，我们认为社会整体采用新技术和标准来帮助人们理解用于创建他们在线发现的内容的工具将变得越来越重要。 OpenAI通过两种方式应对这一挑战：首先，与他人合作采用、开发和推广一个开放标准，帮助人们验证用于创建或编辑许多类型数字内容的工具；其次，创建新技术，专门帮助人们识别由我们自己的工具创建的内容。 世界需要通用的方式来分享有关数字内容如何创建的信息。标准可以帮助澄清内容如何制作并以易于在许多情况下识别的方式提供有关其来源的其他信息——无论该内容是来自相机的原始输出，还是来自DALL·E 3等工具的艺术创作。 今天，OpenAI加入了C2PA(内容溯源与真实性联盟)方向委员会。C2PA是一个广泛使用的数字内容认证标准，由包括软件公司、相机制造商和在线平台在内的广泛参与者开发和采用。C2PA可用于证明内容来自特定来源。[1](https://openai.com/index/understanding-the-source-of-what-we-see-and-hear-online/#citation-bottom-1)我们期待为标准的发展做出贡献，并认为这是我们方法的重要方面。 今年早些时候，我们开始向DALL·E 3(我们最新的图像模型)在ChatGPT和OpenAI API中创建和编辑的所有图像添加C2PA元数据。当我们的视频生成模型Sora广泛推出时，我们也将为其集成C2PA元数据。 显示一只蓬松的猫坐在舒适房间的椅子上的屏幕截图。右侧面板详细说明图像的创建，指出其由OpenAI的DALL·E生成，文件格式更改为webp。时间轴显示图像创建于2024年5月5日。 人们仍然可以在没有此信息的情况下创建欺骗性内容(或可以将其删除)，但他们无法轻易伪造或更改此信息，这使其成为建立信任的重要资源。随着标准采用的增加，此信息可以伴随内容贯穿其分享、修改和重用的生命周期。随着时间推移，我们认为这种元数据将成为人们期望看到的东西，填补数字内容真实性实践中的一个关键空白。 为了推动溯源标准(包括C2PA)的采用和理解，我们与微软合作**推出一项社会复原力基金**(opens in a new window) (https://blogs.microsoft.com/on-the-issues/?p=66183)。这个200万美元的基金将支持AI教育和理解，包括通过来自美国退休人员协会(AARP)的**老年人技术服务**(opens in a new window) (https://oats.org/)、**国际民主与选举协助研究所**(opens in a new window) (https://www.idea.int/)和**AI伙伴关系组织**(opens in a new window) (https://partnershiponai.org/)等组织。 除了我们在C2PA上的投资外，OpenAI还在开发新的溯源方法以增强数字内容的完整性。这包括实施防篡改水印——用不可见信号标记音频等数字内容，旨在难以移除——以及检测分类器——使用人工智能评估内容源自生成模型的可能性的工具。这些工具旨在对移除有关内容来源的信号的尝试更具抵抗力。 从今天开始，我们为我们的第一批测试人员(包括研究实验室和以研究为导向的新闻非营利组织)开放对OpenAI图像检测分类器访问权限的申请，通过我们的**研究人员访问计划**(opens in a new window) (https://openai.smapply.org/prog/dalle_detection_classifier_access_program)获得反馈。该工具预测图像由OpenAI的DALL·E 3生成的可能性。我们的目标是启用独立研究来评估分类器的有效性，分析其实际应用，浮出与此类使用相关的考虑因素，并探索AI生成内容的特征。访问权限的申请可以在**此处**(opens in a new window) (https://openai.smapply.org/prog/dalle_detection_classifier_access_program/)提交。 理解分类器何时何地可能表现不佳对于基于其结果做出决定的人来说至关重要。我们对早期版本的分类器的内部测试显示在区分非AI生成的图像和由DALL·E 3产品创建的图像方面有很高的准确性。该分类器正确识别由DALL·E 3生成的图像，不会对非AI生成的图像触发。它正确识别了约98%的DALL·E 3图像，少于约0.5%的非AI生成图像被错误地标记为来自DALL·E 3。该分类器处理常见的修改，如压缩、裁剪和饱和度变化，对其性能的影响最小。但是，其他修改可以降低性能。我们还发现该分类器在区分由DALL·E 3生成的图像和其他AI模型生成的图像方面的性能较低，该分类器目前在我们的内部数据集上标记了约5-10%的其他AI模型生成的图像。 此外，我们还将音频水印纳入了我们的自定义语音模型Voice Engine，该模型目前处于有限研究预览阶段。我们致力于在这些领域继续进行研究，以确保我们在音频技术方面的进步同样透明和安全。 虽然上述技术解决方案为我们的防御提供了主动工具，但在实践中有效启用内容真实性将需要集体行动。例如，平台、内容创建者和中间处理者需要便于保留元数据，以便使最终内容消费者能够透明地了解内容的来源。 我们在溯源方面的努力只是更广泛的行业努力的一部分——我们的许多同行研究实验室和生成式AI公司也在推进这一领域的研究。我们赞扬这些努力——行业必须合作并共享见解，以增强我们的理解，并继续促进在线透明度。