安全使用Sora进行创作

OpenAI Blog 新闻

摘要

OpenAI宣布为Sora 2和Sora应用推出全面的安全措施,包括来源信号、C2PA元数据嵌入、通过角色实现的基于同意的肖像控制,以及对青少年用户的强化保护。该方法结合了内容过滤等技术保障和基于政策的护栏,以防止AI生成视频被滥用。

为了应对最先进的视频模型以及新的社交创作平台带来的全新安全挑战,我们以安全为基础构建了Sora 2和Sora应用。我们的方法立足于具体的保护措施。
查看原文 导出为 Word 导出为 PDF
查看缓存全文

缓存时间: 2026/04/20 14:43

# 用 Sora 安全创作 来源:https://openai.com/index/creating-with-sora-safely/ Sora 2 模型与 Sora 应用提供了前沿的视频生成能力,带来了一种全新的共创方式,并且我们确保从一开始就将安全性融入其中。我们的方法基于具体防护措施: - **区分 AI 内容**。用 Sora 生成的每个视频都包含可见和不可见的溯源信号。所有 Sora 视频还嵌入了 C2PA 元数据(一种行业标准的签名),我们维护着内部反向图像和音频搜索工具,能够高精度地将视频追溯到 Sora,这建立在 ChatGPT 图像生成和 Sora 1 的成功系统之上。许多输出还带有可见的动态水印,其中包含创作者的名字。 - **含真人形象的图像转视频**。在不断加强 Sora 防护措施的同时,我们也在解锁更多创意表达与连接,包括允许人们使用家人和朋友的照片制作视频。用户在上传含有人物的图像在 Sora 中制作视频前,需确认已获得其中人物的同意,并拥有上传该媒体的权利。包含人物的图像转视频生成会受到特别严格的防护限制,甚至比 Sora Characters(原名客串功能)所允许的范围更严。包含儿童和看起来年轻的个体的图像,在可据此生成的内容方面会面临更严格的审核和防护措施。这些视频在分享时也始终带有水印。 - **基于同意的头像使用**。我们创建了[头像功能](https://help.openai.com/en/articles/12435986-generating-content-with-characters)(在新窗口中打开),让你在 Sora 中对自己的形象拥有强有力的控制。形象包括你的外貌和声音。我们设置了防护措施,旨在确保头像中捕捉到的你的音频和图像形象在获得你的同意后才被使用。只有你能决定谁可以使用你的头像,并且你可以随时撤销访问权限。我们还采取措施阻止对公众人物的描绘,但使用头像功能的情况除外。包含你头像的视频(包括其他用户创建的草稿)对你始终可见。这让你可以轻松查看和删除(如有需要,还可以举报)任何使用你头像的视频。我们还对所有带头像的视频应用额外的安全防护措施,你甚至可以开启一套更严格的限制使用类型的防护措施。这包括限制对你外貌的重大改变、避免让你陷入尴尬境地,以及保持你的身份大致一致。 - **青少年保护措施**。Sora 为年轻用户提供了更强有力的保护,包括对成熟内容的限制。信息流设计为对所有 Sora 用户都适宜,对于青少年账户,会过滤掉可能有害、不安全或不适龄的内容。不向成年人推荐青少年个人资料,成年人不能主动向青少年发送消息。ChatGPT 中的家长控制功能让家长可以管理青少年是否能发送和接收私信,以及在 Sora 应用中选择非个性化信息流。默认情况下,青少年在 Sora 中连续浏览的时长也有限制。 - **过滤有害内容**。Sora 采用多层防御机制,在确保信息流安全的同时保留创作空间。在生成阶段,防护措施会尝试在有害内容被制作出来之前就加以阻止——包括色情材料、恐怖主义宣传和自残诱导——通过跨多个视频帧和音频转录文本同时检查提示词和输出来实现。我们进行了红队测试以探索新型风险,并且鉴于 Sora 更高的真实感以及运动和音频的加入,我们相对于图像生成收紧了政策。在生成之外,自动化系统会根据我们的[全局使用政策](https://openai.com/policies/usage-policies/)扫描所有信息流内容,并过滤掉不安全或不适龄的材料。这些系统会随着我们对新风险的了解而持续更新,并辅以针对影响最严重危害的人工审查。 - **音频安全措施**。为 Sora 添加音频提升了安全标准,虽然完美的保护难以实现,但我们持续在这方面投入大量精力。Sora 会自动扫描生成的语音转录文本,以查找潜在的违反政策行为,同时也会阻止尝试生成模仿在世艺术家或现有作品的音乐。我们的系统旨在检测并阻止此类提示词,并且对于认为 Sora 输出侵犯其作品的创作者,我们会尊重要求下架的请求。 - **用户控制与追索权**。你可以选择何时以及如何分享你的视频,并随时移除已发布的内容。视频仅在你选择分享时才会出现在信息流中。每个视频、个人资料、私信、评论和头像都可以被举报为滥用行为,并在违反政策时提供清晰的追索途径。你也可以随时选择屏蔽账户,这会阻止其他人看到你的个人资料或帖子、使用你的头像以及通过私信联系你。

相似文章

负责任地推出 Sora

OpenAI Blog

OpenAI 宣布安全为中心的 Sora 2 和 Sora 应用推出,包含内置保护措施,包括水印、C2PA 元数据、基于同意的肖像控制、青少年保护措施和多层内容过滤,用于有害材料和音频。

Sora 已推出

OpenAI Blog

OpenAI 已向公众推出其视频生成技术 Sora,并采取了包括 C2PA 元数据、水印和滥用防护在内的安全措施。该系统在物理学和复杂动作方面存在已知限制,但代表了人工智能驱动视频创作能力的重大进步。

Sora 系统卡

OpenAI Blog

OpenAI 发布 Sora 系统卡,详细说明了其文本生成视频模型 Sora 的安全防护措施和红队测试工作。Sora 能生成最高 1080p、时长 20 秒的视频。该文档介绍了预训练过滤、在 9 个国家进行的外部红队测试(测试超 15,000 代视频)以及防止人物肖像滥用和误导性内容的防护措施。

Sora 2 系统卡

OpenAI Blog

# Sora 2 系统卡 来源:[https://openai.com/index/sora-2-system-card/](https://openai.com/index/sora-2-system-card/) OpenAISora 2 是我们最先进的视频和音频生成模型。在 Sora 的基础上,这个新模型引入了之前视频模型难以实现的功能——例如更准确的物理模拟、更逼真的画质、同步音频、增强的可控性和更广泛的风格范围。该模型能够以高度的精确度遵循用户指示。

Sora 信息流理念

OpenAI Blog

OpenAI 阐述了 Sora 信息流系统的设计理念,通过可调控的排序算法和稳健的内容审核指南,优先考虑创造力、用户控制、连接性和安全性。