打击网络儿童性剥削和虐待

# 打击在线儿童性虐待和性剥削 来源：https://openai.com/index/combating-online-child-sexual-exploitation-abuse/ 为了践行我们开发安全且有益的通用人工智能的使命，我们致力于防止、检测和制止任何试图利用我们的模型支持儿童性虐待和性剥削的行为。我们在部署前和生产模型及产品中都融入了保护措施，并致力于与政府、行业和专家合作，有效防止人工智能生成的儿童性虐待物料（CSAM）和儿童性剥削物料（CSEM）的创建和传播。 用户明确被禁止使用任何 OpenAI 服务从事非法活动，包括对 18 岁以下任何人的剥削、危害或性骚扰。我们禁止使用我们的服务用于： - CSAM，无论是否包含任何人工智能生成的内容； - 对未成年人的诱骗； - 将未成年人暴露于不适合其年龄的内容，如图形自残、性或暴力内容； - 向未成年人推广不健康的饮食或运动行为； - 嘲笑或污名化未成年人的体型或外貌； - 面向未成年人的危险挑战； - 未成年人之间的性或暴力角色扮演，以及未成年人获取年龄限制商品或活动。 这些政策同样适用于在我们技术基础上构建应用程序的开发者：如果开发者构建的工具面向未成年人，这些工具不得允许创建明确的或暗示性的性内容。我们监控我们的服务是否违反这些政策，并禁止那些被发现违反政策的用户和开发者。 任何试图生成或上传 CSAM 或 CSEM 的用户都会被举报至国家失踪和被剥削儿童中心（NCMEC）(https://www.missingkids.org/home)，并被禁止进一步使用我们的服务。我们通知开发者其用户是否试图生成或上传 CSAM 或 CSEM，并给予他们通过从应用中禁止该问题用户来解决问题的机会；如果开发者未能纠正其应用上持续存在的问题行为，我们会禁止该开发者。一些因从事非法活动而被禁用我们产品的人会试图通过创建新账户来规避这些禁令。我们的调查团队监控此类规避行为，并致力于防止不良行为者使用我们的产品再次进行虐待。 我们致力于负责任地采购我们的训练数据集，以保护其免受基于图像的性虐待。我们从训练数据中检测和删除 CSAM 和 CSEM，并向相关权力机构（包括 NCMEC）报告任何已确认的 CSAM。这一初始步骤旨在防止模型首先开发生成 CSAM 或 CSEM 的能力。 我们的模型经过训练，不会在文本、图像、音频或视频中生成有害输出，但仍有一些用户试图滥用我们的产品来生成有害内容。我们已看到用户试图提示模型创建人工智能生成的 CSAM 或生成似乎旨在满足涉及未成年人的性幻想的内容。这些行为违反了我们的模型政策和使用政策，我们监控我们的服务使用情况以检测这些尝试。 我们部署了监控和执法技术来检测和防止不良行为者试图使用我们的工具以违反我们政策的方式性化儿童。这包括使用我们自己的模型更快地检测可能的滥用，以及在行业范围的安全措施上进行协作。我们使用哈希匹配技术 (https://www.thorn.org/blog/hashing-detect-child-sex-abuse-imagery/) 来识别由我们内部儿童安全团队或 Thorn (https://www.thorn.org/) 的经过审查的库标记的已知 CSAM。我们还使用 Thorn 的 CSAM 内容分类器 (https://safer.io/) 来检测上传到我们产品的潜在新颖 CSAM。 我们的儿童安全团队向 NCMEC (https://www.missingkids.org/home) 报告所有 CSAM 实例（包括上传和请求），并立即禁止相关账户。当有证据表明虐待正在进行时，我们的团队进行进一步调查以编制补充报告提交给 NCMEC 以供优先处理。 作为我们持续安全工作的一部分，以及帮助其他从事儿童保护工作的研究人员和组织，我们分享了我们已观察和阻止的虐待模式，以便行业中的其他人可以从我们的学习中受益。除了简单地提示模型创建 CSAM 或未成年人的性化图像外，我们还看到了需要新颖回应的滥用模式出现。 ChatGPT 允许用户上传图像、视频和文件，以便模型可以与内容交互和分析。我们观察到一些用户上传 CSAM 并要求模型生成对材料中描绘内容的详细描述。Thorn 的 CSAM 分类器和哈希匹配技术使我们能够检测这些上传中的潜在 CSAM 并防止模型遵从该请求。 在某些情况下，我们遇到用户试图诱导模型参与虚构的性角色扮演场景，同时上传 CSAM 作为叙述的一部分。我们也看到用户试图诱导模型编写虚构故事，其中未成年人被置于性不当和/或虐待的情况中——这违反了我们的儿童安全政策，我们采取迅速行动来检测这些尝试并禁止相关账户。我们的系统被设计用来检测和阻止这些尝试，参与此类行为的账户被禁止并在涉及明显 CSAM 时向 NCMEC 举报。 我们认真对待这些类型的滥用，虽然我们认识到即使是最先进的系统也不是完美的，但我们不断改进我们的方法来防止这类滥用。我们解决这些场景的方法是多方面的。除了提示级别的检测外，我们还采用了上下文感知分类器、滥用监控和内部人工专家评审（仅在分类器标记潜在滥用时进行）的组合，以确保我们的模型对这些形式的滥用具有鲁棒性。所有这些信息在内部保持安全，仅对负责团队的训练专家可用。此外，我们有内部儿童安全主题专家，帮助不断完善我们的安全措施。 在美国，拥有或创建 CSAM 是违法的。在开发人工智能系统的背景下，这意味着用 CSAM 对人工智能模型进行红队测试（即使是模拟的）是违法的。红队测试是指对人工智能模型进行压力测试以识别漏洞、弱点或意外行为的实践。虽然对 CSAM 的拥有和创建的禁令保护儿童，但这也为我们全面测试和验证旨在打击 CSAM 的安全措施的努力增加了额外的难度。 这就是为什么我们希望看到政府采用促进科技公司、执法部门和倡导组织之间强有力合作的公共政策框架，以保护儿童并促进安全的在线环境。这就是为什么我们支持纽约州的《儿童性虐待材料预防法》(https://cdn.openai.com/pdf/ce2e5c25-d75e-44d5-8586-42f048344def/ny-a3997-updates-to-child-sexual-abuse-material-prevention-act-memo-of-support.pdf) 等法案。该立法将确保对负责任的报告、合作和旨在检测、分类、监控和缓解有害人工智能生成内容的主动措施的明确法定保护。